Kas yra „Apple“ neuroninis variklis ir kaip jis veikia?

Jūsų „iPhone“, „iPad“, „Mac“ ir „Apple TV“ naudoja specializuotą neuronų apdorojimo įrenginį, vadinamą „Apple Neural Engine“ (ANE), kuris yra daug greitesnis ir efektyvesnis nei CPU arba GPU.

ANE suteikia galimybę naudoti pažangias įrenginio funkcijas, tokias kaip natūralios kalbos apdorojimas ir vaizdų analizė, nenaudojant debesies ir nenaudojant per daug energijos.

Panagrinėkime, kaip ANE veikia ir kaip vystosi, įskaitant išvadas ir žvalgybą, kurią ji suteikia Apple platformose ir kaip kūrėjai gali jį naudoti trečiųjų šalių programose.

Kas yra „Apple Neural Engine“ (ANE)?

„Apple Neural Engine“ yra rinkodaros pavadinimas, skirtas labai specializuotų skaičiavimo branduolių grupei, optimizuotai efektyviai vykdyti giluminius neuroninius tinklus „Apple“ įrenginiuose. Jis pagreitina mašininio mokymosi (ML) ir dirbtinio intelekto (AI) algoritmus ir siūlo milžiniškus greičio, atminties ir galios pranašumus, palyginti su pagrindiniu procesoriumi ar GPU.

ANE yra didelė dalis to, kodėl naujausi „iPhone“, „iPad“, „Mac“ ir „Apple TV“ yra jautrūs ir neįkaista atliekant sunkius ML ir AI skaičiavimus. Deja, ne visi „Apple“ įrenginiai turi ANE – „Apple Watch“, „Intel“ pagrindu veikiančiuose „Mac“ kompiuteriuose ir senesniuose nei 2016 m. įrenginiuose jo trūksta.

Pirmasis ANE, kuris debiutavo su Apple A11 lustu 2017 m. iPhone X, buvo pakankamai galingas, kad palaikytų Face ID ir Animoji. Palyginimui, naujausias ANE A15 Bionic luste yra 26 kartus greitesnis nei pirmoji versija. Šiais laikais ANE įgalina tokias funkcijas kaip „Siri“ neprisijungus, o kūrėjai gali ją naudoti norėdami paleisti anksčiau apmokytus ML modelius, atlaisvindami procesorių ir GPU, kad būtų galima sutelkti dėmesį į jiems labiau tinkamas užduotis.

Kaip veikia „Apple“ neuroninis variklis?

ANE suteikia valdymo ir aritmetinės logikos, optimizuotos atlikti plačias skaičiavimo operacijas, tokias kaip daugyba ir kaupimas, dažniausiai naudojamas ML ir AI algoritmuose, tokiuose kaip vaizdų klasifikavimas, medijos analizė, mašininis vertimas ir daugiau.

Pagal Apple patentas pavadinimu „Kelių režimų planarinis variklis neuroniniam procesoriui“, ANE susideda iš kelių neuroninio variklio branduolių ir vienos ar daugiau kelių režimų plokštuminių grandinių.

Konstrukcija optimizuota lygiagrečiam skaičiavimui, kai vienu metu turi būti atliekama daug operacijų, pavyzdžiui, matricos daugybos, vykstančios trilijonais iteracijų.

Siekdama pagreitinti AI algoritmų išvadas, ANE naudoja nuspėjamuosius modelius. Be to, ANE turi savo talpyklą ir palaiko tik keletą duomenų tipų, o tai padeda maksimaliai padidinti našumą.

AI funkcijos, kurias teikia ANE

Štai keletas įrenginyje esančių funkcijų, kurias galite naudoti ANE.

• Natūralios kalbos apdorojimas: greitesnis, patikimesnis diktavimo ir Siri balso atpažinimas; Patobulintas natūralios kalbos mokymasis Vertėjo programėlėje ir visoje sistemoje; Momentinis teksto vertimas nuotraukose, fotoaparate ir kitose „iPhone“ programose.
• Kompiuterinis matymas: raskite objektus vaizduose, pvz., orientyrus, augintinius, augalus, knygas ir gėles, naudodami programą „Photos“ arba „Spotlight“ paiešką; Gaukite papildomos informacijos apie atpažino objektus naudodami „Visual Look Up“. tokiose vietose kaip „Safari“, „Mail“ ir „Messages“.
• Papildyta realybė: žmonių okliuzija ir judesio sekimas AR programose.
• Vaizdo įrašų analizė: veidų ir objektų aptikimas vaizdo įraše tokiose programose kaip Final Cut Pro.
• Kameros efektai: Automatinis apkarpymas su centrine scena; Fono suliejimas FaceTime vaizdo skambučių metu.
• Žaidimai: Fotorealistiniai efektai 3D vaizdo žaidimuose.
• Tiesioginis tekstas: teikia optinį simbolių atpažinimą (OCR) fotoaparate ir nuotraukose, leidžiantį lengvai nukopijuoti rašyseną arba tekstą, pvz., „Wi-Fi“ slaptažodį ar adresą iš vaizdų.
• Kompiuterinė fotografija: Deep Fusion analizuoja pikselius, kad geriau sumažintų triukšmą, padidintų dinaminį diapazoną ir pagerintų automatinę ekspoziciją bei baltos spalvos balansą, prireikus panaudodama išmanųjį HDR; Sekliojo lauko gylio fotografija, įskaitant naktinio režimo portretų fotografavimą; Fono suliejimo lygio reguliavimas naudojant gylio valdymą.
• Smulkmenos: ANE taip pat naudojamas fotografavimo stiliams programoje „Camera“, prisiminimams tvarkyti ir stilistiniams efektams „Photos“, suasmenintos rekomendacijos, pvz., ekrano fono pasiūlymai, „VoiceOver“ vaizdo antraštės, vaizdo dublikatų paieška Nuotraukos ir kt.

Kai kurios iš aukščiau paminėtų funkcijų, pvz., vaizdo atpažinimo, taip pat veikia be ANE, tačiau veiks daug lėčiau ir apkraus jūsų įrenginio akumuliatorių.

Trumpa „Apple Neural Engine“ istorija: nuo „iPhone X“ iki „M2 Mac“.

2017 m. „Apple“ įdiegė savo pirmąjį ANE dviejų specializuotų branduolių pavidalu „iPhone X“ A11 luste. Pagal šiandienos standartus jis buvo palyginti lėtas – vos 600 milijardų operacijų per sekundę.

Antrosios kartos ANE pasirodė A12 lusto viduje 2018 m., kuriame buvo keturis kartus daugiau branduolių. Šis ANE, įvertintas penkių trilijonų operacijų per sekundę greičiu, buvo beveik devynis kartus greitesnis ir sunaudojo dešimtadalį savo pirmtako galios.

2019 m. A13 lustas turėjo tą patį aštuonių branduolių ANE, bet veikė penktadaliu greičiau ir naudojo 15 % mažiau energijos – tai yra TSMC patobulinto 7 nm puslaidininkinio mazgo produktas. TSMC (Taiwan Semiconductor Manufacturing Company) gamina Apple sukurtus lustus.

„Apple“ neuroninio variklio evoliucija

Kitais metais „Apple A14“ beveik padvigubino ANE našumą iki 11 trilijonų operacijų per sekundę, o tai buvo pasiekta padidinus ANE branduolių skaičių nuo 8 iki 16. 2021 m. A15 Bionic gavo naudos iš TSMC antrosios kartos 5 nm proceso, kuris dar labiau padidino ANE našumą iki 15,8 trilijonų operacijų per sekundę nepridedant daugiau branduolių.

Pirmieji prie „Mac“ prijungti M1, M1 Pro ir M1 Max lustai turėjo tą patį ANE kaip ir A14, todėl pirmą kartą „macOS“ platformoje buvo įdiegta pažangi, aparatinės įrangos pagreitinta ML ir AI.

2022 m. „M1 Ultra“ sujungė du „M1 Max“ lustus į vieną paketą, naudodamas „Apple“ tinkintą jungtį, pavadintą „UltraFusion“. Turėdamas dvigubai daugiau ANE branduolių (32), M1 Ultra padvigubino ANE našumą iki 22 trilijonų operacijų per sekundę.

„Apple A16“ 2022 m. buvo pagamintas naudojant patobulintą TSMC N4 mazgą, todėl ANE našumas yra 8 % didesnis (17 trilijonų operacijų per sekundę), palyginti su A15 ANE.

Pirmieji ANE palaikantys iPad buvo penktos kartos iPad mini (2019), trečios kartos iPad Air (2019) ir aštuntos kartos iPad (2020). Visi nuo tada išleisti iPad turi ANE.

Kaip kūrėjai gali naudoti ANE programose?

Daugelis trečiųjų šalių programų naudoja ANE funkcijoms, kurios kitu atveju nebūtų įmanomos. Pavyzdžiui, vaizdų rengyklė „Pixelmator Pro“ teikia tokius įrankius kaip „ML Super Resolution“ ir „ML Enhance“. O djay Pro ANE atskiria ritmus, instrumentinius kūrinius ir vokalinius takelius nuo įrašo.

Tačiau trečiųjų šalių kūrėjai negauna žemo lygio prieigos prie ANE. Vietoj to, visi ANE skambučiai turi vykti per Apple programinės įrangos sistemą, skirtą mašininiam mokymuisi, Core ML. Naudodami Core ML kūrėjai gali kurti, mokyti ir paleisti savo ML modelius tiesiai įrenginyje. Tada toks modelis naudojamas prognozėms, pagrįstoms naujais įvesties duomenimis.

„Kai modelis yra vartotojo įrenginyje, galite naudoti Core ML, kad permokytumėte arba patikslintumėte jį įrenginyje, naudodami to vartotojo duomenis“, – teigiama Core ML apžvalgoje. Apple svetainė.

Norėdami pagreitinti ML ir AI algoritmus, Core ML naudoja ne tik ANE, bet ir procesorių bei GPU. Tai leidžia Core ML paleisti modelį, net jei nėra ANE. Tačiau naudojant ANE, Core ML veiks daug greičiau, o akumuliatorius neišsikraus taip greitai.

Daugelis „Apple“ funkcijų neveiks be ANE

Daugelis įrenginio funkcijų nebūtų įmanomos be greito AI ir ML algoritmų apdorojimo ir sumažinto atminties ploto bei energijos suvartojimo, kurį ANE suteikia. „Apple“ magija turi specialų koprocesorių, skirtą neuroniniams tinklams paleisti privačiai įrenginyje, užuot perkėlus šias užduotis į serverius debesyje.

Naudodami ANE, tiek Apple, tiek kūrėjai gali įdiegti giliuosius neuroninius tinklus ir pasinaudoti pagreitintos mašininis mokymasis įvairiems nuspėjamiesiems modeliams, pvz., mašininiam vertimui, objektų aptikimui, vaizdų klasifikavimui, ir tt