DI pagreitintuvai kompiuteriuose ir telefonuose: kaip jie keičia mūsų įrenginius

Dirbtinis intelektas (DI) jau seniai persikėlė iš debesijos į mūsų kišenes ir ant darbo stalų. 2024–2025 m. didžiausi gamintojai – nuo „Apple“, „Google“ ir „Samsung“ iki „Microsoft“, „Intel“, „AMD“ ir „Qualcomm“ – agresyviai diegia DI pagreitintuvus į telefonus ir kompiuterius. Tai nebe niša, o naujas standartas.

Kas yra DI pagreitintuvas?

DI pagreitintuvas – tai specializuotas lustas arba procesoriaus blokas, optimizuotas neuroniniams tinklams ir kitoms DI užduotims. Jis dažnai vadinamas:

• NPU (Neural Processing Unit) – neuralinis procesorius;
• TPU (Tensor Processing Unit) – tensorių procesorius;
• AI Engine, „Neural Engine“, „Hexagon“ ir pan. – rinkodariniai pavadinimai.

Pagrindinė idėja – perkelti DI skaičiavimus nuo bendros paskirties CPU ir GPU į specialų bloką, kuris tai daro greičiau ir naudoja mažiau energijos.

Kaip veikia DI pagreitintuvai?

DI modeliai atlieka daugybę pasikartojančių matematinių operacijų – daugiausia matricų ir vektorių daugybas. Būtent tam DI pagreitintuvai yra optimizuoti.

Pagrindiniai veikimo principai

• Masinė lygiagretizacija – tūkstančiai mažų branduolių vienu metu vykdo tas pačias operacijas skirtingiems duomenims.
• Tensorių vienetai – specialūs blokai, dirbantys su 2D/3D duomenų masyvais (tensoriais).
• Mažo tikslumo aritmetika – dažnai naudojami INT8, FP16 ar kiti formatai, kurie DI užduotims pakankami ir daug greitesni.
• Vietinė atmintis – svoriai ir tarpiniai rezultatai laikomi kuo arčiau skaičiavimo blokų, kad mažėtų delsos ir energijos sąnaudos.

Rezultatas – neuroninių tinklų skaičiavimai vyksta kartais ar net dešimtis kartų greičiau nei vien CPU, ir su gerokai mažesnėmis energijos sąnaudomis.

DI pagreitintuvai telefonuose

Telefonai buvo pirmoji masinė rinka, kur DI pagreitintuvai tapo norma. Šiandien praktiškai kiekvienas vidutinės ar aukštesnės klasės išmanusis turi NPU arba analogišką bloką.

Ką daro NPU telefone?

• Kamera ir nuotraukos
  • naktinis režimas ir triukšmo mažinimas;
  • portreto režimas, fono suliejimas;
  • objektų atpažinimas ir scenos optimizavimas;
  • realaus laiko filtrai ir HDR apdorojimas.
• Balso ir kalbos atpažinimas
  • balsu valdomi asistentai (Siri, Google Assistant ir kt.);
  • vietinis diktavimas ir transkripcija be interneto;
  • triukšmo slopinimas skambučių metu.
• Asmeninis pritaikymas
  • išmanus baterijos valdymas;
  • programėlių naudojimo prognozės;
  • personalizuotos rekomendacijos.
• Privatus DI įrenginyje
  • veido atpažinimas ir biometrinis atrakinimas;
  • teksto santraukos ir vertimai įrenginyje;
  • nuotraukų atpažinimas (žmonės, vietos, objektai) be debesijos.

Konkrečių gamintojų pavyzdžiai

• Apple – „Neural Engine“ A ir M lustuose, naudojamas kameros režimams, „Live Text“, „iOS“ ir „macOS“ DI funkcijoms.
• Google – „Tensor“ lustai „Pixel“ telefonuose, akcentuojant fotografiją, realaus laiko vertimus ir „on-device“ DI.
• Qualcomm – „AI Engine“ ir „Hexagon“ NPU „Snapdragon“ platformose, palaikančios DI kameroje, žaidimuose ir balso apdorojime.
• Samsung – „Exynos“ NPU ir „Galaxy AI“ funkcijos, tokios kaip tiesioginis vertimas ar nuotraukų redagavimas.

DI pagreitintuvai kompiuteriuose

Jei telefonuose NPU jau tapo standartu, tai kompiuteriuose 2024–2025 m. vyksta spartus AI PC bumas. „Microsoft“ pristatė Copilot+ PC kategoriją su minimaliu NPU našumo reikalavimu, o didieji lustų gamintojai atsakė naujomis architektūromis.

Kas vyksta PC rinkoje?

• Intel – „Core Ultra“ (Meteor Lake ir naujesni) su integruotu NPU, skirtu „Windows“ DI funkcijoms ir kūrybinėms programoms.
• AMD – „Ryzen AI“ lustai su atskiru DI bloku, orientuoti į nešiojamus AI kompiuterius.
• Qualcomm – „Snapdragon X“ serija „Windows on ARM“ kompiuteriams, pristatoma kaip itin efektyvi DI platforma.
• Apple – M serijos lustai „Mac“ kompiuteriuose su „Neural Engine“, stipriai integruota į „macOS“ ir kūrybines programas.

Ką praktiškai duoda DI pagreitintuvas kompiuteryje?

• Vaizdo konferencijos
  • fonų suliejimas ar pakeitimas;
  • akių kontakto korekcija;
  • triukšmo slopinimas ir balso išryškinimas.
• Kūryba ir turinio kūrimas
  • vaizdų generavimas ir redagavimas vietoje;
  • vaizdo įrašų stabilizavimas ir mastelio keitimas;
  • DI pagalba montuojant ir spalvinant video.
• Produktyvumas
  • teksto santraukos ir automatiniai atsakymai be debesijos;
  • paieška pagal turinį (vaizdus, balsą, dokumentus) įrenginyje;
  • kontekstinės DI pagalbininkų funkcijos, veikiančios lokaliai.
• Žaidimai ir grafika
  • kadrų atkūrimas ir vaizdo kokybės gerinimas;
  • NPC elgesio ir fizikos simuliacijų DI modeliai;
  • protingesnė energijos ir našumo optimizacija.

DI pagreitintuvai vs GPU vs CPU

Daugelis klausia: jei jau turime galingus GPU, kam reikalingas NPU? Atsakymas slypi specializacijoje ir efektyvume.

Pagrindiniai skirtumai

• CPU
  • universalus, lankstus, bet ribotas lygiagretumas;
  • tinka logikai, operacinėms sistemoms, bendrai programų veiklai;
  • DI užduotims dažnai per lėtas ir per daug energijai imlus.
• GPU
  • tūkstančiai branduolių, labai geras lygiagretumas;
  • puikiai tinka DI modelių mokymui ir sudėtingai grafikinei vaizdavimui;
  • didelės energijos sąnaudos, ypač nešiojamuose įrenginiuose.
• NPU / DI pagreitintuvas
  • pritaikytas konkrečioms DI operacijoms (matricos, tensoriai);
  • dažnai kelis kartus efektyvesnis už GPU tuose pačiuose DI uždaviniuose;
  • idealiai tinka inference (modelių vykdymui), o ne mokymui.

Praktiškai tai reiškia, kad telefone ar nešiojamame kompiuteryje DI pagreitintuvas leidžia nuolat veikti DI funkcijoms neišsiurbiant baterijos ir neperkaitinant įrenginio.

Kodėl DI skaičiavimus verta perkelti į įrenginį?

Ilgą laiką dauguma DI funkcijų veikė debesijoje. Tačiau šiandien vis daugiau gamintojų akcentuoja vietinį (on-device) DI. Tam ir reikalingi DI pagreitintuvai.

Pagrindiniai privalumai

• Privatumas – jautrūs duomenys (balsas, nuotraukos, dokumentai) nepalieka įrenginio.
• Mažesnė delsą – atsakymai ir apdorojimas gaunami beveik akimirksniu, be ryšio laukimo.
• Mažesnės debesijos sąnaudos – paslaugų tiekėjams nereikia apdoroti tiek daug duomenų serveriuose.
• Veikia be interneto – vertimai, santraukos, balso atpažinimas gali veikti offline.
• Energijos ir kaštų taupymas – tiek vartotojui (baterija), tiek paslaugų teikėjams (serveriai).

Našumo matavimas: TOPS ir realus greitis

Gamintojai dažnai giriasi skaičiais, pavyzdžiui, „45 TOPS NPU“ ar „100+ TOPS AI našumas“. TOPS – tai tera operacijų per sekundę (trilijonai operacijų per sekundę). Tačiau į šį skaičių reikia žiūrėti atsargiai.

Į ką verta atkreipti dėmesį?

• Naudojamas tikslumo formatas – INT8, FP16, mišrus tikslumas; skirtingi formatai duoda skirtingus TOPS.
• Realūs testai – kaip įrenginys susitvarko su jūsų naudojamomis programomis (redagavimu, DI asistentais, žaidimais).
• Programinės įrangos palaikymas – ar populiarios DI bibliotekos (TensorFlow, PyTorch, ONNX Runtime) ir programos optimizuotos konkrečiam NPU.
• Šiluma ir baterija – ar DI funkcijos gali veikti ilgai be smarkaus šilimo ir baterijos kritimo.

Programinės įrangos ekosistema

DI pagreitintuvas be geros programinės įrangos – tik gražus skaičius specifikacijose. Todėl gamintojai investuoja į SDK, tvarkykles ir bibliotekas.

Pagrindiniai žaidėjai ir įrankiai

• ONNX Runtime – atviras standartas, leidžiantis tą patį modelį paleisti ant skirtingų NPU, GPU ir CPU.
• Qualcomm AI Engine SDK – įrankiai, skirti optimizuoti modelius „Snapdragon“ telefonams ir PC.
• Intel OpenVINO – modelių optimizavimas ir vykdymas ant Intel CPU, GPU ir NPU.
• Apple Core ML – DI modelių integracija į „iOS“, „iPadOS“ ir „macOS“ su „Neural Engine“ palaikymu.
• Google ML Kit / TensorFlow Lite – mobiliesiems ir įrenginių DI sprendimams.

Vartotojui tai reiškia, kad vis daugiau programų – nuo foto redaktorių iki biuro paketų – gali tiesiogiai išnaudoti DI pagreitintuvą, o ne tik CPU ar GPU.

Kaip pasirinkti telefoną ar kompiuterį su DI pagreitintuvu?

Renkantis naują įrenginį verta atkreipti dėmesį ne tik į CPU branduolių skaičių ar GPU galią, bet ir į DI pajėgumus.

Į ką žiūrėti perkant telefoną?

• Ar gamintojas aiškiai nurodo NPU ar „AI Engine“ buvimą.
• Ar reklamuojamos konkrečios DI funkcijos (kamera, DI vertimai, asistentai, offline funkcijos).
• Ar telefonas palaiko naujausias OS DI funkcijas (pvz., „Android“ ar „iOS“ naujoves).
• Ar ekosistemoje yra programėlių, kurios išnaudoja vietinį DI (foto, video, užrašų, balso įrašų programos).

Į ką žiūrėti perkant kompiuterį?

• Ar tai AI PC / Copilot+ PC ar analogiška kategorija, jei naudojate „Windows“.
• Koks NPU našumas (TOPS) ir ar tai atitinka naujausius DI funkcijų reikalavimus.
• Ar jūsų naudojamos programos (pvz., „Adobe“, „DaVinci Resolve“, kūrybiniai įrankiai) jau palaiko NPU.
• Ar gamintojas pateikia aiškią atnaujinimų ir tvarkyklių strategiją DI funkcijoms.

Ateitis: ką DI pagreitintuvai atneš per artimiausius metus?

DI pagreitintuvai dar tik pradeda formuoti naują įrenginių kartą. Per artimiausius metus tikėtinos kelios aiškios kryptys.

Pagrindinės tendencijos

• Galingesni vietiniai modeliai – telefonai ir nešiojamieji kompiuteriai galės vykdyti vis didesnius kalbos ir vaizdo modelius be debesijos.
• Gilesnė OS integracija – DI taps ne atskira programėle, o nematoma operacinės sistemos dalimi.
• Daugiau personalizacijos – modeliai prisitaikys prie konkretaus vartotojo įpročių, išlikdami tik jo įrenginyje.
• Ilgesnis baterijos veikimas – nes DI užduotys bus vykdomos efektyvesniuose blokuose, o ne CPU ar GPU.
• Naujos profesinės nišos – atsiras daugiau įrankių kūrėjams, kurie specializuosis būtent NPU optimizavime ir lokaliame DI.

Išvada

DI pagreitintuvai kompiuteriuose ir telefonuose – tai ne tik dar vienas techninis parametras. Jie iš esmės keičia, kaip veikia mūsų įrenginiai: nuo kameros ir balso asistentų iki darbo su dokumentais, kūrybos ir žaidimų.

Investuodami į įrenginį su geru DI pagreitintuvu, investuojate ne tik į šiandienines funkcijas, bet ir į ateities programinę įrangą, kuri vis labiau remsis vietiniu dirbtiniu intelektu.

DUK apie DI pagreitintuvus

Ar man tikrai reikia DI pagreitintuvo telefone ar kompiuteryje?

Jei naudojate tik pagrindines funkcijas (naršymą, el. paštą, paprastus skambučius), DI pagreitintuvas nėra būtinybė. Tačiau jei dažnai fotografuojate, montuojate video, naudojate DI asistentus, vertimus ar dirbate su turiniu, NPU ženkliai pagerins greitį, kokybę ir baterijos laiką.

Kuo NPU geresnis už galingą GPU DI užduotims?

GPU puikiai tinka DI modelių mokymui ir sudėtingai grafikai, bet vartoja daug energijos. NPU yra specializuotas DI inferencijai – jis paprastai sunaudoja kelis kartus mažiau energijos, gali veikti ilgai be perkaitimo ir idealiai tinka nešiojamiems įrenginiams.

Ar DI pagreitintuvai kelia papildomą saugumo riziką?

Pats DI pagreitintuvas nėra pavojingas – tai tik skaičiavimo blokas. Saugumą lemia, kokios programos juo naudojasi ir kaip jos tvarko duomenis. Priešingai, vietinis DI dažnai pagerina privatumą, nes jautrūs duomenys nebūtina siųsti į debesiją.