Energiją taupantys on-device DI modeliai išmaniųjų telefonų krašte

Per pastaruosius dvejus metus dirbtinis intelektas (DI) iš debesijos persikėlė tiesiai į mūsų kišenes. „On-device AI“ – tai DI modeliai, kurie veikia pačiame išmaniajame telefone, o ne nuotoliniuose serveriuose. 2024–2025 m. tai tampa nauju standartu, o didžiausias iššūkis – kaip visą šią galią sutalpinti į mažą, baterija maitinamą įrenginį.

Šioje apžvalgoje pažiūrėsime, kaip energiją taupantys DI modeliai keičia išmaniųjų telefonų ekosistemą, kokios technologijos slypi už „Apple Intelligence“, „Google Gemini Nano“, „Samsung Galaxy AI“ ir kitų sprendimų, bei ką tai reiškia baterijai, privatumui ir kūrėjams.

Kas yra on-device DI ir kuo jis skiriasi nuo debesijos DI?

On-device DI – tai dirbtinio intelekto modeliai, kurie vykdomi tiesiogiai telefone, planšetėje ar laikrodyje, be nuolatinio ryšio su debesijos serveriais. Užuot siuntęs jūsų balsą, nuotraukas ar tekstą į serverį, telefonas pats atlieka atpažinimą, vertimą ar generavimą.

Pagrindiniai skirtumai

• Vykdymo vieta: debesijos DI veikia duomenų centruose, on-device – telefone.
• Ryšio poreikis: debesijai reikia stabilaus interneto, on-device gali veikti ir offline režimu.
• Vėlinimas (latency): on-device atsakymai dažnai būna greitesni, nes nereikia tinklo kelionės.
• Privatumas: su on-device DI jautri informacija gali nepalikti įrenginio.
• Energija: debesijos DI eikvoja daugiau energijos duomenų centruose ir dėl nuolatinio tinklo naudojimo, o on-device turi būti itin efektyvus, kad neišsunktų telefono baterijos.

Būtent energijos sąnaudos ir riboti mobilūs resursai yra pagrindinė priežastis, kodėl atsirado nauja DI modelių karta – mažesni, greitesni ir taupesni.

Kodėl energijos taupymas telefone toks svarbus?

DI skaičiavimai yra intensyvūs: milijardai operacijų per sekundę, daugybė parametrų ir nuolatinis atminties naudojimas. Stacionariame kompiuteryje tai išsprendžia galinga vaizdo plokštė ir maitinimo blokas. Telefone viskas kitaip:

• Ribota baterija: kiekvienas papildomas vatas tiesiogiai trumpina dienos veikimo laiką.
• Šiluma: perkaistantis telefonas riboja našumą ir mažina komponentų ilgaamžiškumą.
• Mobilus ryšys: nuolatinis duomenų siuntimas į debesį eikvoja ir bateriją, ir mobilųjį internetą.
• Naudotojo patirtis: niekas nenori, kad įjungus DI funkciją telefonas sulėtėtų ar pradėtų kaisti.

Dėl to gamintojai ir tyrėjai kuria energiją taupančius DI modelius, specialiai pritaikytus mobiliajai aplinkai – nuo modelių architektūros iki aparatūros akseleratorių.

Kaip DI modeliai „susitraukia“ iki telefono mastelio?

Klasikiniai generatyviniai modeliai, tokie kaip GPT ar dideli vaizdų generavimo tinklai, turi šimtus milijardų parametrų. Toks modelis telefone būtų lyg bandymas sutalpinti superkompiuterį į delną. Todėl naudojamos kelios optimizavimo kryptys.

1. Modelių kvantavimas

Kvantavimas – tai technika, kai modelio svoriai ir aktyvacijos iš 32 bitų slankiojo kablelio (float32) sumažinami iki 8, 4 ar net 2 bitų tikslumo. Rezultatas:

• mažesnis modelio dydis atmintyje (kartais 4–8 kartus),
• mažesnis atminties pralaidumo poreikis,
• greitesnis vykdymas specializuotuose NPU (neuraliniuose procesoriuose),
• ženkliai mažesnės energijos sąnaudos.

Naujausios „Android“ ir „iOS“ bibliotekos (pvz., „TensorFlow Lite“, „Core ML“) palaiko int8 ir dar agresyvesnį kvantavimą, išlaikant priimtiną tikslumo lygį kasdienėms užduotims – kalbos atpažinimui, santraukų kūrimui, paprastam vaizdų apdorojimui.

2. Pruning ir struktūrinė optimizacija

Pruning – tai perteklinių ryšių ir neuronų „apkarpymas“. Tyrimai rodo, kad daugelyje didelių modelių esama „nereikalingų“ parametrų, kurių pašalinimas beveik nepablogina kokybės, bet:

• sumažina skaičiavimų skaičių,
• leidžia modelį greičiau vykdyti telefone,
• mažina energijos sąnaudas kiekvienam užklausos žingsniui.

Struktūrinis pruning (kai šalinami ištisi kanalai ar sluoksniai) ypač naudingas mobiliesiems akseleratoriams, nes leidžia efektyviau išnaudoti lygiagretumą.

3. Specializuotos architektūros mobiliesiems

Mobilieji DI modeliai naudoja kitokias architektūras nei milžiniški serveriniai modeliai. Pavyzdžiai:

• MobileNet ir EfficientNet – vaizdų atpažinimui,
• TinyBERT, DistilBERT – kalbos supratimui,
• Gemini Nano – „Google“ generatyvinis modelis, pritaikytas telefonams,
• maži transformeriai su sumažintu sluoksnių ir galvučių skaičiumi.

Šios architektūros kuriamos taip, kad maksimaliai išnaudotų mobilų CPU, GPU ir NPU, dirbtų su mažesne atmintimi ir naudotų mažiau operacijų vienam rezultatui.

4. Aparatūros akseleratoriai: NPU, DSP ir GPU

Šiuolaikiniai flagmanai turi bent tris skaičiavimo „stovyklas“:

• CPU – universalus, bet ne pats efektyviausias DI užduotims.
• GPU – geras lygiagretiems skaičiavimams, bet kartais energijos atžvilgiu brangesnis.
• NPU / Neural Engine / Hexagon DSP – specialiai DI optimizuoti blokai, atliekantys teraoperacijas per sekundę itin efektyviai.

„Apple“, „Qualcomm“, „Samsung“, „MediaTek“ ir kiti lustų gamintojai kasmet kelia NPU našumą ir efektyvumą, nes būtent čia bėga on-device DI modeliai. Kuo daugiau skaičiavimų perkelta į NPU, tuo mažesnė apkrova baterijai.

On-device DI ekosistemų lyderiai: Apple, Google, Samsung ir kiti

Nors on-device DI idėja bendra, kiekvienas gamintojas ją įgyvendina savaip. Pažiūrėkime į kelis pagrindinius žaidėjus.

Apple: „Apple Intelligence“ ir Neural Engine

„Apple“ jau kelis metus tyliai diegia on-device DI į „iPhone“ ir „iPad“: nuo nuotraukų atpažinimo iki „Siri“ pasiūlymų. 2024 m. pristatyta „Apple Intelligence“ platforma dar labiau pabrėžia vietinio DI svarbą.

• Neural Engine – atskiras DI blokas A ir M serijos lustuose, galintis atlikti trilijonus operacijų per sekundę, taupant energiją.
• „On-device“ apdorojami teksto santraukos, pranešimų klasifikavimas, nuotraukų paieška pagal turinį.
• Jautresnė informacija (pvz., asmeniniai duomenys) dažnai apdorojama tik telefone, o ne debesyje.

„Apple“ filosofija – kiek įmanoma daugiau DI funkcijų laikyti vietoje, naudoti optimizuotus, stipriai kvantuotus modelius ir taip išlaikyti tiek baterijos laiką, tiek privatumo standartus.

Google: „Gemini Nano“ ir „Android“ DI sluoksnis

„Google“ savo on-device DI viziją įgyvendina per „Gemini Nano“ ir „Android“ ekosistemą:

• Gemini Nano – mažas generatyvinis modelis, veikiantis tiesiai telefone („Pixel“ serijoje ir palaikomuose „Android“ įrenginiuose).
• Jis naudojamas išmaniajai klaviatūrai, automatinėms santraukoms, atsakymų pasiūlymams, net ir be interneto.
• „Android“ siūlo Neural Networks API, leidžiančią programėlėms naudoti NPU ir kitus akseleratorius energiją taupančiu režimu.

„Google“ siekia, kad kūrėjai galėtų diegti savo on-device DI modelius be gilaus aparatūros išmanymo – sistema pati parenka, kuris blokas (CPU, GPU ar NPU) bus efektyviausias.

Samsung ir kiti: „Galaxy AI“, „Snapdragon“ ir „Dimensity“

„Samsung Galaxy AI“, „Xiaomi“, „OPPO“, „HONOR“ ir kiti gamintojai remiasi tiek savo programine įranga, tiek lustų gamintojų sprendimais:

• „Snapdragon“ (Qualcomm) ir „Dimensity“ (MediaTek) turi galingus NPU su energijos valdymo režimais.
• On-device veikia balso vertėjai, tiesioginis subtitravimas, foto redagavimo DI („Generative Edit“, „Magic Eraser“ analogai).
• Dalis funkcijų hibridinės: paprastesni žingsniai atliekami telefone, sudėtingesni – debesyje.

Konkurencija skatina dar agresyvesnį modelių optimizavimą, nes kiekvienas papildomas DI triukas turi veikti sklandžiai ir neištuštinti baterijos iki pietų.

Kokią naudą vartotojui duoda energiją taupantys DI modeliai?

On-device DI nėra tik technologinis triukas – jis keičia kasdienę telefono patirtį.

1. Ilgesnis baterijos veikimo laikas

Kai DI modeliai veikia efektyviai ir maksimaliai išnaudoja NPU, jie:

• reikalauja mažiau energijos vienai užduočiai (pvz., santraukai sukurti),
• mažiau apkrauna procesorių ir sumažina šilumos išsiskyrimą,
• rečiau naudoja mobilųjį ryšį ar Wi‑Fi duomenų siuntimui.

Rezultatas – DI funkcijos tampa „nematomos“ baterijos rodiklyje: jos veikia fone, bet nevalgo liūto dalies energijos.

2. Didesnis privatumas ir saugumas

Kai jūsų balsas, nuotraukos ar žinutės apdorojamos tik telefone:

• jautri informacija nereikalauja siuntimo į serverį,
• sumažėja duomenų nutekėjimo rizika,
• aiškiau suprantama, kur keliauja duomenys (arba kad niekur nekeliauja).

Daug gamintojų dabar pabrėžia žymą „Processed on device“, kad parodytų, jog DI funkcija veikia vietoje ir yra energiškai efektyvi.

3. Greitesnė reakcija ir offline galimybės

On-device DI suteikia:

• mažą vėlinimą – atsakymas grįžta per milisekundes, nes nereikia tinklo kelionės,
• offline veikimą – vertimas, užrašų santraukos, nuotraukų paieška veikia net lėktuvo režimu,
• stabilumą – DI funkcijos nesugenda dėl prasto ryšio.

Tokios savybės ypač svarbios kelionėse, kaimo vietovėse ar tiesiog ten, kur mobilus ryšys brangus ar ribotas.

Ką tai reiškia programėlių kūrėjams?

On-device DI atveria naujų galimybių ir kelia naujus reikalavimus kūrėjams.

Galimybės

• Kurti DI funkcijas be nuolatinio serverio – mažesnės infrastruktūros sąnaudos.
• Siūlyti privatumą užtikrinančias paslaugas (pvz., žinučių analizę ar asmeninius asistentus, kurie nieko neišsiunčia į debesį).
• Pagerinti naudotojo patirtį – greitesnės reakcijos, mažiau trikdžių dėl ryšio.

Iššūkiai

• Reikia optimizuoti modelius (pruning, kvantavimas), kad jie tilptų į telefono atmintį.
• Tenka prisitaikyti prie skirtingų aparatinės įrangos konfigūracijų (skirtingi NPU, GPU, RAM kiekiai).
• Būtina balansuoti tarp kokybės ir efektyvumo – per daug „apkarpytas“ modelis gali suprastinti rezultatą.

Dėl to vis svarbesni tampa įrankiai, tokie kaip „TensorFlow Lite“, „ONNX Runtime“, „Core ML“, „MediaPipe“, kurie padeda automatizuoti modelių suspaudimą ir pritaikymą įvairiems įrenginiams.

Kaip atpažinti, ar jūsų telefonas naudoja on-device DI?

Ne visada akivaizdu, ar DI funkcija veikia vietoje, ar debesyje. Yra keli praktiniai požymiai:

• Funkcija veikia be interneto – didelė tikimybė, kad tai on-device DI.
• Telefonas nurodo „Processed on device“ ar panašią žymą nustatymuose.
• Naudojant funkciją nėra pastebimo duomenų srauto (tikrinama per duomenų naudojimo statistiką).
• Gamintojas reklamuoja „Neural Engine“, „NPU“, „AI Engine“ ir pabrėžia privatumo aspektą.

Vis daugiau DI funkcijų taps hibridinės: bazinė versija veiks vietoje, o sudėtingesni užklausų tipai bus siunčiami į debesį, jei naudotojas sutinka.

Ateitis: dar mažesni modeliai ir personalizuotas DI telefone

Per artimiausius 2–3 metus tikėtina kelių ryškių tendencijų tąsa:

• Personalizuotas DI: modeliai bus treniruojami ir priderinami tiesiog telefone pagal jūsų įpročius, neišsiunčiant žalių duomenų.
• Federuotas mokymas: telefonai mokysis lokaliai, o į serverį siųs tik apibendrintas, anonimizuotas atnaujinimų versijas.
• Dar agresyvesnis kvantavimas: 4 bitų ir mišraus tikslumo modeliai leis sudėtingesnį DI net vidutinės klasės įrenginiuose.
• Daugiau DI akseleratorių: NPU taps tokie pat savaime suprantami kaip šiandien GPU, o energijos valdymas bus dar išmanesnis.

Vartotojui tai reikš asmeninius asistentus, kurie iš tiesų „pažįsta“ jų elgesį, tačiau išsaugo privatumą ir neištuština baterijos.

Išvados

Energiją taupantys on-device DI modeliai keičia išmaniųjų telefonų kraštovaizdį. Tai ne tik techninis pasiekimas, bet ir naujas santykis su duomenimis: daugiau privatumo, mažiau priklausomybės nuo debesijos ir greitesnė, sklandesnė patirtis.

Kuo labiau DI persikelia į telefoną, tuo svarbesni tampa efektyvūs modeliai ir išmanūs akseleratoriai. Nuo „Apple Intelligence“ ir „Gemini Nano“ iki „Galaxy AI“ – visi didieji žaidėjai sutaria dėl vieno: ateities DI bus ne tik protingas, bet ir energiškai sąmoningas.

DUK apie energiją taupančius on-device DI modelius

Ar on-device DI visada geriau už debesijos DI?

Nebūtinai. On-device DI puikiai tinka užduotims, kurios reikalauja mažo vėlinimo, privatumo ir vidutinio sudėtingumo. Labai dideliems modeliams ar masinei analizės apimčiai debesija vis dar efektyvesnė. Optimalus sprendimas dažnai yra hibridinis: paprastesni žingsniai telefone, sudėtingesni – serveryje.

Ar on-device DI greičiau iškrauna bateriją?

Jei modeliai neoptimizuoti – taip, jie gali smarkiai apkrauti procesorių ir bateriją. Tačiau šiuolaikiniai energiją taupantys modeliai, veikiantys per NPU ir kvantavimą, dažnai net sutaupo energijos, nes sumažina tinklo naudojimą ir leidžia užduotis atlikti greičiau.

Ar senesni išmanieji telefonai gali naudoti on-device DI?

Dalį on-device DI funkcijų galima paleisti ir senesniuose telefonuose, bet be specializuoto NPU jos bus lėtesnės ir mažiau efektyvios energijai. Daug naujausių funkcijų (pvz., generatyvinis redagavimas, realaus laiko vertimas) dažnai ribojamos naujesniems modeliams, kuriuose yra galingesni DI akseleratoriai.