Gemini Nano får prestandaboost på Pixel med ny metodik

Vad har hänt

Google Research har utvecklat och implementerat Frozen Multi-token Prediction (FMP) för att effektivisera exekveringen av Gemini Nano-modeller lokalt på Pixel-smartphones. Denna metod fryser delar av modellen under inferens, vilket minskar beräkningsbehovet. Resultatet är en signifikant minskning av exekveringstiden för generativa AI-uppgifter, samt en förbättrad energieffektivitet.

Varför det spelar roll

Denna optimering är avgörande för att möjliggöra avancerade generativa AI-funktioner direkt på enheten, utan beroende av molnbaserad bearbetning. Detta förbättrar användarupplevelsen genom snabbare svarstider och ökad integritet, då data inte behöver lämna enheten. Genom att minska energiförbrukningen förlängs även batteritiden vid användning av AI-funktioner.

Vem påverkas

Utvecklingen påverkar främst användare av Google Pixel-smartphones som får tillgång till snabbare och mer energieffektiva AI-funktioner drivna av Gemini Nano. Även AI-utvecklare som arbetar med on-device AI-modeller kan dra nytta av de insikter och optimeringar som Google Research presenterar, för att bygga mer effektiva applikationer.

EU-status

Prestandaförbättringen av Gemini Nano på Pixel-enheter är relevant för EU-användare genom att de får tillgång till mer funktionella och energisnåla AI-applikationer. On-device AI bidrar även till ökad dataintegritet, då data inte skickas utanför enheten, vilket är i linje med GDPR:s principer.

Mer att veta

FMP-metoden kan potentiellt tillämpas på andra små språkmodeller (SLM:er) och enheter, vilket skulle kunna bredda tillgången till effektiv on-device AI ytterligare.