Egy érdekes kísérlet szerint az iPhone 17 Pro képes volt egy hatalmas, 400 milliárd paraméteres AI-modellt helyben futtatni, ami elsőre szinte lehetetlennek hangzik. Az ilyen méretű nyelvi modellek normál esetben több mint 200 GB memóriát igényelnek, miközben egy telefonban ennek csak töredéke áll rendelkezésre.
A bemutató egy Flash-MoE nevű nyílt forráskódú projekthez kapcsolódik, amelyet egy fejlesztő osztott meg. A trükk az, hogy a modell nem kerül egyszerre a memóriába. A rendszer csak a szükséges részeket tölti be a háttértárról, és úgynevezett Mixture of Experts megoldást használ, ahol a modellnek mindig csak egy kis része aktív. Így elméletben olyan AI is futtatható, amelyhez egyébként jóval nagyobb hardver kellene.
A megoldás azonban komoly kompromisszumokkal jár. A teszt során a modell körülbelül 0,6 tokent generált másodpercenként, ami azt jelenti, hogy akár több másodpercet is várni kell egyetlen szó megjelenésére. Ez a gyakorlatban nagyon lassú működést jelent, és az energiafogyasztás is jelentős lehet ilyen terhelés mellett. A kísérlet inkább technológiai demonstrációnak számít, mint valódi funkciónak, de jól mutatja, milyen irányba halad a mobilos AI. Az, hogy egy ekkora modell egyáltalán képes elindulni egy telefonon, néhány éve még elképzelhetetlen lett volna, még akkor is, ha a jelenlegi formában nem igazán használható.
Valószínűleg még jó ideig a kisebb, optimalizált modellek maradnak a mindennapi használatban, de az ilyen próbák azt jelzik, hogy a jövőben a mobilok egyre több AI-feladatot tudhatnak majd teljesen helyben, felhő nélkül is.
