A Perplexity új, helyben futó mesterségesintelligencia-motort készített Apple Siliconra. A cég szerint ezzel a motorral egy nagy Qwen modellt jóval gyorsabban futtat, mint az Apple MLX-LM szoftvere. A Lily névre keresztelt motort később nyílt forráskódúként adják ki, de Perplexity még nem jelentette be, mikor lesz elérhető a kód.

A Lily a Perplexity Hybrid Compute rendszerének helyi komponense Macen. A funkció megosztja a munkát a felhős modellek és a közvetlenül a gépen futó AI modell között. A felhős modellek végzik az erőforrás-igényes kutatást és következtetést, a helyi modell pedig a privát fájlokkal és alkalmazásokkal dolgozik, amelyeket a felhasználók nem szívesen küldenének ki.

Ez a felosztás csak akkor működik jól, ha a helyi modell tartani tudja a tempót. Ha minden válaszra több másodpercet kellene várni, a Hybrid Compute két különálló terméknek érződne. Perplexity ezért kifejezetten Apple Siliconra fejlesztett ki egy inference motort, ahelyett hogy teljesen egy meglévő, általános célú frameworkre támaszkodott volna.

Az Apple az MLX-et kínálja, egy nyílt forráskódú gépi tanulási frameworköt, amelyet az M-sorozatú processzorokkal szerelt Mac gépekre terveztek. Erre épül az MLX-LM, amely eszközöket ad nagy nyelvi modellek betöltéséhez és futtatásához. Számos modellt és architektúrát támogat, ezért hasznos azoknak a fejlesztőknek, akiknek fontos a rugalmasság.

A Lily ezzel szemben szűkebb területre koncentrál. Perplexity kifejezetten Apple Siliconra és a Qwen3.6-35B-A3B modellre tervezte a motort. Ez egy mixture-of-experts modell 35 milliárd paraméterrel. Egy tokenhez azonban csak körülbelül 3 milliárd paramétert aktivál, így kevesebb számításra van szükség.

A Perplexity motorja Rust runtime-ot és egyedi Metal kerneleket használ, amelyek a Qwen modellhez igazított műveleteket hajtanak végre. Sem a PyTorch, sem az MLX nem szerepel a futtatási láncban. A Lily OpenAI-kompatibilis chat completion API-t is tartalmaz, ami megkönnyíti az integrációt azokkal a szoftverekkel, amelyeket már ehhez az interfészhez terveztek.

A Perplexity mérései szerint a Lily átlagosan 23 százalékkal nagyobb áteresztőképességet ért el a promptok feldolgozásánál, és 35 százalékkal nagyobbat a tokenek generálásánál, mint az MLX-LM. A cég mindkét motort egy M5 Max processzorral, 40 magos GPU-val és 128 GB egyesített memóriával szerelt MacBook Prón tesztelte.

4K-tokenes prompt és 4K-tokenes kontextus mellett a Lily 5 749,9 tokent dolgozott fel másodpercenként, és 186,6 tokent generált másodpercenként. Ugyanilyen körülmények között az MLX-LM 4 737,5 prompt tokent ért el másodpercenként, és 140,9 tokent generált másodpercenként.

256 és 128K token közötti kontextushosszaknál a Lily előnye 12 és 42 százalék között mozgott a promptfeldolgozásnál, és 31–37 százalék között a token-generálásnál. A Perplexity szerint a motor minden vizsgált kontextushosszon jobban teljesített.

A számok jól hangzanak, de nem arról van szó, hogy a Perplexity egyszerűen lecserélte volna az MLX-et. Az MLX-LM-nek sokféle modellt kell kiszolgálnia, míg a Lily a futtatókörnyezet szinte minden elemét egyetlen, konkrét Qwen modell felépítése köré szervezheti. Ez a szűkebb fókusz olyan optimalizálási lehetőségeket ad a Perplexitynek, amelyeket egy általánosabb framework nem mindig tud kihasználni anélkül, hogy feladná a kompatibilitást.

A Perplexity több munkát vitt át a GPU-ra, csökkentette a CPU és a GPU közti szinkronizációt, és elkerülte bizonyos ideiglenes adatok kiírását az egyesített memóriába. Emellett módosította, hogyan kezeli a Lily az attentiont, ahogy nő a kontextus hossza. 128K tokennél az egyik ilyen attention-változtatás 40,2 százalékkal javította a dekódolási teljesítményt a Lily olyan verziójához képest, amely még nem használta ezt a megoldást.

Érdekes módon nem minden gyakran használt MI-technika hozott előnyt. A spekulatív dekódolás – amikor egy kisebb modell javasol tokeneket, amelyeket a nagyobb modell ellenőriz – 18 százalékkal lassította a Lily egykéréses dekódolási feladatát. A Perplexity szerint a plusz munka és a modell „szakértői” közötti szabálytalan útvonalválasztás végül nagyobb terhet jelentett, mint amennyi erőforrást megspórolt volna.

A Qwen modell normál esetben körülbelül 70 GB memóriát igényelne a súlyok tárolásához bfloat16 formátumban. A 4 bites kvantálás 19,4 GB-ra zsugorítja ezt a checkpointot, így a modell elfér a Mac egyesített memóriájában. Még így is kifejezetten erőforrás-igényes modellről van szó, a Perplexity pedig az egyik legerősebb és legdrágább Apple laptop-konfiguráción mutatta be.

Az eredmények ráadásul közvetlenül a Perplexitytől származnak. A független fejlesztők csak akkor tudják majd megismételni ezeket a méréseket, ha a cég kiadja a Lily forráskódját, ezért ezeket az értékeket inkább ígéretes belső benchmarkoknak érdemes tekinteni, nem pedig végleges ténynek.

Mindezek ellenére a Lily jól mutatja, miért lett az Apple Silicon vonzó platform a helyben futó MI-hez. Az egyesített memória lehetővé teszi, hogy egy Mac viszonylag nagy modelleket tartson a memóriában, a hardverre szabott szoftver pedig csökkentheti az adatok mozgatását, és több munkát tarthat a GPU-n.

A Lily a Perplexity Computeren túl is hasznos lehet, ha a támogatás kiterjed további modellekre és M-szériás processzorokra. Egyelőre azonban a fejlesztőknek csak a Perplexity benchmarkjai és technikai magyarázata áll rendelkezésre, nem pedig olyan kód, amelyet önállóan tesztelhetnek.