A PyTorch Foundation két új projektet vett fel: a Meta által hozzájárult Heliont, amely egy eszköz gépi tanulási kernelk írásához, valamint a Hugging Face által hozzájárult Safetensorst, egy biztonságos modelfájl-formátumot.

Mindkettőt a párizsi PyTorch Conference Europe rendezvényen jelentették be. A két projekt most a DeepSpeed, a Ray, a vLLM és maga a PyTorch mellé kerül a foundation-hosted projects listájára.

A foundation emellett megerősítette, hogy a Meta ExecuTorch nevű megoldása, amely PyTorch modellek futtatását teszi lehetővé edge és on-device környezetekben, beolvad a PyTorch Core-ba.

Ha azt keresed, miért történik mindez, a válasz elég egyszerű.

Mindkét lépés annak a trendnek a része, hogy az AI csapatok egyre inkább a modellek éles környezetbe juttatására koncentrálnak, nem csak a betanításukra. A kernelk hatékony futtatása különféle hardvereken, illetve a modelfájlok biztonságos betöltése két olyan probléma, amivel az ökoszisztéma már egy ideje küzd.

A Helion csatlakozásáról Matt White, a PyTorch Foundation CTO-ja ezt mondta:

A Helion sokkal produktívabb utat ad a mérnököknek nagy teljesítményű kernelk írásához, beleértve az automatikus hangolást is: egyetlen kernel esetén több száz lehetséges implementáció jelöltjei között keres optimális megoldást.

A PyTorch Foundation közösségének részeként ez a projekt megerősíti egy nyílt AI stack alapjait, amely hordozhatóbb, és a közösség számára jelentősen könnyebb rá építeni.

Luc Georges, a Hugging Face Chief Open Source Officer-e hasonló lelkesedéssel beszélt:

Az, hogy a Safetensors csatlakozik a PyTorch Foundationhöz, fontos lépés afelé, hogy alapértelmezetten mindenhol egy biztonságos szerializációs formátumot használjunk. Az új ökoszisztéma és a nagyobb láthatóság, amit a library ezzel a lépéssel nyer, tovább erősíti a biztonsági garanciáit és a használhatóságát. A Safetensors egy jól bejáratott projekt, amelyet az ökoszisztéma széles körben átvett, de továbbra is úgy gondoljuk, hogy még csak az életciklusa legelején jár: a következő hónapokban jelentős növekedés várható, és a következő chapter számára nem is tudnánk jobb otthont elképzelni, mint a PyTorch Foundationt.

Mit jelent ez?

A PyTorch Foundation a Linux Foundation égisze alatt működő szervezet. Gyártófüggetlen „otthont” biztosít a PyTorch és egyre bővülő számú nyílt forráskódú AI projekt számára. A fő cél az, hogy az irányítás és a műszaki irányvonal a közösség kezében maradjon, ne pedig egyetlen cég szeszélyeitől függjön.

A Linux Foundation a tágabb ernyőszervezet, amely több mint 1000 nyílt forráskódú projekt gondozását végzi: a Linux kerneltől és a Kubernetes-től kezdve egészen az OpenSSF-ig. A PyTorch Foundation ebbe a keretbe illeszkedik, így a projektjei hozzáférnek az LF irányítási infrastruktúrájához és felügyeletéhez.

A Helion egy olyan eszközként érkezik, amely jelentősen kevésbé fájdalmassá teszi az AI modelleket GPU-kon futtató alacsony szintű kód megírását. Sok monoton alapmunkát automatikusan elvégez, és magától megtalálja a hardveredhez legjobb beállítást.

A Safetensors ezzel szemben egy fájlformátum AI modellek súlyainak tárolására és megosztására, amely nem hordozza a régebbi formátumok biztonsági terheit.