Ahogy korábban a DeepSpeech esetében is tették és más szoftverprojektek kapcsán. Szerencsére most nem erről van szó: megjelent a Llamafile 0.10, méghozzá néhány jelentős frissítéssel. A Llamafile a Mozilla.ai projektje, amelynek célja, hogy a nagy nyelvi modelleket egyetlen fájlként lehessen terjeszteni és futtatni. Egyetlen Llamafile-lal több platformon is futtathatod az LLM-et, különféle hardvertámogatással. A céljuk, hogy az LLM-eket könnyebben elérhetővé és kényelmesebben használhatóvá tegyék a fejlesztők és a végfelhasználók számára is.

A Llamafile 0.10 sok változást hoz, amelyek a tavaly májusi előző kiadás óta gyűltek össze. Új build rendszert kapott a Llamafile, új módokat támogat, frissítették a Llama.cpp-t, a Whisper.cpp-t almodulként integrálták, a Stable Diffusion támogatása szintén almodulként érkezik, javult a BSD támogatás, és még számos más változás is történt. Eddig a Llamafile a TUI chatet és a server modult támogatta. A Llamafile 0.10-ben már elérhető egy hibrid, szöveges felhasználói felületű chat/server mód, egy CLI mód egyszeri kérdésekhez, valamint fejlesztett naplózás és jobb argumentumkezelés.

Újdonság a „--image” argumentum is, amellyel képeket adhatsz meg. A Metal GPU támogatás macOS-en most már alapból működik, visszahozták az NVIDIA CUDA támogatást, és több más fejlesztés is érkezett.

További részletek a Llamafile 0.10-ről itt találhatók: dokumentáció. Letöltések és további információk a Llamafile 0.10-ről itt: GitHub.