A Llamafile a Mozilla AI megoldása azokra az egyszerűen használható, egyetlen fájlból álló LLM-ekre, amelyek különféle hardvereken és operációs rendszereken is működnek. A Llamafile 0.10.4 kiadásban most megjelent a Transcribefile, egy új komponens, amely a nemrég bejelentett Transcribe.cpp projektre épül.

Június végén a Mozilla AI bejelentette a Transcribe.cpp hivatalos kiadását. A Transcribe.cpp egy C/C++ alapú beszédfelismerő (speech-to-text) inference könyvtár, amely a beszéd szöveggé alakító modellek világában hasonló szerepet tölt be, mint a Llama.cpp. A Transcribe.cpp a GGML-re épül, és gyorsítható többek között Vulkan, NVIDIA CUDA és Apple Metal segítségével. A mostani Llamafile 0.10.4 kiadásban a Transcribefile egyetlen fájlból fordítható formában kínálja a Transcribe.cpp-t, és több mint 16 TTS modellt támogat.

A Llamafile 0.10.4 frissítette a Llama.cpp upstream buildet, néhány fejlesztést hozott a Vulkan API és az AMD ROCm gyorsítás kezelésében, HTTPS letöltési támogatást, valamint pledge/SECCOMP sandboxolási támogatást is kapott.

A Llamafile 0.10.4 új kiadásának letöltése és további részletek a GitHub oldalon érhetők el.