A Canonical bejelentette, hogy az NVIDIA új Nemotron 3.5 Lightning AI modellje, egy 30 milliárd paraméteres hibrid Mixture-of-Experts modell mostantól elérhető Ubuntu-on. A felhasználók egy készre csomagolt inference Snap segítségével, egyetlen paranccsal telepíthetik.

Ha nem követted az összes új AI modell megjelenését, a Nemotron 3.5 Lightning az NVIDIA kompakt, nyílt AI modellje, amelyet az autonóm AI ügynökök ismétlődő feladatainak kezelésére terveztek.

Ahelyett, hogy minden apró feladatra egy hatalmas, következtetésre kihegyezett modellt használnának, ez a modell olyan dolgokat intéz, mint az eszközhívások, az eredmények ellenőrzése, a kimenet formázása és más gyakori műveletek, ahol a sebesség és a hatékonyság fontosabb, mint a mélyebb érvelés.

A Canonical jelentősen leegyszerűsítette a modell telepítését Ubuntu-on. Nem kell saját magadnak beállítani és konfigurálni az inference szoftvert: elég telepíteni a Canonical előre csomagolt inference runtime-ját a következő paranccsal: sudo Snap install nemotron-3-5-lightning.

A Canonical szerint az inference snapek előre csomagolt AI runtime-ok, amelyeket a Snap ökoszisztémán keresztül osztanak meg, így a felhasználók egységes környezetet kapnak a támogatott rendszereken. A Nemotron csomag már a rajtnál elérhető, és kompatibilis NVIDIA-alapú munkaállomásokon, szervereken és edge eszközökön működik.

A modell legfeljebb egymillió tokenes context window-t támogat, ami segít abban, hogy a hosszabb ideig futó AI ügynökök megőrizzék az információt az összetett, több lépésből álló feladatok során. A Canonical azt is kiemeli, hogy a Snap csomag egységes runtime-ot, biztonságos futtatást, ellenőrzött terjesztést, automatikus frissítéseket és kevesebb karbantartást kínál.

A Nemotron 3.5 Lightning teljesen testreszabható. Az NVIDIA elérhetővé teszi a fejlesztők számára a modell súlyait, a tanító adatokat és a recepteket, így nem csak távoli szolgáltatásként használhatják, hanem saját igényeikre is finomhangolhatják. Az NVIDIA szerint a modell futtatható helyben, a felhőben vagy adatközpontokban.

A modell bizonyos feladatoknál akár négyszer gyorsabb is lehet a hasonló modelleknél, mivel kifejezetten folyamatosan működő ügynökökre tervezték. Így az egyszerű műveleteknek nem kell egy jóval nagyobb modellen átfutniuk, ami lelassítaná a működést és több erőforrást igényelne.

További részletekért olvasd el a Canonical hivatalos bejelentését.