Ha egy AI ügynök hozzáférést kap egy cég rendszereihez, adódik a kérdés: ki állítja meg, ha olyasmit tenne, amit nem szabad? Más dolog megkérni az ügynököt, hogy kövesse az utasításokat, és megint más olyan kontrollokat kialakítani, amelyek akkor is működnek, amikor a szoftver rossz döntést hoz.

A Red Hat és az NVIDIA ezt az aggodalmat veszi alapul, amikor bővíti együttműködését az ügynökök biztonsága, az AI modellekhez való hozzáférés és a hardvertámogatás területén. A Berlinben tartott NVIDIA GTC rendezvényen bejelentett újdonságok középpontjában a Red Hat AI Factory with NVIDIA áll, az ügynökök futásidejű biztonságán végzett munka alapját pedig az OpenShell adja.

A bejelentés legérdekesebb része egyben a legegyszerűbben megfogható is: egy AI ügynöknek nem szabad magának eldöntenie, hogy a saját lépései átlépnek-e egy határt.

„Egy ügynöknek nem szabad a saját határait érvényesítenie — ezeknek a kontrolloknak az ügynökön kívül, a runtime-ban és az alatta lévő infrastruktúrában a helyük. Az NVIDIA kibővített együttműködése a Red Hattel egy biztonságos ügynök runtime-ot, szabályozott inference-t és mély hardvertámogatást ötvöz, hogy a vállalatok megbízható, nagy teljesítményű tervrajzot kapjanak az ügynökalapú AI-hoz a nyílt hibrid felhőben” – mondta John Fanelli, az NVIDIA Enterprise Software részlegének alelnöke.

Ez józan kiindulópont. Ha egy cég olyan szoftvernek ad cselekvési jogot, amely önállóan léphet, akkor független módon is korlátoznia kell ezeket a lépéseket. Attól, hogy egy modell valamit elfogadhatónak ítél, az még nem lesz automatikusan megengedett.

A Red Hat az NVIDIA-val közösen dolgozik az OpenShell Reference Architecture kialakításán, és ezt integrációkkal támogatja a Red Hat AI Factory with NVIDIA platformban. A két cég az OpenShellt nyílt forráskódú ügynök-sandbox runtime-ként írja le, amelyhez mindketten vezető közreműködőként járulnak hozzá. A munka célja egységes védőkorlátok, átlátható ügynökműködés és futásidejű biztonság kialakítása.

A sandbox egy korlátozott környezetet ad a szoftvernek a működéshez. Az autonóm ügynököket vizsgáló vállalatok számára ez vonzó megközelítés: elég mozgásteret ad az ügynöknek a rábízott feladat elvégzéséhez, miközben határokat húz köré. A hatékonyság továbbra is a kontrollokon és azon múlik, hogyan állítják be az adminisztrátorok.

Érdemes figyelni az elérhetőség részleteire is. A Red Hat szerint aktívan együtt dolgozik az NVIDIA-val és a közösséggel azon, hogy az OpenShell Reference Architecture-t natív platformképességként integrálja a Red Hat AI és a Red Hat AI Factory with NVIDIA megoldásokba. A bejelentésnek ez a része folyamatban lévő munkát ír le, ezért az ügyfelek ne feltételezzék, hogy a teljes vízió már most beépített funkcióként rendelkezésre áll.

Az együttműködés arra is kiterjed, hogyan férnek hozzá a dolgozók és az alkalmazások az AI modellekhez. A közös referencia-dizájn önkiszolgáló modellfelfedezést, hozzáférési szabályokat, sebességkorlátozást, előfizetési jogosultságokat, kvótákat és költség-hozzárendelést tartalmaz. Egyszerűbben fogalmazva: a vállalatok egy tervrajzot kapnak arra, hogyan szabályozzák, ki melyik modellt használhatja, mennyit fogyaszthat belőle, és hová könyveljék el a költségeket.

A dizájn olyan technológiákat kombinál, mint a vLLM, az llm-d, az NVIDIA Dynamo és az NVIDIA NIM microservice-ek. A Red Hat és az NVIDIA szerint ha elválasztják a hozzáférés-szabályozást a modellek futtatásától, a szervezetek úgy is megőrizhetik az üzemeltetési kontrollt, hogy közben hibrid felhős környezetekben szolgálják ki a modelleket.

Ez a szétválasztás gyakorlatban is logikus. A modellhasználati jogosultság, a felhasználásra szánt költségkeret és a futtatáshoz szükséges számítási kapacitás összefüggő, de mindegyikhez külön kontrollokra van szükség. Egy ügynök, amelyik látszólag a rábízott feladaton belül marad, akkor is nagyon drágává válhat, ha a működését nem felügyelik szorosan.

A modellek oldalán a Red Hat azt mondja, hogy az NVIDIA Nemotron 3.5 Super VL teljes körűen támogatott vLLM-ben és Red Hat AI Factory with NVIDIA környezetben. Emellett kiemeli a modell-tömörítési és spekulatív dekódolási technikákat, amelyek célja, hogy csökkentsék a válaszidőt, miközben megőrzik a pontosságot. A bejelentés nem közöl elég benchmark-részletet ahhoz, hogy ezeket a teljesítményre vonatkozó állításokat önállóan meg lehessen ítélni.

A hardvertámogatás teszi teljessé a hírt. A Red Hat a megjelenés idejére célul tűzte ki a közelgő NVIDIA architektúrák, köztük a Vera Rubin támogatását, és azt állítja, hogy a Red Hat Enterprise Linux for NVIDIA már támogatja a Vera CPU-kat. Ezeket a processzorokat többek között ügynökök eszköz-orchesztrációjára és sandboxos futtatására szánt munkaterhelésekhez célozzák.

Számomra a biztonsági munka a hangsúlyosabb történet. Az autonóm AI-t fontolgató vállalatoknak tudniuk kell, mit érhet el egy ügynök, milyen műveleteket enged meg a környező infrastruktúra, és hogyan vizsgálhatják felül az ügynök viselkedését. A gyorsabb hardver ezekre a kérdésekre nem ad választ.

A Red Hat és az NVIDIA hasznos megközelítést vázol fel, de egy referencia-architektúra önmagában nem bizonyítja, hogy egy ügynök biztonságos. Az igazi próba az, hogy a bevezetett kontrollok akkor is működnek-e, amikor az ügynök rossz döntést hoz.