Az AI chatek tudnak butaságokat, sértő vagy veszélyesen pontatlan dolgokat mondani. Az AI ügynökök viszont ennél jóval aggasztóbb lehetőséget hoznak: képesek ténylegesen buta és veszélyes dolgokat csinálni.

Az Ant Group szerint erre megvan a megoldása. A cég AI Security Lab részlege kiadta a SingGuard-NSFA nevű, nyílt forráskódú security frameworköt, amelynek feladata, hogy még végrehajtás előtt ellenőrizze, mit akar tenni egy autonóm AI ügynök.

Ez a különbség nem mellékes. Egy hagyományos chatbot általában megvárja a kérdést, majd választ ad rá. Egy AI ügynök ezzel szemben böngészhet weboldalakat, hozzáférhet fájlokhoz, külső eszközöket hívhat meg, kódot futtathat, üzleti rendszerekkel léphet kapcsolatba, vagy egymás után több lépést is végrehajthat anélkül, hogy minden egyes lépésnél jóváhagyást kérne.

Ha egy AI modell ilyen képességeket kap, sokkal hasznosabbá válhat. Ugyanakkor jóval nagyobb biztonsági kockázatot is teremt.

Egy rosszindulatú utasítás elrejtve egy weboldalban, dokumentumban, e-mailben vagy egy eszköz válaszában prompt injection útján manipulálhatja az ügynököt. Ilyenkor nem csak furcsa választ adhat: kiszivárogtathat bizalmas adatokat, visszaélhet hitelesítő adatokkal, módosíthat fájlokat, vagy jogosulatlan parancsot futtathat.

A SingGuard-NSFA egyfajta biztonsági ellenőrzőpontként működik az ügynök és az általa elérhető rendszerek között. A framework a kéréseket és válaszokat vizsgálja, és megpróbálja kiszűrni a veszélyes viselkedést, mielőtt egy autonóm művelet ténylegesen lefutna.

Az Ant Group szerint a framework 185 fenyegetési forgatókönyvet fed le, hét kategóriába sorolva. Ide tartoznak többek között a prompt injection, a rosszindulatú kód futtatása, a jogosultságokkal való visszaélés, a célok eltérítése és a leGitimate eszközök rosszindulatú használata.

Ezek nem a SingGuard-NSFA marketingjéhez kitalált elméleti kategóriák. Az OWASP Top 10 for Agentic Applications listája az ügynök céljainak eltérítését, az eszközök helytelen használatát, a személyazonossággal és jogosultságokkal való visszaélést, a váratlan kódfuttatást és a „megvadult” ügynököket sorolja az autonóm AI rendszerek legkomolyabb kockázatai közé.

A framework egy benchmarkot is tartalmaz, amely közel 100 000 tesztmintából áll, 133 nyelven. Az Ant Group több modellt is kiad inclusionAI szervezetén keresztül, 0,8 milliárdtól 9 milliárd paraméterig terjedő változatokkal.

A cég állítása szerint a legkisebb, 0,8B-s modell is felveszi a versenyt olyan rivális modellekkel, amelyek nagyjából 8 milliárd paramétert tartalmaznak. Az Ant Group azt is mondja, hogy a 9B-s változat körülbelül 50 milliszekundumos késleltetéssel képes észlelni a fenyegetéseket, ami elvben elég gyors lehet valós idejű, éles használathoz.

Ezek az adatok jól hangzanak, de egyelőre a cég állításaként kell kezelni őket. A SingGuard-NSFA kutatási publikációja még nem érhető el, és a független kutatók sem kaptak sok időt a modellek alapos tesztelésére. Egy biztonsági rendszer kiválóan teljesíthet egy ismert benchmarkon, miközben mégis elvéti azokat a támadásokat, amelyek szokatlan megfogalmazást vagy új technikákat használnak.

Prompt injection esetén ez különösen lényeges. A támadóknak nem kell ugyanazokat a nyilvánvaló kifejezéseket használniuk, amelyek a tanító adathalmazban szerepelnek. Elrejthetik a rosszindulatú utasításokat, több forrás között szétszórhatják, kódolhatják, lefordíthatják más nyelvre, vagy olyan tartalomba ágyazhatják, amely első ránézésre ártalmatlannak tűnik.

Van egy alapvetőbb korlát is. Egy AI „korlát” továbbra is egy AI modell, amelytől azt várjuk, hogy felismerje, mikor készül egy másik AI modell veszélyesen viselkedni. Egy második modell beiktatása csökkentheti a kockázatot, de önmagában nem hoz létre megbízható biztonsági határvonalat.

Az ügynököket bevezető cégeknek továbbra is korlátozniuk kell a jogosultságokat, el kell különíteniük az érzékeny rendszereket, ellenőrizniük kell az eszközök bemeneteit, naplózniuk kell a tevékenységet, és a magas kockázatú műveletekhez emberi jóváhagyást kell kérniük. Egy korlát csak egy védelmi réteg legyen, ne pedig ürügy arra, hogy egy autonóm ügynök korlátlan hozzáférést kapjon mindenhez.

A SingGuard-NSFA ennek ellenére ígéretes, nyílt forráskódú hozzájárulásnak tűnik. A modellek és a kód nyilvánosan elérhető through GitHub és a Hugging Face oldalán, így a fejlesztők és biztonsági kutatók maguk vizsgálhatják meg a rendszert, nem kell egy zárt, kereskedelmi szolgáltatásra hagyatkozniuk.

Az Ant Groupnak komoly tapasztalata van fizetési és pénzügyi rendszerek védelmében, és azt állítja, hogy a kapcsolódó security technológiát már használják többek között az Alipay AI Pay és az AQ egészségügyi alkalmazásban is. Ez a háttér némi hitelességet ad a projektnek, bár az, hogy az Ant Group saját rendszereiben élesben használja, még nem bizonyítja, hogy a nyílt forráskódú framework minden külső környezetben ugyanilyen jól teljesít majd.

A SingGuard-NSFA-hoz hasonló eszközök megjelenése egy kellemetlen valóságra is rávilágít az autonóm AI felé tartó versenyben. A technológiai cégek versenyt futnak azért, hogy a modellek hozzáférjenek böngészőkhöz, terminálokhoz, vállalati adatokhoz és valós szolgáltatásokhoz, miközben az iparág még mindig azon dolgozik, hogyan akadályozza meg, hogy ezeket a modelleket manipulálják.

Egy security réteg nyílt forráskódúvá tétele üdvözlendő lépés. Azt állítani, hogy ezzel megoldottuk a problémát, viszont felelőtlenség lenne.