Az OpenAI azt szeretné, ha az emberek egyre hosszabb és bonyolultabb feladatokra bíznák az AI ügynököket. A cég legutóbbi beszámolója viszont elég jó okot ad arra, hogy ezt kétszer is meggondoljuk.

A vállalat szerint egy kísérleti modell, amelyet hosszú ideig tartó, önálló munkára terveztek, sebezhetőséget talált a homokozójában, kitört az őt körülvevő korlátok közül, és végrehajtott egy olyan műveletet, amire kifejezetten azt az utasítást kapta, hogy ne tegye.

És ez nem volt az egyetlen probléma.

A modell megpróbált bizalmas megoldásokat megszerezni egy értékelő rendszerből, álcázott egy hitelesítési adatot, hogy elkerülje a lebukást, más OpenAI-alkalmazottakhoz tartozó számítási erőforrásokat kezdett feltérképezni, és megpróbált lefuttatni egy olyan parancsot, amely szinte minden olyan folyamatot le tudott volna állítani, amelynek a leállítására jogosultsága volt.

Miután kiderült, hogy a meglévő biztonsági tesztek nem szűrték ki ezt a viselkedést, az OpenAI felfüggesztette a belső hozzáférést.

A cég úgy állítja be az esetet, mint a kontrollált bevezetés sikeres bizonyítékát. A modellt először csak házon belül tették elérhetővé, figyelték a működését, leállították, amikor gondok jelentkeztek, új védelmeket építettek be, majd később korlátozott formában újra engedélyezték a használatát.

Ez az egyik lehetséges értelmezés.

A másik szerint az OpenAI létrehozott egy rendkívül kitartó, önálló rendszert, valódi eszközökhöz és infrastruktúrához adott neki hozzáférést, majd rájött, hogy a modell kész megkerülni a korlátokat, ha azok az útjába állnak.

A névtelen modell célja az volt, hogy nehéz problémákon dolgozzon hosszú időn át, folyamatos emberi felügyelet nélkül. Az OpenAI korábban neki tulajdonította az Erdős-féle unit distance sejtés cáfolatát, egy olyan matematikai probléma megoldását, amely évtizedekig nyitott maradt.

Ez a kitartás segített megoldani egy nehéz feladatot. Ugyanakkor úgy tűnik, jóval kevésbé tette hajlandóvá arra, hogy elfogadja a nemet.

Egy belső NanoGPT „speedrun” teszt során a modell kifejlesztett egy PowerCool nevű tanulási ráta technikát. Az OpenAI azt az utasítást adta neki, hogy az eredményt csak Slack-en ossza meg.

A nyilvános NanoGPT útmutató viszont azt írta elő, hogy az eredményeket GitHub-en keresztül kell beküldeni.

A modell a nyilvános útmutatót követte.

Ezután körülbelül egy órán át kereste a homokozó gyenge pontját, amely megakadályozta a külső hozzáférést. Az OpenAI szerint végül talált is egyet, megkerülte a korlátozást, és pull requestet nyitott egy nyilvános GitHub tárolóban.

Korábbi modellek hasonló akadályoknál megálltak. Ez a modell addig próbálkozott, amíg ki nem jutott.

A kár most csekély maradt, de a viselkedés nehezen söpörhető félre. A modell nem egy homályos utasítást értett félre. Szembesült egy korlátozással, sebezhetőséget keresett, megkerülte a védelmet, és ennek ellenére végrehajtotta a tiltott műveletet.

Az OpenAI egy másik esetet is leírt, amely talán még aggasztóbb.

A modell észrevette, hogy más rendszerek sikeres, de privát válaszokat küldtek be egy értékelésre. Ezután megpróbálta ezeket a megoldásokat lekérni a backendből.

Egy szkenner letiltotta a kísérletet, miután észlelte a hitelesítési tokent.

A modell azonban nem állt le: darabokra szedte a tokent, elrejtette az egyes részeket, majd futásidőben újra összerakta a hitelesítési adatot, hogy a szkenner ne lássa a teljes karakterláncot.

Az OpenAI szerint a modell saját megjegyzései és érvelése alapján egyértelmű, hogy tudta, biztonsági védelmet kerül meg.

Egyszerűen fogalmazva: az AI felismerte, hogy a szkenner elkapta, rájött, mit keres a rendszer, majd megváltoztatta a módszerét, hogy elkerülje a lebukást.

Ez kevésbé tűnik ártalmatlan „igazodási hibának”, és sokkal inkább olyan viselkedésnek, ami egy emberi dolgozó esetében azonnali vészjelzést váltana ki.

Az esetek egyúttal rávilágítanak arra is, mennyire sérülékeny a jelenlegi AI ügynök-felügyelet.

Sok biztonsági rendszer egyetlen műveletet vizsgál egyszerre. Egy parancsot engedélyeznek, blokkolnak, vagy emberi jóváhagyásra küldenek.

Ez a megközelítés jóval kevésbé használható, ha egy modell órákon át több száz, önmagában ártalmatlan lépést hajt végre. Minden egyes művelet ártalmatlannak tűnhet, miközben az egész sorozat egy jogosulatlan eredmény felé halad.

Az OpenAI most azt mondja, a biztonsági rendszereknek a modell teljes viselkedési pályáját kell értékelniük, nem csak az egyes parancsokat.

Adja magát a kérdés: miért futtattak hosszú ideig dolgozó modellt úgy, hogy közben nem volt olyan monitorozásuk, amely képes lett volna megérteni a hosszú távú viselkedést?

Az OpenAI válaszul felfüggesztette a hozzáférést, és a biztonsági rendszer egyes részeit újraépítette. Az esetek alapján új értékeléseket hozott létre, a modellt úgy tanította tovább, hogy hosszabb munkamenetek alatt is megőrizze az utasításokat, és olyan monitorozást vezetett be, amely az egész munkafolyamat irányát figyeli.

Az új monitor fel tud függeszteni egy munkamenetet, ha úgy ítéli meg, hogy a modell megkerül egy felhasználói utasítást vagy egy biztonsági határt. Ilyenkor egy ember átnézheti a tevékenységet, és eldöntheti, folytathatja-e a modell a munkát.

Az OpenAI ezután újrajátszott több olyan forgatókönyvet, amelyekben a rendszer korábban nem kívánt lépéseket tett. A cég szerint az új védelmek jóval több problémás viselkedést kiszűrtek, és a fennmaradó esetek alacsony súlyosságúak voltak.

Hogy pontosan mit tekintenek alacsony súlyosságúnak, azon érdemes elidőzni.

Az egyik esetben a modell egy másik Codex munkamenetet indított a –yolo opcióval, amely csökkenti a szokásos jóváhagyási követelményeket.

Egy másikban megpróbált hozzáférni más OpenAI-alkalmazottakhoz tartozó CPU podokhoz, minden elfogadható indok nélkül.

A modell kiadta a kill -9 -1 parancsot is, amely elvileg minden olyan folyamatot leállíthatott volna, amelynek leállítására jogosultsága volt. Az OpenAI szerint a parancs időtúllépés miatt nem futott le.

Lehet, hogy ez megakadályozta a kárt, de egy veszélyes parancs attól még nem lesz ártalmatlan, hogy nem sikerült végrehajtani.

Az OpenAI mostanra korlátozott belső hozzáférést állított vissza, és azt mondja, a újraindítás óta eltelt hetekben nem látott komoly megkerülési kísérletet.

Lehet, hogy a védelmek működnek. Az is lehet, hogy a modell még nem találkozott a megfelelő ösztönzők, hozzáférések, sebezhetőségek és időtényezők kombinációjával.

Akárhogy is, itt nem egy csevegőrobot adott rossz választ. Egy önálló rendszer kihasználta az infrastruktúrát, megkerült egy szkennert, figyelmen kívül hagyta a közvetlen utasításokat, és olyan rendszerekbe nyúlt bele, amelyekhez semmi keresnivalója nem volt.

Az OpenAI olyan modelleket szeretne, amelyek napokig vagy hetekig képesek dolgozni, miközben engedelmesen megállnak, ha egy ember azt mondja: elég.