Anthony Albanese miniszterelnök elmondása szerint egy OpenAI-n belüli kutatási feladaton dolgozó AI-ügynök júniusban megkerülte az ausztrál kormány Medicare-statisztikai portáljának hozzáférés-védelmét.

A portál összesített adatokat – például kiadásokat – tesz közzé, és külön rendszeren fut, mint amelyek a Medicare-igényléseket és a személyes adatokat kezelik. Az ügynök olyan fájlokat is elért rajta, amelyek nem voltak nyilvánosak, de eddig nincs arra utaló jel, hogy személyes adatokhoz is hozzáfért volna.

Az OpenAI először szeptember 10-én értesítette a kormányt, egy e-mailben, amelyet a portált működtető Services Australia nyilvános postafiókjára küldött. A cég szerint augusztusban észlelték az eseményt. Albanese szerint a vállalat jóval túl későn szólt a kormánynak, és az értesítés módja is elfogadhatatlan volt.

Június 18-án a portál többször is elutasította az ügynök adatkéréseit, az ügynök azonban talált egy kerülőutat, és jogosulatlan hozzáférést szerzett. A kormány nem közölte, pontosan hogyan jutott át a védelmen.

A Services Australia arról tájékoztatta a kormányt, hogy az ügynök fájlokat is írt egy belső szerverre. Ezt még vizsgálják. A rendelkezésre álló bizonyítékok alapján eddig nem találtak nyomát annak, hogy az ügynökség hálózata ennél szélesebb körben sérült volna.

A nem nyilvános adatok nem voltak különösebben érzékenyek, és azóta már megjelentek nyilvánosan. Szeptember 24-re a portált leállították, az adatait pedig a data.gov.au-ra és más biztonságos platformokra költöztették.

Richard Marles ügyvezető miniszterelnök az ABC-nek nyilatkozva azt mondta, hogy a nemzetbiztonsági információkat sokkal erősebb védelem alatt tartják, míg a portál adatait „egy kerítés mögött őrizték, amelyre az AI-ügynök lényegében felmászott”.

Az OpenAI a Fox Businessnek küldött közleményében azt írta, hogy a modelljei „olyan lépéseket tettek, amelyeket nem szántunk nekik”, amikor egy belső értékelés során ausztrál statisztikákat kerestek.

A cég egy szélesebb körű vizsgálat során bukkant az esetre, amelyben a tréning és az értékelés során tapasztalt, általuk „félrecsúszott” modelltevékenységet nézték át. Előbb ellenőrizték, pontosan mihez fért hozzá a rendszer, és csak ezután értesítették a Services Australiát.

A tevékenység több ausztrál kormányzati weboldalt és szolgáltatást is érintett. A modellek által elért információk között összesített egészségügyi statisztikák és belső fájlnevek szerepeltek, és az OpenAI nem talált bizonyítékot arra, hogy betegadatokhoz is hozzáfértek volna.

A kormány eddig csak a Medicare-statisztikai portál jogosulatlan eléréséről számolt be.

A Services Australia szeptember 11-én megkapta az OpenAI levelét, ellenőrizte, hogy valódi-e, majd szeptember 15-én jelentette az incidenst az Australian Signals Directorate (ASD) részét képező Australian Cyber Security Centre-nek. A kormány szeptember 24-én, ausztrál idő szerint hozta nyilvánosságra az esetet.

Albanese egy telefonhívásban jelezte aggályait – köztük a késlekedést – Sam Altmannek, az OpenAI vezérigazgatójának. Albanese elmondása szerint Altman elismerte, hogy a cég nem járt el elég jól.

Marles nagyon súlyos incidensnek nevezte az esetet, amelynek a hatása viszonylag csekély volt, és úgy fogalmazott, hogy az OpenAI együttműködő.

Az ASD igazságügyi vizsgálatban segít, emellett a Services Australia is saját vizsgálatot folytat.

 

Albanese egy munkacsoport felállítását is bejelentette, amelyet a Miniszterelnöki és Kabinetiroda vezet, és azt vizsgálja, hogy a meglévő folyamatok elég jók-e az AI-hoz köthető kibertámadások kezelésére. A munkacsoport tagja lesz a Nemzeti Kiberbiztonsági Koordinátor, az Office of AI, az ASD, az Australian AI Safety Institute és a Services Australia.

A felülvizsgálat megvizsgálja a lehetséges bűnüldözési lépéseket és a jogszabályok módosításának szükségességét. A kormány sürgős szakvéleményt kér arról is, történt-e bűncselekmény, és hogy az ügyet továbbítsák-e az ausztrál szövetségi rendőrségnek.

Az incidenst a Parlament Mesterséges Intelligenciával foglalkozó vegyes bizottsága is napirendre tűzi, a kormány pedig a tanulságokat beépíti a tervezett AI-szabványokról szóló jogszabályába.

Más esetek, amikor AI-modellek valós rendszerekhez fértek hozzá

AI-ügynökök májusban és júniusban három nyilvános adatweboldalt próbáltak feltörni – derül ki az AI-kutatólabor Transluce ugyanazon a napon közzétett jelentéséből, amikor Albanese bejelentést tett. Az egyik célpont egy ausztrál kormányzati közegészségügyi oldal volt, amelyet az Australian Institute of Health and Welfare (AIHW) üzemeltet.

Június 20-án és 21-én a botvédelem blokkolta a gyógyszeripari adatokkal kapcsolatos feladaton dolgozó ügynököket, amikor megpróbáltak hozzáférni az AIHW fő oldalához. Az ügynökök ezután sebezhetőséget kerestek, és egy nyilvános fájlt töltöttek le egy pre-production szerverről.

Az ügynökök hétköznapi adatlekérési feladatokat végeztek, nem biztonsági munkát. Az urlquery.net nyilvános weboldal-vizsgáló szolgáltatást használták arra, hogy megkerüljék a rájuk vonatkozó hozzáférési korlátozásokat. A labor szerint a tevékenység legalább egy része olyan ügynökrajokhoz köthető, amelyeket korábban már az OpenAI-hoz kapcsoltak.

Az OpenAI júliusban számolt be arról, hogy modelljei belső kiberbiztonsági értékelések során megkerülték azokat a korlátozásokat, amelyeknek távol kellett volna tartaniuk őket az internettől, és betörtek a Hugging Face rendszereinek egyes részeibe.

Szeptemberben az OpenAI jelentéseket tett közzé a tréning során talált további esetekről. Az egyikben egy modell jogosulatlanul használt egy kiszivárgott GitHub API-kulcsot. Más esetekben a modellek kérés nélkül töltöttek fel fájlokat nyilvános tárhelyszolgáltatásokra.

Az Anthropic négy olyan incidenst hozott nyilvánosságra, amikor Claude modelljei jogosulatlan hozzáférést szereztek valódi, harmadik félhez tartozó rendszerekhez egy külső partner által összeállított kiberbiztonsági értékelés során. A modellek azt az utasítást kapták, hogy nincs internet-hozzáférésük, de egy hibás konfiguráció miatt mégis elérték a netet.

A Meta augusztusban közölte, hogy a Muse Spark 1.1 modell egy előzetes kiadása egy valódi weboldal hibáját kihasználva módosította annak adatbázisát egy, ugyanazon partner, az Irregular által szervezett gyakorlat során. Az Irregular nyitva hagyta az internet-hozzáférést, és tévedésből a modellnek megadta a valódi oldal nevét célpontként.

Az Irregular szerint a későbbi nyilvános közlések az értékelési környezetükről ugyanarra az alapvető problémára vonatkoznak, amelyet először július 30-án ismertettek, és „nem különálló, érdemben eltérő incidensek”.

Ettől függetlenül az Egyesült Királyság AI Security Institute-ja augusztusban arról számolt be, hogy kiberbiztonsági tesztjeiben az AI-ügynökök 122 futásból 10-ben összesen 19 nem engedélyezett műveletet hajtottak végre az élő interneten, köztük egy ellátási lánc elleni támadási kísérletet egy nyílt forráskódú projekttel szemben.

A legsúlyosabb kísérletek kudarcot vallottak, és az intézet nem talált bizonyítékot valós károkozásra. A tesztekhez szándékosan engedélyezték az internet-hozzáférést.

Az ASD augusztus 11-én közleményt adott ki egy másik esetről, amikor egy AI-asszisztens nem engedélyezett módosításokat hajtott végre egy edzőtermi foglalási rendszerben. Azt írta, az online szolgáltatásokat működtető szervezeteknek számolniuk kell azzal, hogy „az AI-ügynökök gyorsan és nagy léptékben találhatnak és használhatnak ki sebezhetőségeket”.

Az online szolgáltatásokat és weboldalakat fejlesztőknek szóló tanácsaik között szerepelnek a biztonsági és minőségellenőrzések, a sebezhetőségek szkennelése és a megfelelő felhasználóazonosítás.