Ezen a héten a fejlesztői és biztonsági közösség felé is elindulunk a Product Hunt és a Hacker News oldalán. Ha követed az MI-biztonság témáját, örülnénk a támogatásodnak és a visszajelzésednek.

A Mozillánál a nyílt forráskód sosem csupán licencelési döntés volt. Meggyőződés: az internet egészségesebb, ha az eszközök és a tudás szabadon áramlik, ha bárki ellenőrizheti, mi fut, továbbfejlesztheti a meglévőt, és építhet arra, ami korábban készült. Ezért fejlesztettük nyíltan a Firefoxot. És ezért dolgozunk így azóta is.

A Mozilla MI-biztonsági csapata, a 0DIN is ugyanerre az alapelvre épít. Ezen a héten nyílt forráskódúvá tesszük a 0DIN AI Security Scanner eszközt Apache 2.0 licenc alatt. Emellett kiadunk 179 közösségi probe-ot, amelyek 35 sérülékenységcsaládot fednek le, valamint hat speciális probe-ot, amelyeket kizárólag a bug bounty könyvtárunkból válogattunk.

Az ellenőrző és a benne rejlő intelligencia

A 0DIN Scanner nem egy újabb, tankönyvi példákból összerakott benchmark csomag. Olyan probe-okkal indítjuk el, amelyek közvetlenül a bug bounty programunkból származnak. Ebben biztonsági kutatók versenyeznek, hogy új módszereket találjanak MI-rendszerek manipulálására, adatkinyerésre és a védelmek megkerülésére. Ahogy a programban új sérülékenységeket fedeznek fel és hoznak nyilvánosságra, idővel folyamatosan bővítjük a nyílt forráskódú könyvtárat új probe-okkal.

Ez a körfolyamat – a kutatói felfedezéstől a csomagolt, újrahasznosítható tesztig – különbözteti meg a 0DIN Scannert az általános eszközöktől. Nagy hatású, jailbreakekkel kapcsolatos intelligence-ről van szó, amelyet gyakran frissítünk, ahogy a kutatók új technikákat találnak.

A 0DIN Scanner az NVIDIA GARAK nyílt forráskódú frameworkjére épül, és grafikus felületet, automatizált scan ütemezést, modellek közötti összehasonlító elemzést, valamint vállalati szintű riportolást ad hozzá. Fut a frontier modelleken, nyílt forráskódú LLM-eken, chatbotokon és bármin, ami prompt interfészt kínál. A biztonsági csapatok láthatják a támadások sikerességi arányát, a sérülékenységek bontását, és összevethetik az eredményeket azokkal a frontier modellekkel, amelyeket a támadók is nap mint nap próbálgatnak.

A bug bounty programból származó hat probe nevét most hozzuk nyilvánosságra először: Placeholder Injection, Incremental Table Completion, Technical Field Guide, Chemical Compiler debug, Correction és Hex Recipe Book. Mindegyik egy olyan valós technikát képvisel, amely éles, production MI-rendszerek ellen működött, mielőtt lezártuk a kört.

Ezeket a probe-okat a JEF (Jailbreak Evaluation Framework) segítségével pontozzuk, amely a tiltott tartalmak kimenetének mérésére szolgáló nyílt forráskódú könyvtárunk. A JEF is jelentős frissítéseket kap ezen a héten.

A kód itt érhető el: GitHub.com/0din-ai/ai-scanner. Forkold, bővítsd, építs rá.

Ismerd meg a kockázatokat, mielőtt a támadók fogják

Nem minden szervezetnek van red teamje, vagy elég kapacitása adversarial tesztelésre. Sok vállalat már most éles környezetben használ MI-t anélkül, hogy tisztán látná, hol sebezhető. Ennek a hiánynak a csökkentésére ingyenes biztonsági felmérést kínálunk vállalati MI-telepítésekhez.

A felmérés megmutatja, milyen sikerességi aránnyal járnak a támadások a rendszereid ellen, és bontást ad a prompt injection, a jailbreakek és az adatkinyerés kategóriáiban. Emellett benchmark összehasonlítást is kapsz a főbb frontier modellekkel. A folyamat beállítása néhány percet vesz igénybe, a scan időtartama pedig attól függ, hány probe-ot választasz. Ha aktívan telepítesz MI-t, és még nem tesztelted adversarial körülmények között, ez jó kiindulópont.

Azoknak a csapatoknak, akik nem szeretnék saját maguk üzemeltetni a nyílt forráskódú scannert, managed Enterprise kiadást is kínálunk. Ez közel 500, a bug bounty programból származó, nyilvánosságra hozatal előtti probe-hoz ad hozzáférést, így a szervezetek előre értesülhetnek a felbukkanó technikákról, még mielőtt azok széles körben ismertté válnának.

Miért szabad szoftver és miért most vált azzá

Az MI olyan gyorsan fejlődik, hogy ezt egyetlen csapat sem fogja egyedül megoldani. Túl sok a fenyegetés, túl sok a modell, túl nagy a támadási felület. Ha az eszközeinket zárt ajtók mögött tartanánk, a 0DIN legfeljebb kicsit lenne erősebb, miközben a tágabb internet gyengébb maradna.

A kutatók, akik a bug bounty programunkon keresztül küldtek be találatokat, jutalmat kaptak a munkájukért. Ennek a tudásnak egy érdemi részét nyílt forráskódúvá tesszük, és ezt folytatjuk is, ahogy új sérülékenységeket fedeznek fel és hoznak nyilvánosságra. Ez az a megállapodás, amit a Mozilla mindig is kínált: nyíltan fejlesztünk, a közösség segít jobbá tenni, és ettől a web egy kicsit egészségesebb lesz.