Ha az elmúlt hetekből indulunk ki, egyre több nyílt forráskódú projekt húzza meg a határt: meddig engedik be az AI-t a munkafolyamataikba és a kódbázisukba, mielőtt már túl sok lenne.

Debian nemrég megszavazta, hogy engedélyezi a generatív AI használatát a projektbe érkező hozzájárulásoknál, míg Rust egy többszintű szabályzatot fogadott el, amely nagyrészt távol tartja az AI-t a tényleges kódtól. Mindkét projekt ugyanazzal az alapvető kérdéssel nézett szembe.

Most pedig a Linuxot, az egyik legnagyobb nyílt forráskódú projektet, AI-alapú scraperek terhelik agyon. Ugyanazokat az ismétlődő kéréseket küldik újra és újra, és felzabálják a számítási kapacitást.

A legtöbbnek semmi köze ahhoz, hogy bárki ténylegesen kódot írna.

Ez már abszurd

A Linux Foundationtől Konstantin Ryabitsev számokkal is alátámasztotta azt a panaszt, amit egy ideje már hangoztat. A Git.kernel.org 90 CPU-magjából tizennégy, öt node között elosztva, a nap minden másodpercében commitokat alakít HTML-oldalakká.

Kívülről nézve adódik a kérdés: mi ezzel a gond? A Linux teljes commit-története nyilvánosan elérhető, ingyen klónozható, és jóval az AI-eszközök mostani hulláma előttre nyúlik vissza.

Pont ezek a tulajdonságok teszik a tárolót „tanulási adatok aranybányájává”. Itt található a mainline kernel fa, az összes stabil kiadás ága évekre visszamenőleg, tucatnyi alrendszer-karbantartó fája, sőt a Git előtti történet is a BitKeeper-korszakból.

A valódi abszurditás az, ahogyan ezek a clankerek nekimennek a scrapingnek.

Konstantin utánaszámolt, és kiderült, hogy egy sima klón a linux.Git tárolóból, majd a teljes commit-történet helyi feldolgozása nagyjából 200 CPU-másodperc szerveridőt igényel. Ugyanennek az 1,48 millió commitnak a kiszedése cgit egyedi oldalain keresztül viszont már 280 CPU-órát emészt fel.

Ha ugyanezt a scrape-et lefuttatják a szerveren tárolt összes, 922 fork mindegyikére, a teljes igény 258 160 CPU-órára duzzad, ami nagyjából 4,6 milliószor drágább, mint egyetlen klón.

Mindezt azért, hogy egy rosszabb minőségű másolatot kapjanak olyan adatról, amit eleve ingyen le lehetett volna húzni.

És akkor még nem számoltuk bele azokat a külön URL-eket, amelyeket a cgit minden egyes commit javítócsomagjához, diffjéhez és sima szöveges nézetéhez kioszt. Ez az, ami miatt egyetlen fork által elérhető oldalak száma a kvadrilliókig szökik.

A tiltásból fegyverkezési verseny lett. A Fail2Ban és az IP-tiltások addig működtek, amíg a botok egész alhálózatokra nem terjedtek szét. Az ASN-szintű blokkolás is bevált, amíg a helyüket át nem vették a több millió otthoni és mobil IP-cím.

Ezután jött az Anubis, egy proof-of-work fal, amit a botoknak meg kellett oldaniuk, mielőtt továbbjuthattak. Egy darabig ez is hatásos volt, aztán a clankerek elkezdték megoldani a fokozatosan nehezedő feladványokat is.

Összegzésként Konstantin megjegyzi:

Viszont tudnotok kell, hogy az 5, földrajzilag elosztott node-on futó összesen 90 magból 14–16 mag folyamatosan semmi mást nem csinál, csak commitokat renderel a scrapereknek.

Átlagban ez a teljes kapacitásunk 20%-a — csak hát a rajok hullámokban érkeznek, így a valós grafikon sokkal rángatózóbb, mint egy egyenes 20%-os vonal.

Arra is tippel, hogy amikor kipukkan az AI-lufi, a projekt gyorsan érezhető visszaesést fog látni az „entitások” számában (így nevezi a scrapereket), amelyek a Git.kernel.org tartalmával etetik a modelljeiket. Ugyanakkor abban is bízik, hogy „okosabbak” lesznek, és nem a „lehető legbutább módon” fogják tovább scrape-elni az adataikat.

Ha esetleg nem tudnád, ki az a Konstantin: ő a Linux Foundation IT-infrastruktúra-biztonságért felelős igazgatója, és egyben azon rendszergazdák egyike, akik a kernel.org működését biztosítják.

Az AI természeténél fogva falánk

A számítási kapacitás ilyen pazarlása nem csak a Git.kernel.org sajátja. Csak éppen ez a legszemléletesebb példa, ami eddig a kezünkben van.

Egy modell etetése azt jelenti, hogy olyan feladatokra égetjük el a CPU-ciklusokat, amelyeket az idő töredéke alatt is meg lehetne oldani. Jelenleg pedig úgy tűnik, hogy akik ezeket a rendszereket építik, különösebben nem aggódnak emiatt a matek miatt.

Ezek a rendszerek láthatóan ugyanazt a logikát követik, mint egy átlagos milliárdos, mondjuk egy fiktív figura, például Carter Pewterschmidt. Már most is bőven elégje van. Mégis többet akar. És nem különösebben érdekli, hogyan jut hozzá.

Ha ezen az úton mész tovább elég sokáig, a kapzsiság egy ponton már nem hozza vissza az árát. Jó pár cég már most a saját kárán tanulja ezt meg, és a számok is ezt támasztják alá.