A Cloudflare az elmúlt év nagy részében azt hangsúlyozta a kiadóknak, hogy meg akarja védeni a munkájukat az éhes AI-crawlerektől. Most viszont összefog az OpenAI-jal, hogy segítsen az egyik ilyen AI-cégnek hatékonyabban felfedezni és indexelni a webes tartalmakat.

A két cég egy kutatási pilotot indított, amely a Cloudflare hálózati szintű jeleit ötvözi az OpenAI keresési technológiájával. A cél, hogy az AI-rendszerek frissebb és relevánsabb információkat találjanak, miközben elkerülik a felesleges crawlolást.

A Cloudflare látja, mikor változnak az oldalak, mennyire friss a tartalom, és hogy a forgalom mennyire tűnik leGititimnek. Az OpenAI azt fogja tesztelni, hogy ezek a jelek javítják-e a ChatGPT-hez hasonló szolgáltatások válaszainak pontosságát és időszerűségét.

Első ránézésre ez hasznosnak tűnik. A web folyamatosan változik, és ha egy AI-kereső elavult oldalakon alapul, elavult válaszokat fog adni. Az is pazarló megoldás, ha minden weboldalt újra és újra végig kell crawlolni, ezért technikailag logikusnak tűnik a Cloudflare jeleit használni a valódi frissítések azonosítására.

Mégis nehéz figyelmen kívül hagyni az időzítést.

A Cloudflare korábban azt mondta, a weboldal-tulajdonosoknak kell eldönteniük, hogy az AI-crawlerek hozzáférhetnek-e a tartalmukhoz. Olyan eszközöket vezetett be, amelyekkel a kiadók engedélyezhetik, blokkolhatják, vagy akár díjazhatják is a crawlereket, miközben azt hangsúlyozta, hogy az alkotók több kontrollt érdemelnek a munkájuk felhasználása felett.

Most pedig a Cloudflare egy potenciálisan jobb térképet ad az OpenAI kezébe a webről.

A cég szerint a pilotban részt vevő weboldalak vesznek részt, de a bejelentés sok kérdést nyitva hagy. Nem derül ki belőle, hogyan lehet csatlakozni, pontosan milyen információkat osztanak meg, kapnak-e a kiadók több forgalmat vagy hivatkozást, illetve fizetnek-e bárkinek azért, ha a tartalma javít egy AI által generált választ.

Ez az utóbbi pont nagyon nem mindegy. A gyorsabb felfedezés előnyös lehet az OpenAI-nak, de ettől még automatikusan nem lesz jobb a helyzet azoknak a weboldalaknak, amelyek az információt előállítják.

Lehet, hogy a Cloudflare tényleg olyan rendszert próbál építeni, ahol a kiadók megtartják az irányítást, miközben az AI-keresés pontosabbá válik. Jelenleg azonban ez csak egy kutatási pilot. Amíg nem látjuk, mit kapnak cserébe a részt vevő weboldalak, a kiadóknak valószínűleg érdemes egy kézzel a blokkoló gombon maradniuk.