A gépi többség

Aki fényképezőgépet vásárol, megnyit öt fület, hármat átfut, és rendel. Egy AI-ügynök ugyanezzel a feladattal ötezer oldalt is érinthet, mire válaszol. Szorozd be ezt azzal a sokmillió emberrel, aki csendben asszisztensekre bízza a böngészést, és a webforgalom összetétele előbb-utóbb szükségszerűen átbillen. Csak az volt a kérdés, mikor.

A válasz: most.

A fordulat

Június elején Matthew Prince, a Cloudflare társalapító-vezérigazgatója megosztotta a Cloudflare Radar, a cég internetmérő műszerfalának adatait: az automatizált rendszerek mára a webes tartalomra irányuló HTTP-kérések mintegy 57,5%-át adják, szemben az emberektől érkező 42,5%-kal. A web nyilvánossá válása óta először került többségbe a gép.

Az élő adat ingadozik (az NBC News ugyanazon a héten 57,4%-ot rögzített), és maga Prince is “kissé zajosnak” nevezte a mögöttes osztályozást. Az irány azonban nem kérdéses. A web átért a vonal túloldalára.

Mi hajtja?

Ez már nem a tíz évvel ezelőtti keresőrobot, amely hetente egyszer, udvariasan indexel. A növekedés ügynöki: félautonóm programok, amelyek a ChatGPT-hez és a Geminihez hasonló asszisztensek megbízásából böngésznek és töltenek le oldalakat, plusz a mögöttük álló, tanítóadatot gyűjtő scraperek. A Cloudflare saját mérései szerint az OpenAI GPTBotja egyetlen év alatt 305%-kal nőtt.

A terhelés már most valódi pénzbe kerül azoknak, akik viselik. A Wikimedia Alapítvány arról számolt be, hogy a multimédia-letöltések sávszélessége 50%-kal nőtt 2024 januárja óta, és ezt nem kíváncsi emberek okozták, hanem a nyílt archívumait aratógépként járó botok. A legdrágábban kiszolgálható forgalmának nagyjából 65%-a automatizált kliensektől érkezett, miközben a botok az oldalmegtekintéseknek csak körülbelül 35%-át adták. A kisebb üzemeltetők rosszabbul járnak: nyílt forráskódú fejlesztők számoltak be arról, hogy egyes AI-crawlerek egyszerűen figyelmen kívül hagyják a robots.txt-t, és térdre kényszerítenek szerény emberi közönségre méretezett oldalakat.

Mit nem mond a szám?

Egy ennyire idézhető mérföldkő megérdemli, hogy a korlátait is kimondjuk.

Az 57,5% HTTP-kéréseket mér, nem figyelmet. Minden elköteleződést mérő mutató szerint (appokban töltött órák, streamelt videó, görgetett hírfolyamok) továbbra is az ember a domináns jelenlét a neten, mert egy órányi emberi görgetés töredékét generálja annak az oldalletöltés-mennyiségnek, amit egy ügynök egy perc alatt produkál. Ráadásul az adat egyetlen szolgáltatótól származik, és az internetnek azt a szeletét írja le, amelyet a Cloudflare lát.

Szóval nem, ez nem a “halott internet”. Az emberek nem mentek sehova. De a kérésfolyam, amelyet az infrastruktúrád kiszolgál, az a dolog, amit a szerverlogjaid ténylegesen rögzítenek, mostantól gépi többségű. Aki weboldalt üzemeltet, annak ez az operatív tény.

Az új többség linkeket olvas, nem menüket

És itt jön az a rész, amelyet a címlapok átugranak, mi viszont ezt mérjük munkaidőben.

Az emberi látogató megbocsátja a rossz szerkezetet. Használja a keresőmezőt, kisilabizálja a mega-menüt, vagy egy Google-találatról érkezik mélyen az oldal belsejébe. Az ügynöki többség nem így viselkedik. A linkkövető gépek úgy fedeznek fel tartalmat, ahogyan egy gráfbejárás: elindulnak valahonnan, éleket követnek, és azt olvassák el, ami elérhető. Az az oldal, amelyre egyetlen másik oldal sem linkel, ennek a közönségnek nem “nehezen megtalálható”. Hanem nincs ott.

És a publikált webhelyeken sokkal több ilyen oldal van, mint amennyit a tulajdonosaik feltételeznek. Az első iparági jelentésünkben, amely tizenegy Fortune 500-as egészségügyi webhelyet térképezett fel linkgráfként, a mintaátlag kíméletlen volt: az oldalak nagyjából egynegyedéhez egyáltalán nem vezetett belső szerkesztői linkút a főoldalról. Ezek az oldalak léteznek, renderelődnek, és pénzbe kerül a fenntartásuk. Egy linkkövető ügynök számára a hozzájuk vezető út soha nem is létezett.

Tíz évig ez egy SEO-lábjegyzet volt. Azon a napon, amikor egy oldal által kiszolgált kérések többségét gépek kezdték adni, főtémává lépett elő: egy ilyen mintán a publikált tartalom nagyjából negyede elérhetetlen bármely linkkövető ügynök számára. A pontos arány oldalanként és ágazatonként változik; ami megmarad, az maga a rés, nem egy egyetemes szám.

Amikor a hozzáférés árcédulát kap

A fordulat a web üzleti modelljét is átalakítja, mert a botok nem kattintanak hirdetésekre. A Cloudflare javasolt megoldása: fizettessünk velük. A pay-per-crawl rendszere a HTTP 402-es, “Payment Required” státuszkódot éleszti újra, amely évtizedekig parlagon hevert: a védett oldalt kérő crawler egy 402-est kap a megnevezett árral, és a kérést fizetéssel újraküldve hozzájut a tartalomhoz. A Cloudflare a kereskedői elszámolást is intézi, a Web Bot Auth nevű kísérő szabvány pedig kriptográfiai aláírásokkal gondoskodik arról, hogy egy crawler ne hazudhassa el a kilétét. A cég szerint az ügyfelei már most napi több mint egymilliárd 402-es választ küldenek.

A bot azonosítása a nehéz rész. 2025-ben a Cloudflare azzal vádolta meg a Perplexity AI-keresőcéget, hogy rejtőzködve crawlolja az őt kitiltó oldalakat; a Perplexity szerint viszont a felhasználó által indított lekéréseket mosták össze a scrapinggel. Ez a vita kicsiben az egész kérdés jövője: amikor egy ügynök egy ember megbízásából látogat, kinek a látogatása az?

Mihez kezdjünk ezzel?

Az ösztönös reakció bináris lesz: tiltsuk a botokat, vagy hadd lakmározzanak. Mindkettő figyelmen kívül hagy egy fontos részt. Akár fogadni akarod az ügynököket, akár fizettetni velük, akár korlátozni őket, mindegyik döntés azt feltételezi, hogy egyáltalán tudod, mit tár az oldalad egy linkkövető olvasó elé. A legtöbb szervezet nem tudja. A “mit publikálunk” és a “mit ér el egy gép linkeket követve” közötti rés mérhető, és az eddigi adatainkban következetesen nagy.

A web most szerzett magának gépi többséget. A következő éveket nem azok az oldalak nyerik, amelyek harcoltak ellene vagy tudomást sem vettek róla, hanem azok, amelyek meg tudnak válaszolni egy egyszerű kérdést a saját szerkezetükről: hogyan néz ki ez az oldal valaminek, ami csak linkeket tud követni? Erre a kérdésre empirikus válasz létezik. Mi úgy találjuk meg, hogy gráfként térképezzük fel az oldalt és megmérjük, ugyanúgy, ahogy a fenti iparági jelentés készült.

Az általad kiszolgált forgalom összetétele megváltozott. Az oldalad szerkezete mostantól az a felület, amellyel ennek a forgalomnak a többsége találkozik.