Kaj AI boti zares počnejo na vašem spletnem mestu

May 7, 2026 | SEO

Članek pojasnjuje, da so AI-boti že postali pomemben del spletnega crawl prometa, vendar je resnično razumevanje njihovega vpliva mogoče predvsem iz strežniških dnevnikov, ne iz simulacijskih orodij.

BISTVO

  • Avtor Aymeric Bouillat v članku trdi, da večina SEO-ekip ve, da AI-boti obiskujejo njihove strani, ne razume pa dobro, kaj tam dejansko počnejo in kako to vpliva na vidnost vsebine.

  • Osrednja teza je, da izraz “AI-boti” ni enotna kategorija, ker imajo različni agenti različne namene, med drugim učenje modelov, indeksiranje za AI-iskanje, sprotno pridobivanje podatkov po uporabniški zahtevi in bolj “agentsko” vedenje, podobno človeku.

  • Članek poudarja, da robots.txt ni zanesljiv mehanizem nadzora, ker del botov pravila ignorira, del pa je lahko blokiran že na ravni požarnega zidu oziroma WAF, zato te aktivnosti v običajnih strežniških dnevnikih sploh niso vidne.

  • Avtor meni, da so strežniški dnevniki in crawl podatki bistveno bolj uporabni kot spremljanje pripravljenih promptov v ChatGPT, Perplexity ali Gemini, saj pokažejo konkretno, kateri bot je obiskal katero stran, kako pogosto in s kakšnim odzivom.

  • Praktično priporočilo članka je, da morajo lastniki spletnih mest najprej vzpostaviti merjenje dejanskega AI-crawl vedenja, šele nato pa sprejemati odločitve o blokiranju, optimizaciji in strategiji vidnosti v AI-iskanju.

DEJSTVA

  • Članek je bil objavljen 28. aprila 2026 na Oncrawl blogu v rubriki AI, avtor pa je Aymeric Bouillat.

  • Po navedbi članka podatki Cloudflare Radar za obdobje marec 2025–marec 2026 kažejo, da Googlebot predstavlja 48% globalnega bot prometa, GPTBot 12%, ClaudeBot 9,2% in Bingbot 9,2%.

  • Avtor navaja primer e-trgovine, kjer v robots.txt ni bilo nobenih AI-omejitev, vendar je WAF dnevno blokiral približno 5.000 zahtev botov ChatGPT-User in OAI-SearchBot, kar je bilo nevidno v običajnih strežniških dnevnikih.

  • V enem opisanem primeru je ChatGPT-User po navedbah članka več kot 400-krat na minuto zahteval neobstoječi URL 404, kar je avtor označil kot šum, ki porablja strežniške vire.

  • Avtor ocenjuje, da promet iz LLM-jev pri spletnih mestih, ki jih spremlja, trenutno običajno predstavlja med 0,1% in 1% celotnega prometa, mediana pa je približno 0,4%.

POMEN ZA LASTNIKE STRANI

  • Članek loči med trening boti, kot sta GPTBot in ClaudeBot, ter iskalnimi boti, kot so OAI-SearchBot, Claude-SearchBot in PerplexityBot, zato blokiranje posameznega bota ni zgolj tehnična, ampak tudi poslovna odločitev.

  • Posebej pomembna je razlika med GPTBot in OAI-SearchBot, saj prvi po opisu služi zbiranju vsebine za učenje modelov, blokada drugega pa lahko po navedbah članka vpliva na prisotnost strani v rezultatih ChatGPT Search.

  • Avtor opozarja tudi na “fetch” bote, kot so ChatGPT-User, Claude-User in Perplexity-User, ki pridobivajo vsebino v realnem času na zahtevo uporabnika in pri katerih se robots.txt pravila po navedbi OpenAI ne uporabljajo nujno vedno.

  • Nova kategorija so “agentic bots”, ki se po članku vedejo bolj kot uporabniki, saj klikajo, drsijo, oddajajo obrazce in se premikajo po vmesnikih, kar pomeni dodatne izzive pri zaznavi in nadzoru.

  • Besedilo zato ne zagovarja preprostega odgovora “blokiraj vse”, ampak analitičen pristop: najprej ugotoviti, kateri boti obiskujejo spletno mesto, s kakšnim namenom in kakšen učinek ima to na poslovne cilje.