Robots.txt a AI crawlery v roku 2026 — kompletný sprievodca
AI crawlery dnes tvoria takmer 50% botového trafficu. Naučte sa, ako správne nakonfigurovať robots.txt pre GPTBot, ClaudeBot a ďalšie AI boty.
Robots.txt a AI crawlery v roku 2026
AI crawlery v Q1 2026 presiahli 49,9 % všetkej AI bot traffic. Váš robots.txt rozhoduje o tom, či AI modely vašu stránku uvidia — a ako s ňou naložia.
Prečo je robots.txt kľúčový pre AI viditeľnosť
Robots.txt je jednoduchý textový súbor v koreňovom adresári vášho webu, ktorý hovorí botom, čo smú a čo nesmú crawlovať. V ére AI vyhľadávania sa jeho význam dramaticky zvýšil.
Kľúčová zmena v 2026: GPTBot a ClaudeBot začali konzumovať sitemap.xml — prvýkrát v histórii. To znamená, že vaša sitemap priamo ovplyvňuje, čo AI modely indexujú.
Hlavní AI crawlery, ktorých sa to týka
Anthropic (3 crawlery)
| Crawler | Účel | Odporúčanie |
|---|---|---|
| ClaudeBot | Tréning AI modelov | Zvážiť blokovanie |
| Claude-User | Real-time fetch na požiadanie | Povoliť |
| Claude-SearchBot | Indexovanie pre vyhľadávanie | Povoliť |
OpenAI (3 crawlery)
| Crawler | Účel | Odporúčanie |
|---|---|---|
| GPTBot | Tréning dát | Zvážiť blokovanie |
| ChatGPT-User | Real-time fetch | Povoliť |
| OAI-SearchBot | Indexovanie pre search | Povoliť |
| Crawler | Účel | Odporúčanie |
|---|---|---|
| Googlebot | Tradičné indexovanie | Povoliť |
| Google-Extended | AI tréning | Zvážiť blokovanie |
Ďalší
- PerplexityBot — vyhľadávanie Perplexity AI
- Applebot — narástol na 5,8 % AI crawler traffic
Praktický príklad robots.txt
Čísla, ktoré by ste mali poznať
- Len 5,5 % domén blokuje GPTBot a 4,7 % ClaudeBot
- ClaudeBot crawluje 19× viac stránok na referral ako GPTBot
- Z top 4 047 domén blokuje GPTBot 13,8 %, ClaudeBot 11,5 %
- Blanket blokovanie nefunguje — treba granulárne rozhodnutia
4 kroky na správnu konfiguráciu
- Audit — skontrolujte svoj aktuálny robots.txt
- Odstráňte deprecated stringy — Claude-Web a Anthropic-AI nahraďte novými
- Kategorizujte boty — tréningové (blokovať?) vs search (povoliť?) vs user-fetch (povoliť)
- Minimálne 7 user-agentov — ClaudeBot, Claude-User, Claude-SearchBot, GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot
Čo je llms.txt a potrebujete ho?
llms.txt je nový formát, ktorý popisuje váš web pre AI modely. Adopcia je zatiaľ len 10 % a nemá potvrdený vplyv na citácie v AI odpovediach.
Odporúčanie: Implementujte ako "nice to have", ale prioritou zostáva správne nakonfigurovaný robots.txt a kvalitná sitemap.
Záver
V roku 2026 už nestačí mať len základný robots.txt. Musíte aktívne riadiť, ktoré AI crawlery majú prístup k vášmu obsahu a na aký účel. Povoľte search a user-fetch boty pre viditeľnosť v AI odpovediach, zvážte blokovanie tréningových botov ak nechcete, aby sa vaše dáta používali na tréning modelov.
Chcete vedieť, ako je na tom váš web? Spustite bezplatný SEO audit na Brand360 a skontrolujte svoju robots.txt konfiguráciu automaticky.
Zdroje a užitočné odkazy
Otestujte svoj web
Spustite bezplatný audit a zistite, ako je váš web pripravený na AI éru.
Spustiť analýzu