Czy Twoja strona jest gotowa na AI? Checklista: robots.txt, boty AI, llms.txt i dane strukturalne

Najpierw: jak boty AI odwiedzają stronę

Każda firma AI ma kilka botów o różnych zadaniach. Najważniejsze:

Źródła: dokumentacja OpenAI, Anthropic, Perplexity, Google i Microsoft (lista na końcu).

Ważne rozróżnienie. Zablokowanie bota do trenowania (GPTBot, ClaudeBot) nie usuwa strony z wyszukiwania w ChatGPT czy Claude. Zablokowanie bota wyszukiwania (OAI-SearchBot, Claude-SearchBot, PerplexityBot) usuwa. OpenAI pisze wprost: strony, które blokują OAI-SearchBot, nie pojawią się w odpowiedziach wyszukiwania ChatGPT.

Google działa inaczej. Do AI Overviews i AI Mode trafiają strony zaindeksowane przez zwykłego Googlebota. Google-Extended nie wpływa na wyszukiwarkę Google. Steruje użyciem treści w Gemini i innych systemach AI Google.

Checklista: 11 punktów w 5 obszarach

Obszar 1. Dostęp botów AI

1. Boty AI w robots.txt

Otwórz twojadomena.pl/robots.txt. Sprawdź, czy nie ma tam reguły Disallow: / dla OAI-SearchBot, ChatGPT-User, Claude-SearchBot, ClaudeBot, PerplexityBot i Google-Extended. Sprawdź też regułę dla wszystkich botów (User-agent: *). Częsty błąd: wtyczka bezpieczeństwa albo dawna decyzja „blokujemy AI” zablokowała wszystkie boty naraz.

Decyzja o botach do trenowania należy do Ciebie. Boty wyszukiwania warto wpuścić.

2. Blokady botów na serwerze i w CDN

Plik robots.txt to prośba. Serwer, zapora (WAF) albo CDN może blokować boty niezależnie od niego, po nazwie user-agenta. Od 1 lipca 2025 Cloudflare domyślnie blokuje boty AI, które zbierają dane do trenowania modeli. Nowe domeny przy rejestracji wybierają, czy wpuścić boty AI (Cloudflare, 1.07.2025). Jeśli Twoja strona korzysta z Cloudflare, sprawdź, czy boty wyszukiwania (OAI-SearchBot, Claude-SearchBot, PerplexityBot) dostają odpowiedź 200, a nie 403.

Anthropic odradza blokowanie botów po adresach IP, bo bot nie odczyta wtedy nawet robots.txt.

3. Meta robots i X-Robots-Tag

Sprawdź w kodzie strony znacznik <meta name="robots"> i nagłówek HTTP X-Robots-Tag. Wartości noindex i nosnippet wyłączają stronę albo jej fragmenty z wyników, także z AI Overviews. Część wtyczek dodaje też wartości noai lub noimageai. Nie są one standardem uznanym przez Google ani OpenAI.

Najczęstszy błąd: noindex zostawiony po pracach na wersji testowej strony.

Obszar 2. Mapa strony i llms.txt

4. Mapa strony (sitemap.xml)

Mapa strony to lista wszystkich adresów, które chcesz pokazać. Sprawdź, czy:

• plik istnieje (zwykle /sitemap.xml albo /sitemap_index.xml),
• jego adres jest wpisany w robots.txt (Sitemap: https://...),
• zawiera karty produktów, kategorie i artykuły, a nie tylko stronę główną,
• daty lastmod odpowiadają faktycznym zmianom.

5. llms.txt i llms-full.txt (opcjonalnie)

Ten punkt jest opcjonalny. Narzędzie oznacza go jako dobrą praktykę, nie jako błąd.

Plik llms.txt to propozycja Jeremy’ego Howarda z września 2024: plik Markdown w katalogu głównym z opisem firmy i listą najważniejszych podstron. llms-full.txt zawiera pełną treść w jednym pliku i nie jest częścią oryginalnej propozycji.

Stan na dziś:

• llms.txt nie jest standardem.
• Google pisze, że wyszukiwarka Google go nie używa i że do AI Overviews i AI Mode nie są potrzebne żadne specjalne pliki (Google Search Central, lipiec 2026).
• Ahrefs sprawdził 137 tys. stron: 97 % plików llms.txt nie dostało w maju 2026 ani jednego zapytania (Ahrefs, 15.06.2026).

Plik nic nie psuje i zajmuje godzinę pracy. Nie ma dowodu, że poprawia widoczność w ChatGPT, Google czy Perplexity.

Dla producenta w llms.txt wpisz: kim jesteś, co produkujesz, dla kogo, link do katalogu, warunków współpracy B2B, kontaktu i najważniejszych kategorii.

Obszar 3. Treść czytelna dla AI

6. Treść widoczna bez JavaScriptu

Większość botów AI nie uruchamia JavaScriptu. Według badania Vercel nie robią tego m.in. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot i PerplexityBot. JavaScript renderują Googlebot (z którego korzysta Gemini) i Applebot (Vercel, 17.12.2024). Jeśli karta produktu ładuje opis, cenę albo parametry dopiero skryptem, bot ChatGPT widzi pustą stronę.

Jak sprawdzić: wyłącz JavaScript w przeglądarce albo wybierz „Pokaż źródło strony”. Opis, cena, parametry i dane kontaktowe muszą być widoczne w źródle.

7. Nagłówki i struktura odpowiedzi

AI wybiera fragmenty, które odpowiadają na pytanie wprost. Sprawdź:

• jeden nagłówek H1 na stronie,
• nagłówki H2 i H3 w formie pytań lub tematów („Wymiary i waga”, „Minimalne zamówienie hurtowe”),
• pod nagłówkiem najpierw odpowiedź w 1–2 zdaniach, potem szczegóły,
• tabele dla parametrów, listy dla kroków.

8. Autor, daty i język

Przy artykułach i poradnikach podaj autora z imienia i nazwiska, jego stanowisko oraz datę publikacji i aktualizacji. Daty dodaj w tekście i w danych strukturalnych (datePublished, dateModified). AI chętniej korzysta z treści, która ma wiadome źródło i jest aktualna.

Atrybut lang="pl" w znaczniku <html> mówi, w jakim języku jest strona. Przy wersjach językowych dodaj hreflang.

Obszar 4. Marka i dane strukturalne

9. Dane strukturalne schema.org

Dane strukturalne opisują stronę w formacie, który maszyna czyta bez zgadywania. Dla producenta najważniejsze typy:

• Organization: nazwa, logo, adres, NIP, telefon, profile w mediach społecznościowych,
• Product: nazwa, marka, GTIN/EAN, cena, dostępność, parametry,
• FAQPage: pytania i odpowiedzi,
• Article: artykuły i poradniki z autorem i datą.

Google zaznacza, że dane strukturalne nie są wymagane do AI Overviews i AI Mode, ale muszą zgadzać się z tekstem widocznym na stronie. Według Microsoftu pomagają modelom Bing i Copilot rozumieć treść (Search Engine Land, 2025). Sprawdź je w Teście wyników z elementami rozszerzonymi Google albo w walidatorze schema.org.

10. Open Graph

Znaczniki Open Graph (og:title, og:description, og:image) opisują stronę przy udostępnianiu linku. Korzystają z nich media społecznościowe, komunikatory i część narzędzi AI przy podglądzie linku. Sprawdź, czy każda karta produktu ma własny tytuł, opis i zdjęcie.

11. Canonical

Znacznik canonical wskazuje główny adres strony. Bez niego ten sam produkt pod kilkoma adresami (filtry, parametry) rozprasza sygnały.

Obszar 5. Technika

Boty AI często pobierają stronę w trakcie rozmowy z klientem i nie czekają długo. Narzędzie sprawdza cztery rzeczy:

• HTTPS: strona działa pod bezpiecznym adresem.
• Kod odpowiedzi 200: adres nie zwraca błędu ani łańcucha przekierowań.
• Czas odpowiedzi serwera: do 1 s dobrze, 1–2,5 s do poprawy, powyżej 2,5 s problem.
• Rozmiar kodu HTML: powyżej 1 MB ostrzeżenie, bo część botów czyta tylko początek strony.

Czego narzędzie nie sprawdzi

Cztery rzeczy wymagają oceny człowieka:

1. Szybkość strony. Google podaje dobre doświadczenie na stronie jako jedną z podstaw widoczności. Sprawdź stronę w PageSpeed Insights.
2. Konkret w treści. Wymiary, materiał, certyfikaty, minimalne zamówienie, czas dostawy, warunki dla hurtu. Ogólne opisy („najwyższa jakość”) nie odpowiadają na żadne pytanie.
3. Opinie. Opinie na marketplace, w Google i w katalogach branżowych.
4. Wzmianki zewnętrzne. Według badania Ahrefs na 75 000 marek liczba wzmianek o marce w sieci najmocniej koreluje z obecnością w AI Overviews (korelacja 0,664). Linki zwrotne korelują słabiej (0,218) (Ahrefs, 26.05.2025). Korelacja nie oznacza przyczyny, ale wskazuje kierunek.

Jak budować wzmianki, piszemy w artykule Jak producent trafia do odpowiedzi AI. Dlaczego to ważne teraz, w artykule Klienci szukają w AI.

Kolejność prac

1. Odblokuj boty wyszukiwania (punkty 1–3). To zwykle kilka minut.
2. Uzupełnij mapę strony, język i canonical (punkty 4, 8 i 11).
3. Sprawdź treść bez JavaScriptu (punkt 6). Jeśli jej nie ma, to zadanie dla programisty.
4. Dodaj dane strukturalne (punkt 9).
5. Popraw strukturę kart produktów i artykułów (punkty 7, 8 i 10).
6. Opcjonalnie dodaj llms.txt (punkt 5).

Sprawdź gotowość swojej strony na AI

Narzędzie sprawdza wszystkie 11 punktów z tej listy i pokazuje, co poprawić najpierw.

Sprawdź gotowość swojej strony na AI

Źródła

• OpenAI, „Overview of OpenAI Crawlers”: https://developers.openai.com/api/docs/bots
• Anthropic, „Does Anthropic crawl data from the web…”: https://support.claude.com/en/articles/8896518-what-is-claude-bot
• Perplexity, „Perplexity Crawlers”: https://docs.perplexity.ai/docs/resources/perplexity-crawlers.md
• Google Search Central, „AI features and your website”, aktualizacja 10.12.2025: https://developers.google.com/search/docs/appearance/ai-features
• Google Search Central, „AI optimization guide”, aktualizacja 10.07.2026: https://developers.google.com/search/docs/fundamentals/ai-optimization-guide
• Google, „Common crawlers” (Google-Extended): https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• Microsoft Bing, Webmaster Guidelines: https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a
• Search Engine Land, „Microsoft Bing/Copilot use schema for its LLMs”, 2025: https://searchengineland.com/microsoft-bing-copilot-use-schema-for-its-llms-453455
• llmstxt.org, „The /llms.txt file”, 3.09.2024 (aktualizacja 10.08.2026): https://llmstxt.org/
• Ahrefs, „We Analyzed 137K Sites: 97 % of llms.txt Files Never Get Read”, 15.06.2026: https://ahrefs.com/blog/llmstxt-study/
• Cloudflare, „Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large”, 1.07.2025: https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/
• Vercel, „The rise of the AI crawler”, 17.12.2024: https://vercel.com/blog/the-rise-of-the-ai-crawler
• Ahrefs, „An Analysis of AI Overview Brand Visibility Factors (75K Brands Studied)”, 26.05.2025: https://ahrefs.com/blog/ai-overview-brand-correlation/