Blokada treningu AI i blokada wyszukiwania to różne decyzje. Sprawdź, za co odpowiadają GPTBot, OAI-SearchBot i Google-Extended oraz jak skontrolować robots.txt, zaporę i dostęp do firmowej strony.
Możesz ograniczyć pobieranie treści do treningu niektórych modeli AI i jednocześnie pozostawić dostęp robotom wyszukiwania. Wymaga to rozróżnienia konkretnych botów oraz zasad danego dostawcy. GPTBot i OAI-SearchBot pełnią inne funkcje, a Google-Extended nie jest przełącznikiem wyłączającym AI Overviews. Jedna zbiorcza blokada „AI” może więc zrealizować inny cel, niż zakłada właściciel strony.
Dla firmy oznacza to decyzję o dystrybucji własnych informacji: gdzie oferta ma być odnajdywana, jakie materiały udostępniać i które sposoby pobierania ograniczać. Poniżej znajdziesz mapę najważniejszych robotów, kryteria wyboru i procedurę sprawdzenia witryny. Stan dokumentacji zweryfikowano 11 listopada 2026 r.
Dlaczego dostęp botów AI wymaga uwagi właśnie teraz?
30 października 2026 r. Google zapowiedział obsługę wspólnego sygnału preferencji dotyczących treningu AI w robots.txt. Firma wskazała 2027 r. jako planowany termin wsparcia. To zapowiedź, a nie potwierdzenie, że mechanizm już działa w Google. Dotychczasowe ustawienia specyficzne dla dostawcy mają nadal funkcjonować obok nowego rozwiązania. Źródło: komunikat Google z 30 października 2026 r.
Anthropic informuje natomiast, że od 30 października 2026 r. rozpoczął rozpoznawanie wspólnego sygnału i stopniowo wdraża jego obsługę w swoich usługach. Rozwiązanie opisano w projekcie Machine-Readable Training Preference Signal. Jest to indywidualny Internet-Draft, a nie zatwierdzony standard IETF. Nie należy zakładać jednakowej obsługi u wszystkich producentów. Źródła: dokumentacja Anthropic oraz status projektu w IETF Datatracker.
Równolegle rozwijają się narzędzia kontroli ruchu. Cloudflare w dzienniku zmian z 1 lipca 2026 r. opisał osobne polityki Search, Agent i Training. Dokumentacja konfiguracji, zaktualizowana 2 listopada 2026 r., opisuje ich obecne działanie. Data aktualizacji instrukcji nie oznacza daty uruchomienia funkcji. Źródła: dziennik zmian Cloudflare i aktualna dokumentacja polityk.
Trening modelu, wyszukiwanie i pobranie strony to różne procesy
Pod wspólną nazwą „boty AI” kryje się kilka rodzajów automatycznego dostępu do witryny. Dla właściciela firmy najważniejszy jest cel pobrania, ponieważ od niego zależy sens udostępniania treści.
- Trening modelu: materiały mogą posłużyć do rozwijania modelu. Samo dopuszczenie takiego pobierania nie daje obietnicy późniejszego linkowania do firmy.
- Wyszukiwanie: system zbiera informacje, żeby odnajdywać źródła i przedstawiać je w wynikach lub odpowiedziach.
- Pobranie na żądanie użytkownika: asystent odwiedza stronę w związku z konkretnym pytaniem, na przykład prośbą o sprawdzenie oferty.
Te funkcje rozróżniają sami dostawcy, między innymi OpenAI i Anthropic. Nie oznacza to jednak, że każda firma technologiczna stosuje identyczny podział. Część robotów ma mieszane zastosowania, dlatego uniwersalna lista „dobrych” i „złych” botów szybko przestaje wystarczać.
Praktyczny wniosek: najpierw ustal, czy chcesz ograniczyć trening, obciążenie serwera, dostęp do konkretnych materiałów czy obecność w danej usłudze. Dopiero później wybieraj reguły. Samo hasło „blokujemy AI” nie opisuje jeszcze polityki firmy.
Które boty AI mają znaczenie dla widoczności strony?
Poniższe zestawienie obejmuje najważniejsze rozróżnienia w dokumentacji trzech dostawców. Nie jest pełnym katalogiem robotów ani rekomendacją jednakowych ustawień dla każdej witryny.
| Bot lub token | Funkcja według dostawcy | Znaczenie decyzji |
|---|---|---|
| GPTBot | Pobieranie treści potencjalnie wykorzystywanych do treningu modeli OpenAI. | Ograniczenie treningu można ustawić niezależnie od OAI-SearchBot. |
| OAI-SearchBot | Wyszukiwanie stron w funkcjach wyszukiwania ChatGPT. | Blokada wyłącza stronę z odpowiedzi wyszukiwania; mogą pozostać linki nawigacyjne. |
| ChatGPT-User | Wybrane działania inicjowane przez użytkownika. | Nie steruje obecnością w wyszukiwaniu; robots.txt może nie mieć zastosowania. |
| ClaudeBot | Zbieranie materiałów do potencjalnego treningu modeli Anthropic. | Reguły dotyczące treningu należy odróżnić od dostępu wyszukiwarki. |
| Claude-SearchBot | Zbieranie informacji na potrzeby wyszukiwania. | Blokada może ograniczyć widoczność w wynikach Claude. |
| Claude-User | Pobieranie stron w odpowiedzi na działania użytkownika. | Blokada ogranicza pobieranie treści dla takiego zapytania. |
| Google-Extended | Token kontroli określonych zastosowań treści w Gemini i Vertex AI. | Nie steruje uwzględnianiem strony ani rankingiem w Google Search. |
Źródła tabeli: OpenAI: opis robotów, Anthropic: funkcje botów i skutki blokowania, Google: zakres Google-Extended.
To ważne rozróżnienie dla GEO, czyli działań związanych z widocznością w odpowiedziach generowanych przez AI. Udostępnienie źródła daje systemowi możliwość jego wykorzystania w określonym procesie. Nie przesądza, czy źródło zostanie wybrane, polecone ani zacytowane.
Google-Extended nie wyłącza AI Overviews
Google-Extended kontroluje określone zastosowania treści do treningu przyszłych modeli Gemini oraz tzw. groundingu w wymienionych usługach. Grounding oznacza dostarczenie modelowi informacji ze źródeł podczas przygotowywania odpowiedzi. Nie jest to osobny robot z własnym identyfikatorem w żądaniach HTTP. Google używa tokenu w robots.txt do określania preferencji. Źródło: dokumentacja Google-Extended.
AI Overviews i AI Mode należą do Google Search. Dokumentacja wskazuje Googlebota jako mechanizm kontroli skanowania na potrzeby wyszukiwarki. Żeby strona mogła wystąpić jako link wspierający odpowiedź AI, musi być zaindeksowana i kwalifikować się do wyświetlania fragmentu w wynikach. Spełnienie wymagań nie gwarantuje obecności. Źródło: Google Search Central: funkcje AI a witryna.
Do ograniczania prezentacji treści Google udostępnia między innymi nosnippet, max-snippet i data-nosnippet. Nosnippet wyłącza fragment tekstowy i wykorzystanie treści jako bezpośredniego wejścia dla AI Overviews oraz AI Mode. Ma jednak zastosowanie również poza tymi funkcjami. Nie jest więc neutralnym dla całego SEO przełącznikiem. Noindex służy z kolei do wykluczania zasobu z wyników. Źródło: specyfikacja reguł robots i fragmentów wyników.
Jeśli firma chce zachować pozyskiwanie klientów z Google, każdą zmianę dotyczącą Googlebota, indeksowania lub fragmentów wyników trzeba oceniać szerzej niż przez samą obecność w odpowiedziach AI.
Robots.txt, zapora i ustawienia hostingu działają na różnych poziomach
Robots.txt przekazuje instrukcje robotom. Sam plik nie jest techniczną blokadą pobierania. Zapora, nazywana też WAF, może natomiast odrzucić żądanie. CDN, czyli warstwa pośrednicząca w dostarczaniu strony, również może stosować własne reguły. W rezultacie zgoda w robots.txt nie wystarczy, jeśli wcześniej zadziała blokada infrastruktury. Różnicę między deklaracją a egzekwowaniem dostępu wyjaśnia dokumentacja zarządzanego robots.txt Cloudflare.
W Cloudflare trzeba dodatkowo sprawdzić powiązania ustawień. Według dokumentacji z 2 listopada 2026 r. akcja Disallow dla Training przy włączonym Bot Preference Sync może również blokować boty treningowe na poziomie sieci Cloudflare, z wyjątkiem robotów o mieszanym zastosowaniu Search i Training. Sama nazwa akcji nie opisuje zatem wszystkich skutków. Źródło: opis polityk dostępu.
Cloudflare może też dołączyć zarządzane instrukcje przed istniejącą zawartością robots.txt. Dlatego kontroluj plik rzeczywiście zwracany przez publiczny adres witryny. Sprawdzenie kopii na serwerze lub pola we wtyczce CMS może nie pokazać całej odpowiedzi.
Jak dobrać politykę botów AI do modelu biznesowego?
Poniższe warianty są rekomendacjami analitycznymi, a nie wynikami testów konkretnych firm. Pomagają przełożyć techniczną konfigurację na cel biznesowy.
| Sytuacja | Rozsądny punkt wyjścia | Co sprawdzić przed zmianą |
|---|---|---|
| Firma usługowa pozyskująca zapytania z internetu | Zachować dostęp wyszukiwania do publicznej oferty; osobno zdecydować o treningu. | Czy blokady infrastruktury nie obejmują ważnych stron usług. |
| Sklep internetowy | Udostępniać aktualne informacje o produktach i ograniczać niepotrzebne pobieranie. | Które adresy generują ruch botów i czy dotyczy on filtrów, wariantów lub duplikatów. |
| Wydawca sprzedający dostęp do materiałów | Oddzielić publiczne opisy od płatnych zasobów; ocenić dostęp poszczególnych usług. | Co odbiorca może przeczytać bez logowania i jak działa kontrola uprawnień. |
| Baza dokumentów przeznaczona dla zespołu | Udostępniać ją uprawnionym użytkownikom i narzędziom zgodnie z zakresem projektu. | Czy dokumenty nie są przypadkowo dostępne pod publicznymi adresami. |
Najważniejsza jest osobna decyzja o publicznym marketingu i zasobach wymagających kontroli dostępu. Instrukcji dla robotów nie traktuj jako sposobu ochrony poufnych dokumentów. Jeżeli dane mają być dostępne wyłącznie wybranym osobom, potrzebują rzeczywistego uwierzytelniania i uprawnień. RFC 9309 wyraźnie wskazuje, że robots.txt nie zastępuje zabezpieczeń dostępu.
Audyt dostępu botów AI w sześciu krokach
1. Wybierz reprezentatywne adresy
Zacznij od strony głównej, ważnej usługi, produktu lub kategorii, artykułu i przykładowego dokumentu. Dopisz oczekiwany stan: dostęp do wyszukiwania, decyzję o treningu oraz ewentualne ograniczenie dla użytkowników. Taka mapa zapobiega testowaniu samej strony głównej i przenoszeniu wyniku na cały serwis.
2. Pobierz publiczny robots.txt
Sprawdź właściwy host, czyli dokładną domenę lub subdomenę. Zapisz odpowiedź przed zmianami. Poszukaj reguł ogólnych, nazw konkretnych botów oraz sekcji dodanych przez dostawcę infrastruktury. Zweryfikuj, czy nowa instrukcja nie koliduje z wcześniejszą polityką. Nie zastępuj całego pliku gotowcem bez porównania jego zawartości.
Uważaj na grupy przypisane konkretnemu robotowi. Zgodnie z zasadami Robots Exclusion Protocol grupa ogólna oznaczona gwiazdką jest używana, gdy nie ma pasującej grupy szczegółowej. Dopisanie osobnej zgody dla wybranego bota może więc zmienić zakres stosowanych ograniczeń. Testuj również adresy, które wcześniej miały pozostać niedostępne dla skanowania, a nie tylko strony, które chcesz udostępnić.
3. Sprawdź zaporę i odpowiedź strony
W panelu hostingu lub CDN przejrzyj zdarzenia blokowania dla wybranych adresów. Zanotuj kody odpowiedzi, zastosowane reguły i ewentualne wymaganie przejścia testu w przeglądarce. Sprawdź również treść odpowiedzi: sam kod 200 nie potwierdza, że robot otrzymał właściwy artykuł lub ofertę. Mógł otrzymać komunikat pośredni.
4. Zweryfikuj tożsamość robota
Nazwa User-Agent jest deklaracją klienta i może zostać podszyta. Google ostrzega o tym w dokumentacji robotów. Korzystaj z metod weryfikacji wskazanych przez operatora, na przykład aktualnych zakresów adresów IP. Test wykonany ze zmienionym nagłówkiem pomaga diagnozować regułę, ale nie odtwarza w pełni wizyty prawdziwego robota z jego infrastruktury.
5. Oddziel dostęp od indeksowania
Dla ważnych stron sprawdź także reguły indeksowania, adres kanoniczny i dostępność właściwej treści. W Google wykorzystaj Inspekcję adresu URL w Search Console. Narzędzie to nie potwierdza dostępu robotów innych firm. Szerszy kontekst tych kontroli znajdziesz w poradniku Lime Development o analizie technicznej strony.
6. Wprowadź jedną zmianę i porównaj wynik
Zapisz datę, zakres oraz sposób wycofania modyfikacji. Powtórz testy tych samych adresów i sprawdź późniejsze wizyty rzeczywistych robotów w logach. Brak wizyty w krótkim okresie nie dowodzi blokady. Poprawny test dostępu również nie dowodzi, że strona pojawi się w odpowiedziach. Raport powinien jasno rozdzielać te ustalenia.
Jak mierzyć skutki zmian bez mylenia wizyt botów z klientami?
Warto prowadzić trzy osobne zestawienia: dostęp robotów, przejścia użytkowników oraz wyniki biznesowe. Pierwsze pokazuje działanie konfiguracji, drugie ruch do witryny, a trzecie zapytania, zakupy lub inne cele firmy. Duża liczba pobrań nie jest sama w sobie sukcesem marketingowym.
Google raportuje ruch z funkcji AI w ogólnych danych wyszukiwania typu „Sieć” w Search Console. Nie traktuj więc samej zmiany łącznej liczby kliknięć jako dowodu wpływu jednej blokady. Źródło: dokumentacja pomiaru funkcji AI. Porównuj okresy o podobnej sezonowości i uwzględniaj równoległe zmiany treści, oferty oraz analityki.
Jeżeli problemem jest spadek wejść przy stabilnych pozycjach, przyda się także poradnik o tym, dlaczego strona traci ruch mimo dobrych pozycji w Google. Analiza dostępu botów powinna być jednym z elementów diagnozy. Bez danych nie przypisuj jej problemu, który może wynikać ze zmiany popytu albo sposobu prezentowania wyników.
Przykład hipotetyczny: roboty wykonały 400 000 pobrań miesięcznie, a średni rozmiar przesłanej odpowiedzi wyniósł 80 kB. Daje to 32 GB transferu przy jednostkach dziesiętnych. Jeżeli po selektywnym ograniczeniu zbędnego pobierania liczba takich odpowiedzi spadnie o 60%, różnica wyniesie 19,2 GB. Przy założonej opłacie 0,50 zł za GB oszczędność transferowa to 9,60 zł miesięcznie.
To obliczenie pomija nagłówki, pozostałe zasoby, koszty przetwarzania i obsługi. Zakłada też naliczanie opłaty za każdy GB. Przy transferze zawartym w abonamencie oszczędność na rachunku może wynieść zero. Jeśli głównym problemem jest obciążenie aplikacji, potrzebujesz osobnego pomiaru jej pracy. Sama imponująca liczba żądań nie uzasadnia kosztownego wdrożenia.
Co przygotować zamiast kolejnej uniwersalnej listy blokad?
Przygotuj krótką politykę: które treści mają być publiczne, które usługi mogą je wyszukiwać, jaka jest decyzja o treningu i kto odpowiada za zmianę ustawień. Dołącz wyniki kontroli kilku adresów oraz datę ostatniej weryfikacji dokumentacji dostawców. To daje osobie zarządzającej stroną podstawę do decyzji przy kolejnej zmianie CMS, hostingu lub CDN.
Dostęp techniczny jest dopiero początkiem. Google nadal wskazuje podstawy SEO, przydatną treść i możliwość jej odnalezienia przez linkowanie wewnętrzne. Nie wymaga specjalnego pliku AI ani odrębnego schematu danych strukturalnych do obecności w AI Overviews lub AI Mode. Źródło: wymagania Google dla funkcji AI. Nie zastępuj więc aktualizacji oferty i porządnej struktury serwisu zakupem kolejnego „magicznego” dodatku GEO.
Rekomendacja: zacznij od audytu dostępu, a dopiero potem wybierz blokady. Dla firmy zainteresowanej pozyskiwaniem klientów rozsądnym punktem wyjścia jest zachowanie dostępu wyszukiwania do publicznej oferty i osobna, świadoma decyzja o treningu. Weryfikuj skutki na poziomie pliku, infrastruktury i rzeczywistych odpowiedzi serwera.
Chcesz sprawdzić, co ogranicza widoczność Twojej witryny? Poznaj zakres analizy i optymalizacji SEO w Lime Development. Jeśli problemem jest ręczne zbieranie danych do kontroli, sprawdź również automatyzacje i integracje dla firm. Zacznijmy od konkretnego procesu i miernika, po którym ocenimy rezultat.
Źródła i dokumentacja
Weryfikacja źródeł: 11 listopada 2026 r. Dokumentacja producentów opisuje ich własne mechanizmy i deklaracje, nie stanowi niezależnego potwierdzenia skuteczności każdej konfiguracji.
- Google: Supporting a shared AI training control for websites, publikacja 30.10.2026 r.; zapowiedź obsługi w 2027 r.
- Machine-Readable Training Preference Signal, indywidualny Internet-Draft z 30.10.2026 r.; projekt, nie zatwierdzony standard.
- Anthropic: funkcje robotów i preferencje witryn; opis botów i rozpoczęcia rozpoznawania nowego sygnału od 30.10.2026 r.
- OpenAI: Overview of OpenAI Crawlers; rozróżnienie GPTBot, OAI-SearchBot i ChatGPT-User.
- Google: lista robotów i Google-Extended; zakres kontroli i weryfikacja identyfikatorów.
- Google: AI features and your website; wymagania, kontrola dostępu oraz pomiar w Search Console.
- Google: specyfikacja robots meta, data-nosnippet i X-Robots-Tag; kontrola indeksowania i prezentacji treści.
- Cloudflare: dziennik zmian; wpis z 01.07.2026 r. dotyczący podziału Search, Agent i Training.
- Cloudflare: AI Crawler and Agent access policies, aktualizacja dokumentacji 02.11.2026 r.; konfiguracja i skutki poszczególnych akcji.
- Cloudflare: robots.txt setting, aktualizacja dokumentacji 02.11.2026 r.; synchronizacja preferencji i dołączanie instrukcji do pliku.
- RFC 9309: Robots Exclusion Protocol, wrzesień 2022 r.; zasady dopasowania grup i ograniczenia protokołu jako zabezpieczenia dostępu.
Autor artykułu
Krzysztof Rusak
SEO, treści i praktyczne zastosowania AI. Łączę analizę z projektowaniem narzędzi, które ułatwiają codzienną pracę.
Poznaj autora i jego artykuły ↗