# Robots.txt a boty AI: Google o granicach pliku i Google-Extended

Adres: https://polska.marketing/artykul/robots-txt-a-boty-ai-google-o-granicach-pliku-i-google-extended-6ad9b74f5e3e55bc953d6bb0
Wersja Markdown: https://polska.marketing/functions/llms?article=6ad9b74f5e3e55bc953d6bb0
Autor: Redakcja polska.marketing · Opublikowano: 2026-10-22 · Aktualizacja: 2026-10-24
Dział: [Technologie marketingowe i AI](https://polska.marketing/kategoria/technologia) · Tematy: [seo](https://polska.marketing/tag/seo), [google](https://polska.marketing/tag/google), [sztuczna inteligencja](https://polska.marketing/tag/sztuczna-inteligencja), [generatywna ai](https://polska.marketing/tag/generatywna-ai), [wydawcy](https://polska.marketing/tag/wydawcy)
Jak powstał: Tekst wygenerowany przez AI, bez weryfikacji przez człowieka; wszystkie liczby z podanych źródeł.

> Google Search Relations przypomina, że robots.txt decyduje tylko o tym, czy bot może wejść na stronę, a nie o tym, co zrobi z pobraną treścią. To zmienia podejście do Google-Extended i audytu pliku.

**W skrócie**

- Google Search Relations potwierdza, że robots.txt reguluje wyłącznie dostęp botów, a nie to, jak wykorzystują one już pobrane treści.
- Parser Google'a rozumie tylko pola user-agent, allow, disallow i sitemap, a reguły pisane zwykłym językiem i crawl-delay są ignorowane.
- Blokada Google-Extended wyłącza naraz trening Gemini i grounding, więc kosztuje też cytowania w Gemini, ale nie obejmuje AI Overviews ani AI Mode.
- Dane TollBit i HasData przytaczane przez PPC Land sugerują, że część botów AI dociera do zablokowanych adresów.
- Zrób audyt pliku, a treści poufne chroń logowaniem i warstwą serwera lub CDN, nie samą dyrektywą.

Kluczowa liczba: 4 pola obsługiwane przez parser Google

Wideo w tekście: [What can you actually put in a robots.txt?](https://www.youtube.com/watch?v=-jHONLQgE-s) (YouTube, kanał Google Search Central) - Odcinek serii The Non-Canonical Cabinet o tym, co można umieścić w pliku robots.txt, z udziałem Garyego Illyesa i Cherry Prommawin, kanał Google Search Central.

Robots.txt jest plikiem o dostępie, a nie o prawach do treści. Tę granicę wyznaczyli Gary Illyes i Cherry Prommawin z Google Search Relations w drugim odcinku serii The Non-Canonical Cabinet, opublikowanym 21 października 2026. Odcinek ma formę komediowego skeczu z kurczakiem w tle, ale wnioski są poważne. Reguła disallow mówi botowi, czy może wejść na stronę, a nie co zrobi z treścią, którą już pobrał.

Dla zespołów SEO i właścicieli serwisów oznacza to konieczność rozdzielenia dwóch pytań: kto może pobierać treści i do czego wolno je potem wykorzystać.

## Co powiedzieli gospodarze

Zgodnie z [relacją PPC Land](https://ppc.land/google-says-robots-txt-limits-ai-crawling-not-what-bots-do-with-data/) gospodarze opisali robots.txt jako prosty plik tekstowy w katalogu głównym witryny, zdefiniowany w standardzie RFC 9309. Bot, który przestrzega zasad, sprawdza ten plik, zanim zacznie czytać treść. Kluczowe jest słowo „przestrzega”: zgodność jest dobrowolna. Sam standard [stwierdza](https://www.rfc-editor.org/info/rfc9309/), że reguły nie są formą autoryzacji dostępu.

Trzeba pamiętać, że to prezentacja Google'a, a nie niezależne badanie. Transkrypcja pochodzi z automatycznych napisów YouTube, więc część cytatów jest zniekształcona.

## Cztery pola i ciche odrzucanie reszty

Parser Google'a rozumie user-agent, allow, disallow i sitemap. Wszystko inne jest po cichu pomijane. Gospodarze podali przykład reguły napisanej zwykłym językiem: taki zapis nie jest poprawną regułą, więc robot go zignoruje i może odwiedzić stronę, którą autor chciał ukryć. Nie zadziałają też własne reguły, które mają zakazać użycia treści do trenowania modeli.

[Dokumentacja Google'a](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec) potwierdza kilka szczegółów istotnych w praktyce:

- plik musi być zapisany w UTF-8, a Google egzekwuje limit 500 KiB i ignoruje treść po jego przekroczeniu,
- nieobsługiwane pola, takie jak crawl-delay, nie działają,
- ścieżki z surowymi znakami UTF-8 Google zamienia na zapis procentowy, więc reguły dla polskich znaków w adresach zadziałają w jego parserze.

Odcinek zaleca jednak zapis zakodowany, bo inne lub starsze boty mogą się w takich znakach pogubić. To zalecenie gospodarzy; nie podali oni, które boty mają ten problem. Tokeny user-agent nie mogą natomiast zawierać emoji ani znaków spoza ASCII.

## Dostęp kontra użycie: gdzie jest Google-Extended

Najważniejsze zdanie odcinka brzmi w skrócie tak: robots.txt to protokół preferencji dostępu i nie dyktuje, co system robi z danymi po pobraniu. Żeby zatrzymać konkretnego bota AI, trzeba jawnie wskazać jego token.

Tu pojawia się napięcie, którego odcinek nie poruszył. Google-Extended jest tokenem w robots.txt, który nie ma własnego crawlera. Według [opisu PPC Land](https://ppc.land/google-extended/) token pozwala stronie określić, czy treści zbierane przez roboty Google'a mogą trenować modele Gemini i służyć do osadzania odpowiedzi (grounding) w Gemini Apps i Vertex AI.

Jedna reguła obejmuje oba zastosowania, więc rezygnacja z treningu oznacza też rezygnację z cytowań w Gemini. Token nie obejmuje AI Overviews ani AI Mode. Formalnie to zwykła grupa user-agent, ale w praktyce niesie preferencję dotyczącą użycia danych, a nie tylko dostępu.

Jest też konsekwencja operacyjna: skoro żadne żądanie nie przychodzi pod nazwą Google-Extended, w logach serwera nie sprawdzisz, czy dyrektywa jest respektowana. Pozostaje zaufanie do deklaracji Google'a.

## Dane: ile botów omija blokady

Odcinek o tym nie mówił, ale kontekst dobrze pokazuje granice modelu opartego na dobrowolności. PPC Land przytacza dwa zestawy danych:

- TollBit (firma analizująca ruch botów AI) wskazał w danych za pierwsze półrocze 2026, że około 15% zidentyfikowanych agentów AI pobierających strony dotarło do adresów, które europejskie serwisy zablokowały,
- test HasData z lipca: spośród 592 serwisów blokujących GPTBot 234 nadal wydawało mu aktywną stronę.

Oba wyniki znamy z relacji PPC Land. W teście HasData żądania podszywały się pod GPTBot, a nie pochodziły ze zweryfikowanego crawlera OpenAI, więc odpowiedź 200 mogła wynikać z innych czynników. Dane należy traktować jako sygnał, a nie twardą miarę skali zjawiska.

## Co to oznacza dla marketerów w Polsce

**Zrób audyt pliku.** Sprawdź, czy w robots.txt nie ma reguł napisanych po ludzku, wpisów z crawl-delay i szablonów skopiowanych z 2023 roku. Każda taka linia daje złudne poczucie kontroli.

**Podejmij decyzję o Google-Extended świadomie.** Domyślnie treści są dostępne. Blokada wyłącza trening i grounding w Gemini, ale kosztuje potencjalne cytowania w tych produktach i nie wpływa na AI Overviews ani AI Mode. Dla wydawców z treściami płatnymi i dla marek, którym zależy na obecności w odpowiedziach AI, rachunek będzie inny. Powiązane tło znajdziesz w naszym [przewodniku o GEO](/przewodnik/geo).

**Nie używaj robots.txt jako zabezpieczenia.** Plik jest publiczny, a zablokowana strona nadal może pojawić się w wynikach, jeśli ktoś na nią linkuje. Treści poufne chroń logowaniem, a nie dyrektywą.

**Zapisuj ścieżki ze znakami spoza ASCII w formie zakodowanej.** To drobna zmiana, która ogranicza ryzyko, że starszy bot źle zinterpretuje regułę z polskimi znakami.

**Nie opieraj ochrony wyłącznie na pliku.** Jeśli ruch botów ma znaczenie biznesowe, potrzebne są warstwy po stronie serwera lub CDN. O tym, jak sygnały infrastrukturalne łączą się z widocznością w AI, piszemy w tekście [ChatGPT Search i sygnały Cloudflare](/artykul/chatgpt-search-i-sygnaly-cloudflare-indeks-to-pierwszy-prog-6ad839789d7438f2de4a6b3c).

## Podsumowanie

Odcinek Google'a niczego nie zmienia w standardzie, ale porządkuje oczekiwania. Robots.txt reguluje wejście, nie wykorzystanie. Skuteczne są wyłącznie poprawnie zapisane reguły dla konkretnych tokenów, a Google-Extended pokazuje, że nawet duży operator używa tego pliku do sygnalizowania preferencji użycia. Następny odcinek serii ma dotyczyć kodu 404.

## Źródła

1. Google says robots.txt limits AI crawling, not what bots do with data - PPC Land - https://ppc.land/google-says-robots-txt-limits-ai-crawling-not-what-bots-do-with-data/
2. How Google Interprets the robots.txt Specification - Google Search Central - https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
3. RFC 9309: Robots Exclusion Protocol - IETF / RFC Editor - https://www.rfc-editor.org/info/rfc9309/
4. Explaining Google-Extended - PPC Land - https://ppc.land/google-extended/