# llms.txt nie zastępuje robots.txt: analiza 584 tys. plików

Adres: https://polska.marketing/artykul/llms-txt-nie-zastepuje-robots-txt-analiza-584-tys-plikow-6ad52dd135c62f27b7827229
Wersja Markdown: https://polska.marketing/functions/llms?article=6ad52dd135c62f27b7827229
Autor: Redakcja polska.marketing · Opublikowano: 2026-10-18 · Dotyczy informacji z: 2026-09-08
Dział: [Dane i raporty z rynku marketingu](https://polska.marketing/kategoria/data) · Tematy: [seo](https://polska.marketing/tag/seo), [generatywna ai](https://polska.marketing/tag/generatywna-ai), [sztuczna inteligencja](https://polska.marketing/tag/sztuczna-inteligencja), [bezpieczeństwo](https://polska.marketing/tag/bezpieczenstwo)
Jak powstał: Tekst wygenerowany przez AI, bez weryfikacji przez człowieka; wszystkie liczby z podanych źródeł.

> Common Crawl przeanalizował 584 107 plików llms.txt. Wniosek dla firm: llms.txt nie działa jak robots.txt i nie nadaje się do kontroli dostępu botów AI.

**W skrócie**

- Zakazy dla botów wpisane do llms.txt nie są egzekwowane, a Common Crawl potwierdza, że jego robot respektuje wyłącznie robots.txt.
- Dotyczy właścicieli serwisów, agencji SEO i działów prawnych, które komunikują politykę wobec botów AI.
- Zadbaj o reguły w robots.txt, porównaj je z llms.txt i sprawdź, co wygenerowała wtyczka.

Kluczowa liczba: 68% plików llms.txt pochodzi z wtyczki lub szablonu

Plik llms.txt coraz częściej trafia na strony firm, ale wiele z nich traktuje go jak robots.txt: wpisuje do niego zakazy dla botów AI. Analiza organizacji Common Crawl pokazuje, że takie reguły niczego nie egzekwują. Dla marketera i właściciela serwisu oznacza to jedno: kontrola dostępu botów należy do robots.txt (i ewentualnie warstwy serwerowej), a llms.txt to co najwyżej spis treści.

## Co zbadał Common Crawl

Common Crawl, nieprofitowa organizacja prowadząca otwarte archiwum internetu, opublikowała 31 sierpnia 2026 roku analizę zawartości plików llms.txt z lipcowego crawla. Autorem jest Malte Ostendorff, starszy inżynier badawczy. Zbadano 584 107 plików, pobranych w lipcu 2026 roku. Dane i kod analizy są [dostępne w repozytorium projektu](https://github.com/commoncrawl/llms-txt-experiments).

Ważne ograniczenie: próba jest losowa tylko wśród serwisów, które robot CCBot mógł niedawno bez problemu pobrać. Nie reprezentuje całego internetu. Jak [opisuje Search Engine Journal](https://www.searchenginejournal.com/common-crawl-llms-txt-robots-txt/588786/), 11-procentowy wskaźnik wdrożeń z tego badania nie jest porównywalny z wynikami Ahrefs ani Web Almanac, bo dotyczą innych populacji. Analiza to też jedna migawka, więc nie pokazuje trendu.

## Dane: szablony, puste pliki i reguły bez mocy

Według Common Crawl (w relacji SEJ) 68% plików pochodzi z wtyczki lub szablonu. Same pliki z Wixa to 41% badanej próby. Tylko 49% ma pełną strukturę: nagłówek H1, streszczenie i sekcje z listą linków. Aż 22,56% plików nie zawiera żadnego linku, a specyfikacja wymaga wyłącznie nagłówka H1.

Generatory działają bardzo różnie. Wtyczka All in One SEO, w próbie 73 tys. plików, nie pisze streszczenia, a mediana to 138 linków. Pliki z zaparkowanych domen GoDaddy przechodzą testy struktury mimo braku linków i pełnią rolę reklamy.

Najciekawsza część dotyczy reguł dostępu:

- 6% plików zawiera wytyczne dotyczące korzystania z treści przez AI, np. limity zapytań czy uwagi o prawach autorskich, których format nie obejmuje.
- 1 570 plików wskazuje konkretne roboty, a 32 wyglądały na zakaz dla CCBot.
- Dla wszystkich 32 serwisów pobrano robots.txt. Z 31 możliwych do oceny żaden nie blokował CCBot wprost: 5 go wprost dopuszczało, 11 ograniczało dostęp do wybranych ścieżek, a 15 nie miało ograniczeń. Jeden serwis zwrócił błąd 429 i nie dało się go sprawdzić.
- Pod adresem llms.txt znaleziono 136 578 plików, które w rzeczywistości są plikami robots.txt. To około 10% z 1 287 207 odpowiedzi z kodem HTTP 200.

Jeden z opisanych przypadków: plik llms.txt deklaruje blokadę CCBot od czerwca 2026 roku, a robots.txt tej samej witryny dopuszcza robota przez regułę ogólną. Common Crawl opisuje llms.txt jako opis polityki, a nie samą politykę, i zaznacza, że pliki rozjeżdżają się z robots.txt. Organizacja podaje, że CCBot respektuje robots.txt.

## Prompt injection: rzadkie, ale realne

Dziesięć plików spełniło najostrzejszy test na instrukcje kierowane do modelu. Po weryfikacji cztery były prawdziwymi przypadkami, np. streszczenie nakazujące zignorować wcześniejsze instrukcje i pobrać drugi plik. Pozostałe sześć to fałszywe alarmy, głównie dokumentacja cytująca tokeny sterujące. Według autorów w prawdziwych przypadkach ktoś umieścił treść celowo, by coś zademonstrować. Łagodniejsze wskazówki w stylu skup się na tych stronach pojawiły się w 3 793 plikach.

Liczby o politykach i wstrzyknięciach opierają się na dopasowaniu słów kluczowych, więc autorzy przyznają, że to zapewne niedoszacowanie. Analiza nie potwierdza też, czy jakikolwiek system AI te pliki czyta.

## Czy ktoś w ogóle czyta llms.txt

To pytanie zadał wcześniej Ahrefs, firma sprzedająca narzędzia SEO. W [badaniu logów serwerowych](https://ahrefs.com/blog/llmstxt-study/) 137 210 domen z maja 2026 roku 28% publikowało llms.txt (Ahrefs zastrzega, że jego klienci są bardziej techniczni niż przeciętny serwis, więc to górna granica). 97% tych plików nie dostało w maju żadnego żądania. Common Crawl bada zawartość plików, Ahrefs ich użycie. Razem dają obraz formatu, który jest łatwy do wdrożenia, często automatycznie, i rzadko wykorzystywany.

## Co to oznacza dla marketerów w Polsce

Poniższe wnioski to interpretacja redakcji, nie ustalenia badaczy.

- **Kontrola botów tylko w robots.txt.** Jeśli firma chce ograniczyć konkretnego robota, reguła musi być w robots.txt. Wpis w llms.txt nie jest egzekwowany i tworzy fałszywe poczucie ochrony.
- **Audyt zgodności.** Warto porównać oba pliki. Przypadki z badania pokazują, że deklaracja w jednym i reguła w drugim mogą się wykluczać, co ma znaczenie prawne i wizerunkowe, gdy firma publicznie komunikuje politykę wobec AI.
- **Sprawdzenie, co wygenerowała wtyczka.** Skoro większość plików powstaje automatycznie, plik na stronie klienta mógł pojawić się bez wiedzy zespołu. Trzeba go przejrzeć pod kątem pustych list, treści reklamowych i dziwnych instrukcji.
- **Realistyczne oczekiwania wobec GEO.** Brak dowodów, że llms.txt poprawia widoczność w odpowiedziach AI. Nie powinien być osobną pozycją kosztową w ofercie agencji. O szerszym kontekście sporu o dostęp AI do treści piszemy w tekście o [braku umów Anthropic z wydawcami](/artykul/anthropic-bez-umow-z-wydawcami-spor-o-tresci-ai-wchodzi-w-nowa-faze-6a8fd91a62b4c6de82695573), a o agentach wchodzących na strony sklepów w analizie [WebMCP w sklepach i ChatGPT](/artykul/webmcp-w-sklepach-i-chatgpt-agenci-ai-wchodza-do-stron-6ad52cfee2b85aef9efa05ca).
- **Jeden wyjątek.** Jeśli klienci korzystają z agentów programistycznych, a serwis ma dokumentację techniczną, plik może mieć sens jako spis zasobów. Tak wynika z interpretacji danych Ahrefs, który wskazuje agentów kodujących jako najbliższych docelowym odbiorcom.

## Podsumowanie

Analiza 584 107 plików pokazuje format, którym rządzą generatory, a nie decyzje redakcji czy działów SEO. Reguły dostępu wpisane do llms.txt są komentarzem, nie blokadą. Polskie firmy powinny trzymać politykę wobec botów w robots.txt, sprawdzić spójność obu plików i nie wiązać z llms.txt oczekiwań dotyczących widoczności w AI, dopóki żaden duży operator nie potwierdzi, że go czyta.

## Źródła

1. llms-txt-experiments - Common Crawl (GitHub) - https://github.com/commoncrawl/llms-txt-experiments
2. We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read - Ahrefs - https://ahrefs.com/blog/llmstxt-study/
3. Some Sites Use llms.txt Like robots.txt, Common Crawl Finds - Search Engine Journal - https://www.searchenginejournal.com/common-crawl-llms-txt-robots-txt/588786/