llms.txt nie zastępuje robots.txt: analiza 584 tys. plików

Plik llms.txt coraz częściej trafia na strony firm, ale wiele z nich traktuje go jak robots.txt: wpisuje do niego zakazy dla botów AI. Analiza organizacji Common Crawl pokazuje, że takie reguły niczego nie egzekwują. Dla marketera i właściciela serwisu oznacza to jedno: kontrola dostępu botów należy do robots.txt (i ewentualnie warstwy serwerowej), a llms.txt to co najwyżej spis treści.

Co zbadał Common Crawl

Common Crawl, nieprofitowa organizacja prowadząca otwarte archiwum internetu, opublikowała 31 sierpnia 2026 roku analizę zawartości plików llms.txt z lipcowego crawla. Autorem jest Malte Ostendorff, starszy inżynier badawczy. Zbadano 584 107 plików, pobranych w lipcu 2026 roku. Dane i kod analizy są dostępne w repozytorium projektu.

Ważne ograniczenie: próba jest losowa tylko wśród serwisów, które robot CCBot mógł niedawno bez problemu pobrać. Nie reprezentuje całego internetu. Jak opisuje Search Engine Journal, 11-procentowy wskaźnik wdrożeń z tego badania nie jest porównywalny z wynikami Ahrefs ani Web Almanac, bo dotyczą innych populacji. Analiza to też jedna migawka, więc nie pokazuje trendu.

Dane: szablony, puste pliki i reguły bez mocy

Według Common Crawl (w relacji SEJ) 68% plików pochodzi z wtyczki lub szablonu. Same pliki z Wixa to 41% badanej próby. Tylko 49% ma pełną strukturę: nagłówek H1, streszczenie i sekcje z listą linków. Aż 22,56% plików nie zawiera żadnego linku, a specyfikacja wymaga wyłącznie nagłówka H1.

Generatory działają bardzo różnie. Wtyczka All in One SEO, w próbie 73 tys. plików, nie pisze streszczenia, a mediana to 138 linków. Pliki z zaparkowanych domen GoDaddy przechodzą testy struktury mimo braku linków i pełnią rolę reklamy.

Najciekawsza część dotyczy reguł dostępu:

• 6% plików zawiera wytyczne dotyczące korzystania z treści przez AI, np. limity zapytań czy uwagi o prawach autorskich, których format nie obejmuje.
• 1 570 plików wskazuje konkretne roboty, a 32 wyglądały na zakaz dla CCBot.
• Dla wszystkich 32 serwisów pobrano robots.txt. Z 31 możliwych do oceny żaden nie blokował CCBot wprost: 5 go wprost dopuszczało, 11 ograniczało dostęp do wybranych ścieżek, a 15 nie miało ograniczeń. Jeden serwis zwrócił błąd 429 i nie dało się go sprawdzić.
• Pod adresem llms.txt znaleziono 136 578 plików, które w rzeczywistości są plikami robots.txt. To około 10% z 1 287 207 odpowiedzi z kodem HTTP 200.

Jeden z opisanych przypadków: plik llms.txt deklaruje blokadę CCBot od czerwca 2026 roku, a robots.txt tej samej witryny dopuszcza robota przez regułę ogólną. Common Crawl opisuje llms.txt jako opis polityki, a nie samą politykę, i zaznacza, że pliki rozjeżdżają się z robots.txt. Organizacja podaje, że CCBot respektuje robots.txt.

Prompt injection: rzadkie, ale realne

Dziesięć plików spełniło najostrzejszy test na instrukcje kierowane do modelu. Po weryfikacji cztery były prawdziwymi przypadkami, np. streszczenie nakazujące zignorować wcześniejsze instrukcje i pobrać drugi plik. Pozostałe sześć to fałszywe alarmy, głównie dokumentacja cytująca tokeny sterujące. Według autorów w prawdziwych przypadkach ktoś umieścił treść celowo, by coś zademonstrować. Łagodniejsze wskazówki w stylu skup się na tych stronach pojawiły się w 3 793 plikach.

Liczby o politykach i wstrzyknięciach opierają się na dopasowaniu słów kluczowych, więc autorzy przyznają, że to zapewne niedoszacowanie. Analiza nie potwierdza też, czy jakikolwiek system AI te pliki czyta.

Czy ktoś w ogóle czyta llms.txt

To pytanie zadał wcześniej Ahrefs, firma sprzedająca narzędzia SEO. W badaniu logów serwerowych 137 210 domen z maja 2026 roku 28% publikowało llms.txt (Ahrefs zastrzega, że jego klienci są bardziej techniczni niż przeciętny serwis, więc to górna granica). 97% tych plików nie dostało w maju żadnego żądania. Common Crawl bada zawartość plików, Ahrefs ich użycie. Razem dają obraz formatu, który jest łatwy do wdrożenia, często automatycznie, i rzadko wykorzystywany.

Co to oznacza dla marketerów w Polsce

Poniższe wnioski to interpretacja redakcji, nie ustalenia badaczy.

• Kontrola botów tylko w robots.txt. Jeśli firma chce ograniczyć konkretnego robota, reguła musi być w robots.txt. Wpis w llms.txt nie jest egzekwowany i tworzy fałszywe poczucie ochrony.
• Audyt zgodności. Warto porównać oba pliki. Przypadki z badania pokazują, że deklaracja w jednym i reguła w drugim mogą się wykluczać, co ma znaczenie prawne i wizerunkowe, gdy firma publicznie komunikuje politykę wobec AI.
• Sprawdzenie, co wygenerowała wtyczka. Skoro większość plików powstaje automatycznie, plik na stronie klienta mógł pojawić się bez wiedzy zespołu. Trzeba go przejrzeć pod kątem pustych list, treści reklamowych i dziwnych instrukcji.
• Realistyczne oczekiwania wobec GEO. Brak dowodów, że llms.txt poprawia widoczność w odpowiedziach AI. Nie powinien być osobną pozycją kosztową w ofercie agencji. O szerszym kontekście sporu o dostęp AI do treści piszemy w tekście o braku umów Anthropic z wydawcami, a o agentach wchodzących na strony sklepów w analizie WebMCP w sklepach i ChatGPT.
• Jeden wyjątek. Jeśli klienci korzystają z agentów programistycznych, a serwis ma dokumentację techniczną, plik może mieć sens jako spis zasobów. Tak wynika z interpretacji danych Ahrefs, który wskazuje agentów kodujących jako najbliższych docelowym odbiorcom.

Podsumowanie

Analiza 584 107 plików pokazuje format, którym rządzą generatory, a nie decyzje redakcji czy działów SEO. Reguły dostępu wpisane do llms.txt są komentarzem, nie blokadą. Polskie firmy powinny trzymać politykę wobec botów w robots.txt, sprawdzić spójność obu plików i nie wiązać z llms.txt oczekiwań dotyczących widoczności w AI, dopóki żaden duży operator nie potwierdzi, że go czyta.