Do czego służy
Robots.txt to prosty plik tekstowy w głównym katalogu witryny, który wita roboty wyszukiwarek i mówi im, gdzie mogą wchodzić, a gdzie nie. To pierwszy dokument, jaki Googlebot sprawdza, zanim zacznie crawling. Ważne jednak, by rozumieć jego rolę precyzyjnie: to sugestia dostępu, nie narzędzie do zarządzania indeksem ani zabezpieczenie. Mylenie tych funkcji prowadzi do dwóch klasycznych, kosztownych pomyłek.
Typowy, kosztowny błąd
Najgroźniejszy scenariusz jest banalny: reguła Disallow: / pozostawiona po wersji testowej. Blokuje całą stronę przed robotami — witryna działa, wygląda świetnie, a znika z Google. To jeden z najczęstszych, a najłatwiejszych do przeoczenia błędów, zwłaszcza tuż po wdrożeniu. Dlatego przy każdej nowej stronie warto sprawdzić robots.txt jako jedną z pierwszych rzeczy — o czym piszemy w SEO w pierwszym miesiącu nowej strony.
Czego robots.txt NIE robi
Dwa częste nieporozumienia warto rozwiać:
- Nie usuwa stron z indeksu — do tego służy noindex. Strona zablokowana w robots.txt, ale linkowana z zewnątrz, może wciąż pojawić się w wynikach.
- Nie jest zabezpieczeniem — plik jest publiczny, a blokada to tylko prośba do dobrze wychowanych robotów. Wrażliwe treści chroni się logowaniem, nie robots.txt.
Warto też wskazać w nim lokalizację mapy strony — to standardowa, dobra praktyka.