Typowy błąd
Najczęstszy, kosztowny błąd to przypadkowe zablokowanie całej strony regułą Disallow: / pozostawioną po wdrożeniu z wersji testowej — strona znika z Google, mimo że technicznie działa poprawnie.
Czego robots.txt NIE robi
Nie usuwa stron z indeksu (do tego służy noindex) i nie jest zabezpieczeniem — to jedynie sugestia dla robotów, nie blokada dostępu dla ludzi.