Jak to działa
Googlebot zaczyna od znanych adresów i podąża za linkami — wewnętrznymi i zewnętrznymi — odkrywając kolejne podstrony. Strona bez żadnych linków prowadzących do niej może nigdy nie zostać odwiedzona.
Co utrudnia crawling
- Głęboka struktura linków (podstrona dostępna dopiero po 5+ kliknięciach od strony głównej)
- Błędy serwera (5xx) w czasie wizyty robota
- Pułapki crawlowania — nieskończone kombinacje filtrów/parametrów URL