Jak to działa
Googlebot działa jak niestrudzony czytelnik podążający za linkami. Zaczyna od znanych adresów i przechodzi po odnośnikach — wewnętrznych i zewnętrznych — odkrywając kolejne podstrony. Wniosek jest ważny: strona, do której nie prowadzi żaden link, może nigdy nie zostać odwiedziona (to tzw. strona-sierota). Crawling to pierwszy etap na drodze do wyników — dopiero po nim następuje indeksacja. Robot musi najpierw stronę znaleźć, zanim Google w ogóle rozważy dodanie jej do bazy.
Co utrudnia crawling
Kilka typowych przeszkód potrafi sprawić, że robot nie dotrze do wartościowych stron:
- głęboka struktura — podstrona dostępna dopiero po 5+ kliknięciach od strony głównej,
- błędy serwera (5xx) w momencie wizyty robota,
- pułapki crawlowania — nieskończone kombinacje filtrów i parametrów URL, w których robot się „gubi”.
Jak pomóc robotom
Recepta jest w dużej mierze tą samą dobrą praktyką co dla użytkownika: logiczna struktura i linkowanie wewnętrzne, które trzyma ważne strony blisko strony głównej. Do tego zgłoszona mapa strony (przyspiesza odkrywanie) i robots.txt, który nie blokuje niczego istotnego. Dla większości małych witryn to wystarcza — temat budżetu indeksowania staje się istotny dopiero przy tysiącach podstron.