Wstęp

Wiele robotów indeksujących, które wchodzą na Twoje strony bedzie podążać za linkami, wgłąb witryny do różnych katalogów. Potem dane, które pobierze robot mogą zostać zaindeksowane w wyszukiwarkach internetowych. I tutaj pojawia się problem: możesz niechcieć, aby roboty pobrały jakieś dane z Twojego serwera. Rozwiązania są dwa: