|
:: Strona Glówna -->
FAQ --> Dla administratorów
Możesz przejrzeć log swojego serwera w poszukiwaniu miejsc, w których widać
pobranie wielu stron w bardzo krótkim czasie.
Jeśli Twój serwer potrafi obsłużyć logowanie User-agent, możesz odbiorców
z nietypowymi watościami w nagłówkach.
W końcu jeśli zauważysz, że wielokrotnie sprawdzany jest plik
robots.txt istnieje duża szansa, że robi to robot. Więcej
informacji znajdziesz w dziale analiza logów
W sumie nic :-) Roboty są automatyczne więc nie musisz robić nic nadzwyczajnego
Jeśli wydaje Ci się, że odkryłeś nowego robota, (którego
nie ma na
liście robotów)
i odwiedził Cię więcej niż raz. prześlij do nas dane na jego temat. Napewno
zaktualizujemy listę.
Nazywamy to "rapid-fire", można to zaobserwować podczas monitorowania loga.
Po pierwsze sprawdź czy jest to dla Ciebie problem (czy obciąża serwer), sprawdź
też dziennik błędów. Jeśli masz szybki serwer, powinien on sobie poradzić z
kilkunastoma żądaniami na sekundę.
Jeśli jednak masz wolny serwer, może się zdarzyć, że odmówi on użytkownikom
wyłania strony, a nawet wszystko może się zawiesić.
W takiej sytuacji powinieneś zrobić kilka rzeczy. Najważniejszr
to zacznij analizować swoje logi. Kiedy następują takie wydarzenia,
dowiedz się skąd wziął
się dany robot, jaki miał adres IP, albo domenę DNS, czy jest
w bazie
robotów... Gdy zbierzesz już wszystkie potrzebne informacje, możesz
zamailować do osoby odpowiedzialnej za robota i zapytać dlaczego tak się dzieje.
W ostateczności możesz zakazać robotowi
wstępu na Twoją witrynę...
Przeczytaj następną stronę FAQ (Exclusion standard).
Dalej - exclusion standard
| 
