|
:: Strona Glówna -->
FAQ --> O robotach WWW
O robotach WWW
Robot to program, który automatycznie bada strukturę hipertekstu, pobierając
dokument oraz (rekursywnie) wszystkie inne połączone z nim linkami.
Normalne przeglądarki WWW nie są robotami, ponieważ kieruje nimi człowiek,
i nie ściągają one polinkowanych stron automatycznie.
Roboty czasem nazywamy Pełzaczami czy Pająkami. Te nazwy są trochę nietrafne,
ponieważ dają wrażenie, że program porusza się między stronami jak wirus. Roboty
nie działają w ten sposób. One po prostu odwiedzają strony i pobierają dokumenty...
Słowo "agent" ma wiele znaczeń w informatyce. Najczęściej jednak:
- Autonomiczni agenci
- to programy, które podróżują między stronami WWW. Decydują one same o
sobie. Podróżują między specjalnymi serwerami, i nie są jeszcze rozpowszechnione
w internecie.
Intelligentni agenci
- to programy, które pomagają użytkownikowi np. w wybraniu odpowiedniego
produktu, w wypełnieniu formularza. Programy te mają niewiele wspólnego z
siecią.
- User-agent
- to techniczna nazwa dla programów, które wykonują zadania sieciowe dla
użytkowników. tj. tak jak Netscape Navigator, Microsoft Internet
Explorer, i Emailowe (User-agent) jak Qualcomm Eudora.
Wyszukiwarka to program, który wyszukują dane. W kontekscie internetu, słowo
'wyszukiwarka' jest często używane dla formularza, który przeszukuje bazy danych
(tworzone przez roboty indeksujące) zawierające dokumenty HTML, obrazy itp.
Roboty mogą być używane w wielu celach:
- Indeksowania
- Sprawdzania poprawności HTML
- Sprawdzania linków
- Monitorowania "co nowego"
- Mirroringu
Przejrzyj listę aktywnych robotów aby zobaczyć czym
roboty zajmują się w praktyce.
Jest kilka powodów dla, których ludzie myślą, że roboty mogą być złe dla sieci:
- Duża część implementowanych robotów może (i robiła to w przeszłości)
przeciążać sieci i serwery. Dzieje się tak zazwyczaj, gdy robota pisze osoba,
która nie ma wystarczającej do tego wiedzy.
- Roboty są pisane przez ludzi, którzy mylą się w konfiguracji, nie przewidując
działania robota. Ludzi piszący roboty powinni być ostrożni i przewidujący...
- Ogólnoświatowe roboty indeksujące budują centralną bazę dokumentów, która
nie radzi sobie z milionami dokumentów na milionach serwerach.
Z drugiej strony większość robotów jest jednak dobrze zaprojektowana i profesjonalnie
skonfigurowana. Nie sprawia zatem problemów i dostarcza wielu cennych wiadomości.
Nie, roboty nie są złe, ale potrzebują wiele wiedzy i uwagi przy tworzeniu
i konfiguracji...
Zamieszczam link do oficjalnej strony robotów indeksujących - http://www.robotstxt.org/wc/robots.html
Poszukaj dodatkowych informacji na naszym forum.
Dalej - roboty indeksujące
|
