| Wpis |
Znaczenie |
User-agent: *
Disallow: |
Gwiazdka (*) w sekcji User-agent (nazwa robota), jest po prostu
skrótem dla "wszystkie roboty". Jako, że nic nie jest
zabronine, wszystko jest dozwolone. (tak jakby nie było robots.txt) |
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
|
W tym przykładzie wszystkie roboty mogą zaglądać gdzie im się
podoba z wyjątkiem trzech niżej wymienionych katalogów. |
User-agent: BadBot
Disallow: / |
W tym przypadku robot o nazwie BadBot nie może katalogować
nic z tego serwera. (/) to skrót do "wszystkie katalogi".
Uwaga : BadBot = badbot = BADBOT |
User-agent: BadBot
Disallow: /
User-agent: *
Disallow: /private/ |
To co poprzednio ale:
Pusta linijka oznacza,że zaczynamy nowy "wpis" - nową
komendę User-agent. Wszystkie pozostałe roboty (poza BadBot),
nie mogą odwiedzić katalogu /private/ |
User-agent: ZłyBot
Disallow: /tmp/
Disallow: /private/
Disallow: /links/listing.html
User-agent: *
Disallow: /tmp/
Disallow: /private/ |
Te komendy zabraniają dostępu (Złemubotowi) do wymienionych
katalogów oraz do pliku listing.html
Wszystkie pozostałe roboty nie mogą wejść w tmp i private.
(Jeśli myślisz, że te komendy są wyjątkowo nieefektywne to masz
rację) |
| Czego robić nie należy? - najczęstrze błędy |
| |
User-agent: *
Disallow / |
Błąd! Nie ma dwukropka po Disallow. |
User-agent: *
Disallow: * |
Błąd jak chcesz żęby robot nie mógł nigdzie wejść użyj (/)
w disallow |
| User-agent: sidewiner
Disallow: /tmp/ |
Nie! Roboty nie będą zważały na błędy w pisowni
nazw robotów.
Zapraszamy do działu Baza Robotów. |
