|
:: Strona Glówna -->
FAQ --> Exclusion standard
Najprawdopodobniej pochodzą one od jednego robotów, który chce się dowiedzieć
jakie zostosowałeś dla niego ograniczenia.
Jeśli nie chcesz aby podobne wpisy pojawiały się w Twoich logach, po prostu
stwórz pusty pliki robots.txt w katalogu głównym na serwerze.
Nie umieszczaj tam żadnych tagów HTML ani tekstów typu "Kim jesteś u licha?!".
Najprawdopodobniej nikt tego nie odczyta;)
Jeśli chcesz zabronić wszystkim robotom odwiedzania Twojej strony, stwórz plik
robots.txt, na napisz w nim:
User-agent: *
Disallow: /
Jeśli jednak chcesz stworzyć bardziej selektywne żądania, zajrzyj do działu
robots.txt
Wszystko na ten temat znajdziesz w dziale robots.txt
Prawdopodobnie tak.... jest na to parę pomysłów. Nie zostały one jeszcze uporządkowane
i sformalizowane, brakuje na to czasu. Poza tym jest kładziony za mały nacisk
na rozwój tego standardu. Świeże informacje znajdziesz na listach dyskusyjnych,
na naszym forum itp.
Czasem nie możesz zrobić pliku /robots.txt, bo nie jesteś administratorem serwera.
Nie wszystko stracone, istnieje standard na
używanie specjalnych META tagów, które pozwalają na zakazanie robotom wstępu
na witrynę.
Niektórzy ludzie martwią się, że wypisanie stron, czy katalogów w robots.txt
może być zaproszeniem do nieautoryzowanego dostępu.
Możesz umieścić pliki, o które się boisz w odzielnym katalogu, i skonfiguruj
serwer tak aby katalog ten był nie dostępny w sieci Web. Teraz w robots.txt
możesz wymienić tylko nazwę katalogu. Teraz roboty nie bedą mogły przeszukać
katalogu, chyba że ktoś umieści link kierujący dokładnie do Twoich plików.
Ale w takim przypadku to już nie będzie wina robots.txt
Dla przykładu. Zamiast pisać:
User-Agent: *
Disallow: /foo.html
Disallow: /bar.html
zrób tak :
User-Agent: *
Disallow: /norobots/
teraz stwórz katalog norobots,i przenieś do niego pliki foo.html i bar.html
i skonfiguruj serwer żeby ich nie udostępniał w sieci. Teraz haker bedzie
wiedzial ze masz katalog norobots, ale bedzie w stanie dowiedzieć się jakie
pliki tam trzymasz. Bedzie musiał zgadywać nazwy plików.
W praktyce jednak nie jest to najlepszy pomysł - to za 'delikatne' zabezpieczenie.
Ktoś może zrobić link do Twoich plików. Albo pliki będą widoczne w ogólnodostępnym
logu (np. na proxy serwerze użytkownika), lub na logu jakiegoś innego serwera
jako referencja. Ktoś też może się pomylić w przyszłości w konfiguracji Twojego
serwera (udostępniając Twój katalog).
Trzeba wziąć pod uwagę inne rozwiązanie:
Jeśli chcesz żeby ktoś nie miał dostępu do robots.txt, nie używaj go w taki
sposób. Pomyśl o tym tak, napiszę na drzwiach "brak wstępu" zamiast je zamykać.
Jeśli chcesz mieć pliku, do których dostęp mają mieć tylko autoryzowane osoby,
skonfiguruj serwer do autentykacji użytkownika i utwórz odpowiednie hasła dostępu
dla ludzi, którzy mają mieć dostęp do tajnych plików. Jeśli potrzebujesz lepszego
zabezpieczenia, pomyśl o szyfrowaniu SSL.
Dalej - dostępność
| 
