Meta Tagi
Istnieje jeszcze jeden prosty sposób wykluczania określonych stron
z indeksowania. Polega on na zastosowaniu odpowiednich znaczników META
w Twoich stronach WWW.
Podobnie jak inne Tagi, "Robots Meta Tagi" powinny być umieszczane
w nagłówkach (<HEAD>) Twoich dokumentów.Meta Tagi pełnią szczególną
funkcję - mówią pająkowi, gdzie może pełzać, a gdzie nie. W dodatku
znaczniki te mogą zakazać robotowi podążania za linkami w danym dokumencie.
Jak poprzednio wyjaśnimy składnię na przykładzie:
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
W pierwszym przykładzie, robot ma zaindeksować strone oraz odwiedzić
wszystkie linki (follow). W drugim ma odwiedzać linki, ale nie indeksować
strony. I tak dalej...
Oczywiście nie warto na każdą stronę "wpychać" index,follow.
Robot zachowa się właśnie tak, jeśli w ogóle nie napotka tagu meta w
dokumencie.
Ten Tag jest bardzo użyteczny z czasem zyskuje na wadze.Na przykład:
jest to jedyny tag czytany przez Lycos. Niestety jeszcze nie wszystkie
wyszukiwarki potrafią sobie z nim poradzić. Częściej używany jest
plik robots.txt opisany w podziale opis
pliku robots.txt.
