rags.kalfur.com

Flestar síður eru með skrá í vefrótinni hjá sér sem heitir robots.txt og er ættlaðar til að leiðbeina leitarvélum og öðrum “crawl”-erum að rata um síðuna hjá sér. Þar er hægt að setja inn möppur og skrár sem þessar “vélar” eiga að athuga sérstaklega eða sleppa að athuga. Oft getur verið mjöög gaman að rannsaka þessar síður.

Dæmi:
Google -> http://google.com/robots.txt
Microsoft -> http://www.microsoft.com/robots.txt
mbl -> http://www.mbl.is/robots.txt
Vodafone -> http://vodafone.is/robots.txt (Hvaða vefkerfi er í gangi hér?)
HI -> http://hi.is/robots.txt (Af hverju er búið að loka á pálma???)

En meira um þetta síðar