Robots.txt

Het robots.txt bestand is een text document welke in de root van de website wordt geplaatst en instructies voor crawlers bevat.

Door onderstaande regels te plaatsen kan je er bijvoorbeeld voor zorgen dat de crawlers van Google de checkout van je website niet bekijken.

User-agent: *
Disallow: /checkout/

De robots.txt kan ook aangeven waar de crawler de sitemap kan vinden. Als de sitemap niet simpelweg op /sitemap.xml te vinden is kan je de crawlers hiermee op weg helpen.

Sitemap: http://www.voorbeeld.nl/verstopte-sitemap.xml