Robots.txt
Google en andere Zoekmachines indexeren regelmatig de Websites om te controleren of er pagina’s aan de Site zijn toegevoegd, verwijderd of gewijzigd. Voordat de Zoekmachines een Website gaan doorzoeken, controleert de Zoekmachine eerst of er een robots.txt bestand aanwezig is. Binnen het bestand Robots.txt kunt u een verwijzing naar de Sitemap aangeven, zodat de Zoekmachines meteen weten waar de betreffende Sitemap te vinden is.
Verder kunt u in het bestand robots.txt ook aangeven welke pagina’s niet meegnomen dienen te worden tijdens het indexeren van de website of welke juist wel.