Wat is het: robots.txt bestand?

Het robots.txt bestand is een bestand in je root directory dat aan de zoekmachines vertelt wat ze wel en wat ze niet moeten indexeren op jouw site. Oftewel welke pagina’s of folders mogen door de zoekmachines worden gecrawld en welke dienen te worden genegeerd.

Zaken waartoe je de toegang wilt verbieden zijn bijvoorbeeld privécontent of onnodige elementen die anders de bandbreedte opslurpen en de laadtijd op jouw server onnodig verhogen.

Ook als je dubbele content op een pagina en in een bepaalde folder hebt staan, kun je de zoekmachines de toegang tot die pagina en folder verbieden.

Voorbeeld van een robots.txt

Met de volgende robots.txt zorg je ervoor dat de zoekmachines een bepaalde pagina en folder met daarin dubbele content niet meenemen in de indexatie:

• User-agent: *
• Disallow: /pagina-met-dubbele-content.html
• Disallow: /folder-met-dubbele-content/

Waarom een robots.txt gebruiken?

Het optimaliseren van wat de zoekmachines van jouw site indexeren is een onderdeel van technische SEO. Voor de zoekmachine optimalisatie van jouw site wil je dat de zoekmachines alleen de waardevolle inhoud indexeren die aansluit op de wensen van jouw doelgroep. Wanneer het robots.txt bestand ontbreekt en een zoekmachine zoals Google een spider verzendt om de inhoud van jouw site te indexeren, zal het proberen om alles te indexeren.

Benieuwd wat wij voor jou kunnen betekenen op gebied van online marketing? Neem contact met ons op via het formulier!