Robots.txt is een klein tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke delen van je site ze wel en niet mogen bezoeken (crawlen). Je vindt het altijd op hetzelfde adres: jouwdomein.nl/robots.txt.
Hoe werkt robots.txt?
Voordat een zoekmachine als Google je website doorzoekt, kijkt hij eerst in het robots.txt-bestand. Daarin staan regels per crawler. Een eenvoudig voorbeeld:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.jouwdomein.nl/sitemap_index.xml
Dit betekent: alle crawlers (*) mogen de beheeromgeving niet in, behalve één bestand dat de website nodig heeft. De laatste regel wijst zoekmachines de weg naar je sitemap.
Waarvoor gebruik je robots.txt?
- Delen van je site afschermen die niet in zoekmachines hoeven, zoals een beheeromgeving of interne zoekresultaten van een webshop.
- Voorkomen dat zoekmachines tijd verspillen aan onbelangrijke pagina’s, zoals filtercombinaties in een webshop.
- Zoekmachines naar je sitemap verwijzen.
Waar moet je op letten?
Robots.txt is geen manier om een pagina uit Google te houden. Een geblokkeerde pagina kan nog steeds in de zoekresultaten verschijnen als andere sites ernaar linken. Wil je een pagina echt uit Google houden, gebruik dan een noindex-tag. Een fout in robots.txt kan bovendien je hele website onzichtbaar maken voor zoekmachines. Controleer het bestand daarom na elke wijziging, bijvoorbeeld in Google Search Console of tijdens een SEO-audit.
Veelgestelde vragen
Heeft elke website een robots.txt nodig?
Het is niet verplicht, maar wel aan te raden. Zonder robots.txt mogen zoekmachines alles crawlen. Met een bestand kun je ze sturen en naar je sitemap verwijzen. WordPress en SEO-plugins zoals Yoast maken er vaak automatisch een aan.
Haalt robots.txt een pagina uit Google?
Nee. Robots.txt voorkomt alleen dat zoekmachines de pagina bezoeken. Om een pagina uit de zoekresultaten te houden, gebruik je een noindex-tag op die pagina.
Hoe pas ik robots.txt aan in WordPress?
Met een SEO-plugin zoals Yoast kun je het bestand aanpassen via de instellingen, zonder zelf bestanden op de server te bewerken. Controleer daarna in Google Search Console of alles goed werkt.