Wat is een robots.txt?

De robots.txt is een klein, maar ontzettend belangrijk tekstbestand dat in de hoofdfolder van je website staat.
Het vertelt zoekmachines welke pagina’s of secties ze wél of juist níet mogen crawlen.

Zie het als een digitale deurbel.
Voordat een zoekmachine je site binnenkomt, kijkt hij eerst naar dit bestand om te zien waar hij welkom is en waar niet.
Als SEO-specialist gebruik ik robots.txt om het crawlgedrag van bots te sturen en te voorkomen dat onbelangrijke of gevoelige content wordt geïndexeerd.

Waar vind je de robots.txt?

Je kunt hem altijd bekijken door achter je domeinnaam /robots.txt te zetten.
Bijvoorbeeld:

https://www.rankrocket.nl/robots.txt

Het bestand is publiek zichtbaar, iedereen kan het inzien, maar alleen crawlers gebruiken het actief.

Hoe ziet een robots.txt eruit?

Een basisvoorbeeld:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.rankrocket.nl/sitemap.xml

Toelichting:

• User-agent: * betekent dat de regels gelden voor alle crawlers.
• Disallow blokkeert bepaalde mappen of pagina’s.
• Allow geeft uitzonderingen binnen een geblokkeerde map.
• Sitemap verwijst naar de XML-sitemap, zodat Google weet waar de belangrijke URL’s staan.

In mijn eigen projecten voeg ik dit laatste punt altijd toe – het helpt Google om meteen de juiste pagina’s te vinden.

Waarom is robots.txt belangrijk voor SEO?

De robots.txt heeft directe invloed op hoe Google je site crawlt.
Een goed ingesteld bestand voorkomt dat crawlers tijd verspillen aan irrelevante of dubbele pagina’s, zoals:

• /wp-admin/ of /cgi-bin/
• interne zoekresultaten
• filterpagina’s of URL’s met trackingparameters
• test- of stagingomgevingen

Door die delen uit te sluiten, richt Google zijn crawlbudget op de pagina’s die er echt toe doen.
Dat betekent snellere indexatie van belangrijke content én minder ruis in je zoekresultaten.

Robots.txt in de praktijk

In mijn werk bij Rank Rocket kom ik het vaak tegen: een verkeerde regel in de robots.txt die onbedoeld een hele website blokkeert.
Bij één klant had iemand ooit per ongeluk dit toegevoegd:

Disallow: /

Daardoor kon Google helemaal niets meer crawlen.
De site verdween binnen enkele dagen uit de zoekresultaten.

Sindsdien controleer ik bij elke SEO-audit standaard de robots.txt als eerste.
Eén verkeerde slash kan letterlijk duizenden euro’s aan organisch verkeer kosten.

Wat kun je beter niet doen

• Gebruik robots.txt niet om pagina’s te verbergen die al geïndexeerd zijn. Gebruik daarvoor noindex-tags of verwijder de URL.
• Blokkeer geen CSS- of JS-bestanden die Google nodig heeft om de lay-out te begrijpen.
• Zet nooit vertrouwelijke informatie in een openbaar pad – robots.txt houdt alleen bots tegen, niet mensen.

Robots.txt en sitemaps

Ik voeg altijd een regel toe naar de XML-sitemap, zoals:

Sitemap: https://www.rankrocket.nl/sitemap.xml

Dit is niet verplicht, maar het maakt het voor zoekmachines eenvoudiger om direct alle belangrijke URL’s te vinden.
Het is een kleine moeite die vaak een merkbaar effect heeft op de efficiëntie van crawlen.

Tools om je robots.txt te testen

Ik gebruik zelf drie methoden:

1. Google Search Console: onder Instellingen > Crawlen kun je controleren of er blokkades zijn.
2. Robots.txt Tester: onderdeel van de oude Google Webmaster Tools, nog steeds bruikbaar via directe link.
3. Screaming Frog: hiermee simuleer je het gedrag van Googlebot en zie je precies welke URL’s worden uitgesloten.

Zo ontdek ik snel of een blokkade technisch klopt, of dat er iets misgaat in de interpretatie van de regels.