Wat is de meta robots tag

De meta robots tag is een HTML-instructie die zoekmachines vertelt hoe ze jouw pagina moeten behandelen.
Met deze tag bepaal ik of een pagina wel of niet geïndexeerd mag worden, of links gevolgd moeten worden, en of bepaalde fragmenten in de zoekresultaten mogen verschijnen.

Kort gezegd: met de meta robots tag geef je Google richting over indexatie, crawling en weergave.

<meta name="robots" content="index, follow">

Dit voorbeeld vertelt Google: “je mag deze pagina opnemen in de index én de links volgen”.
Door de tag slim te gebruiken, stuur ik de manier waarop zoekmachines je website lezen, iets wat essentieel is voor SEO-prestaties op de lange termijn.

Waarom de meta robots tag belangrijk is

Zonder duidelijke meta robots instructies gaat Google uit van de standaard: index, follow.
Dat betekent dat alles wat gevonden wordt, ook wordt opgenomen in de index.

Bij kleine websites is dat prima, maar bij grotere projecten, bijvoorbeeld een webshop met duizenden productvarianten of filterpagina’s, leidt dat tot indexatie van irrelevante of duplicerende URL’s.
Het gevolg: Google verspilt crawlbudget aan pagina’s die je liever niet in de zoekresultaten ziet.

Door de meta robots tag strategisch in te zetten, zorg ik ervoor dat:

• Alleen waardevolle content wordt geïndexeerd
• Interne linkwaarde gericht wordt verspreid
• Crawlbudget efficiënt wordt gebruikt
• Zoekmachines niet verward raken door duplicaten

Hoe ik de meta robots tag gebruik

In mijn SEO-trajecten gebruik ik de meta robots tag op drie niveaus:

1. Indexatiebeheer

Ik bepaal per paginatype of deze wel of niet in de index mag komen.
Bijvoorbeeld:

• Blogartikelen en productpagina’s → index, follow
• Filter- of sorteerpagina’s → noindex, follow
• Dank- en inlogpagina’s → noindex, nofollow

2. Snippetcontrole

Ik gebruik aanvullende attributen om te bepalen wat Google in de zoekresultaten mag tonen.

<meta name="robots" content="max-snippet:160, max-image-preview:large, max-video-preview:0">

Zo behoud je controle over hoe jouw snippet wordt weergegeven zonder dat je iets blokkeert.

3. Tijdelijke of seizoensgebonden pagina’s

Voor tijdelijke campagnes gebruik ik:

<meta name="googlebot" content="unavailable_after: 31 Dec 2025 23:59:00 CET">

Na deze datum verdwijnt de pagina automatisch uit de index.

De verschillende waarden van de meta robots tag

Meta robots vs X-Robots-Tag

De meta robots tag gebruik ik voor HTML-pagina’s.
Voor bestanden zoals PDF’s of afbeeldingen is er de X-Robots-Tag, die je toevoegt in de HTTP-header.

<FilesMatch "\.(pdf|doc|jpg)$">
Header set X-Robots-Tag "noindex, noarchive"
</FilesMatch>

Dit is handig voor bestanden die niet via HTML benaderbaar zijn, maar die je toch uit de index wilt houden.

Meta robots vs robots.txt

De meta robots tag en robots.txt lijken op elkaar, maar hebben een heel andere functie:

Een fout die ik vaak zie: mensen zetten een pagina op noindex, maar blokkeren hem ook in robots.txt.
Dan kan Google de noindex nooit lezen, en blijft de pagina tóch in de index.

Mijn regel:

“Wil je dat Google iets vergeet? Laat hem het eerst lezen.”

Meta robots en canonical

De canonical tag en meta robots werken samen, maar niet altijd goed tegelijk.
Ik gebruik canonical wanneer ik wil dat Google meerdere pagina’s als één beschouwt (bijvoorbeeld kleurvarianten van een product).
De noindex gebruik ik alleen als de pagina écht niet zichtbaar mag zijn.

Belangrijk: gebruik ze niet tegenstrijdig.
Een pagina met noindex én een canonical naar zichzelf is verwarrend, Google weet niet welke instructie moet winnen.

Meta robots en crawlbudget

Bij grote websites speelt ook het crawlbudget een rol.
Elke crawl van Google kost tijd en middelen.
Door irrelevante pagina’s op noindex, follow te zetten, blijft de interne linkstructuur intact maar wordt de index opgeschoond.

Bij een klant met 40.000 filterpagina’s hebben we deze aanpak toegepast.
Resultaat:

• 60% minder overbodige URL’s in de index
• Nieuwe producten werden 3x sneller geïndexeerd
• 25% stijging in crawl-efficiëntie (volgens serverlogs)

Controle en validatie

Na implementatie controleer ik altijd of Google de instructies goed interpreteert:

1. URL-inspectie (Google Search Console)
   • Bekijk of de pagina ‘Toegestaan voor indexatie’ toont.
2. Screaming Frog (SEO Spider)
   • Gebruik custom extraction om meta robots op te halen.
3. site:zoekopdracht in Google
   • Controleer of de pagina nog zichtbaar is in de zoekresultaten.
4. Serverlogs
   • Kijk of Googlebot de pagina blijft crawlen na de wijziging.

Veelgemaakte fouten

• Een noindex plaatsen op staging maar vergeten te verwijderen bij livegang.
• noindex combineren met disallow in robots.txt.
• nofollow gebruiken op interne links, hierdoor verbreek je je eigen linkstructuur.
• Pagina’s met noindex nog opnemen in de XML-sitemap.
• Templates waarin per ongeluk een sitebrede noindex staat.

De toekomst van meta robots

Hoewel AI en machine learning steeds slimmer worden, blijft de meta robots tag essentieel.
Zelfs Google’s generatieve zoekmodellen (zoals SGE) gebruiken deze signalen om te bepalen welke content wel of niet mag worden weergegeven in contextuele antwoorden.

Een goed ingerichte meta robots-strategie helpt niet alleen met indexatiebeheer, maar ook met brand control in AI-resultaten.

Mijn advies

De meta robots tag is een krachtig instrument, maar alleen als je hem strategisch inzet.
Ik hanteer altijd drie stappen:

1. Maak een beslisboom per paginatype: wat mag in de index, wat niet?
2. Controleer of robots.txt, canonical en sitemap logisch samenwerken.
3. Test na livegang met Search Console en een technische crawler.

Bij Rank Rocket hoort dit standaard bij elke technische SEO-audit.
Een juiste meta robots-implementatie scheelt frustratie, indexatieproblemen en uren handwerk.