Robots.txt bestand: alles wat je moet weten voor SEO

Het robots.txt bestand is een van de meest fundamentele maar ook meest misverstane onderdelen van technische SEO. Een kleine fout in je robots.txt kan ertoe leiden dat Google je hele website niet meer indexeert. In dit artikel leer je precies wat robots.txt is, hoe het werkt en hoe je het correct instelt.

Wat is robots.txt?

Het robots.txt-bestand is een tekstbestand dat in de hoofdmap van je website staat (https://jouwdomein.com/robots.txt). Het vertelt webcrawlers — zoals de Googlebot — welke pagina’s ze wel en niet mogen bezoeken op je website.

Een eenvoudig robots.txt-bestand ziet er zo uit:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.com/sitemap_index.xml

Hoe werkt robots.txt?

De Googlebot controleert het robots.txt-bestand voordat het je website gaat crawlen. Het bestand bestaat uit instructies voor specifieke crawlers (user-agents):

User-agent: * — geldt voor alle crawlers
User-agent: Googlebot — geldt alleen voor Google
Disallow: /map/ — blokkeert de opgegeven map voor crawlers
Allow: /map/pagina.html — staat een specifieke pagina toe, ook als de map geblokkeerd is
Sitemap: — verwijst naar de locatie van je XML sitemap

Robots.txt vs. noindex: wat is het verschil?

Er is een belangrijk verschil tussen Disallow in robots.txt en de noindex metatag:

Disallow (robots.txt): voorkomt dat Google de pagina bezoekt. Google weet dat de pagina bestaat, maar kent de inhoud niet
Noindex (metatag): Google mag de pagina wel bezoeken, maar mag hem niet indexeren

Als je wilt dat een pagina niet in Google verschijnt, gebruik dan noindex — niet robots.txt. Met robots.txt voorkom je het crawlen, maar Google kan de pagina nog steeds indexeren via externe links die er naar verwijzen.

Welke pagina’s blokkeer je met robots.txt?

In WordPress zijn dit de mappen en pagina’s die je typisch blokkeert:

/wp-admin/ — het WordPress beheerpaneel
/wp-includes/ — interne WordPress bestanden
/?s= — zoekresultatenpagina’s (genereren duplicate content)
/feed/ — RSS-feeds
/author/ — auteurspagina’s (indien niet relevant voor SEO)

Belangrijk: blokkeer nooit je /blog/ map of andere contentpagina’s die je wilt laten indexeren. Blokkeer ook geen CSS- en JavaScript-bestanden, want daarmee kan Google je website niet correct renderen.

Robots.txt in WordPress instellen

Met Rank Math kun je het robots.txt-bestand direct vanuit WordPress beheren:

Ga naar Rank Math → Algemene instellingen → Bewerk robots.txt
Je ziet het huidige robots.txt-bestand
Voeg extra regels toe of pas bestaande regels aan
Klik op Opslaan

Je robots.txt is daarna direct beschikbaar op https://jouwdomein.com/robots.txt.

Robots.txt testen en controleren

Je kunt je robots.txt op verschillende manieren testen:

Via Google Search Console

Ga naar Google Search Console
Open het URL-inspectieprogramma
Voer een URL in en controleer of de pagina crawlbaar is

Handmatig controleren

Bezoek eenvoudig https://jouwdomein.com/robots.txt in je browser om het bestand te bekijken. Controleer of alle regels correct zijn en of je geen vitale pagina’s per ongeluk hebt geblokkeerd.

Voorbeeld: robots.txt voor een WordPress blog

Een goed geconfigureerd robots.txt-bestand voor WordPress ziet er zo uit:

User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /search/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://jouwdomein.com/sitemap_index.xml

Veelgemaakte fouten in robots.txt

Hele website geblokkeerd: Disallow: / blokkeert alles — een catastrofale fout die je website volledig uit Google haalt
CSS en JS geblokkeerd: hierdoor kan Google je website niet goed renderen, wat je ranking schaadt
Sitemap niet vermeld: voeg altijd een Sitemap: regel toe zodat Google je sitemap direct vindt
Confidentiële info in robots.txt: dit bestand is openbaar — zet er geen geheime mappen of gevoelige informatie in
Onjuiste wildcard-syntaxis: verkeerd gebruik van * kan onbedoeld pagina’s blokkeren

Samenvatting: robots.txt checklist

✅ Robots.txt staat op de juiste locatie: /robots.txt
✅ Geen vitale contentpagina’s geblokkeerd
✅ CSS en JavaScript niet geblokkeerd
✅ Sitemap URL toegevoegd aan robots.txt
✅ Zoekresultatenpagina’s geblokkeerd
✅ Robots.txt gecontroleerd via Google Search Console
✅ Geen gevoelige informatie in het bestand

Een correct geconfigureerde robots.txt is de basis van je technische SEO. Combineer het met een goede XML sitemap en correcte crawlinstellingen voor optimale resultaten. Zorg er ook voor dat je on-page SEO op orde is voor volledige optimalisatie.