Robots.txt is een klein tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke delen van je site ze wel en niet mogen crawlen. Noindex is een instructie op een pagina zelf die zegt dat die pagina niet in de zoekresultaten mag verschijnen. Ze lijken op elkaar, maar doen iets anders, en wie ze door elkaar haalt kan per ongeluk zijn halve website onvindbaar maken.
Wat is robots.txt?
Robots.txt staat altijd op dezelfde plek: jouwdomein.nl/robots.txt. Typ dat adres in je browser en je ziet het bestand van je eigen site. Zoekmachines kijken er als eerste naar voordat ze je pagina’s bezoeken.
Het bestand bestaat uit regels per crawler (een user-agent, zoals Googlebot) met daaronder wat wel of niet mag. Een eenvoudig voorbeeld:
- User-agent: *
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
- Sitemap: https://jouwdomein.nl/sitemap_index.xml
Dit betekent: voor alle crawlers (het sterretje) is de map /wp-admin/ verboden, behalve één bestand dat nodig is voor de werking van de site. De laatste regel wijst naar je sitemap.
De belangrijkste regels
| Regel | Betekenis |
|---|---|
| User-agent | Voor welke crawler de regels gelden. Een * betekent alle crawlers. |
| Disallow | Dit pad mag niet gecrawld worden. |
| Allow | Uitzondering binnen een verboden map. |
| Sitemap | De locatie van je XML-sitemap. |
Wat robots.txt niet doet
Hier gaat het vaak mis. Robots.txt houdt crawlers weg van een pagina, maar garandeert niet dat die pagina uit Google blijft. Als andere sites naar een geblokkeerde pagina linken, kan Google de URL toch tonen, alleen zonder beschrijving.
- Robots.txt is geen beveiliging. Het bestand is openbaar en kwaadwillende bots negeren het. Gevoelige informatie zet je achter een login.
- Robots.txt is geen manier om een pagina uit Google te halen. Daarvoor gebruik je noindex.
- Een noindex-regel in robots.txt zelf wordt door Google niet ondersteund.
Wat is noindex?
Noindex is een instructie die je op een pagina zelf zet, meestal als metatag in de head van de HTML: een robots-metatag met de waarde noindex. Het kan ook via een HTTP-header (X-Robots-Tag), wat handig is voor pdf-bestanden.
Ziet Google de noindex-tag, dan haalt hij de pagina uit de zoekresultaten of voegt hem niet toe. De pagina blijft gewoon bereikbaar voor bezoekers.
In WordPress zet je noindex meestal met een SEO-plugin, per pagina met één vinkje. In Shopify en andere systemen kan het via de thema-instellingen of een app.
Robots.txt of noindex: wanneer gebruik je wat?
| Situatie | Gebruik |
|---|---|
| Bedankpagina na een formulier | Noindex |
| Interne zoekresultaten van je site | Noindex, of robots.txt als ze massaal gecrawld worden |
| Admin- of loginomgeving | Robots.txt (en een login) |
| Filterpagina’s in een webshop die duizenden URL’s maken | Robots.txt om crawlbudget te sparen, of een canonical |
| Dunne tagpagina’s of archieven | Noindex |
| Testomgeving of staging-site | Een wachtwoord, niet alleen robots.txt |
| Pagina die al in Google staat en eruit moet | Noindex, en de pagina niet blokkeren in robots.txt |
De klassieke fout: noindex én robots.txt
Wil je een pagina uit Google halen, blokkeer hem dan niet tegelijk in robots.txt. Google mag de pagina dan niet bezoeken, ziet de noindex-tag dus nooit, en de pagina kan in de resultaten blijven staan. Eerst noindex, Google laten crawlen, en pas daarna eventueel blokkeren.
Voor dubbele pagina’s is een canonical vaak een betere oplossing. Lees daarover meer in wat is een canonical tag.
Sitemap in robots.txt
Het is slim om je XML-sitemap in robots.txt te noemen. Zo vinden zoekmachines hem altijd, ook als je hem niet in Search Console hebt ingediend. Gebruik de volledige URL, inclusief https.
Let op dat de pagina’s in je sitemap niet geblokkeerd zijn in robots.txt en geen noindex hebben. Een sitemap hoort alleen pagina’s te bevatten die je in Google wilt hebben. Hoe Google je pagina’s opneemt, lees je in je website laten indexeren door Google.
Robots.txt maken: generator of zelf schrijven
De meeste websitesystemen maken automatisch een robots.txt aan. WordPress maakt een virtueel bestand, en SEO-plugins laten je dat aanpassen. Shopify heeft een standaardbestand dat je via het thema kunt aanpassen.
Een robots.txt file generator kan helpen bij het opstellen, maar voor een gewone mkb-site heb je maar een paar regels nodig. Houd het zo simpel mogelijk. Elke extra regel is een kans op een fout.
- Het bestand moet robots.txt heten, in kleine letters.
- Het staat in de hoofdmap van het domein, niet in een submap.
- Elk subdomein heeft zijn eigen robots.txt.
- Paden zijn hoofdlettergevoelig.
Robots.txt testen
Google heeft de oude losse robots.txt tester vervangen door het robots.txt-rapport in Google Search Console. Daar zie je welke versie Google heeft opgehaald, wanneer, en of er fouten in staan.
Om te checken of een specifieke pagina geblokkeerd is, gebruik je de URL-inspectie in Search Console. Die laat zien of crawlen is toegestaan en of er een noindex op de pagina staat. De officiële uitleg vind je in de documentatie van Google over robots.txt.
Robots.txt en AI-crawlers
Steeds meer AI-bedrijven hebben eigen crawlers, voor het trainen van modellen of voor zoekfuncties in hun chatbots. Die kun je per naam toestaan of blokkeren in robots.txt. Bedenk wel wat je wilt: blokkeer je de crawlers die AI-zoekfuncties voeden, dan word je daar ook minder snel genoemd.
Praktijkvoorbeeld: de vergeten regel na een nieuwe website
Stel: een installatiebedrijf in Hilversum laat een nieuwe website bouwen. Tijdens de bouw staat in robots.txt “Disallow: /” voor alle crawlers, zodat de testsite niet in Google komt. Bij de livegang wordt die regel vergeten.
Een paar weken later ziet de eigenaar dat het aantal aanvragen via Google wegzakt. In Search Console verschijnen meldingen dat pagina’s geblokkeerd zijn door robots.txt. Na het verwijderen van die ene regel en het opnieuw indienen van de sitemap komen de pagina’s geleidelijk terug. Een controle van robots.txt hoort daarom op elke checklist voor een nieuwe website.
Zelf doen of uitbesteden?
Zelf doen is prima voor de basis: controleren of je robots.txt niet je hele site blokkeert, je sitemap toevoegen en met een SEO-plugin noindex zetten op bedankpagina’s en dunne archieven.
Uitbesteden is verstandig bij webshops met veel filters en parameters, bij een migratie naar een nieuwe website of als je in Search Console veel pagina’s ziet met de status “uitgesloten”. Dan gaat het om crawlbudget en indexatie, en een verkeerde regel kost snel veel verkeer.
Robots.txt regelt wat Google mag bezoeken, noindex regelt wat in de zoekresultaten komt. Houd beide zo simpel mogelijk en controleer ze na elke grote wijziging. Wil je dit liever uitbesteden? Bekijk dan onze dienst technische SEO.
Veelgestelde vragen
Wat is robots.txt?
Een tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke delen ze wel en niet mogen crawlen. Je vindt het op jouwdomein.nl/robots.txt.
Wat is het verschil tussen robots.txt en noindex?
Robots.txt bepaalt of een zoekmachine een pagina mag bezoeken. Noindex staat op de pagina zelf en bepaalt of die pagina in de zoekresultaten mag verschijnen.
Hoe test ik mijn robots.txt?
In Google Search Console vind je het robots.txt-rapport met fouten en de laatst opgehaalde versie. Met de URL-inspectie check je per pagina of hij geblokkeerd is.
Moet mijn sitemap in robots.txt staan?
Het is niet verplicht, maar wel handig. Met een Sitemap-regel en de volledige URL vinden zoekmachines je sitemap altijd terug.
Kan ik met robots.txt een pagina uit Google halen?
Nee, daarvoor gebruik je noindex. Een geblokkeerde pagina kan nog steeds in Google verschijnen als er links naartoe wijzen.
Neem contact met ons op!
