Geblokkeerd door robots.txt: zo los je de melding op

De melding “Geblokkeerd door robots.txt” in Google Search Console betekent dat een regel in je robots.txt-bestand Google verbiedt om die URL te bezoeken. Dat is prima voor pagina’s als je winkelwagen of beheeromgeving, maar een probleem als het om een pagina gaat die je in Google wilt hebben. Je lost het op door de regel te vinden die de pagina blokkeert, die regel aan te passen en Google het bestand opnieuw te laten ophalen.

Door Sebastiaan Knijn, SEO specialist bij GetForward.

Wat robots.txt is en hoe het bestand werkt, lees je in robots.txt en noindex. Hier gaat het om de melding en de oplossing.

Waar zie je de melding?

In Google Search Console staat de melding onder Indexering > Pagina’s, in de tabel “Waarom pagina’s niet worden geïndexeerd”. De bron is “Website”: jij bepaalt de regel, dus jij kunt hem ook aanpassen.

Er is een verwante waarschuwing: “Geïndexeerd, maar geblokkeerd door robots.txt”. Daarover verderop meer.

Eerst: is de blokkade terecht?

Lang niet elke geblokkeerde URL is een probleem. Google zegt zelf dat URL’s in deze melding vaak bewust geblokkeerd zijn. Loop de voorbeeld-URL’s door en verdeel ze zo:

Soort URLVoorbeeldTerecht geblokkeerd?
Beheeromgeving/wp-admin/, /admin/Ja
Winkelwagen en afrekenen/cart/, /checkout/Ja
Interne zoekresultaten/?s=fietstas, /search?q=Meestal ja
Sorteer- en filtercombinaties/schoenen/?sort=prijsMeestal ja
Dienstpagina’s, blogs, producten, categorieën/dakkapel-plaatsen/, /fietstassen/Nee, oplossen
CSS-, JavaScript- en afbeeldingsbestanden/wp-content/themes/…Nee, Google heeft ze nodig om je pagina goed te zien

Staan er alleen URL’s uit de bovenste vier rijen? Dan hoef je niets te doen. Klik ook niet op “Oplossing valideren”, want er is niets kapot.

Zo vind je de regel die de pagina blokkeert

  1. Open je robots.txt door /robots.txt achter je domein te typen, bijvoorbeeld www.jouwsite.nl/robots.txt.
  2. Open het robots.txt-rapport in Search Console: ga naar Instellingen en open bij robots.txt het rapport. Daar zie je welke versie Google het laatst heeft opgehaald, wanneer, en of er fouten in staan. Let op: dat kan een andere versie zijn dan wat er nu online staat.
  3. Inspecteer de URL met de URL-inspectie bovenaan Search Console. Onder “Crawlen toegestaan?” zie je of robots.txt de pagina tegenhoudt.
  4. Zoek de regel die matcht. Regels werken vanaf het begin van het pad. Google kiest de meest specifieke regel, dat wil zeggen de regel met het langste pad. Spreken twee even specifieke regels elkaar tegen, dan kiest Google de minst strenge.

Dat “vanaf het begin van het pad” zorgt voor de meeste verrassingen:

User-agent: *
Disallow: /product

Deze regel blokkeert niet alleen /product/, maar ook /producten/, /productinformatie/ en /product-review-fietstas/. Wil je alleen de map blokkeren, schrijf dan Disallow: /product/ met een slash erachter.

Twee tekens hebben een speciale betekenis: staat voor “elke reeks tekens” en $ voor “einde van de URL”. Disallow: /? blokkeert dus elke URL met een vraagteken erin, en Disallow: /*.pdf$ alle pdf-bestanden.

Veelvoorkomende oorzaken

  • De bouwregel is blijven staan. Tijdens de bouw van een nieuwe site staat er Disallow: /, en bij de livegang vergeet iemand die weg te halen. Je hele site is dan geblokkeerd. Zet een testomgeving liever achter een wachtwoord; zie WordPress staging.
  • Een te brede regel, zoals het voorbeeld met /product hierboven.
  • Een regel tegen parameters die te veel raakt. Disallow: /*? blokkeert ook pagina’s die je wél via een parameter laat werken, zoals ?page=2 in een categorie.
  • Hoofdletters. Paden in robots.txt zijn hoofdlettergevoelig. Disallow: /Blog/ blokkeert /blog/ niet, en andersom.
  • Een plugin, app of hostingpartij die regels toevoegt. Sommige beveiligings- en SEO-plugins schrijven zelf in robots.txt. Bij een migratie neemt een nieuwe server soms een standaardbestand mee.
  • Een subdomein met een eigen bestand. Elk subdomein heeft zijn eigen robots.txt. Een blokkade op shop.jouwsite.nl staat dus niet in het bestand van www.jouwsite.nl.

De oplossing in 5 stappen

  1. Pas de regel aan of verwijder hem. In WordPress doe je dat meestal in je SEO-plugin, in Shopify via het bestand robots.txt.liquid in je thema. Houd het bestand zo kort mogelijk.
  2. Controleer het live bestand in je browser, en kijk of de pagina nu toegestaan is.
  3. Vraag een nieuwe crawl van robots.txt aan in het robots.txt-rapport, via het icoon Meer instellingen naast het bestand. Google bewaart robots.txt normaal tot 24 uur in de cache, dus zonder dit verzoek kan het even duren.
  4. Vraag indexering aan voor je belangrijkste pagina’s via de URL-inspectie.
  5. Klik op “Oplossing valideren” in de melding als je alle onterecht geblokkeerde URL’s hebt vrijgegeven.

Geblokkeerde pagina’s die in je XML-sitemap staan, zijn een extra signaal dat er iets niet klopt: een sitemap hoort alleen pagina’s te bevatten die Google mag bezoeken. Daarna helpt het om te weten hoe Google je pagina’s opneemt; zie website indexeren in Google.

“Geïndexeerd, maar geblokkeerd door robots.txt”

Deze waarschuwing betekent iets anders: Google heeft de pagina niet bezocht, maar wel opgenomen, omdat andere pagina’s ernaar linken. In de zoekresultaten staat dan een URL met weinig of geen beschrijving.

Wat je doet, hangt af van wat je wilt:

  • Wil je de pagina in Google? Haal de blokkade weg. Google kan de pagina dan normaal lezen.
  • Wil je de pagina uit Google? Haal de blokkade óók weg en zet een noindex-tag op de pagina. Zolang robots.txt de pagina blokkeert, kan Google die noindex niet zien. Pas als de pagina uit de index is, kun je eventueel opnieuw blokkeren.

Voorbeeld: een webshop in tuingereedschap

Stel: een webshop in tuingereedschap in Apeldoorn wil interne zoekresultaten en productvergelijkingen uit Google houden. De webbouwer zet daarom Disallow: /product en Disallow: /*? in robots.txt, voor de URL’s /product-vergelijken/ en /?s=.

Een maand later staan er 340 URL’s onder “Geblokkeerd door robots.txt”. Het zijn onder meer /producten/heggenscharen/ en alle vervolgpagina’s met ?page=2. Het aantal bezoekers uit Google op categoriepagina’s daalt.

De oplossing: de regels worden Disallow: /product-vergelijken/ en Disallow: /?s=. De eigenaar vraagt een nieuwe crawl van robots.txt aan, vraagt indexering aan voor de vijf grootste categorieën en start de validatie. In de weken daarna verdwijnen de categorieën uit de melding.

Veelgestelde vragen

Wat betekent “geblokkeerd door robots.txt”?

Een regel in je robots.txt-bestand verbiedt Google om die URL te bezoeken. Google crawlt de pagina daarom niet en neemt hem meestal ook niet op in de zoekresultaten.

Is “geblokkeerd door robots.txt” altijd een probleem?

Nee. Voor beheerpagina’s, de winkelwagen en interne zoekresultaten is het juist de bedoeling. Het is alleen een probleem als het om pagina’s gaat die je in Google wilt hebben.

Hoe snel ziet Google een aangepaste robots.txt?

Google bewaart het bestand normaal tot 24 uur. Via het robots.txt-rapport in Search Console kun je een nieuwe crawl aanvragen, al betekent dat niet dat alle vrijgegeven pagina’s direct opnieuw worden bezocht.

Hoe haal ik een pagina uit Google die geblokkeerd is in robots.txt?

Haal eerst de blokkade weg en zet een noindex-tag op de pagina. Google moet de pagina kunnen bezoeken om de noindex te zien.

Waarom staat mijn hele site onder deze melding?

Waarschijnlijk staat er Disallow: / in je robots.txt, vaak achtergebleven van de bouw of een migratie. Verwijder die regel, vraag een nieuwe crawl aan en dien je sitemap opnieuw in.

Houdt je robots.txt belangrijke pagina’s tegen?
We controleren je robots.txt, sitemap en indexering en laten zien welke regels verkeer kosten.
Vraag een gratis SEO scan aan → · Technische SEO

SEO scan

SEO scan

SEO scan