Crawlen is het proces waarbij Google met een programma, Googlebot, het web afloopt om pagina’s te ontdekken en te lezen. Pas als een pagina gecrawld is, kan Google hem opnemen in de zoekresultaten. Crawl budget is hoeveel pagina’s Google in een bepaalde periode op je site wil en kan crawlen; voor de meeste kleine websites is dat geen probleem, voor grote webshops wel.
Wat is crawlen?
Google werkt in drie stappen:
- Crawlen: Googlebot ontdekt een pagina en haalt de inhoud op.
- Indexeren: Google verwerkt de pagina en slaat hem op in de index, de grote database van Google.
- Rangschikken: bij een zoekopdracht kiest Google welke pagina’s uit de index het best passen.
Crawlen is dus de eerste stap. Wordt een pagina niet gecrawld, dan komt hij ook niet in Google. De stap daarna lees je in je website laten indexeren door Google.
Hoe werkt Googlebot?
Googlebot is een crawler, ook wel spider of bot genoemd. Het is software die links volgt, net zoals een bezoeker van pagina naar pagina klikt.
Zo vindt Googlebot je pagina’s
- Via links vanaf andere pagina’s op je eigen site of van andere websites.
- Via je XML-sitemap, een lijst met URL’s die je aan Google doorgeeft.
- Via Google Search Console, waar je losse URL’s kunt laten inspecteren en indexering kunt aanvragen.
Wat Googlebot doet op een pagina
Googlebot haalt de HTML op en verwerkt daarna ook JavaScript, CSS en afbeeldingen om de pagina te zien zoals een bezoeker. Google crawlt de meeste sites vooral met de smartphoneversie van Googlebot. Wat op mobiel ontbreekt, ziet Google dus mogelijk ook niet.
Wat Googlebot mag bekijken, bepaal je onder meer met robots.txt. Hoe dat werkt, lees je in robots.txt en noindex.
Wat is crawl budget?
Google heeft niet onbeperkt tijd en servercapaciteit. Het crawl budget is de hoeveelheid URL’s die Google op je site crawlt in een bepaalde periode. Volgens Google bestaat het uit twee delen:
- Crawlcapaciteit: hoeveel Google kan crawlen zonder je server te overbelasten. Reageert je server snel en zonder fouten, dan gaat dit omhoog. Bij trage reacties of serverfouten schroeft Google het terug.
- Crawlbehoefte: hoeveel Google wil crawlen. Dat hangt af van hoe groot en populair je site is en hoe vaak de inhoud verandert.
Moet jij je zorgen maken over crawl budget?
Voor de meeste websites van zzp’ers en mkb niet. Google geeft in zijn documentatie over crawl budget aan dat het vooral speelt bij:
- Zeer grote sites met honderdduizenden tot miljoenen pagina’s.
- Middelgrote sites met tienduizenden pagina’s die dagelijks veranderen.
- Sites waarvan veel URL’s in Search Console de status “Gevonden, momenteel niet geïndexeerd” hebben.
Een site met vijftig pagina’s wordt gewoon gecrawld. Komt zo’n pagina niet in Google, dan ligt het bijna altijd aan iets anders: een noindex-tag, een blokkade in robots.txt, dubbele inhoud of een pagina waar geen enkele link naartoe gaat.
Wanneer het wel speelt in het mkb
Webshops met veel filters zijn de uitzondering. Elke combinatie van kleur, maat, merk en sortering kan een eigen URL opleveren. Zo heeft een shop met duizend producten ineens honderdduizenden URL’s. Googlebot besteedt dan tijd aan varianten die er niet toe doen, terwijl nieuwe producten blijven liggen.
Zo help je Google efficiënt te crawlen
- Houd je sitemap schoon. Alleen pagina’s die je in Google wilt, zonder redirects of foutpagina’s.
- Beperk dubbele URL’s. Gebruik canonical tags voor varianten. Uitleg in wat is een canonical tag.
- Blokkeer onbelangrijke URL’s zoals interne zoekresultaten en eindeloze filtercombinaties via robots.txt.
- Vermijd redirectketens. Verwijs direct van de oude naar de nieuwe URL.
- Geef verwijderde pagina’s een 404 of 410, en geen pagina die “niet gevonden” zegt maar wel status 200 teruggeeft.
- Zorg voor een snelle server. Hoe sneller je site reageert, hoe meer Google kan crawlen.
- Link intern naar belangrijke pagina’s. Pagina’s zonder interne links worden slecht gevonden.
Let op: noindex is geen manier om crawlen te sturen. Google moet een pagina eerst crawlen om de noindex-tag te zien.
Je eigen site crawlen met een SEO-spider
Je kunt zelf nabootsen wat Googlebot doet met een SEO-spider. Zo’n tool loopt je site af via de links en geeft een overzicht van alle URL’s met hun status, titels en problemen.
- Screaming Frog SEO Spider is de bekendste; de gratis versie is genoeg voor kleine sites.
- Veel SEO-pakketten hebben een site-audit die hetzelfde doet.
Waar let je op in de resultaten?
- Pagina’s met status 404 of 5xx.
- Redirectketens en redirects naar redirects.
- Pagina’s met noindex die eigenlijk in Google moeten.
- Pagina’s zonder interne links (wezen).
- Veel bijna dezelfde URL’s door parameters.
Meer tools op een rij vind je in de beste gratis SEO-tools.
Crawlgedrag van Google bekijken in Search Console
In Google Search Console vind je onder Instellingen het rapport Crawlstatistieken. Daar zie je hoeveel verzoeken Googlebot doet, hoe snel je server reageert en welke foutcodes voorkomen. Een plotselinge daling in verzoeken of een stijging in serverfouten is een signaal om je hosting of recente wijzigingen te checken.
Met de URL-inspectietool zie je per pagina wanneer hij voor het laatst gecrawld is en of Google hem kon ophalen.
Praktijkvoorbeeld: een webshop in fietsaccessoires
Een webshop met ongeveer 1.500 producten merkt dat nieuwe producten weken nodig hebben om in Google te verschijnen. Een crawl met een SEO-spider laat zien dat de filters voor kleur, merk, prijs en sortering samen tienduizenden URL’s opleveren, allemaal intern gelinkt.
De shop blokkeert de sorteer- en prijsfilters in robots.txt, zet canonical tags op de overige filtervarianten en haalt verlopen producten uit de sitemap. In de crawlstatistieken van Search Console is daarna te zien dat Googlebot meer tijd besteedt aan product- en categoriepagina’s. Nieuwe producten worden sneller opgepikt.
Zelf doen of uitbesteden?
Bij een kleine site kun je crawlproblemen goed zelf opsporen. Draai een gratis crawl, controleer Search Console en los 404’s, verkeerde noindex-tags en ontbrekende interne links op.
Uitbesteden is verstandig bij webshops met veel filters, sites met tienduizenden pagina’s of een migratie naar een nieuw platform. Een verkeerde regel in robots.txt kan dan in één keer grote delen van je site uit Google halen. Daar wil je iemand bij die dit vaker heeft gedaan.
Tot slot
Crawlen is de eerste stap naar een plek in Google. Voor de meeste kleine websites is crawl budget geen issue, zolang je site snel is, intern goed gelinkt en vrij van dubbele URL’s. Heb je een grote site of webshop en twijfel je of Google alles goed oppikt? Bekijk dan onze pagina over technische SEO.
Veelgestelde vragen
Wat is het verschil tussen crawlen en indexeren?
Crawlen is het ophalen en lezen van een pagina door Googlebot. Indexeren is het opslaan en verwerken van die pagina in de database van Google. Een pagina moet eerst gecrawld zijn voordat hij geïndexeerd kan worden.
Hoe vaak crawlt Google mijn website?
Dat verschilt per site. Populaire sites die vaak veranderen worden vaker gecrawld. In Google Search Console zie je onder Crawlstatistieken hoeveel verzoeken Googlebot doet.
Heeft een kleine website last van crawl budget?
Meestal niet. Volgens Google speelt crawl budget vooral bij zeer grote sites en sites met veel snel veranderende pagina’s. Bij kleine sites liggen indexatieproblemen bijna altijd aan iets anders.
Wat is een SEO-spider?
Een tool die je website afloopt zoals Googlebot dat doet. Je krijgt een lijst met alle URL’s, hun status en problemen zoals foutpagina’s, redirects en ontbrekende titels.
Neem contact met ons op!
