Pagina wordt geladen.
CleverSEOSEO Bureau
Door Redactie CleverSEOBijgewerkt op 12 min lezen
Crawlen betekent dat een programma van een zoekmachine, de crawler, automatisch webpagina's ophaalt en de links erop volgt. De Google-crawler heet Googlebot: hij haalt URL's uit links en uit je XML-sitemap, laadt elke pagina en geeft de inhoud door voor indexering. Wat Googlebot niet ophaalt, kan Google niet lezen: zo'n pagina verschijnt hooguit als kale URL zonder beschrijving, en nooit in AI Overviews.
Een crawler is software die zelfstandig webpagina's opvraagt, de links erin verzamelt en die links later ook bezoekt. Crawlen is het werkwoord, de crawler het programma dat het doet. Google gebruikt robot, bot en spider als andere namen voor hetzelfde.
De Google-crawler voor Zoeken is Googlebot, in twee varianten: Googlebot Smartphone en Googlebot Desktop. Bing heeft Bingbot, en AI-diensten zoals ChatGPT en Perplexity hebben eigen crawlers.
Crawlen is de eerste van drie fasen in Google Zoeken; daarna volgen indexeren (begrijpen en opslaan) en tonen bij een zoekvraag. Binnen het crawlen gebeuren vier dingen:
Googlebot volgt alleen links die een gewoon <a>-element met een href zijn. Een knop met een klikactie of een link zonder URL volgt hij niet betrouwbaar.
Per HTML-bestand leest Googlebot de eerste 2 MB, gerekend zonder compressie; bij een pdf de eerste 64 MB. Voor een gewone pagina is dat ruim, maar een pagina met een groot ingebed JSON-blok of afbeeldingen als base64 in de HTML kan erover gaan; wat na die 2 MB komt, telt niet mee.
Het meeste crawlwerk doet Googlebot Smartphone, omdat Google van de meeste sites de mobiele versie indexeert. Google gebruikt alleen de inhoud van de mobiele versie voor de index: staat een tekst of link alleen in je desktopversie, dan telt hij voor Google niet mee.
JavaScript voert Google uit in een aparte renderstap met een recente versie van Chrome. Een pagina kan daarvoor een paar seconden of langer in de wachtrij staan. Links die al in de HTML staan, zet Google meteen in de crawlwachtrij, en tekst in de HTML hangt niet van die renderstap af.
Pagina's die je in robots.txt blokkeert, haalt Googlebot niet op. De URL kan dan toch in Google verschijnen, zonder beschrijving, als andere pagina's ernaar linken.
Wil je een pagina uit Google houden, gebruik dan noindex en blokkeer hem juist niet in robots.txt; anders ziet Google de noindex nooit.
Er is geen vast ritme: Google bepaalt per URL hoe vaak het langskomt, dus je homepage en een oud artikel diep in je site hebben elk een eigen tempo. Hoe vaak Googlebot jouw site bezoekt, zie je in Search Console onder Instellingen > Crawlstatistieken.
Twee dingen bepalen het tempo. De crawlcapaciteit: hoeveel verzoeken je server aankan zonder trager te worden. De crawlvraag: hoe populair een URL is en hoe snel hij veroudert.
Google geeft ook een bovengrens: bij de meeste sites komt Googlebot gemiddeld niet vaker dan eens per paar seconden langs. Vraag je Google een pagina (opnieuw) te crawlen, dan kan dat volgens Google een paar dagen tot een paar weken duren.
Grote gebeurtenissen kunnen de crawlvraag verhogen. Google noemt een verhuizing naar een ander domein als voorbeeld: Googlebot haalt dan veel URL's opnieuw op om de inhoud onder de nieuwe adressen te verwerken.
Dat speelde bij Dutch Fiber Trading, een klant van CleverTech AI (het bedrijf achter CleverSEO): vier domeinen gingen met 301-redirects naar één domein, met een nieuwe viertalige site van 424 URL's in de sitemap. Bij zo'n verhuizing vindt Googlebot de nieuwe adressen via twee wegen: de 301 op elke oude URL en de sitemap van het nieuwe domein.
Het tempo bijsturen kan in beperkte mate:
Gecrawld betekent: Google heeft de pagina opgehaald. Geïndexeerd betekent: Google heeft hem opgenomen en kan hem tonen. In het Search Console-rapport Pagina's zie je waar het tussen die twee stappen blijft hangen.
Naast Googlebot komen er bots van andere zoekmachines, zoals Bingbot, en van AI-diensten langs, elk met een eigen naam (user-agent). Niet elke bot voert JavaScript uit: wat pas na JavaScript op de pagina komt, missen sommige.
Hoe je ze per bot toelaat of weert, staat op de kennisbankpagina 'Wat is robots.txt?', onderaan bij Lees ook.
Crawl budget is het aantal URL's dat Googlebot op je site kan en wil ophalen: de crawlcapaciteit en de crawlvraag van hierboven samen.
Google schrijft zijn handleiding over crawl budget voor sites met meer dan 1 miljoen unieke pagina's die wekelijks veranderen, sites met meer dan 10.000 pagina's die dagelijks veranderen, en sites met veel URL's op 'Gevonden - momenteel niet geïndexeerd'. Die getallen noemt Google zelf een ruwe schatting.
Worden je nieuwe pagina's op de dag van publicatie gecrawld, dan is crawl budget voor jou geen onderwerp. Onder de duizend pagina's heb je ook het rapport Crawlstatistieken niet nodig.
Onze beslisregel: wordt een site van een paar honderd pagina's slecht opgenomen, zoek dan eerst naar ontbrekende interne links, dunne inhoud of een technische blokkade. Crawl budget is daar bijna nooit de oorzaak.
Wat het budget wel opeet, op elke site:
Search Console toont wat Google zelf ziet; je serverlogs tonen elk verzoek, ook van andere bots.
Werk deze stappen van boven naar beneden af:
Bij de herstart van cleverseo.nl op 5 oktober 2026 hebben we de stappen hierboven op onze eigen site toegepast. Je kunt het zelf nakijken op cleverseo.nl/robots.txt en cleverseo.nl/sitemap.xml.
Verwijderde onderdelen, zoals de oude regiopagina's en branchepagina's zonder echte case, geven een 410. Er is niets dat ze vervangt, dus een redirect zou een soft 404 zijn; Google raadt voor pagina's die definitief weg zijn een 404 of 410 aan.
De sitemap bevat alleen URL's die bestaan en geïndexeerd mogen worden; noindex-pagina's zoals de blogcategorieën staan er niet in. De lastmod is een vaste datum per pagina in plaats van het moment van opvragen: Google gebruikt lastmod alleen als hij consequent klopt, en negeert changefreq en priority helemaal.
In robots.txt zijn alle URL's met een vraagteken dicht, zodat parametervarianten geen crawlbezoeken kosten. Next.js levert elke pagina als kant-en-klare HTML, dus tekst en links zijn leesbaar zonder dat een crawler JavaScript hoeft uit te voeren.
Neem een webshop met 300 producten in 20 categorieën. Elke categorie heeft filters op kleur (5), maat (8) en merk (12), en vier sorteringen. Elke keuze krijgt een eigen URL, zoals ?kleur=rood&maat=42&sort=prijs.
Alleen de combinaties van één kleur, één maat en één merk zijn al 5 × 8 × 12 = 480 URL's per categorie. Met 20 categorieën en vier sorteringen kom je op 38.400 URL's, tegenover zo'n 320 pagina's die er echt toe doen.
In je serverlogs, en in de voorbeeld-URL's van Crawlstatistieken, zie je dan dat het grootste deel van de verzoeken naar parameter-URL's gaat, terwijl nieuwe producten op 'Gevonden - momenteel niet geïndexeerd' blijven staan.
De oplossing volgt Google's advies voor gefilterde navigatie: filter- en sorteerparameters uitsluiten in robots.txt, een 404 voor lege filtercombinaties en alleen echte categorie- en productpagina's in de sitemap. Een canonical alleen is op lange termijn minder effectief om crawlen te beperken.
Een menu of 'meer laden'-knop die alleen met JavaScript werkt, zonder <a href>, geeft Googlebot geen URL om te volgen. De pagina's erachter worden dan laat of nooit gevonden.
Toont je mobiele menu alleen de hoofdcategorieën en je desktopmenu ook de subcategorieën, dan ziet Googlebot Smartphone die sublinks niet. Pagina's die alleen via het desktopmenu bereikbaar zijn, krijgen zo minder of geen crawlbezoek.
Kort is het een geldige noodrem. Na 1-2 dagen loop je het risico dat Google pagina's uit de index haalt.
Een canonical vertelt Google welke versie de hoofdpagina is, maar Googlebot haalt de filter-URL's dan nog steeds op. Wil je ze echt buiten de crawl houden, sluit de parameters dan uit in robots.txt.
Crawlen komt van het Engelse 'to crawl', kruipen. Een crawler kruipt van link naar link over het web, zoals een spin over haar web; daarom heet hij ook spider. In SEO betekent crawlen: pagina's automatisch ophalen zodat een zoekmachine ze kan verwerken.
Daar geeft Google geen vaste termijn voor; na een crawlverzoek noemt Google een paar dagen tot een paar weken. Een pagina die in je sitemap staat en een interne link heeft vanaf een pagina die Google vaak bezoekt, komt meestal eerder aan de beurt. In URL-inspectie zie je de datum van de laatste crawl.
Ja: per URL met 'Indexering aanvragen' in URL-inspectie, en voor veel URL's tegelijk met een XML-sitemap. Het blijft een verzoek; Google bepaalt zelf wanneer het komt.
Google vergeet een URL die het eenmaal kent niet. Een 404 is wel een sterk signaal om hem niet opnieuw te crawlen (voor definitief verwijderde pagina's raadt Google 404 of 410 aan), dus af en toe een bezoek in je logs is normaal. Blokkeer je zo'n URL in robots.txt, dan blijft hij juist langer in de wachtrij staan.
Kijk niet alleen naar de user-agent, want die kan iedereen nabootsen. Google raadt een reverse DNS-lookup op het IP-adres aan, of een vergelijking met de lijst van IP-adressen die Google publiceert. Klopt het niet, dan is het een andere bot die zich als Googlebot voordoet.
Ja, in een aparte renderstap. Wat Google na het renderen ziet, check je in URL-inspectie: open de gecrawlde pagina en bekijk de HTML. Staat je tekst daar niet in, dan ziet Google hem niet.
Zelden. Bij de meeste sites komt Googlebot gemiddeld niet vaker dan eens per paar seconden langs, en hij remt zelf af als je server trager wordt of fouten geeft. Is het toch te veel, dan meld je dat via het speciale verzoek van Google voor een te hoge crawlsnelheid.
Voor Google niet: die twee velden negeert Google. Lastmod gebruikt Google wel, maar alleen als de datum consequent klopt met de laatste echte wijziging.
Voor Zoeken zijn dat Googlebot Smartphone en Googlebot Desktop. Daarnaast haalt Google beeld, video en nieuws op met Googlebot-Image, Googlebot-Video en Googlebot-News, productinformatie voor Shopping met Google StoreBot, en test het pagina's voor URL-inspectie met Google-InspectionTool. Bij automatisch crawlen houden ze zich allemaal aan robots.txt.
Nee. AI Overviews en AI Mode gebruiken wat Googlebot voor Zoeken ophaalt, dus je robots.txt-regels voor Googlebot gelden ook daar. Google-Extended is geen crawler maar een naam in robots.txt voor het trainen van Gemini en om Gemini-antwoorden op actuele webpagina's te baseren; op Zoeken heeft hij volgens Google geen invloed.