Voordat een pagina ook maar íets kan ranken, moet er iets veel basalers gebeuren: Google moet hem vinden, ophalen en opnemen in de index. Meestal gaat dat vanzelf. Maar op vrijwel elke website die een paar jaar meegaat, sluipen er pagina’s in die onvindbaar zijn voor Google — of juist het omgekeerde: tientallen rommelpagina’s die wél in de index staan en je site verwateren. Wie snapt hoe crawlen en indexeren werken, kan met een uurtje controle problemen vinden waar geen hoeveelheid content tegenop schrijft.
Crawlen, indexeren, ranken: drie aparte stappen
Googlebot ontdekt pagina’s via links en je XML-sitemap, en haalt ze op: dat is crawlen. Daarna beslist Google of de pagina de moeite waard is om op te slaan in zijn zoekindex: dat is indexeren — en nee, niet alles wat gecrawld wordt, wordt geïndexeerd. Pas daarna komt ranken: bepalen op welke positie de pagina verschijnt. Elke stap kan misgaan, en de symptomen verschillen. Een pagina die niet gecrawld kan worden, bestaat voor Google niet; een pagina die wel gecrawld maar niet geïndexeerd is, doet niet mee in de zoekresultaten, hoe goed hij ook is.
De knoppen waarmee je stuurt
- robots.txt zegt: hier mag je niet kíjken. Handig voor zoekresultaatpagina’s, filtervarianten of interne mappen. Let op de klassieke fout: robots.txt haalt niets uit de index — een geblokkeerde pagina kan zelfs geïndexeerd blijven (zonder inhoud) als er links naartoe wijzen.
- noindex (een metaregel in de pagina) zegt: je mag kijken, maar neem hem niet op. Dít is het juiste gereedschap om pagina’s uit de zoekresultaten te houden, zoals bedankpagina’s of dunne tagarchieven. Combineer noindex nooit met een robots.txt-blokkade: dan kan Google de noindex niet meer lezen.
- canonical zegt: deze pagina bestaat in varianten, dit is het origineel. Daarmee bundel je waarde in plaats van hem te versnipperen.
- je XML-sitemap is je boodschappenlijst richting Google: alle pagina’s die je geïndexeerd wílt hebben — en alleen die.
Zo controleer je hoe je site ervoor staat
Open in Google Search Console het rapport “Pagina’s” (indexdekking). Daar zie je precies welke URL’s geïndexeerd zijn en waarom andere dat niet zijn. Twee vragen beantwoord je daar. Eén: staan mijn belangrijke pagina’s erin? Redenen als “Gecrawld — momenteel niet geïndexeerd” bij belangrijke pagina’s wijzen meestal op te dunne inhoud of te weinig interne links. Twee: staat er rommel in? Zoek met site:jouwdomein.nl in Google en schrik gerust even: oude testpagina’s, parameter-URL’s, tagarchieven. Elke rommelpagina in de index verdunt het beeld dat Google van je site heeft. Voor een losse pagina die snel mee moet: gebruik URL-inspectie in Search Console en vraag indexatie aan.
Crawlbudget: vooral een webshopprobleem
Google crawlt niet oneindig; per site hangt er een plafond aan hoeveel URL’s regelmatig bezocht worden. Voor een site van vijftig pagina’s is dat nooit een probleem. Voor webshops kan het dat wél zijn: filters en sorteeropties genereren al snel duizenden URL-varianten van dezelfde categoriepagina, en Googlebot verspilt zijn bezoekjes aan die ruis in plaats van aan je nieuwe producten. De oplossing: blokkeer filtervarianten in robots.txt, canonicaliseer naar de hoofdcategorie en houd je sitemap beperkt tot echte pagina’s. Zo gaat het crawlbudget naar pagina’s die omzet opleveren.
Conclusie
Ranken begint bij gevonden worden. Zorg dat je belangrijke pagina’s crawlbaar, geïndexeerd en intern gelinkt zijn, houd rommel buiten de index met noindex en een schone sitemap, en check het Pagina’s-rapport in Search Console een paar keer per jaar. Het is onzichtbaar werk — tot je ziet wat er misging zonder.