Hoe zoekmachines werken

Zoekmachines werken in drie stappen: ze crawlen het web met bots, ze slaan wat ze vinden op in een index en ze rangschikken die index bij elke zoekopdracht opnieuw.

Een crawler zoals Googlebot volgt links van pagina naar pagina en leest wat er op elke pagina staat. Wat bruikbaar is komt in de index terecht, een enorme database die continu wordt bijgewerkt. Pas bij een zoekopdracht doorzoekt het systeem die index en toont het de pagina’s die het beste antwoord geven. Die volgorde van crawlen, indexeren en rangschikken herhaalt zich voortdurend, ook voor pagina’s die al jaren bestaan.

Wat er gebeurt voor je het ziet

Crawlen. Bots volgen links en robots.txt-regels om te bepalen welke pagina’s ze mogen bezoeken. Een pagina zonder inkomende link, ook niet vanaf je eigen site, wordt daardoor soms lange tijd niet gevonden.
Renderen. Bij pagina’s die met JavaScript worden opgebouwd, moet de crawler de pagina eerst laten uitvoeren voor hij de inhoud ziet. Meer hierover in technische SEO voor AI.
Indexeren. Alleen pagina’s die als waardevol en uniek genoeg worden beoordeeld, komen in de index terecht. Een pagina die sterk lijkt op een andere pagina op je site loopt het risico buiten de index te blijven.

Wat er gebeurt bij een zoekopdracht

Matchen. Het systeem zoekt binnen de index naar pagina’s die aansluiten bij de zoekopdracht, op basis van de woorden en de vermoedelijke intentie erachter.
Rangschikken. De gevonden pagina’s worden gesorteerd op relevantie en vertrouwen, zoals uitgelegd in hoe Google de volgorde bepaalt.
Tonen. De resultatenpagina toont een selectie, soms aangevuld met een antwoordblok of AI-overzicht boven de gewone resultaten, waardoor de klassieke tien blauwe links minder ruimte krijgen dan vroeger.

Wil je weten of crawlers je site wel goed kunnen lezen? Doe de gratis AI-zichtbaarheidscheck.

Wat dit betekent voor je vindbaarheid in AI, en niet alleen in Google, lees je op de pagina over AI-vindbaarheid.

Veelgestelde vragen

Hoe snel vindt Google een nieuwe pagina?

Dat verschilt sterk, van uren tot weken, afhankelijk van hoe vaak Google je site al crawlt en of de pagina goed intern gelinkt is.

Wat als een pagina wel gecrawld maar niet geïndexeerd wordt?

Dat gebeurt als Google de pagina als te dun, te gelijkend op een andere pagina of technisch onbereikbaar beoordeelt.

Werken AI-crawlers zoals die van ChatGPT hetzelfde?

Grotendeels wel, ze volgen ook links en lezen de inhoud, maar ze bouwen geen eigen doorzoekbare index op de manier die Google doet. Ze gebruiken de content vaker direct bij het genereren van een antwoord.