Zoekmachines werken in drie stappen: ze crawlen het web met bots, ze slaan wat ze vinden op in een index en ze rangschikken die index bij elke zoekopdracht opnieuw.
Een crawler zoals Googlebot volgt links van pagina naar pagina en leest wat er op elke pagina staat. Wat bruikbaar is komt in de index terecht, een enorme database die continu wordt bijgewerkt. Pas bij een zoekopdracht doorzoekt het systeem die index en toont het de pagina’s die het beste antwoord geven. Die volgorde van crawlen, indexeren en rangschikken herhaalt zich voortdurend, ook voor pagina’s die al jaren bestaan.
Wat er gebeurt voor je het ziet
- Crawlen. Bots volgen links en robots.txt-regels om te bepalen welke pagina’s ze mogen bezoeken. Een pagina zonder inkomende link, ook niet vanaf je eigen site, wordt daardoor soms lange tijd niet gevonden.
- Renderen. Bij pagina’s die met JavaScript worden opgebouwd, moet de crawler de pagina eerst laten uitvoeren voor hij de inhoud ziet. Meer hierover in technische SEO voor AI.
- Indexeren. Alleen pagina’s die als waardevol en uniek genoeg worden beoordeeld, komen in de index terecht. Een pagina die sterk lijkt op een andere pagina op je site loopt het risico buiten de index te blijven.
Wat er gebeurt bij een zoekopdracht
- Matchen. Het systeem zoekt binnen de index naar pagina’s die aansluiten bij de zoekopdracht, op basis van de woorden en de vermoedelijke intentie erachter.
- Rangschikken. De gevonden pagina’s worden gesorteerd op relevantie en vertrouwen, zoals uitgelegd in hoe Google de volgorde bepaalt.
- Tonen. De resultatenpagina toont een selectie, soms aangevuld met een antwoordblok of AI-overzicht boven de gewone resultaten, waardoor de klassieke tien blauwe links minder ruimte krijgen dan vroeger.
Wil je weten of crawlers je site wel goed kunnen lezen? Doe de gratis AI-zichtbaarheidscheck.
Wat dit betekent voor je vindbaarheid in AI, en niet alleen in Google, lees je op de pagina over AI-vindbaarheid.