robots.txt en llms.txt voor AI-crawlers
robots.txt is een gevestigde standaard die crawlers respecteren, llms.txt is een nieuw voorstel dat vrijwel nooit wordt opgehaald.
robots.txt is een standaard uit de jaren negentig die vertelt welke delen van je site een crawler wel of niet mag bezoeken en zoekmachines en de meeste AI-crawlers houden zich daaraan. llms.txt is een nieuw voorstel uit 2024 dat een taalmodel een kort, samengevat overzicht van je site zou moeten geven, in platte tekst op een vaste plek.
Bij robots.txt werkt het mechanisme al decennia hetzelfde: een crawler haalt het bestand op voor hij verder gaat en houdt zich aan de regels die daarin staan. Meer over de werking lees je bij hoe AI-crawlers werken.
Bij llms.txt ligt dat anders. Een analyse van Ahrefs uit 2026 over 137.000 sites vond dat 97 procent van de llms.txt-bestanden nul verzoeken kreeg, wat betekent dat vrijwel geen enkele AI-crawler het bestand ooit ophaalt. Geen van de grote aanbieders, OpenAI, Anthropic, Google of Meta, heeft zich vastgelegd op het lezen ervan. Wat het bestand precies inhoudt en waarom het toch soms wordt aangeraden lees je bij llms.txt uitgelegd.
| robots.txt | llms.txt | |
|---|---|---|
| Status | Gevestigde, gerespecteerde standaard | Voorstel zonder brede toezegging |
| Wordt opgehaald | Vrijwel altijd | In 97 procent van de gevallen nooit (Ahrefs, 2026, 137.000 sites) |
| Effect op crawltoegang | Direct en aantoonbaar | Geen aangetoond effect |
| Reden om het toch te plaatsen | Standaard onderdeel van elke site | Goedkope hygiëne, geen zichtbaarheidswinst |
Wanneer kies je wat
robots.txt hoort gewoon op elke site te staan en goed ingesteld te zijn, dat is geen discussie. llms.txt mag je erbij zetten als je een uurtje over hebt, want het kost weinig en sluit niets uit, maar reken er niet op als middel om vaker geciteerd te worden. Wil je weten of je robots.txt goed staat ingesteld? Doe de gratis AI-zichtbaarheidscheck.
Kom je hier zelf niet aan toe, dan valt het bij ons onder GEO-optimalisatie.
Veelgestelde vragen
Moet ik llms.txt dan maar overslaan?
Niet per se. Het kost weinig tijd en sluit niets uit, maar reken er niet op als middel om vaker geciteerd te worden. Zie het als goedkope hygiëne, niet als zichtbaarheidswinst.
Houden AI-crawlers zich aan robots.txt?
Grotendeels wel. De belangrijkste AI-crawlers volgen dezelfde afspraak als zoekmachines en respecteren de regels in robots.txt bij het bezoeken van je site.
Waarom wordt llms.txt dan toch aangeraden?
Omdat het bijna niets kost om te plaatsen en de gedachte erachter, een kort overzicht voor taalmodellen, in theorie nuttig klinkt. Bewijs dat het werkt ontbreekt vooralsnog.
Weten hoe zichtbaar jij bent in AI?
Doe de gratis AI-zichtbaarheidscheck, of bekijk hoe we AI-vindbaarheid voor je aanpakken.
