robots.txt is een standaard uit de jaren negentig die vertelt welke delen van je site een crawler wel of niet mag bezoeken en zoekmachines en de meeste AI-crawlers houden zich daaraan. llms.txt is een nieuw voorstel uit 2024 dat een taalmodel een kort, samengevat overzicht van je site zou moeten geven, in platte tekst op een vaste plek.
Bij robots.txt werkt het mechanisme al decennia hetzelfde: een crawler haalt het bestand op voor hij verder gaat en houdt zich aan de regels die daarin staan. Meer over de werking lees je bij hoe AI-crawlers werken.
Bij llms.txt ligt dat anders. Een analyse van Ahrefs uit 2026 over 137.000 sites vond dat 97 procent van de llms.txt-bestanden nul verzoeken kreeg, wat betekent dat vrijwel geen enkele AI-crawler het bestand ooit ophaalt. Geen van de grote aanbieders, OpenAI, Anthropic, Google of Meta, heeft zich vastgelegd op het lezen ervan. Wat het bestand precies inhoudt en waarom het toch soms wordt aangeraden lees je bij llms.txt uitgelegd.
| robots.txt | llms.txt | |
|---|---|---|
| Status | Gevestigde, gerespecteerde standaard | Voorstel zonder brede toezegging |
| Wordt opgehaald | Vrijwel altijd | In 97 procent van de gevallen nooit (Ahrefs, 2026, 137.000 sites) |
| Effect op crawltoegang | Direct en aantoonbaar | Geen aangetoond effect |
| Reden om het toch te plaatsen | Standaard onderdeel van elke site | Goedkope hygiëne, geen zichtbaarheidswinst |
Wanneer kies je wat
robots.txt hoort gewoon op elke site te staan en goed ingesteld te zijn, dat is geen discussie. llms.txt mag je erbij zetten als je een uurtje over hebt, want het kost weinig en sluit niets uit, maar reken er niet op als middel om vaker geciteerd te worden. Wil je weten of je robots.txt goed staat ingesteld? Doe de gratis AI-zichtbaarheidscheck.
Kom je hier zelf niet aan toe, dan valt het bij ons onder GEO-optimalisatie.