llms.txt uitgelegd

llms.txt is een tekstbestand in de hoofdmap van je website, te vinden op jouwdomein.nl/llms.txt, dat taalmodellen in markdown een overzicht wil geven van je belangrijkste pagina’s. Ongeveer 97 procent van die bestanden is nog nooit door een AI-crawler opgehaald.

Het voorstel komt van Jeremy Howard, medeoprichter van fast.ai, uit september 2024. De redenering erachter is netjes: een taalmodel heeft een beperkt venster om tekst in te lezen, een moderne webpagina zit vol navigatie, scripts en opmaak en een schoon overzicht in markdown zou een model helpen om snel de kern van een site te vinden. Zoiets als een sitemap, alleen dan geschreven voor een lezer die tekst verwerkt en geen links volgt.

Hoe zo’n bestand eruitziet

De opzet is simpel. Een H1 met de naam van je organisatie, daaronder een blokcitaat met een korte samenvatting en daarna een aantal secties met links en een zin uitleg per link. Optioneel een sectie “Optional” met alles wat een model mag overslaan als het krap zit.

# Van Dijk Installatietechniek

> Installateur van warmtepompen en zonnepanelen in Noord-Brabant, actief sinds 1998.

## Diensten
- [Warmtepompen](https://voorbeeld.nl/warmtepompen/): plaatsing en onderhoud van lucht-water- en bodemwarmtepompen.
- [Zonnepanelen](https://voorbeeld.nl/zonnepanelen/): advies, plaatsing en aansluiting voor woningen en bedrijfspanden.

## Kennis
- [Veelgestelde vragen](https://voorbeeld.nl/vragen/): antwoorden over subsidies, terugverdientijd en onderhoud.

## Optional
- [Over ons](https://voorbeeld.nl/over-ons/): geschiedenis en team.

Sommige sites bieden daarnaast een llms-full.txt aan met de volledige tekst van de site en een markdownversie van elke pagina op dezelfde URL met.md erachter. Dat laatste is technisch aardig werk en het valt in dezelfde categorie: het kan geen kwaad en er is geen bewijs dat een platform het ophaalt.

Wat vier onderzoekslijnen ervan vonden

Hier wordt het onverbiddelijk. Vier onafhankelijke sporen komen op dezelfde uitkomst uit.

Ahrefs keek in mei 2026 naar 137.000 sites met een llms.txt-bestand en controleerde de serverlogs op verzoeken. Van die bestanden was 97 procent nooit door een AI-crawler opgehaald. Bij die groep kwam er geen enkel verzoek binnen.

SE Ranking analyseerde 300.000 domeinen en zocht naar een verband tussen de aanwezigheid van een llms.txt en het aantal citaties in AI-antwoorden. Dat verband was er niet.

Search Engine Land draaide een experiment over negentig dagen, met een meting voor en na het plaatsen van het bestand. Er kwam geen meetbaar effect uit.

En dan de bevestiging van de andere kant: geen van OpenAI, Anthropic, Google of Meta heeft zich gecommitteerd aan het lezen van het bestand. Er is dus wel een groeiend aanbod van llms.txt-bestanden en geen enkele partij die publiekelijk zegt ze te gebruiken.

Wie het wel ophaalt

Er is een groep die het bestand routinematig leest, en dat zijn de codeerassistenten. Cursor, Windsurf, Claude Code, GitHub Copilot, Cline en Aider halen /llms.txt en /llms-full.txt op zodra je ze op een documentatiesite richt. Ze gebruiken het om je documentatie compact in te laden voordat ze code schrijven.

Dat verklaart ook waar de adoptie vandaan komt. De sites die er serieus mee werken zijn documentatiesites. Heb je technische documentatie, een API of een handleiding voor ontwikkelaars, dan is llms.txt een echte voorziening en is het de moeite waard om hem goed te vullen. Heb je een gewone bedrijfssite en wil je vaker genoemd worden in ChatGPT of Google AI Overviews, dan doet het bestand daar vandaag niets voor.

Waarom robots.txt wel werkt

De vergelijking met robots.txt wordt vaak gemaakt en die maakt meteen duidelijk waar het aan schort. Robots.txt bestaat sinds 1994, elke serieuze crawler haalt het op voor hij begint en de grote platforms documenteren precies welke user agents ze sturen en waar die naar luisteren. OpenAI beschrijft drie eigen bots en wat er gebeurt als je ze weert.

Bij llms.txt ontbreekt die kant volledig. Er is een voorstel, er is adoptie aan de kant van websites en er is geen enkele partij aan de ophaalkant die zegt dat ze het lezen. Een afspraak waar één partij zich aan houdt, is geen afspraak. Het verschil tussen beide bestanden staat uitgewerkt in llms.txt en robots.txt vergeleken.

Moet je het dan aanmaken

Ik zou zeggen: doe het, snel en zonder er iets van te verwachten.

De redenering is die van een goedkope verzekering. Het kost een kwartier, het bestand kan geen schade aanrichten en als een platform er over een jaar alsnog iets mee gaat doen dan sta je klaar. Voor een bureau of een plugin is het een prima gratis bijproduct.

Wat je niet moet doen is ervoor betalen als los product, het in een offerte opnemen als middel om vaker geciteerd te worden, of het laten verlopen. Dat laatste is de enige manier waarop het bestand echt schade kan doen: een llms.txt vol links naar pagina’s die niet meer bestaan geeft, mocht iemand hem ooit lezen, een verkeerd beeld van je site.

Waar die tijd wel rendeert

De vier maatregelen die in hetzelfde onderzoek wel als toegangsvoorwaarde of sterk aannemelijk gelden, kosten ongeveer evenveel werk.

• Crawlers toelaten. Wie OAI-SearchBot blokkeert verdwijnt volgens OpenAI uit de zoekantwoorden van ChatGPT en die blokkade zit vaak ongemerkt in een CDN-regel.
• Server-side renderen. Geen van de grote AI-crawlers voert JavaScript uit, gemeten door Vercel over 569 miljoen crawlerverzoeken in één maand.
• Snel antwoorden. AI-crawlers hanteren time-outs die op één tot vijf seconden worden geschat, dus een trage server kost je fetches.
• In Bing staan. ChatGPT-citaties overlappen voor ruim 87 procent met de Bing-index, dus Bing Webmaster Tools en IndexNow zijn directe hefbomen.

Dat is de laag die aantoonbaar bepaalt of je überhaupt geciteerd kunt worden. Hoe die crawlers precies werken staat in hoe AI-crawlers werken. Het bestand dat ze wel lezen komt aan bod in wat is robots.txt.

Wil je weten of jouw site door die crawlers gelezen kan worden, dan controleert de gratis AI-zichtbaarheidscheck dat als eerste.

Hoe wij dit bij een klant aanpakken en in welke volgorde, staat bij GEO-optimalisatie.