Waarom één AI-antwoord niets bewijst

Eén AI-antwoord bewijst vrijwel niets over je zichtbaarheid, omdat hetzelfde model op dezelfde vraag de volgende keer een andere merkenlijst geeft.

Dat hoort bij de manier waarop deze modellen werken. Taalmodellen kiezen hun woorden en hun bronnen deels op kans, dus twee keer dezelfde vraag levert twee verschillende antwoorden op. Wie één antwoord bekijkt, heeft een greep uit een verdeling gedaan en de verdeling zelf nog niet gezien.

Wat er gebeurt als je dezelfde vraag drie keer stelt

Probeer het eens. Open drie schone sessies, stel exact dezelfde categorievraag en leg de merkenlijsten naast elkaar. In de meeste categorieën zie je een paar namen terugkomen en een paar namen die maar in één van de drie antwoorden staan.

Dat beeld is precies gemeten. SparkToro en Gumshoe.ai lieten zeshonderd vrijwilligers twaalf vragen invoeren bij ChatGPT, Claude en Google AI, samen 2.961 runs in november en december 2025. De kans dat twee identieke vragen exact dezelfde merkenlijst opleveren bleek kleiner dan 1 op 100. Dezelfde lijst in dezelfde volgorde is ongeveer 1 op 1.000.

SE Ranking mat in augustus 2025 iets vergelijkbaars aan de bronkant: bij herhaalde tests in Google AI Mode bleef 9,2 procent van de aangehaalde URL’s hetzelfde. Negen op de honderd, bij dezelfde vraag.

De kansrekening erbij

Stel dat je merk in werkelijkheid in één op de vijf antwoorden voorkomt. Twintig procent zichtbaarheid en dat is voor de meeste middelgrote bedrijven een nette positie.

Bij vijf pogingen is de kans dat je minstens één keer verschijnt ongeveer 67 procent en bij tien pogingen ongeveer 89 procent. Je kunt dus vrijwel zeker een screenshot maken waarop je genoemd wordt en dat plaatje ziet er hetzelfde uit als het plaatje van een merk dat in tachtig procent van de antwoorden staat.

Het werkt ook bij kleine getallen. Een merk dat in één op de twintig antwoorden voorkomt, vijf procent, heeft bij tien pogingen nog altijd zo’n veertig procent kans op minstens één treffer. Dat is genoeg voor een screenshot en te weinig voor een conclusie.

En andersom: reken je die ene waarneming netjes om naar een betrouwbaarheidsinterval, dan kom je met een Wilson-interval van 95 procent uit op een bandbreedte van ongeveer 21 tot 100 procent. Dat is het eerlijke antwoord op de vraag wat één treffer je vertelt: ergens tussen af en toe en altijd.

Je gooit een munt één keer, hij komt op kop en je weet nu dat de munt kop kán geven. Hoe vaak, dat weet je pas na een paar honderd worpen.

Waarom de screenshot toch zo overtuigend voelt

Meestal zit er geen enkele kwade wil achter. Iemand ziet zijn eigen bedrijfsnaam in een ChatGPT-antwoord staan, dat is een leuk moment en het voelt als het bewijs dat het werk gewerkt heeft. Ik heb dat zelf ook gehad, dat moet ik eerlijk bekennen en de neiging om zo’n plaatje door te sturen is groot.

De denkfout zit in de vergelijking die we onbewust maken. We zijn twintig jaar gewend geraakt aan zoekresultaten waar positie drie ook morgen positie drie was. In dat wereldbeeld is één waarneming genoeg, want de waarneming is stabiel. Bij taalmodellen ligt de stabiliteit ergens anders, namelijk in het gemiddelde over veel waarnemingen.

Er komt een tweede beweging bij. De bronnen die AI-antwoorden aanhalen worden voortdurend vervangen: metingen van Profound over ongeveer 80.000 prompts per platform (juli 2025) komen uit op 40 tot 60 procent verschuiving per maand. Een screenshot van vorige maand beschrijft dus ook nog eens een situatie die inmiddels deels weg is.

Wat een afwezigheid wel en niet zegt

Dezelfde redenering geldt in spiegelbeeld en dat wordt vaker vergeten. Iemand tikt zijn categorievraag in bij ChatGPT, ziet zijn naam er niet bij staan en concludeert dat hij onzichtbaar is in AI.

Bij een werkelijke zichtbaarheid van 25 procent ontbreek je in drie op de vier antwoorden. De kans dat je bij één poging niet verschijnt is dus gewoon 75 procent, ook als er niets mis is. Panieksignalen uit één meting zijn net zo onbetrouwbaar als successignalen uit één meting.

Wat wel iets bewijst

Volume, herhaling en een eerlijke marge. Concreet betekent dat:

• Genoeg vragen. Minimaal vijftig, met honderd tot tweehonderd als het punt waarop de uitkomst rustig wordt. De onderbouwing staat in de les over het aantal prompts.
• Meerdere runs per vraag. Elke vraag een aantal keer, in schone sessies, verspreid over meerdere dagen.
• Meerdere modellen. ChatGPT en Copilot putten grotendeels uit de Bing-index, Google AI Overviews en Gemini uit die van Google. Eén model is één hoek van het beeld.
• Een bandbreedte in het rapport. Een percentage met een marge eromheen laat zien hoeveel het cijfer kan bewegen. Hoe je dat leest staat in de les over bandbreedtes.

Zo werkt onze eigen meting ook: tientallen prompts over meerdere modellen en meerdere meetdagen, met een geldigheidsdrempel die een meting zonder score laat als er te weinig bruikbare waarnemingen zijn. De opzet staat openbaar op de pagina over het Findori Visibility Framework.

Wil je zelf voelen hoe groot de beweging is, dan kost dat vijf minuten: dezelfde vraag, drie keer, drie schone sessies. Het is de goedkoopste les in dit hele vak en je hebt er geen tool voor nodig.

Hoe wij dit voor een klant vastleggen, met een concurrentenvergelijking erbij, staat bij de AI-zichtbaarheidsaudit.