Nauwkeurigheid van AI-detectors, gemeten

Waar de engines op letten

Classifiers die getraind zijn op teksten van elk LLM, statistische tests die meten hoe voorspelbaar elk woord is, en controles op de structuur en formuleringen die AI-modellen steeds herhalen.

Korte teksten geven zwakke signalen. Gebruik minstens 80 woorden, en 200 of meer als dat kan.

Zo lees je de uitslag

De score loopt van 0 tot 100. Vanaf 55 haalt minder dan 2 op de 100 menselijke teksten zo'n hoge score, vanaf 80 minder dan 1 op de 200.

Kijk ook naar de enginetabel. Als bijna alle engines het eens zijn, is de score sterk bewijs. Als ze verdeeld zijn, is de tekst vaak met hulp van AI geschreven of flink bewerkt, en verdient hij een aandachtige menselijke lezing.

Context

De meeste tools noemen een nauwkeurigheid zonder te zeggen waarop die gemeten is. De onze is gemeten op SlopBench: 1.626 menselijke teksten en 1.626 AI-teksten van 14 huidige modellen over 15 soorten tekst, elk cijfer op teksten waarop het model niet is afgesteld. De AUC is 0,942. Op de lijn „Waarschijnlijk AI” wordt 67% van de AI-teksten herkend en 1,7% van de menselijke teksten onterecht AI genoemd, omdat die lijn ligt waar de bovenste 2% van de menselijke tekst begint. Een detector die 99% belooft zonder te zeggen waarop, citeert zijn eigen trainingsset.

Hoe de 23 engines tot een score komen

SlopTotal vraagt niet één model om een mening. Het draait 23 onafhankelijke detectors en toont alle 23 scores, omdat de nuttige informatie vaak in de onenigheid zit. Negen zijn neurale classifiers die getraind zijn om menselijke tekst van machinetekst te onderscheiden, waaronder DeBERTa-v3-large, RoBERTa-large en een BERT-tiny met 4,4 miljoen parameters. Zeven zijn statistische tests die geen training nodig hebben: ze meten hoe voorspelbaar de tekst is voor GPT-2-modellen, met perplexiteit, tokenrangen, log-rank en de kruisentropie tussen twee modellen. De andere zeven lezen het proza zelf: de variatie in zinslengte, de woordenschat, de structuur, voorzichtige formuleringen en de stopwoorden die AI-modellen steeds herhalen.

De totaalscore is geen gemiddelde. Een logistisch model dat op SlopBench is gefit, weegt elke engine naar wat die toevoegt als de andere al bekend zijn, zodat engines die op dezelfde manier fout zitten niet dubbel tellen. Heel korte teksten worden naar het midden getrokken, omdat een paar woorden weinig bewijs bevatten.

De banden van het oordeel zijn vastgelegd op menselijke teksten: bij 45 beginnen de 5% menselijke teksten met de hoogste scores, bij 55 de 2% en bij 80 de 0,5%. Een score van 55 of hoger betekent dus dat minder dan 2 op de 100 menselijke teksten zo hoog uitkomen. Andere talen hebben een eigen model, en elke taal staat aangegeven als ondersteund, experimenteel of nog niet betrouwbaar.

Gemeten op 3.252 teksten

Een nauwkeurigheidscijfer zegt weinig zolang niet duidelijk is waarop het gemeten is. SlopTotal wordt gemeten op SlopBench, een open benchmark met 1.626 menselijke teksten, allemaal geschreven voordat ChatGPT bestond, en 1.626 AI-teksten over dezelfde onderwerpen en met dezelfde lengte van 14 actuele modellen (waaronder GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma en GLM). Hij omvat nieuws, encyclopedieën, wetenschappelijke samenvattingen, antwoorden op vraagfora, Reddit-berichten, recensies, essays van studenten, Engels van niet-moedertaalsprekers en fictie, want een detector die op één soort tekst is getest, eindigt met getallen die in de praktijk instorten.

Twee delen zijn er om oneerlijkheid te betrappen: 87 fragmenten literatuur gepubliceerd tussen 1532 en 1915, waar elke hoge score per definitie een fout is, en opstellen van mensen die Engels als tweede taal schrijven, de mensen die detectoren het vaakst onterecht beschuldigen. Elk hoofdcijfer is gemeten op soorten tekst waarop het model niet is afgesteld, en de resultaten staan in de repository, mislukkingen inbegrepen.

Waar detectie ophoudt te werken

Korte teksten zijn onbetrouwbaar, bij elke detector. Onder ongeveer 80 woorden schommelt de score door de woordkeus alleen, en vanaf ongeveer 200 woorden wordt hij stabiel. Als een tweet een heel stellig antwoord krijgt, wantrouw dan het antwoord.

Licht bewerkte AI-tekst is het lastige geval. Elke ronde van menselijk herschrijven wist machinesporen uit, en er is geen grens waarna bewerken niet meer uitmaakt. Broncode valt erbuiten: de engines zijn getraind op natuurlijke taal en herkennen door AI geschreven code niet betrouwbaar, dus SlopTotal beweert dat ook niet.

Een score is bewijs, geen vonnis. Gebruik de 23 scores om te bepalen waar je kijkt en wat je vraagt, en vraag het dan. Geen enkele uitslag van een detector zou op zichzelf moeten beslissen over een cijfer, een aanstelling of een publicatie.