AI-detektorers träffsäkerhet, uppmätt

Vad motorerna letar efter

Klassificerare som tränats på text från valfri LLM, statistiska test som mäter hur förutsägbart varje ord är, och kontroller av den struktur och de formuleringar som AI-modeller upprepar.

Korta texter ger svaga signaler. Använd minst 80 ord, och 200 eller fler om du kan.

Så läser du resultatet

Poängen går från 0 till 100. Från 55 och uppåt når färre än 2 av 100 mänskliga texter så högt, från 80 färre än 1 av 200.

Titta också på motortabellen. När nästan alla motorer är överens är poängen ett starkt belägg. När de går isär är texten ofta skriven med hjälp av AI eller kraftigt redigerad, och den förtjänar en noggrann mänsklig läsning.

Bakgrund

De flesta verktyg anger en träffsäkerhet utan att säga vad den mättes på. Vår mäts på SlopBench: 1 626 mänskliga texter och 1 626 AI-texter från 14 aktuella modeller i 15 slags texter, varje siffra på texter som modellen inte justerats mot. AUC är 0,942. Vid gränsen ”Troligen AI” fångas 67 % av AI-texterna och 1,7 % av de mänskliga texterna kallas felaktigt AI, eftersom gränsen ligger där de översta 2 % av mänsklig text börjar. En detektor som utlovar 99 % utan att säga på vad citerar sin egen träningsdata.

Så kommer de 23 motorerna fram till en poäng

SlopTotal frågar inte en enda modell om dess åsikt. Det kör 23 oberoende detektorer och visar alla 23 poäng, eftersom den användbara informationen ofta finns i oenigheten. Nio är neurala klassificerare som tränats att skilja mänsklig text från maskintext, bland dem DeBERTa-v3-large, RoBERTa-large och en BERT-tiny med 4,4 miljoner parametrar. Sju är statistiska test som inte kräver någon träning: de mäter hur förutsägbar texten är för GPT-2-modeller, med perplexitet, tokenrangordning, log-rank och korsentropin mellan två modeller. De övriga sju läser själva texten: variationen i meningslängd, ordförrådet, strukturen, gardering och de fraser som AI-modeller upprepar.

Den samlade poängen är inget medelvärde. En logistisk modell som anpassats på SlopBench viktar varje motor efter vad den tillför när de andra redan är kända, så motorer som gör samma fel räknas inte två gånger. Mycket korta texter dras mot mitten, eftersom några få ord inte bär mycket belägg.

Bedömningsintervallen är satta utifrån mänsklig text: vid 45 börjar de 5 % mänskliga texter som får högst poäng, vid 55 de 2 % och vid 80 de 0,5 %. En poäng på 55 eller mer betyder alltså att färre än 2 av 100 mänskliga texter når så högt. Andra språk har en egen modell, och varje språk är märkt som stöds, experimentellt eller ännu inte tillförlitligt.

Mätt på 3 252 texter

En siffra för träffsäkerhet säger lite så länge det inte framgår vad den mätts på. SlopTotal mäts på SlopBench, ett öppet testset med 1 626 mänskliga texter, alla skrivna innan ChatGPT fanns, och 1 626 AI-texter om samma ämnen och av samma längd från 14 aktuella modeller (bland dem GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma och GLM). Det omfattar nyheter, uppslagsverk, vetenskapliga sammanfattningar, svar på frågeforum, Reddit-inlägg, recensioner, studentuppsatser, engelska från personer med annat modersmål och skönlitteratur, eftersom en detektor som testats på en enda sorts text får siffror som rasar i verkligheten.

Två delar finns för att avslöja orättvisor: 87 litterära avsnitt publicerade mellan 1532 och 1915, där varje högt resultat per definition är ett fel, och uppsatser av personer som skriver engelska som andraspråk, de som detektorer oftast felaktigt anklagar. Varje huvudsiffra mäts på slags texter som modellen inte justerats mot, och resultaten är publicerade i repot, misslyckanden inräknade.

Där detekteringen slutar fungera

Korta texter är otillförlitliga, i varje detektor. Under ungefär 80 ord svänger poängen bara av ordvalet, och den stabiliseras från ungefär 200 ord. Om en tweet får ett mycket säkert svar, misstro svaret.

Lätt redigerad AI-text är det svåra fallet. Varje varv av mänsklig omskrivning suddar ut maskinspår, och det finns ingen gräns där redigeringen slutar spela roll. Källkod ingår inte: motorerna är tränade på naturligt språk och känner inte tillförlitligt igen kod som skrivits av AI, så SlopTotal påstår inte det.

En poäng är ett belägg, inte en dom. Använd de 23 poängen för att avgöra var du ska titta och vad du ska fråga, och fråga sedan. Inget resultat från en detektor bör på egen hand avgöra ett betyg, en anställning eller en publicering.