Benchmark för AI-detektorer

Den här sidan är till för forskare som söker siffror de kan kontrollera i stället för löften. SlopTotal kör 23 oberoende detektorer på samma text och visar varje poäng, gratis och utan konto.

Vad som finns i SlopBench

1 626 mänskliga texter, alla skrivna före ChatGPT, och 1 626 AI-texter om samma ämnen och av samma längd från 14 modeller. Varje rad är en källa; procentsatserna är held-out-resultat för den kalibrerade poängen.

Källa Texter AI-texter på 55+ Mänskliga texter på 55+
Akademiskt arXiv 150 48,7 % 0 %
Frågor och svar Stack Exchange 150 66,7 % 0,7 %
Förklaringar ELI5 150 50 % 0 %
Kreativt skrivande WritingPrompts 150 36 % 0 %
Litteratur Project Gutenberg 87 33,3 % 0 %
Nyheter BBC 60 100 % 0 %
Nyheter CC-News 90 93,3 % 5,6 %
Nyheter Wikinews 90 93,3 % 0 %
Recensioner Amazon 150 71,3 % 0 %
Sociala medier Reddit 150 42,7 % 0 %
Uppsatser college 70 85,7 % 4,3 %
Uppsatser Hewlett ASAP 88 100 % 0 %
Uppsatser TOEFL 91 100 % 15,4 %
Uppslagsverk Wikipedia 150 84 % 2,7 %

Upptäckt per modell

Andel av varje modells texter med 55 poäng eller mer, alltså troligen AI eller högre. Modeller med färre än 15 texter är utelämnade.

Modell Texter AI-texter på 55+
llama-4-maverick 247 95,1 %
gemma-4-31b-it 16 93,8 %
mistral-small-2603 235 90,2 %
qwen3.8-flash 256 72,3 %
qwen3.8-27b 21 61,9 %
nemotron-3-super-120b-a12b 24 58,3 %
deepseek-v4.1-flash 272 53,3 %
gpt-6-luna 264 50 %
glm-5.3-flash 253 49,4 %
nemotron-3-ultra-550b-a55b 26 26,9 %

Varje motor på SlopBench

Motor AUC Partiskhet mot äldre prosa Vikt i poängen
1 SuperAnnotate neural klassificerare · 355M
0,939
−0,18
2 Desklib DeBERTa neural klassificerare · 435M
0,936
−0,17
3 Fakespot neural klassificerare · 125M
0,917
+0,04
4 ReMoDetect neural klassificerare · 184M
0,866
−0,28 0
5 Structural Analysis språklig heuristik
0,756
+0,01
6 TMR Detector neural klassificerare · 125M
0,749
+0,17 0
7 E5-Small embeddingklassificerare · 33M
0,720
−0,20 0
8 ChatGPT Detector neural klassificerare · 125M
0,688
−0,15 0
9 Binoculars statistisk testmetod · 355M + 82M
0,680
−0,08
10 BERT-tiny RAID neural klassificerare · 4.4M
0,654
−0,17 0
11 Log-Rank statistisk testmetod · 355M
0,644
−0,14 0
12 Perplexity statistisk testmetod · 355M
0,644
−0,13 0
13 Fast-DetectGPT statistisk testmetod · 355M
0,632
−0,04 0
14 GLTR statistisk testmetod · 355M
0,622
−0,20 0
15 Cross-Perplexity statistisk testmetod · 355M + 82M
0,618
−0,14 0
16 Burstiness språklig heuristik · 355M
0,589
+0,08
17 Linguistic Markers språklig heuristik
0,574
−0,02 0
18 Formulaic Patterns språklig heuristik
0,557
0,00
19 DivEye statistisk testmetod · 355M
0,548
−0,12 0
20 Readability Uniformity språklig heuristik
0,539
+0,03
21 OpenAI Detector neural klassificerare · 125M
0,521
−0,05 0
22 Sentiment & Hedging språklig heuristik
0,491
−0,02 0
23 Vocabulary Richness språklig heuristik
0,362
−0,02 0

AUC anger hur ofta motorn rankar en AI-text över en mänsklig: 1 är perfekt, 0,5 är slantsingling. Biasen är hur mycket högre den poängsätter litteratur från före 1920 än modern mänsklig text. Vikten är vad den engelska kalibreringen ger varje motor; de flesta får ingen, eftersom en annan motor redan bär samma signal.

Kör det själv

Texterna, skripten och poängen finns i repot. Starta SlopTotal lokalt, poängsätt korpusen med det och bygg om tabellerna.

git clone https://github.com/pablocaeg/sloptotal.git
cd sloptotal/tests/eval/slopbench
SLOPTOTAL_URL=http://127.0.0.1:8000 python score.py results.jsonl
python analyze.py results.jsonl

Vad motorerna letar efter

Klassificerare som tränats på text från valfri LLM, statistiska test som mäter hur förutsägbart varje ord är, och kontroller av den struktur och de formuleringar som AI-modeller upprepar.

Korta texter ger svaga signaler. Använd minst 80 ord, och 200 eller fler om du kan.

Så läser du resultatet

Poängen går från 0 till 100. Från 55 och uppåt når färre än 2 av 100 mänskliga texter så högt, från 80 färre än 1 av 200.

Titta också på motortabellen. När nästan alla motorer är överens är poängen ett starkt belägg. När de går isär är texten ofta skriven med hjälp av AI eller kraftigt redigerad, och den förtjänar en noggrann mänsklig läsning.

Bakgrund

Siffrorna och koden som tog fram dem är båda offentliga. På SlopBench når den kalibrerade ensemblen ett AUC på 0,942 och kallar 67 % av AI-texterna och 1,7 % av de mänskliga texterna ”Troligen AI”. Siffrorna för varje motor publiceras också, även de obekväma: klassificerare som är nästan perfekta på RAID-benchmarken sjunker till ett AUC på 0,75 på aktuella modeller, och GPT-2:s perplexitetstester till omkring 0,64.

Så kommer de 23 motorerna fram till en poäng

SlopTotal frågar inte en enda modell om dess åsikt. Det kör 23 oberoende detektorer och visar alla 23 poäng, eftersom den användbara informationen ofta finns i oenigheten. Nio är neurala klassificerare som tränats att skilja mänsklig text från maskintext, bland dem DeBERTa-v3-large, RoBERTa-large och en BERT-tiny med 4,4 miljoner parametrar. Sju är statistiska test som inte kräver någon träning: de mäter hur förutsägbar texten är för GPT-2-modeller, med perplexitet, tokenrangordning, log-rank och korsentropin mellan två modeller. De övriga sju läser själva texten: variationen i meningslängd, ordförrådet, strukturen, gardering och de fraser som AI-modeller upprepar.

Den samlade poängen är inget medelvärde. En logistisk modell som anpassats på SlopBench viktar varje motor efter vad den tillför när de andra redan är kända, så motorer som gör samma fel räknas inte två gånger. Mycket korta texter dras mot mitten, eftersom några få ord inte bär mycket belägg.

Bedömningsintervallen är satta utifrån mänsklig text: vid 45 börjar de 5 % mänskliga texter som får högst poäng, vid 55 de 2 % och vid 80 de 0,5 %. En poäng på 55 eller mer betyder alltså att färre än 2 av 100 mänskliga texter når så högt. Andra språk har en egen modell, och varje språk är märkt som stöds, experimentellt eller ännu inte tillförlitligt.

Mätt på 3 252 texter

En siffra för träffsäkerhet säger lite så länge det inte framgår vad den mätts på. SlopTotal mäts på SlopBench, ett öppet testset med 1 626 mänskliga texter, alla skrivna innan ChatGPT fanns, och 1 626 AI-texter om samma ämnen och av samma längd från 14 aktuella modeller (bland dem GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma och GLM). Det omfattar nyheter, uppslagsverk, vetenskapliga sammanfattningar, svar på frågeforum, Reddit-inlägg, recensioner, studentuppsatser, engelska från personer med annat modersmål och skönlitteratur, eftersom en detektor som testats på en enda sorts text får siffror som rasar i verkligheten.

Två delar finns för att avslöja orättvisor: 87 litterära avsnitt publicerade mellan 1532 och 1915, där varje högt resultat per definition är ett fel, och uppsatser av personer som skriver engelska som andraspråk, de som detektorer oftast felaktigt anklagar. Varje huvudsiffra mäts på slags texter som modellen inte justerats mot, och resultaten är publicerade i repot, misslyckanden inräknade.

Där detekteringen slutar fungera

Korta texter är otillförlitliga, i varje detektor. Under ungefär 80 ord svänger poängen bara av ordvalet, och den stabiliseras från ungefär 200 ord. Om en tweet får ett mycket säkert svar, misstro svaret.

Lätt redigerad AI-text är det svåra fallet. Varje varv av mänsklig omskrivning suddar ut maskinspår, och det finns ingen gräns där redigeringen slutar spela roll. Källkod ingår inte: motorerna är tränade på naturligt språk och känner inte tillförlitligt igen kod som skrivits av AI, så SlopTotal påstår inte det.

En poäng är ett belägg, inte en dom. Använd de 23 poängen för att avgöra var du ska titta och vad du ska fråga, och fråga sedan. Inget resultat från en detektor bör på egen hand avgöra ett betyg, en anställning eller en publicering.

Frågor vi får

Känner SlopTotal igen text från valfri LLM?

Ja. Poängen är kalibrerad på text från 14 aktuella modeller, och klassificerarna har tränats på utdata som den från valfri LLM. Kraftigt redigerad text hamnar ofta i de mittersta intervallen, så titta på motortabellen.

Är det gratis?

Ja. Inget konto, inga krediter och ingen betalplan.