Desklib DeBERTa

Vad Desklib DeBERTa mätte

På SlopBench (1 626 mänskliga texter skrivna före ChatGPT och 1 626 AI-texter från 14 aktuella modeller, i 15 slags texter) nådde Desklib DeBERTa ett AUC på 0.936. Den gav maskintext i snitt 0.853 och modern mänsklig text 0.194. AUC är sannolikheten att den rankar ett slumpvis AI-avsnitt över ett slumpvis mänskligt: 1,0 är perfekt åtskillnad och 0,5 ett slantsingling.

En del testar det fel som betyder mest: 87 avsnitt publicerade mellan 1532 och 1915 (Machiavelli, Austen, Melville, Kafka), där varje högt resultat per definition är ett fel, eftersom texterna är ett sekel eller mer äldre än språkmodellerna. Desklib DeBERTa gav dem 0.030. Det är 0.165 lägre än dess resultat för modernt mänskligt skrivande, så ålderdomlig prosa lurar den inte.

Dess roll i poängen

Desklib DeBERTa är en rad i tabellen med 23 motorer, bredvid neurala klassificerare, statistiska test baserade på GPT-2-modeller och kontroller av själva texten. Ingen enskild motor avgör bedömningen.

Den samlade poängen kommer från en logistisk modell som anpassats på SlopBench och viktar varje motor efter vad den tillför när de andra redan är kända. Detektorer som gör fel tillsammans, som klassificerare tränade på liknande data, räknas inte två gånger.

Så kommer de 23 motorerna fram till en poäng

SlopTotal frågar inte en enda modell om dess åsikt. Det kör 23 oberoende detektorer och visar alla 23 poäng, eftersom den användbara informationen ofta finns i oenigheten. Nio är neurala klassificerare som tränats att skilja mänsklig text från maskintext, bland dem DeBERTa-v3-large, RoBERTa-large och en BERT-tiny med 4,4 miljoner parametrar. Sju är statistiska test som inte kräver någon träning: de mäter hur förutsägbar texten är för GPT-2-modeller, med perplexitet, tokenrangordning, log-rank och korsentropin mellan två modeller. De övriga sju läser själva texten: variationen i meningslängd, ordförrådet, strukturen, gardering och de fraser som AI-modeller upprepar.

Den samlade poängen är inget medelvärde. En logistisk modell som anpassats på SlopBench viktar varje motor efter vad den tillför när de andra redan är kända, så motorer som gör samma fel räknas inte två gånger. Mycket korta texter dras mot mitten, eftersom några få ord inte bär mycket belägg.

Bedömningsintervallen är satta utifrån mänsklig text: vid 45 börjar de 5 % mänskliga texter som får högst poäng, vid 55 de 2 % och vid 80 de 0,5 %. En poäng på 55 eller mer betyder alltså att färre än 2 av 100 mänskliga texter når så högt. Andra språk har en egen modell, och varje språk är märkt som stöds, experimentellt eller ännu inte tillförlitligt.

Mätt på 3 252 texter

En siffra för träffsäkerhet säger lite så länge det inte framgår vad den mätts på. SlopTotal mäts på SlopBench, ett öppet testset med 1 626 mänskliga texter, alla skrivna innan ChatGPT fanns, och 1 626 AI-texter om samma ämnen och av samma längd från 14 aktuella modeller (bland dem GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma och GLM). Det omfattar nyheter, uppslagsverk, vetenskapliga sammanfattningar, svar på frågeforum, Reddit-inlägg, recensioner, studentuppsatser, engelska från personer med annat modersmål och skönlitteratur, eftersom en detektor som testats på en enda sorts text får siffror som rasar i verkligheten.

Två delar finns för att avslöja orättvisor: 87 litterära avsnitt publicerade mellan 1532 och 1915, där varje högt resultat per definition är ett fel, och uppsatser av personer som skriver engelska som andraspråk, de som detektorer oftast felaktigt anklagar. Varje huvudsiffra mäts på slags texter som modellen inte justerats mot, och resultaten är publicerade i repot, misslyckanden inräknade.

Där detekteringen slutar fungera

Korta texter är otillförlitliga, i varje detektor. Under ungefär 80 ord svänger poängen bara av ordvalet, och den stabiliseras från ungefär 200 ord. Om en tweet får ett mycket säkert svar, misstro svaret.

Lätt redigerad AI-text är det svåra fallet. Varje varv av mänsklig omskrivning suddar ut maskinspår, och det finns ingen gräns där redigeringen slutar spela roll. Källkod ingår inte: motorerna är tränade på naturligt språk och känner inte tillförlitligt igen kod som skrivits av AI, så SlopTotal påstår inte det.

En poäng är ett belägg, inte en dom. Använd de 23 poängen för att avgöra var du ska titta och vad du ska fråga, och fråga sedan. Inget resultat från en detektor bör på egen hand avgöra ett betyg, en anställning eller en publicering.