AI-detektering för produktrecensioner

Varför en poäng inte räcker

Formellt språk, engelska från personer som inte har det som modersmål och facktermer lurar enskilda detektorer. Med 23 motorer ser du om en hög poäng kommer från en sorts detektor eller från alla.

Spara länken till rapporten med dina anteckningar. Rapporter sparas i 30 dagar och raderas sedan.

Ett arbetssätt som håller

Klistra in texten, ladda upp dokumentet eller ange sidan. Vänta tills alla motorer är klara. Se 55 och uppåt som ett skäl att titta närmare, inte som ett bevis.

Straffa aldrig någon enbart utifrån poängen. Använd motortabellen för att börja samtalet med den som skrev texten.

Så kommer de 23 motorerna fram till en poäng

SlopTotal frågar inte en enda modell om dess åsikt. Det kör 23 oberoende detektorer och visar alla 23 poäng, eftersom den användbara informationen ofta finns i oenigheten. Nio är neurala klassificerare som tränats att skilja mänsklig text från maskintext, bland dem DeBERTa-v3-large, RoBERTa-large och en BERT-tiny med 4,4 miljoner parametrar. Sju är statistiska test som inte kräver någon träning: de mäter hur förutsägbar texten är för GPT-2-modeller, med perplexitet, tokenrangordning, log-rank och korsentropin mellan två modeller. De övriga sju läser själva texten: variationen i meningslängd, ordförrådet, strukturen, gardering och de fraser som AI-modeller upprepar.

Den samlade poängen är inget medelvärde. En logistisk modell som anpassats på SlopBench viktar varje motor efter vad den tillför när de andra redan är kända, så motorer som gör samma fel räknas inte två gånger. Mycket korta texter dras mot mitten, eftersom några få ord inte bär mycket belägg.

Bedömningsintervallen är satta utifrån mänsklig text: vid 45 börjar de 5 % mänskliga texter som får högst poäng, vid 55 de 2 % och vid 80 de 0,5 %. En poäng på 55 eller mer betyder alltså att färre än 2 av 100 mänskliga texter når så högt. Andra språk har en egen modell, och varje språk är märkt som stöds, experimentellt eller ännu inte tillförlitligt.

Mätt på 3 252 texter

En siffra för träffsäkerhet säger lite så länge det inte framgår vad den mätts på. SlopTotal mäts på SlopBench, ett öppet testset med 1 626 mänskliga texter, alla skrivna innan ChatGPT fanns, och 1 626 AI-texter om samma ämnen och av samma längd från 14 aktuella modeller (bland dem GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma och GLM). Det omfattar nyheter, uppslagsverk, vetenskapliga sammanfattningar, svar på frågeforum, Reddit-inlägg, recensioner, studentuppsatser, engelska från personer med annat modersmål och skönlitteratur, eftersom en detektor som testats på en enda sorts text får siffror som rasar i verkligheten.

Två delar finns för att avslöja orättvisor: 87 litterära avsnitt publicerade mellan 1532 och 1915, där varje högt resultat per definition är ett fel, och uppsatser av personer som skriver engelska som andraspråk, de som detektorer oftast felaktigt anklagar. Varje huvudsiffra mäts på slags texter som modellen inte justerats mot, och resultaten är publicerade i repot, misslyckanden inräknade.

Där detekteringen slutar fungera

Korta texter är otillförlitliga, i varje detektor. Under ungefär 80 ord svänger poängen bara av ordvalet, och den stabiliseras från ungefär 200 ord. Om en tweet får ett mycket säkert svar, misstro svaret.

Lätt redigerad AI-text är det svåra fallet. Varje varv av mänsklig omskrivning suddar ut maskinspår, och det finns ingen gräns där redigeringen slutar spela roll. Källkod ingår inte: motorerna är tränade på naturligt språk och känner inte tillförlitligt igen kod som skrivits av AI, så SlopTotal påstår inte det.

En poäng är ett belägg, inte en dom. Använd de 23 poängen för att avgöra var du ska titta och vad du ska fråga, och fråga sedan. Inget resultat från en detektor bör på egen hand avgöra ett betyg, en anställning eller en publicering.