Perplexity

Wat Perplexity mat

Op SlopBench (1.626 menselijke teksten van vóór ChatGPT en 1.626 AI-teksten van 14 huidige modellen, over 15 soorten tekst) haalde Perplexity een AUC van 0.644. Machinetekst gaf hij gemiddeld 0.773 en moderne menselijke tekst 0.671. De AUC is de kans dat hij een willekeurig AI-fragment boven een willekeurig menselijk fragment zet: 1,0 is perfecte scheiding, 0,5 is kop of munt.

Eén deel test de fout die het meest uitmaakt: 87 fragmenten gepubliceerd tussen 1532 en 1915 (Machiavelli, Austen, Melville, Kafka), waar elke hoge score per definitie een fout is, omdat de teksten een eeuw of meer ouder zijn dan taalmodellen. Perplexity gaf ze 0.539. Dat is 0.132 lager dan zijn score voor modern menselijk schrijven, dus archaïsch proza zet hem niet op het verkeerde been.

Zijn rol in de score

Perplexity is één rij in de tabel van 23 engines, naast neurale classifiers, statistische tests op basis van GPT-2-modellen en controles van het proza zelf. Geen enkele engine bepaalt het oordeel alleen.

De totaalscore komt uit een logistisch model dat op SlopBench is gefit en elke engine weegt naar wat die toevoegt als de andere al bekend zijn. Detectors die samen fout zitten, zoals classifiers die op vergelijkbare data zijn getraind, tellen niet dubbel.

Hoe de 23 engines tot een score komen

SlopTotal vraagt niet één model om een mening. Het draait 23 onafhankelijke detectors en toont alle 23 scores, omdat de nuttige informatie vaak in de onenigheid zit. Negen zijn neurale classifiers die getraind zijn om menselijke tekst van machinetekst te onderscheiden, waaronder DeBERTa-v3-large, RoBERTa-large en een BERT-tiny met 4,4 miljoen parameters. Zeven zijn statistische tests die geen training nodig hebben: ze meten hoe voorspelbaar de tekst is voor GPT-2-modellen, met perplexiteit, tokenrangen, log-rank en de kruisentropie tussen twee modellen. De andere zeven lezen het proza zelf: de variatie in zinslengte, de woordenschat, de structuur, voorzichtige formuleringen en de stopwoorden die AI-modellen steeds herhalen.

De totaalscore is geen gemiddelde. Een logistisch model dat op SlopBench is gefit, weegt elke engine naar wat die toevoegt als de andere al bekend zijn, zodat engines die op dezelfde manier fout zitten niet dubbel tellen. Heel korte teksten worden naar het midden getrokken, omdat een paar woorden weinig bewijs bevatten.

De banden van het oordeel zijn vastgelegd op menselijke teksten: bij 45 beginnen de 5% menselijke teksten met de hoogste scores, bij 55 de 2% en bij 80 de 0,5%. Een score van 55 of hoger betekent dus dat minder dan 2 op de 100 menselijke teksten zo hoog uitkomen. Andere talen hebben een eigen model, en elke taal staat aangegeven als ondersteund, experimenteel of nog niet betrouwbaar.

Gemeten op 3.252 teksten

Een nauwkeurigheidscijfer zegt weinig zolang niet duidelijk is waarop het gemeten is. SlopTotal wordt gemeten op SlopBench, een open benchmark met 1.626 menselijke teksten, allemaal geschreven voordat ChatGPT bestond, en 1.626 AI-teksten over dezelfde onderwerpen en met dezelfde lengte van 14 actuele modellen (waaronder GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma en GLM). Hij omvat nieuws, encyclopedieën, wetenschappelijke samenvattingen, antwoorden op vraagfora, Reddit-berichten, recensies, essays van studenten, Engels van niet-moedertaalsprekers en fictie, want een detector die op één soort tekst is getest, eindigt met getallen die in de praktijk instorten.

Twee delen zijn er om oneerlijkheid te betrappen: 87 fragmenten literatuur gepubliceerd tussen 1532 en 1915, waar elke hoge score per definitie een fout is, en opstellen van mensen die Engels als tweede taal schrijven, de mensen die detectoren het vaakst onterecht beschuldigen. Elk hoofdcijfer is gemeten op soorten tekst waarop het model niet is afgesteld, en de resultaten staan in de repository, mislukkingen inbegrepen.

Waar detectie ophoudt te werken

Korte teksten zijn onbetrouwbaar, bij elke detector. Onder ongeveer 80 woorden schommelt de score door de woordkeus alleen, en vanaf ongeveer 200 woorden wordt hij stabiel. Als een tweet een heel stellig antwoord krijgt, wantrouw dan het antwoord.

Licht bewerkte AI-tekst is het lastige geval. Elke ronde van menselijk herschrijven wist machinesporen uit, en er is geen grens waarna bewerken niet meer uitmaakt. Broncode valt erbuiten: de engines zijn getraind op natuurlijke taal en herkennen door AI geschreven code niet betrouwbaar, dus SlopTotal beweert dat ook niet.

Een score is bewijs, geen vonnis. Gebruik de 23 scores om te bepalen waar je kijkt en wat je vraagt, en vraag het dan. Geen enkele uitslag van een detector zou op zichzelf moeten beslissen over een cijfer, een aanstelling of een publicatie.