Een gratis open-source alternatief voor Copyleaks

Wanneer Copyleaks de betere keuze is

Waar Copyleaks goed in is: koppelingen met Canvas en Moodle voor universiteiten. De prijs: Enterprisecontracten; niet bedoeld voor individuele gebruikers.

Als je precies dat nodig hebt, met een contract met een leverancier, kan Copyleaks nog steeds het juiste hulpmiddel zijn.

Waarom mensen een alternatief voor Copyleaks zoeken

De gebruikelijke redenen zijn de prijs, een verplicht account en één score die je niet kunt controleren. De belangrijkste beperking van Copyleaks in deze vergelijking: geen gratis openbare scanner voor losse controles.

Wat SlopTotal anders doet

Elke controle gaat langs 23 engines: neurale classifiers, statistische tests zoals perplexiteit en GLTR, en controles op de formuleringen die AI-modellen steeds herhalen. Het rapport laat zien welke engines de tekst markeerden en welke niet.

De score is gekalibreerd op SlopBench, een openbare benchmark van 3.252 teksten: vanaf 55 haalt minder dan 2 op de 100 menselijke teksten zo'n hoge score. De data en de methode zijn openbaar.

Je tekst wordt niet naar Copyleaks of een andere API gestuurd. De code valt onder de MIT-licentie, dus je kunt SlopTotal op je eigen server draaien.

Zo vergelijk je ze zelf

Plak dezelfde tekst in beide tools. Waar ze het oneens zijn, laat de enginetabel van SlopTotal zien welk soort detector het verschil veroorzaakte, en dat zegt meer dan twee getallen naast elkaar.

Hoe de 23 engines tot een score komen

SlopTotal vraagt niet één model om een mening. Het draait 23 onafhankelijke detectors en toont alle 23 scores, omdat de nuttige informatie vaak in de onenigheid zit. Negen zijn neurale classifiers die getraind zijn om menselijke tekst van machinetekst te onderscheiden, waaronder DeBERTa-v3-large, RoBERTa-large en een BERT-tiny met 4,4 miljoen parameters. Zeven zijn statistische tests die geen training nodig hebben: ze meten hoe voorspelbaar de tekst is voor GPT-2-modellen, met perplexiteit, tokenrangen, log-rank en de kruisentropie tussen twee modellen. De andere zeven lezen het proza zelf: de variatie in zinslengte, de woordenschat, de structuur, voorzichtige formuleringen en de stopwoorden die AI-modellen steeds herhalen.

De totaalscore is geen gemiddelde. Een logistisch model dat op SlopBench is gefit, weegt elke engine naar wat die toevoegt als de andere al bekend zijn, zodat engines die op dezelfde manier fout zitten niet dubbel tellen. Heel korte teksten worden naar het midden getrokken, omdat een paar woorden weinig bewijs bevatten.

De banden van het oordeel zijn vastgelegd op menselijke teksten: bij 45 beginnen de 5% menselijke teksten met de hoogste scores, bij 55 de 2% en bij 80 de 0,5%. Een score van 55 of hoger betekent dus dat minder dan 2 op de 100 menselijke teksten zo hoog uitkomen. Andere talen hebben een eigen model, en elke taal staat aangegeven als ondersteund, experimenteel of nog niet betrouwbaar.

Gemeten op 3.252 teksten

Een nauwkeurigheidscijfer zegt weinig zolang niet duidelijk is waarop het gemeten is. SlopTotal wordt gemeten op SlopBench, een open benchmark met 1.626 menselijke teksten, allemaal geschreven voordat ChatGPT bestond, en 1.626 AI-teksten over dezelfde onderwerpen en met dezelfde lengte van 14 actuele modellen (waaronder GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma en GLM). Hij omvat nieuws, encyclopedieën, wetenschappelijke samenvattingen, antwoorden op vraagfora, Reddit-berichten, recensies, essays van studenten, Engels van niet-moedertaalsprekers en fictie, want een detector die op één soort tekst is getest, eindigt met getallen die in de praktijk instorten.

Twee delen zijn er om oneerlijkheid te betrappen: 87 fragmenten literatuur gepubliceerd tussen 1532 en 1915, waar elke hoge score per definitie een fout is, en opstellen van mensen die Engels als tweede taal schrijven, de mensen die detectoren het vaakst onterecht beschuldigen. Elk hoofdcijfer is gemeten op soorten tekst waarop het model niet is afgesteld, en de resultaten staan in de repository, mislukkingen inbegrepen.

Waar detectie ophoudt te werken

Korte teksten zijn onbetrouwbaar, bij elke detector. Onder ongeveer 80 woorden schommelt de score door de woordkeus alleen, en vanaf ongeveer 200 woorden wordt hij stabiel. Als een tweet een heel stellig antwoord krijgt, wantrouw dan het antwoord.

Licht bewerkte AI-tekst is het lastige geval. Elke ronde van menselijk herschrijven wist machinesporen uit, en er is geen grens waarna bewerken niet meer uitmaakt. Broncode valt erbuiten: de engines zijn getraind op natuurlijke taal en herkennen door AI geschreven code niet betrouwbaar, dus SlopTotal beweert dat ook niet.

Een score is bewijs, geen vonnis. Gebruik de 23 scores om te bepalen waar je kijkt en wat je vraagt, en vraag het dan. Geen enkele uitslag van een detector zou op zichzelf moeten beslissen over een cijfer, een aanstelling of een publicatie.