AI-checker voor Nederlandse teksten

Hoe het Nederlands is gemeten

Aan de menselijke kant: 40 artikelen van de Nederlandstalige Wikipedia zoals ze er in 2018 bij stonden, voordat taalmodellen er een merkbaar deel van schreven, en 20 fragmenten literatuur van vóór 1920. Aan de AI-kant: teksten van DeepSeek, GPT-6 Luna, Mistral Small, Llama 4 Maverick en Qwen 3.8 Flash over dezelfde onderwerpen, in het Nederlands geschreven.

Elk getal op deze pagina komt uit vijfvoudige kruisvalidatie: het model dat een tekst beoordeelt, heeft die tijdens het afstellen niet gezien. In een strengere test markeerden gewichten die alleen op DeepSeek waren afgesteld 94% van de teksten van de vier andere modelfamilies.

Wat AI in het Nederlands te vaak schrijft

Wie 40 door AI geschreven encyclopedische passages naast 40 Wikipedia-artikelen over dezelfde onderwerpen legt, ziet een paar woorden opvallen: ‘zoals’ in 48% van de AI-teksten tegen 5% van de artikelen; ‘waaronder’ in 42% van de AI-teksten tegen 5% van de artikelen; ‘onder meer’ in 38% van de AI-teksten tegen 0% van de artikelen; ‘daarnaast’ in 22% van de AI-teksten tegen 2% van de artikelen; ‘bekend om’ in 20% van de AI-teksten tegen 0% van de artikelen.

Dat zijn neigingen van de modellen, geen bewijs. Veel mensen gebruiken elk van deze woorden, en SlopTotal telt ze niet: de score komt van de engines. De lijst staat hier omdat een oplettende lezer dit als eerste opmerkt.

Korte teksten

Een korte Nederlandse tekst wordt afgeremd. Onder de 150 woorden zakt de score naarmate er minder tekst is, omdat een of twee zinnen weinig bewijs leveren. De sterkte van die correctie is afgesteld op Franse, Spaanse, Duitse, Italiaanse en Portugese teksten die tot 50 en 100 woorden waren ingekort, waar ze het aandeel gemarkeerde menselijke tekst van 20% naar 5% bracht. Voor Nederlands is dat niet apart gemeten; zie een korte uitslag als een aanwijzing.

Van onzichtbaar naar goed gedekt

Vóór de kalibratie per taal markeerde SlopTotal 1% van de Nederlandse AI-tekst, omdat de op Engels afgestemde engines Nederlands als uniform vreemd lazen. Nu is het een van de best gedekte talen. Vlaams is niet apart gemeten van het Wikipedia-Nederlands in de test. Gebruikt je hogeschool of universiteit een ander hulpmiddel, dan laat het detail van de 23 engines zien waar een melding op rust.

Hoe de 23 engines tot een score komen

SlopTotal vraagt niet één model om een mening. Het draait 23 onafhankelijke detectors en toont alle 23 scores, omdat de nuttige informatie vaak in de onenigheid zit. Negen zijn neurale classifiers die getraind zijn om menselijke tekst van machinetekst te onderscheiden, waaronder DeBERTa-v3-large, RoBERTa-large en een BERT-tiny met 4,4 miljoen parameters. Zeven zijn statistische tests die geen training nodig hebben: ze meten hoe voorspelbaar de tekst is voor GPT-2-modellen, met perplexiteit, tokenrangen, log-rank en de kruisentropie tussen twee modellen. De andere zeven lezen het proza zelf: de variatie in zinslengte, de woordenschat, de structuur, voorzichtige formuleringen en de stopwoorden die AI-modellen steeds herhalen.

De totaalscore is geen gemiddelde. Een logistisch model dat op SlopBench is gefit, weegt elke engine naar wat die toevoegt als de andere al bekend zijn, zodat engines die op dezelfde manier fout zitten niet dubbel tellen. Heel korte teksten worden naar het midden getrokken, omdat een paar woorden weinig bewijs bevatten.

De banden van het oordeel zijn vastgelegd op menselijke teksten: bij 45 beginnen de 5% menselijke teksten met de hoogste scores, bij 55 de 2% en bij 80 de 0,5%. Een score van 55 of hoger betekent dus dat minder dan 2 op de 100 menselijke teksten zo hoog uitkomen. Andere talen hebben een eigen model, en elke taal staat aangegeven als ondersteund, experimenteel of nog niet betrouwbaar.

Gemeten op 3.252 teksten

Een nauwkeurigheidscijfer zegt weinig zolang niet duidelijk is waarop het gemeten is. SlopTotal wordt gemeten op SlopBench, een open benchmark met 1.626 menselijke teksten, allemaal geschreven voordat ChatGPT bestond, en 1.626 AI-teksten over dezelfde onderwerpen en met dezelfde lengte van 14 actuele modellen (waaronder GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma en GLM). Hij omvat nieuws, encyclopedieën, wetenschappelijke samenvattingen, antwoorden op vraagfora, Reddit-berichten, recensies, essays van studenten, Engels van niet-moedertaalsprekers en fictie, want een detector die op één soort tekst is getest, eindigt met getallen die in de praktijk instorten.

Twee delen zijn er om oneerlijkheid te betrappen: 87 fragmenten literatuur gepubliceerd tussen 1532 en 1915, waar elke hoge score per definitie een fout is, en opstellen van mensen die Engels als tweede taal schrijven, de mensen die detectoren het vaakst onterecht beschuldigen. Elk hoofdcijfer is gemeten op soorten tekst waarop het model niet is afgesteld, en de resultaten staan in de repository, mislukkingen inbegrepen.

Waar detectie ophoudt te werken

Korte teksten zijn onbetrouwbaar, bij elke detector. Onder ongeveer 80 woorden schommelt de score door de woordkeus alleen, en vanaf ongeveer 200 woorden wordt hij stabiel. Als een tweet een heel stellig antwoord krijgt, wantrouw dan het antwoord.

Licht bewerkte AI-tekst is het lastige geval. Elke ronde van menselijk herschrijven wist machinesporen uit, en er is geen grens waarna bewerken niet meer uitmaakt. Broncode valt erbuiten: de engines zijn getraind op natuurlijke taal en herkennen door AI geschreven code niet betrouwbaar, dus SlopTotal beweert dat ook niet.

Een score is bewijs, geen vonnis. Gebruik de 23 scores om te bepalen waar je kijkt en wat je vraagt, en vraag het dan. Geen enkele uitslag van een detector zou op zichzelf moeten beslissen over een cijfer, een aanstelling of een publicatie.