KI-Detektor für deutsche Texte

Wie Deutsch gemessen wurde

Auf der menschlichen Seite stehen 40 Artikel der deutschen Wikipedia im Stand von 2018, bevor Sprachmodelle dort nennenswert mitschrieben, und 20 Auszüge aus Literatur, die vor 1920 erschien. Auf der KI-Seite stehen Texte von DeepSeek, GPT-6 Luna, Mistral Small, Llama 4 Maverick und Qwen 3.8 Flash zu denselben Themen, auf Deutsch verfasst, dazu 20 ChatGPT-Texte aus dem SemEval-2024-Wettbewerb.

Jede Zahl auf dieser Seite stammt aus einer fünffachen Kreuzvalidierung: Das Modell, das einen Text bewertet, hat ihn bei der Anpassung nicht gesehen. In einem strengeren Test wurden die Gewichte nur an DeepSeek angepasst und an den vier anderen Modellfamilien geprüft; sie markierten 69 % dieser Texte.

Was KI im Deutschen zu oft schreibt

Vergleicht man 40 KI-geschriebene Lexikonpassagen mit 40 Wikipedia-Artikeln zu denselben Themen, fallen einige Wörter auf: „zu den“ in 32 % der KI-Texte gegenüber 5 % der Artikel; „darunter“ in 25 % der KI-Texte gegenüber 2 % der Artikel; „häufig“ in 22 % der KI-Texte gegenüber 0 % der Artikel; „wobei“ in 22 % der KI-Texte gegenüber 2 % der Artikel; „zugleich“ in 20 % der KI-Texte gegenüber 0 % der Artikel.

Das sind Neigungen der Modelle, keine Beweise. Viele Menschen benutzen jedes dieser Wörter, und SlopTotal zählt sie nicht: Der Wert kommt von den Engines. Die Liste steht hier, weil sie das ist, was ein aufmerksamer Leser zuerst bemerkt.

Kurze Texte

Ein kurzer deutscher Text wird gebremst. Unter 150 Wörtern wird der Wert umso stärker gesenkt, je weniger Text vorliegt, denn ein oder zwei Sätze tragen kaum Belege in die eine oder andere Richtung. An Texten, die auf 50 Wörter gekürzt wurden, auf Deutsch, Französisch, Spanisch, Italienisch und Portugiesisch, senkte diese Korrektur den Anteil markierter menschlicher Texte von 20 % auf 5 %. Der Preis: Bei 50 Wörtern wird KI-Text nur noch in 46 % statt 69 % der Fälle markiert.

Wo Deutsch schwieriger ist

Deutsch ist die schwierigste der unterstützten europäischen Sprachen: 76 % der KI-Texte wurden markiert, gegenüber 89 % bis 100 % für Französisch, Spanisch, Italienisch, Portugiesisch und Niederländisch. Ein niedriger Wert bei einem deutschen Text ist also ein schwächeres Entwarnungssignal als ein hoher Wert ein Warnsignal. Österreichisches und Schweizer Deutsch wurden nicht getrennt gemessen.

Wie die 23 Motoren zu einem Wert kommen

SlopTotal fragt nicht ein einzelnes Modell nach seiner Meinung. Es lässt 23 unabhängige Detektoren laufen und zeigt alle 23 Werte, weil die nützliche Information oft in der Uneinigkeit steckt. Neun sind neuronale Klassifikatoren, die darauf trainiert sind, menschliche von maschinellen Texten zu unterscheiden, darunter DeBERTa-v3-large, RoBERTa-large und ein BERT-tiny mit 4,4 Millionen Parametern. Sieben sind statistische Tests ohne eigenes Training: Sie messen, wie vorhersehbar der Text für GPT-2-Modelle ist, mit Perplexität, Token-Rängen, Log-Rank und der Kreuzentropie zwischen zwei Modellen. Die übrigen sieben lesen den Text selbst: die Streuung der Satzlängen, den Wortschatz, die Struktur, abschwächende Formulierungen und die Floskeln, die KI-Modelle ständig wiederholen.

Der Gesamtwert ist kein Durchschnitt. Ein auf SlopBench angepasstes logistisches Modell gewichtet jeden Motor danach, was er beiträgt, wenn die anderen schon bekannt sind. Motoren, die auf dieselbe Weise danebenliegen, zählen so nicht doppelt. Sehr kurze Texte werden zur Mitte hin gezogen, weil wenige Wörter nicht viele Belege tragen.

Die Bereiche des Urteils sind an menschlichen Texten festgelegt: Bei 45 beginnen die 5 % der menschlichen Texte mit den höchsten Werten, bei 55 die 2 % und bei 80 die 0,5 %. Ein Wert von 55 oder mehr bedeutet also, dass weniger als 2 von 100 menschlichen Texten so hoch liegen. Andere Sprachen haben ein eigenes Modell, und jede Sprache ist als unterstützt, experimentell oder noch nicht verlässlich gekennzeichnet.

Gemessen an 3.252 Texten

Eine Genauigkeitsangabe sagt wenig, solange nicht klar ist, woran sie gemessen wurde. SlopTotal wird an SlopBench gemessen, einem offenen Benchmark mit 1.626 menschlichen Texten, die alle vor ChatGPT entstanden sind, und 1.626 KI-Texten zu denselben Themen und in derselben Länge von 14 aktuellen Modellen (darunter GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma und GLM). Er umfasst Nachrichten, Lexikonartikel, wissenschaftliche Zusammenfassungen, Antworten aus Frage-Foren, Reddit-Beiträge, Rezensionen, Schüleraufsätze, Englisch von Nicht-Muttersprachlern und Belletristik, denn ein Detektor, der nur an einer Textsorte getestet wird, liefert Zahlen, die in der Praxis zusammenbrechen.

Zwei Teile sollen Unfairness aufdecken: 87 Passagen Literatur, veröffentlicht zwischen 1532 und 1915, bei denen jeder hohe Wert per Definition ein Fehler ist, und Aufsätze von Menschen, die Englisch als Fremdsprache schreiben und von Detektoren am häufigsten zu Unrecht beschuldigt werden. Jede Kennzahl wird an Textsorten gemessen, auf die das Modell nicht abgestimmt wurde, und die Ergebnisse sind im Repository veröffentlicht, Fehlschläge eingeschlossen.

Wo Erkennung aufhört zu funktionieren

Kurze Texte sind unzuverlässig, bei jedem Detektor. Unter etwa 80 Wörtern schwankt der Wert schon durch die Wortwahl, und ab etwa 200 Wörtern stabilisiert er sich. Wenn ein Tweet eine sehr sichere Antwort bekommt, misstrauen Sie der Antwort.

Leicht überarbeiteter KI-Text ist der schwierige Fall. Jeder Überarbeitungsdurchgang durch einen Menschen entfernt maschinelle Spuren, und es gibt keine Schwelle, ab der das Überarbeiten keine Rolle mehr spielt. Quellcode gehört nicht dazu: Die Motoren sind auf natürliche Sprache trainiert und erkennen von KI geschriebenen Code nicht zuverlässig, deshalb behauptet SlopTotal das auch nicht.

Ein Wert ist ein Indiz, kein Urteil. Nutzen Sie die 23 Werte, um zu entscheiden, wo Sie hinsehen und was Sie fragen, und dann fragen Sie. Kein Detektorergebnis sollte allein über eine Note, eine Einstellung oder eine Veröffentlichung entscheiden.