KI-Detektor-Benchmark

git clone https://github.com/pablocaeg/sloptotal.git
cd sloptotal/tests/eval/slopbench
SLOPTOTAL_URL=http://127.0.0.1:8000 python score.py results.jsonl
python analyze.py results.jsonl

Worauf die Motoren achten

Klassifikatoren, die mit Texten von beliebigen LLMs trainiert wurden, statistische Tests, die messen, wie vorhersehbar jedes Wort ist, und Prüfungen auf die Struktur und die Formulierungen, die KI-Modelle ständig wiederholen.

Kurze Texte liefern schwache Signale. Verwenden Sie mindestens 80 Wörter, besser 200 oder mehr.

So lesen Sie das Ergebnis

Der Wert reicht von 0 bis 100. Ab 55 erreichen weniger als 2 von 100 menschlichen Texten einen so hohen Wert, ab 80 weniger als 1 von 200.

Sehen Sie sich auch die Motorentabelle an. Wenn fast alle übereinstimmen, ist der Wert ein starkes Indiz. Wenn sie sich uneinig sind, wurde der Text oft mit KI-Hilfe geschrieben oder stark überarbeitet, und er verdient einen genaueren menschlichen Blick.

Kontext

Die Zahlen und der Code, der sie erzeugt hat, sind öffentlich. Auf SlopBench erreicht das kalibrierte Ensemble einen AUC von 0,942 und stuft 67 % der KI-Texte und 1,7 % der menschlichen Texte als „Wahrscheinlich KI“ ein. Auch die Zahlen jedes einzelnen Motors sind veröffentlicht, die unangenehmen eingeschlossen: Klassifikatoren, die auf dem RAID-Benchmark fast perfekt sind, fallen bei aktuellen Modellen auf einen AUC von 0,75, die GPT-2-Perplexitätstests auf etwa 0,64.

Wie die 23 Motoren zu einem Wert kommen

SlopTotal fragt nicht ein einzelnes Modell nach seiner Meinung. Es lässt 23 unabhängige Detektoren laufen und zeigt alle 23 Werte, weil die nützliche Information oft in der Uneinigkeit steckt. Neun sind neuronale Klassifikatoren, die darauf trainiert sind, menschliche von maschinellen Texten zu unterscheiden, darunter DeBERTa-v3-large, RoBERTa-large und ein BERT-tiny mit 4,4 Millionen Parametern. Sieben sind statistische Tests ohne eigenes Training: Sie messen, wie vorhersehbar der Text für GPT-2-Modelle ist, mit Perplexität, Token-Rängen, Log-Rank und der Kreuzentropie zwischen zwei Modellen. Die übrigen sieben lesen den Text selbst: die Streuung der Satzlängen, den Wortschatz, die Struktur, abschwächende Formulierungen und die Floskeln, die KI-Modelle ständig wiederholen.

Der Gesamtwert ist kein Durchschnitt. Ein auf SlopBench angepasstes logistisches Modell gewichtet jeden Motor danach, was er beiträgt, wenn die anderen schon bekannt sind. Motoren, die auf dieselbe Weise danebenliegen, zählen so nicht doppelt. Sehr kurze Texte werden zur Mitte hin gezogen, weil wenige Wörter nicht viele Belege tragen.

Die Bereiche des Urteils sind an menschlichen Texten festgelegt: Bei 45 beginnen die 5 % der menschlichen Texte mit den höchsten Werten, bei 55 die 2 % und bei 80 die 0,5 %. Ein Wert von 55 oder mehr bedeutet also, dass weniger als 2 von 100 menschlichen Texten so hoch liegen. Andere Sprachen haben ein eigenes Modell, und jede Sprache ist als unterstützt, experimentell oder noch nicht verlässlich gekennzeichnet.

Gemessen an 3.252 Texten

Eine Genauigkeitsangabe sagt wenig, solange nicht klar ist, woran sie gemessen wurde. SlopTotal wird an SlopBench gemessen, einem offenen Benchmark mit 1.626 menschlichen Texten, die alle vor ChatGPT entstanden sind, und 1.626 KI-Texten zu denselben Themen und in derselben Länge von 14 aktuellen Modellen (darunter GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma und GLM). Er umfasst Nachrichten, Lexikonartikel, wissenschaftliche Zusammenfassungen, Antworten aus Frage-Foren, Reddit-Beiträge, Rezensionen, Schüleraufsätze, Englisch von Nicht-Muttersprachlern und Belletristik, denn ein Detektor, der nur an einer Textsorte getestet wird, liefert Zahlen, die in der Praxis zusammenbrechen.

Zwei Teile sollen Unfairness aufdecken: 87 Passagen Literatur, veröffentlicht zwischen 1532 und 1915, bei denen jeder hohe Wert per Definition ein Fehler ist, und Aufsätze von Menschen, die Englisch als Fremdsprache schreiben und von Detektoren am häufigsten zu Unrecht beschuldigt werden. Jede Kennzahl wird an Textsorten gemessen, auf die das Modell nicht abgestimmt wurde, und die Ergebnisse sind im Repository veröffentlicht, Fehlschläge eingeschlossen.

Wo Erkennung aufhört zu funktionieren

Kurze Texte sind unzuverlässig, bei jedem Detektor. Unter etwa 80 Wörtern schwankt der Wert schon durch die Wortwahl, und ab etwa 200 Wörtern stabilisiert er sich. Wenn ein Tweet eine sehr sichere Antwort bekommt, misstrauen Sie der Antwort.

Leicht überarbeiteter KI-Text ist der schwierige Fall. Jeder Überarbeitungsdurchgang durch einen Menschen entfernt maschinelle Spuren, und es gibt keine Schwelle, ab der das Überarbeiten keine Rolle mehr spielt. Quellcode gehört nicht dazu: Die Motoren sind auf natürliche Sprache trainiert und erkennen von KI geschriebenen Code nicht zuverlässig, deshalb behauptet SlopTotal das auch nicht.

Ein Wert ist ein Indiz, kein Urteil. Nutzen Sie die 23 Werte, um zu entscheiden, wo Sie hinsehen und was Sie fragen, und dann fragen Sie. Kein Detektorergebnis sollte allein über eine Note, eine Einstellung oder eine Veröffentlichung entscheiden.