Structural Analysis

docker run -p 8000:8000 -v sloptotal-models:/app/models ghcr.io/pablocaeg/sloptotal

curl -s -X POST http://localhost:8000/api/analyze \
  -H "Content-Type: application/json" \
  -d '{"text": "Paste at least 50 characters of text here..."}' \
  | jq '.engine_results[] | select(.engine_name == "Structural Analysis")'

Was Structural Analysis gemessen hat

Auf SlopBench (1.626 menschliche Texte aus der Zeit vor ChatGPT und 1.626 KI-Texte von 14 aktuellen Modellen, aus 15 Textsorten) erreichte Structural Analysis einen AUC von 0.756. Maschinentext bewertete er im Schnitt mit 0.068, modernen menschlichen Text mit 0.041. Der AUC ist die Wahrscheinlichkeit, dass er eine beliebige KI-Passage über eine beliebige menschliche stellt: 1,0 ist perfekte Trennung, 0,5 ein Münzwurf.

Ein Teil prüft den Fehler, auf den es am meisten ankommt: 87 Passagen, veröffentlicht zwischen 1532 und 1915 (Machiavelli, Austen, Melville, Kafka), bei denen jeder hohe Wert per Definition ein Fehler ist, weil die Texte ein Jahrhundert oder mehr vor den Sprachmodellen entstanden. Structural Analysis bewertete sie mit 0.055. Das entspricht seinem Wert für moderne menschliche Texte; eine messbare Schlagseite gegen ältere Prosa zeigt er nicht.

Seine Rolle im Gesamtwert

Structural Analysis ist eine Zeile der Tabelle mit 23 Motoren, neben neuronalen Klassifikatoren, statistischen Tests auf Basis von GPT-2-Modellen und Prüfungen des Textes selbst. Kein einzelner Motor bestimmt das Urteil.

Der Gesamtwert stammt aus einem auf SlopBench angepassten logistischen Modell, das jeden Motor danach gewichtet, was er beiträgt, wenn die anderen schon bekannt sind. Detektoren, die gemeinsam danebenliegen, etwa Klassifikatoren mit ähnlichen Trainingsdaten, zählen nicht doppelt.

Wie die 23 Motoren zu einem Wert kommen

SlopTotal fragt nicht ein einzelnes Modell nach seiner Meinung. Es lässt 23 unabhängige Detektoren laufen und zeigt alle 23 Werte, weil die nützliche Information oft in der Uneinigkeit steckt. Neun sind neuronale Klassifikatoren, die darauf trainiert sind, menschliche von maschinellen Texten zu unterscheiden, darunter DeBERTa-v3-large, RoBERTa-large und ein BERT-tiny mit 4,4 Millionen Parametern. Sieben sind statistische Tests ohne eigenes Training: Sie messen, wie vorhersehbar der Text für GPT-2-Modelle ist, mit Perplexität, Token-Rängen, Log-Rank und der Kreuzentropie zwischen zwei Modellen. Die übrigen sieben lesen den Text selbst: die Streuung der Satzlängen, den Wortschatz, die Struktur, abschwächende Formulierungen und die Floskeln, die KI-Modelle ständig wiederholen.

Der Gesamtwert ist kein Durchschnitt. Ein auf SlopBench angepasstes logistisches Modell gewichtet jeden Motor danach, was er beiträgt, wenn die anderen schon bekannt sind. Motoren, die auf dieselbe Weise danebenliegen, zählen so nicht doppelt. Sehr kurze Texte werden zur Mitte hin gezogen, weil wenige Wörter nicht viele Belege tragen.

Die Bereiche des Urteils sind an menschlichen Texten festgelegt: Bei 45 beginnen die 5 % der menschlichen Texte mit den höchsten Werten, bei 55 die 2 % und bei 80 die 0,5 %. Ein Wert von 55 oder mehr bedeutet also, dass weniger als 2 von 100 menschlichen Texten so hoch liegen. Andere Sprachen haben ein eigenes Modell, und jede Sprache ist als unterstützt, experimentell oder noch nicht verlässlich gekennzeichnet.

Gemessen an 3.252 Texten

Eine Genauigkeitsangabe sagt wenig, solange nicht klar ist, woran sie gemessen wurde. SlopTotal wird an SlopBench gemessen, einem offenen Benchmark mit 1.626 menschlichen Texten, die alle vor ChatGPT entstanden sind, und 1.626 KI-Texten zu denselben Themen und in derselben Länge von 14 aktuellen Modellen (darunter GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma und GLM). Er umfasst Nachrichten, Lexikonartikel, wissenschaftliche Zusammenfassungen, Antworten aus Frage-Foren, Reddit-Beiträge, Rezensionen, Schüleraufsätze, Englisch von Nicht-Muttersprachlern und Belletristik, denn ein Detektor, der nur an einer Textsorte getestet wird, liefert Zahlen, die in der Praxis zusammenbrechen.

Zwei Teile sollen Unfairness aufdecken: 87 Passagen Literatur, veröffentlicht zwischen 1532 und 1915, bei denen jeder hohe Wert per Definition ein Fehler ist, und Aufsätze von Menschen, die Englisch als Fremdsprache schreiben und von Detektoren am häufigsten zu Unrecht beschuldigt werden. Jede Kennzahl wird an Textsorten gemessen, auf die das Modell nicht abgestimmt wurde, und die Ergebnisse sind im Repository veröffentlicht, Fehlschläge eingeschlossen.

Wo Erkennung aufhört zu funktionieren

Kurze Texte sind unzuverlässig, bei jedem Detektor. Unter etwa 80 Wörtern schwankt der Wert schon durch die Wortwahl, und ab etwa 200 Wörtern stabilisiert er sich. Wenn ein Tweet eine sehr sichere Antwort bekommt, misstrauen Sie der Antwort.

Leicht überarbeiteter KI-Text ist der schwierige Fall. Jeder Überarbeitungsdurchgang durch einen Menschen entfernt maschinelle Spuren, und es gibt keine Schwelle, ab der das Überarbeiten keine Rolle mehr spielt. Quellcode gehört nicht dazu: Die Motoren sind auf natürliche Sprache trainiert und erkennen von KI geschriebenen Code nicht zuverlässig, deshalb behauptet SlopTotal das auch nicht.

Ein Wert ist ein Indiz, kein Urteil. Nutzen Sie die 23 Werte, um zu entscheiden, wo Sie hinsehen und was Sie fragen, und dann fragen Sie. Kein Detektorergebnis sollte allein über eine Note, eine Einstellung oder eine Veröffentlichung entscheiden.