Desklib DeBERTa

Was Desklib DeBERTa gemessen hat

Gegen 110 Proben aus Nachrichten, literarischer Prosa, Lyrik und wissenschaftlichen Kurzfassungen — maschineller Text von GPT-4, ChatGPT, Llama, Mistral, Cohere und GPT-3 — erreichte Desklib DeBERTa einen AUC von 1.000. Maschinellen Text bewertete er im Mittel mit 0.999, modernen menschlichen Text mit 0.107. Der AUC ist die Wahrscheinlichkeit, dass er eine zufällige KI-Passage über eine zufällige menschliche stellt: 1,0 ist perfekte Trennung, 0,5 ein Münzwurf.

Ein zweites Korpus prüft den Fehler, auf den es am meisten ankommt. Es sind 26 Passagen, erschienen zwischen 1532 und 1915 — Machiavelli, Austen, Melville, Kafka — bei denen jeder hohe Wert schon der Konstruktion nach falsch ist, weil die Texte den Sprachmodellen um mindestens ein Jahrhundert vorausgehen. Desklib DeBERTa bewertete sie mit 0.020. Das liegt 0.088 unter seinem Wert für moderne menschliche Texte; archaische Prosa löst ihn nicht aus.

Wie er entscheidet

Desklib DeBERTa liefert eine von 23 Zeilen, neben neuronalen Klassifikatoren, GPT-2-gestützten statistischen Tests und linguistischen Heuristiken. Kein einzelner Motor bestimmt das Urteil. Die Gewichte stammen aus Messung: Der Anteil jedes Detektors richtet sich danach, wie gut er bekannten menschlichen von bekanntem maschinellem Text getrennt hat, und sinkt, wenn er eine Schlagseite gegen eine Schreibweise zeigte.

Das ist wichtig, weil Detektoren korreliert irren. Die neuronalen Klassifikatoren wurden auf überlappenden Daten trainiert: Wenn sie falsch liegen, liegen sie gemeinsam falsch, und ein Mittelwert lässt einen selbstsicheren Motor das Ergebnis ziehen. Übereinstimmung zwischen unabhängigen Familien ist das Signal, dem zu trauen sich lohnt.

Wie die 23 Motoren zu einem Urteil kommen

SlopTotal fragt nicht ein einzelnes Modell nach seiner Meinung. Es lässt 23 unabhängige Detektoren laufen und zeigt alle 23 Zeilen, denn interessant ist meist die Uneinigkeit. Neun sind neuronale Klassifikatoren, die darauf trainiert wurden, menschlichen von maschinellem Text zu trennen, darunter DeBERTa-v3-large, drei RoBERTa-Varianten und ein BERT-tiny mit 4,4 Millionen Parametern, das in Millisekunden antwortet. Sieben sind statistische Tests, die überhaupt kein Detektortraining brauchen: Sie messen, wie vorhersagbar Ihr Text für GPT-2 Medium wirkt, über Perplexität, Token-Rangverteilung, Log-Rank und Kreuzentropie-Verhältnisse zwischen zwei verschiedenen Sprachmodellen. Die restlichen sieben lesen die Prosa selbst: Kurzformen, Gedankenstrich-Gewohnheiten, Varianz der Satzlänge, Abschwächungen und Standardeinstiege.

Der Endwert ist kein Mittelwert. Ein Mittelwert erlaubt es einem einzelnen selbstsicheren Motor, das Ergebnis zu ziehen, und Detektoren irren korreliert: Die neuronalen Klassifikatoren wurden auf ähnlichen Daten trainiert, liegen also gemeinsam falsch, wenn sie falsch liegen. Die Berechnung stützt sich auf jene Klassifikatoren, die in unserer eigenen Auswertung genau und verzerrungsfrei waren, verrechnet sie mit dem vollständig gewichteten Satz und behandelt Übereinstimmung zwischen unabhängigen Motorfamilien als das eigentliche Vertrauenssignal.

Jede Gewichtung stammt aus einer Messung, nicht aus einer Vermutung. Der Beitrag jedes Detektors richtet sich danach, wie gut er bekannten menschlichen von bekanntem maschinellem Text getrennt hat, und wird gesenkt, wenn er eine Schlagseite gegen eine bestimmte Art des Schreibens zeigte. Detektoren, die auf demselben Benchmark trainiert wurden, gegen den wir testen, werden gedämpft: Ein Modell, das auf seiner eigenen Trainingsverteilung geprüft wird, schmeichelt sich immer selbst.

Gegen zwei Korpora geprüft, nicht gegen eines

Angaben zur Genauigkeit sagen wenig, solange offenbleibt, was geprüft wurde. SlopTotal wird gegen maschinellen Text aus sechs Modellfamilien geprüft — GPT-4, ChatGPT, Llama, Mistral, Cohere und GPT-3 — in vier Textsorten: Nachrichten, literarische Prosa, Lyrik und wissenschaftliche Kurzfassungen. Nur eine Textsorte zu messen ist der kurze Weg zu eindrucksvollen Zahlen, die in der Praxis zusammenbrechen: Einer unserer eigenen Motoren traf Kurzfassungen fast perfekt und lag bei allem anderen fast genau verkehrt.

Das zweite Korpus lassen die meisten Detektoren aus. Es besteht aus Prosa, die zwischen 1532 und 1915 erschien — Machiavelli, Austen, Melville, Kafka — wo ein hoher Wert nur ein Fehler sein kann, weil der Text den Sprachmodellen um mindestens ein Jahrhundert vorausgeht. Jeder Detektor, der ältere oder formellere Sprache still bestraft, fällt an diesem Satz auf, und mehrere unserer Motoren fielen auf. Die Ergebnisse liegen im Repository offen, samt der Fehlschläge.

Wo Erkennung aufhört zu funktionieren

Kurze Texte sind unzuverlässig, und kein ehrlicher Detektor behauptet etwas anderes. Unter etwa 80 Wörtern kippt der Wert schon bei einer einzelnen Wortwahl; ab rund 200 Wörtern beruhigt sich das Ergebnis. Wenn Sie einen Kurzbeitrag einfügen und eine entschiedene Antwort erhalten, misstrauen Sie der Antwort, nicht dem Beitrag.

Leicht überarbeitete KI ist der schwierige Fall. Ein Text, den ein Mensch Satz für Satz umgeschrieben hat, verliert mit jedem Durchgang maschinelle Spuren, und es gibt keine Schwelle, ab der Überarbeiten keine Rolle mehr spielt. Quellcode ist eine echte Lücke: Diese Motoren sind auf natürliche Sprache trainiert, und in unseren Tests beschuldigen sie menschlichen Code nicht zu Unrecht, erkennen maschinellen Code aber auch nicht verlässlich. Deshalb behaupten wir es nicht.

Ein Wert ist ein Hinweis, kein Urteil. Nutzen Sie die 23 Zeilen, um zu entscheiden, wo Sie hinsehen und was Sie fragen — und fragen Sie dann. Kein Detektorergebnis sollte allein über eine Note, eine Einstellung oder eine Veröffentlichung entscheiden, und jedes Werkzeug, das dazu einlädt, verkauft eine Sicherheit, die es nicht besitzt.