ReMoDetect

Wyniki pomiarów: ReMoDetect

Na SlopBench (1626 tekstów ludzkich napisanych przed ChatGPT i 1626 tekstów AI z 14 współczesnych modeli, w 15 rodzajach pisania) ReMoDetect osiągnął AUC 0.866. Tekstowi maszynowemu dawał średnio 0.779, a współczesnemu tekstowi ludzkiemu 0.290. AUC to prawdopodobieństwo, że umieści losowy fragment AI wyżej niż losowy fragment ludzki: 1,0 to idealne rozdzielenie, a 0,5 rzut monetą.

Jedna część sprawdza błąd, który ma największe znaczenie: 87 fragmentów wydanych w latach 1532–1915 (Machiavelli, Austen, Melville, Kafka), gdzie każdy wysoki wynik jest z definicji błędem, bo teksty te są o wiek lub więcej starsze od modeli językowych. ReMoDetect dał im 0.009. To o 0.281 mniej niż jego wynik dla współczesnych tekstów ludzi, więc archaiczna proza go nie myli.

Jego rola w wyniku

ReMoDetect to jeden wiersz w tabeli 23 silników, obok klasyfikatorów neuronowych, testów statystycznych opartych na modelach GPT-2 i kontroli samej prozy. Żaden silnik nie decyduje o werdykcie sam.

Wynik ogólny pochodzi z modelu logistycznego dopasowanego na SlopBench, który waży każdy silnik według tego, co wnosi, gdy wyniki pozostałych są już znane. Detektory mylące się razem, np. klasyfikatory trenowane na podobnych danych, nie liczą się podwójnie.

Jak 23 silniki dochodzą do wyniku

SlopTotal nie pyta o zdanie jednego modelu. Uruchamia 23 niezależne detektory i pokazuje wszystkie 23 wyniki, bo przydatna informacja często kryje się w niezgodzie. Dziewięć z nich to klasyfikatory neuronowe wytrenowane do odróżniania tekstu ludzkiego od maszynowego, m.in. DeBERTa-v3-large, RoBERTa-large i BERT-tiny z 4,4 mln parametrów. Siedem to testy statystyczne, które nie wymagają trenowania: mierzą, jak przewidywalny jest tekst dla modeli GPT-2, za pomocą perpleksji, rang tokenów, log-rank i entropii krzyżowej między dwoma modelami. Pozostałe siedem czyta samą prozę: zmienność długości zdań, słownictwo, strukturę, asekuracyjne sformułowania i szablonowe zwroty, które modele AI powtarzają.

Wynik ogólny nie jest średnią. Model logistyczny dopasowany na SlopBench waży każdy silnik według tego, co wnosi, gdy wyniki pozostałych są już znane, więc silniki mylące się w ten sam sposób nie liczą się podwójnie. Bardzo krótkie teksty są przesuwane w stronę środka, bo kilka słów nie niesie wielu dowodów.

Przedziały werdyktu wyznaczono na tekstach ludzi: od 45 zaczyna się 5% tekstów ludzkich o najwyższych wynikach, od 55 – 2%, a od 80 – 0,5%. Wynik 55 lub wyższy oznacza więc, że tak wysoko sięga mniej niż 2 na 100 tekstów pisanych przez ludzi. Inne języki mają własny model, a każdy język jest oznaczony jako obsługiwany, eksperymentalny albo jeszcze niewiarygodny.

Zmierzone na 3252 tekstach

Liczba opisująca dokładność niewiele znaczy, jeśli nie wiadomo, na czym ją zmierzono. SlopTotal jest mierzony na SlopBench, otwartym benchmarku z 1626 tekstami ludzi, napisanymi przed powstaniem ChatGPT, i 1626 tekstami AI na te same tematy i tej samej długości z 14 aktualnych modeli (m.in. GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma i GLM). Obejmuje wiadomości, encyklopedie, streszczenia naukowe, odpowiedzi z forów pytań, posty z Reddita, recenzje, eseje studentów, angielski osób, dla których nie jest to język ojczysty, i prozę, bo detektor sprawdzony na jednym rodzaju tekstów kończy z liczbami, które w prawdziwym świecie się sypią.

Dwie części służą wyłapywaniu niesprawiedliwości: 87 fragmentów literatury wydanych w latach 1532–1915, gdzie każdy wysoki wynik jest z definicji błędem, oraz wypracowania osób piszących po angielsku jako w drugim języku, które detektory najczęściej oskarżają niesłusznie. Każdą główną liczbę mierzymy na rodzajach tekstu, na których model nie był strojony, a wyniki są opublikowane w repozytorium, razem z porażkami.

Gdzie wykrywanie przestaje działać

Krótkie teksty są zawodne w każdym detektorze. Poniżej około 80 słów wynik skacze od samego doboru słów, a stabilizuje się od około 200. Jeśli tweet dostaje bardzo pewną odpowiedź, nie ufaj odpowiedzi.

Lekko poprawiony tekst AI to najtrudniejszy przypadek. Każda runda ludzkich poprawek zaciera ślady maszyny i nie ma progu, po którym poprawianie przestaje mieć znaczenie. Kod źródłowy jest poza zakresem: silniki są trenowane na języku naturalnym i nie wykrywają wiarygodnie kodu napisanego przez AI, więc SlopTotal tego nie obiecuje.

Wynik to poszlaka, a nie wyrok. Użyj 23 wyników, żeby zdecydować, gdzie patrzeć i o co zapytać, a potem zapytaj. Żaden wynik detektora nie powinien sam decydować o ocenie, zatrudnieniu ani publikacji.