Dokładność detektorów AI: pomiary

Czego szukają silniki

Klasyfikatorów wytrenowanych na tekstach dowolnych LLM, testów statystycznych mierzących, jak przewidywalne jest każde słowo, oraz kontroli struktury i zwrotów, które modele AI powtarzają.

Krótkie teksty dają słabe sygnały. Użyj co najmniej 80 słów, a jeśli możesz, 200 lub więcej.

Jak czytać wynik

Wynik ma skalę od 0 do 100. Od 55 punktów w górę dostaje mniej niż 2 na 100 tekstów pisanych przez ludzi, od 80 mniej niż 1 na 200.

Spójrz też na tabelę silników. Gdy prawie wszystkie się zgadzają, wynik jest mocnym dowodem. Gdy się dzielą, tekst często powstał z pomocą AI albo był mocno poprawiany i warto, by uważnie przeczytał go człowiek.

Kontekst

Większość narzędzi podaje dokładność, nie mówiąc, na czym ją zmierzono. Nasza jest mierzona na SlopBench: 1626 tekstów ludzkich i 1626 tekstów AI z 14 współczesnych modeli w 15 rodzajach pisania, każda liczba na tekstach, na których model nie był strojony. AUC wynosi 0,942. Na progu „Prawdopodobnie AI” wykrywamy 67% tekstów AI, a niesłusznie oskarżamy 1,7% ludzkich, bo ten próg leży tam, gdzie zaczyna się górne 2% tekstów ludzkich. Detektor, który chwali się 99% i nie mówi, na czym, cytuje własny zbiór treningowy.

Jak 23 silniki dochodzą do wyniku

SlopTotal nie pyta o zdanie jednego modelu. Uruchamia 23 niezależne detektory i pokazuje wszystkie 23 wyniki, bo przydatna informacja często kryje się w niezgodzie. Dziewięć z nich to klasyfikatory neuronowe wytrenowane do odróżniania tekstu ludzkiego od maszynowego, m.in. DeBERTa-v3-large, RoBERTa-large i BERT-tiny z 4,4 mln parametrów. Siedem to testy statystyczne, które nie wymagają trenowania: mierzą, jak przewidywalny jest tekst dla modeli GPT-2, za pomocą perpleksji, rang tokenów, log-rank i entropii krzyżowej między dwoma modelami. Pozostałe siedem czyta samą prozę: zmienność długości zdań, słownictwo, strukturę, asekuracyjne sformułowania i szablonowe zwroty, które modele AI powtarzają.

Wynik ogólny nie jest średnią. Model logistyczny dopasowany na SlopBench waży każdy silnik według tego, co wnosi, gdy wyniki pozostałych są już znane, więc silniki mylące się w ten sam sposób nie liczą się podwójnie. Bardzo krótkie teksty są przesuwane w stronę środka, bo kilka słów nie niesie wielu dowodów.

Przedziały werdyktu wyznaczono na tekstach ludzi: od 45 zaczyna się 5% tekstów ludzkich o najwyższych wynikach, od 55 – 2%, a od 80 – 0,5%. Wynik 55 lub wyższy oznacza więc, że tak wysoko sięga mniej niż 2 na 100 tekstów pisanych przez ludzi. Inne języki mają własny model, a każdy język jest oznaczony jako obsługiwany, eksperymentalny albo jeszcze niewiarygodny.

Zmierzone na 3252 tekstach

Liczba opisująca dokładność niewiele znaczy, jeśli nie wiadomo, na czym ją zmierzono. SlopTotal jest mierzony na SlopBench, otwartym benchmarku z 1626 tekstami ludzi, napisanymi przed powstaniem ChatGPT, i 1626 tekstami AI na te same tematy i tej samej długości z 14 aktualnych modeli (m.in. GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma i GLM). Obejmuje wiadomości, encyklopedie, streszczenia naukowe, odpowiedzi z forów pytań, posty z Reddita, recenzje, eseje studentów, angielski osób, dla których nie jest to język ojczysty, i prozę, bo detektor sprawdzony na jednym rodzaju tekstów kończy z liczbami, które w prawdziwym świecie się sypią.

Dwie części służą wyłapywaniu niesprawiedliwości: 87 fragmentów literatury wydanych w latach 1532–1915, gdzie każdy wysoki wynik jest z definicji błędem, oraz wypracowania osób piszących po angielsku jako w drugim języku, które detektory najczęściej oskarżają niesłusznie. Każdą główną liczbę mierzymy na rodzajach tekstu, na których model nie był strojony, a wyniki są opublikowane w repozytorium, razem z porażkami.

Gdzie wykrywanie przestaje działać

Krótkie teksty są zawodne w każdym detektorze. Poniżej około 80 słów wynik skacze od samego doboru słów, a stabilizuje się od około 200. Jeśli tweet dostaje bardzo pewną odpowiedź, nie ufaj odpowiedzi.

Lekko poprawiony tekst AI to najtrudniejszy przypadek. Każda runda ludzkich poprawek zaciera ślady maszyny i nie ma progu, po którym poprawianie przestaje mieć znaczenie. Kod źródłowy jest poza zakresem: silniki są trenowane na języku naturalnym i nie wykrywają wiarygodnie kodu napisanego przez AI, więc SlopTotal tego nie obiecuje.

Wynik to poszlaka, a nie wyrok. Użyj 23 wyników, żeby zdecydować, gdzie patrzeć i o co zapytać, a potem zapytaj. Żaden wynik detektora nie powinien sam decydować o ocenie, zatrudnieniu ani publikacji.