Wykrywanie AI: szkolne prace domowe

Dlaczego jeden wynik to za mało

Formalny styl, angielski osób, dla których nie jest to język ojczysty, i żargon techniczny mylą pojedyncze detektory. Dzięki 23 silnikom widzisz, czy wysoki wynik pochodzi od jednego rodzaju detektora, czy od wszystkich.

Zapisz link do raportu razem ze swoimi notatkami. Raporty są przechowywane 30 dni, a potem usuwane.

Sposób pracy, który się sprawdza

Wklej tekst, prześlij dokument albo podaj stronę. Poczekaj, aż skończą wszystkie silniki. Traktuj wynik 55 i wyższy jako powód, by przyjrzeć się bliżej, a nie jako dowód.

Nigdy nie karz nikogo wyłącznie na podstawie wyniku. Użyj tabeli silników, by zacząć rozmowę z autorem tekstu.

Jak 23 silniki dochodzą do wyniku

SlopTotal nie pyta o zdanie jednego modelu. Uruchamia 23 niezależne detektory i pokazuje wszystkie 23 wyniki, bo przydatna informacja często kryje się w niezgodzie. Dziewięć z nich to klasyfikatory neuronowe wytrenowane do odróżniania tekstu ludzkiego od maszynowego, m.in. DeBERTa-v3-large, RoBERTa-large i BERT-tiny z 4,4 mln parametrów. Siedem to testy statystyczne, które nie wymagają trenowania: mierzą, jak przewidywalny jest tekst dla modeli GPT-2, za pomocą perpleksji, rang tokenów, log-rank i entropii krzyżowej między dwoma modelami. Pozostałe siedem czyta samą prozę: zmienność długości zdań, słownictwo, strukturę, asekuracyjne sformułowania i szablonowe zwroty, które modele AI powtarzają.

Wynik ogólny nie jest średnią. Model logistyczny dopasowany na SlopBench waży każdy silnik według tego, co wnosi, gdy wyniki pozostałych są już znane, więc silniki mylące się w ten sam sposób nie liczą się podwójnie. Bardzo krótkie teksty są przesuwane w stronę środka, bo kilka słów nie niesie wielu dowodów.

Przedziały werdyktu wyznaczono na tekstach ludzi: od 45 zaczyna się 5% tekstów ludzkich o najwyższych wynikach, od 55 – 2%, a od 80 – 0,5%. Wynik 55 lub wyższy oznacza więc, że tak wysoko sięga mniej niż 2 na 100 tekstów pisanych przez ludzi. Inne języki mają własny model, a każdy język jest oznaczony jako obsługiwany, eksperymentalny albo jeszcze niewiarygodny.

Zmierzone na 3252 tekstach

Liczba opisująca dokładność niewiele znaczy, jeśli nie wiadomo, na czym ją zmierzono. SlopTotal jest mierzony na SlopBench, otwartym benchmarku z 1626 tekstami ludzi, napisanymi przed powstaniem ChatGPT, i 1626 tekstami AI na te same tematy i tej samej długości z 14 aktualnych modeli (m.in. GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma i GLM). Obejmuje wiadomości, encyklopedie, streszczenia naukowe, odpowiedzi z forów pytań, posty z Reddita, recenzje, eseje studentów, angielski osób, dla których nie jest to język ojczysty, i prozę, bo detektor sprawdzony na jednym rodzaju tekstów kończy z liczbami, które w prawdziwym świecie się sypią.

Dwie części służą wyłapywaniu niesprawiedliwości: 87 fragmentów literatury wydanych w latach 1532–1915, gdzie każdy wysoki wynik jest z definicji błędem, oraz wypracowania osób piszących po angielsku jako w drugim języku, które detektory najczęściej oskarżają niesłusznie. Każdą główną liczbę mierzymy na rodzajach tekstu, na których model nie był strojony, a wyniki są opublikowane w repozytorium, razem z porażkami.

Gdzie wykrywanie przestaje działać

Krótkie teksty są zawodne w każdym detektorze. Poniżej około 80 słów wynik skacze od samego doboru słów, a stabilizuje się od około 200. Jeśli tweet dostaje bardzo pewną odpowiedź, nie ufaj odpowiedzi.

Lekko poprawiony tekst AI to najtrudniejszy przypadek. Każda runda ludzkich poprawek zaciera ślady maszyny i nie ma progu, po którym poprawianie przestaje mieć znaczenie. Kod źródłowy jest poza zakresem: silniki są trenowane na języku naturalnym i nie wykrywają wiarygodnie kodu napisanego przez AI, więc SlopTotal tego nie obiecuje.

Wynik to poszlaka, a nie wyrok. Użyj 23 wyników, żeby zdecydować, gdzie patrzeć i o co zapytać, a potem zapytaj. Żaden wynik detektora nie powinien sam decydować o ocenie, zatrudnieniu ani publikacji.