Detektor AI dla tekstów po polsku

Jak zmierzono polski

Po stronie ludzkiej: 40 artykułów z polskiej Wikipedii w wersji z 2018 roku, zanim modele językowe zaczęły pisać jej zauważalną część, oraz 8 fragmentów literatury wydanej przed 1920 rokiem. Po stronie AI: teksty z DeepSeek, GPT-6 Luna, Mistral Small, Llama 4 Maverick i Qwen 3.8 Flash na te same tematy, napisane po polsku.

Każda liczba na tej stronie pochodzi z pięciokrotnej walidacji krzyżowej: model oceniający tekst nie widział go podczas dopasowania. W ostrzejszym teście wagi dopasowane tylko do DeepSeek oznaczyły 86% tekstów pozostałych czterech rodzin modeli.

Czego AI nadużywa po polsku

Po zestawieniu 40 encyklopedycznych fragmentów napisanych przez AI z 40 artykułami z Wikipedii na te same tematy wyróżnia się kilka słów: „między innymi” w 35% tekstów AI wobec 2% artykułów; „takie jak” w 32% tekstów AI wobec 0% artykułów; „rolę” w 32% tekstów AI wobec 0% artykułów; „najbardziej” w 25% tekstów AI wobec 0% artykułów; „pozostaje” w 18% tekstów AI wobec 0% artykułów.

To skłonności modeli, nie dowody. Wiele osób używa każdego z tych słów, a SlopTotal ich nie liczy: wynik pochodzi z silników. Lista jest tu, bo to pierwsze, co zauważa uważny czytelnik.

Krótkie teksty

Krótki polski tekst jest hamowany. Poniżej 150 słów wynik spada tym bardziej, im mniej jest tekstu, bo jedno czy dwa zdania niewiele mówią. Siłę tej korekty dopasowano na tekstach francuskich, hiszpańskich, niemieckich, włoskich i portugalskich skróconych do 50 i 100 słów, gdzie obniżyła odsetek oznaczonych tekstów ludzkich z 20% do 5%. Dla polskiego nie zmierzono jej osobno, więc krótki wynik traktuj jako wskazówkę.

Gdzie polski jest najtrudniejszy

Polski to najtrudniejszy z obsługiwanych języków, jeśli chodzi o wyłapywanie AI: oznaczono 68% tekstów AI, najmniej z dziewięciu, przy 4% tekstów ludzkich. Wysoki wynik dla polskiego tekstu znaczy więc więcej niż niski. Polski zbiór ludzki jest też najmniejszy. Przy pracy licencjackiej czy magisterskiej szczegóły 23 silników pokażą, czy alarm opiera się na kilku niezależnych metodach, czy na jednej.

Jak 23 silniki dochodzą do wyniku

SlopTotal nie pyta o zdanie jednego modelu. Uruchamia 23 niezależne detektory i pokazuje wszystkie 23 wyniki, bo przydatna informacja często kryje się w niezgodzie. Dziewięć z nich to klasyfikatory neuronowe wytrenowane do odróżniania tekstu ludzkiego od maszynowego, m.in. DeBERTa-v3-large, RoBERTa-large i BERT-tiny z 4,4 mln parametrów. Siedem to testy statystyczne, które nie wymagają trenowania: mierzą, jak przewidywalny jest tekst dla modeli GPT-2, za pomocą perpleksji, rang tokenów, log-rank i entropii krzyżowej między dwoma modelami. Pozostałe siedem czyta samą prozę: zmienność długości zdań, słownictwo, strukturę, asekuracyjne sformułowania i szablonowe zwroty, które modele AI powtarzają.

Wynik ogólny nie jest średnią. Model logistyczny dopasowany na SlopBench waży każdy silnik według tego, co wnosi, gdy wyniki pozostałych są już znane, więc silniki mylące się w ten sam sposób nie liczą się podwójnie. Bardzo krótkie teksty są przesuwane w stronę środka, bo kilka słów nie niesie wielu dowodów.

Przedziały werdyktu wyznaczono na tekstach ludzi: od 45 zaczyna się 5% tekstów ludzkich o najwyższych wynikach, od 55 – 2%, a od 80 – 0,5%. Wynik 55 lub wyższy oznacza więc, że tak wysoko sięga mniej niż 2 na 100 tekstów pisanych przez ludzi. Inne języki mają własny model, a każdy język jest oznaczony jako obsługiwany, eksperymentalny albo jeszcze niewiarygodny.

Zmierzone na 3252 tekstach

Liczba opisująca dokładność niewiele znaczy, jeśli nie wiadomo, na czym ją zmierzono. SlopTotal jest mierzony na SlopBench, otwartym benchmarku z 1626 tekstami ludzi, napisanymi przed powstaniem ChatGPT, i 1626 tekstami AI na te same tematy i tej samej długości z 14 aktualnych modeli (m.in. GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma i GLM). Obejmuje wiadomości, encyklopedie, streszczenia naukowe, odpowiedzi z forów pytań, posty z Reddita, recenzje, eseje studentów, angielski osób, dla których nie jest to język ojczysty, i prozę, bo detektor sprawdzony na jednym rodzaju tekstów kończy z liczbami, które w prawdziwym świecie się sypią.

Dwie części służą wyłapywaniu niesprawiedliwości: 87 fragmentów literatury wydanych w latach 1532–1915, gdzie każdy wysoki wynik jest z definicji błędem, oraz wypracowania osób piszących po angielsku jako w drugim języku, które detektory najczęściej oskarżają niesłusznie. Każdą główną liczbę mierzymy na rodzajach tekstu, na których model nie był strojony, a wyniki są opublikowane w repozytorium, razem z porażkami.

Gdzie wykrywanie przestaje działać

Krótkie teksty są zawodne w każdym detektorze. Poniżej około 80 słów wynik skacze od samego doboru słów, a stabilizuje się od około 200. Jeśli tweet dostaje bardzo pewną odpowiedź, nie ufaj odpowiedzi.

Lekko poprawiony tekst AI to najtrudniejszy przypadek. Każda runda ludzkich poprawek zaciera ślady maszyny i nie ma progu, po którym poprawianie przestaje mieć znaczenie. Kod źródłowy jest poza zakresem: silniki są trenowane na języku naturalnym i nie wykrywają wiarygodnie kodu napisanego przez AI, więc SlopTotal tego nie obiecuje.

Wynik to poszlaka, a nie wyrok. Użyj 23 wyników, żeby zdecydować, gdzie patrzeć i o co zapytać, a potem zapytaj. Żaden wynik detektora nie powinien sam decydować o ocenie, zatrudnieniu ani publikacji.