Darmowa alternatywa dla Hive Moderation z otwartym kodem

Kiedy Hive Moderation sprawdzi się lepiej

Mocna strona Hive Moderation: moderacja na dużą skalę dla platform. Cena: Cena API za każde 1000 zapytań.

Jeśli właśnie tego potrzebujesz i chcesz mieć umowę z dostawcą, Hive Moderation może nadal być właściwym narzędziem.

Dlaczego ludzie szukają alternatywy dla Hive Moderation

Najczęstsze powody to cena, obowiązkowa rejestracja i jeden wynik, którego nie da się sprawdzić. Główne ograniczenie Hive Moderation w tym porównaniu: przesada dla dziennikarza, który chce sprawdzić jeden artykuł.

Co SlopTotal robi inaczej

Każde sprawdzenie przechodzi przez 23 silniki: klasyfikatory neuronowe, testy statystyczne takie jak perpleksja i GLTR oraz kontrolę zwrotów, które modele AI powtarzają. Raport pokazuje, które silniki oznaczyły tekst, a które nie.

Wynik jest skalibrowany na SlopBench, publicznym zbiorze 3252 tekstów: od 55 punktów w górę wynik taki osiąga mniej niż 2 na 100 tekstów pisanych przez ludzi. Dane i metoda są jawne.

Twój tekst nie trafia ani do Hive Moderation, ani do żadnego innego API. Kod jest na licencji MIT, więc SlopTotal możesz uruchomić na własnym serwerze.

Jak porównać je samodzielnie

Wklej ten sam tekst do obu narzędzi. Tam, gdzie się nie zgadzają, tabela silników SlopTotal pokazuje, który rodzaj detektora spowodował różnicę, a to mówi więcej niż dwie liczby obok siebie.

Jak 23 silniki dochodzą do wyniku

SlopTotal nie pyta o zdanie jednego modelu. Uruchamia 23 niezależne detektory i pokazuje wszystkie 23 wyniki, bo przydatna informacja często kryje się w niezgodzie. Dziewięć z nich to klasyfikatory neuronowe wytrenowane do odróżniania tekstu ludzkiego od maszynowego, m.in. DeBERTa-v3-large, RoBERTa-large i BERT-tiny z 4,4 mln parametrów. Siedem to testy statystyczne, które nie wymagają trenowania: mierzą, jak przewidywalny jest tekst dla modeli GPT-2, za pomocą perpleksji, rang tokenów, log-rank i entropii krzyżowej między dwoma modelami. Pozostałe siedem czyta samą prozę: zmienność długości zdań, słownictwo, strukturę, asekuracyjne sformułowania i szablonowe zwroty, które modele AI powtarzają.

Wynik ogólny nie jest średnią. Model logistyczny dopasowany na SlopBench waży każdy silnik według tego, co wnosi, gdy wyniki pozostałych są już znane, więc silniki mylące się w ten sam sposób nie liczą się podwójnie. Bardzo krótkie teksty są przesuwane w stronę środka, bo kilka słów nie niesie wielu dowodów.

Przedziały werdyktu wyznaczono na tekstach ludzi: od 45 zaczyna się 5% tekstów ludzkich o najwyższych wynikach, od 55 – 2%, a od 80 – 0,5%. Wynik 55 lub wyższy oznacza więc, że tak wysoko sięga mniej niż 2 na 100 tekstów pisanych przez ludzi. Inne języki mają własny model, a każdy język jest oznaczony jako obsługiwany, eksperymentalny albo jeszcze niewiarygodny.

Zmierzone na 3252 tekstach

Liczba opisująca dokładność niewiele znaczy, jeśli nie wiadomo, na czym ją zmierzono. SlopTotal jest mierzony na SlopBench, otwartym benchmarku z 1626 tekstami ludzi, napisanymi przed powstaniem ChatGPT, i 1626 tekstami AI na te same tematy i tej samej długości z 14 aktualnych modeli (m.in. GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma i GLM). Obejmuje wiadomości, encyklopedie, streszczenia naukowe, odpowiedzi z forów pytań, posty z Reddita, recenzje, eseje studentów, angielski osób, dla których nie jest to język ojczysty, i prozę, bo detektor sprawdzony na jednym rodzaju tekstów kończy z liczbami, które w prawdziwym świecie się sypią.

Dwie części służą wyłapywaniu niesprawiedliwości: 87 fragmentów literatury wydanych w latach 1532–1915, gdzie każdy wysoki wynik jest z definicji błędem, oraz wypracowania osób piszących po angielsku jako w drugim języku, które detektory najczęściej oskarżają niesłusznie. Każdą główną liczbę mierzymy na rodzajach tekstu, na których model nie był strojony, a wyniki są opublikowane w repozytorium, razem z porażkami.

Gdzie wykrywanie przestaje działać

Krótkie teksty są zawodne w każdym detektorze. Poniżej około 80 słów wynik skacze od samego doboru słów, a stabilizuje się od około 200. Jeśli tweet dostaje bardzo pewną odpowiedź, nie ufaj odpowiedzi.

Lekko poprawiony tekst AI to najtrudniejszy przypadek. Każda runda ludzkich poprawek zaciera ślady maszyny i nie ma progu, po którym poprawianie przestaje mieć znaczenie. Kod źródłowy jest poza zakresem: silniki są trenowane na języku naturalnym i nie wykrywają wiarygodnie kodu napisanego przez AI, więc SlopTotal tego nie obiecuje.

Wynik to poszlaka, a nie wyrok. Użyj 23 wyników, żeby zdecydować, gdzie patrzeć i o co zapytać, a potem zapytaj. Żaden wynik detektora nie powinien sam decydować o ocenie, zatrudnieniu ani publikacji.