Formulaic Patterns

Результаты измерений: Formulaic Patterns

На SlopBench (1626 человеческих текстов, написанных до ChatGPT, и 1626 ИИ-текстов от 14 современных моделей, 15 видов текстов) Formulaic Patterns получил AUC 0.557. Машинному тексту он в среднем ставил 0.026, современному человеческому – 0.017. AUC – это вероятность того, что он поставит случайный ИИ-отрывок выше случайного человеческого: 1,0 – идеальное разделение, 0,5 – подброшенная монета.

Одна часть проверяет самую важную ошибку: 87 отрывков, изданных с 1532 по 1915 год (Макиавелли, Остин, Мелвилл, Кафка), где любая высокая оценка – заведомая ошибка, ведь эти тексты на век и больше старше языковых моделей. Formulaic Patterns поставил им 0.019. Это совпадает с его оценкой для современных текстов людей, так что заметной предвзятости к старой прозе у него нет.

Его роль в оценке

Formulaic Patterns – одна строка в таблице из 23 движков, рядом с нейросетевыми классификаторами, статистическими тестами на основе моделей GPT-2 и проверками самого текста. Ни один движок не решает вердикт в одиночку.

Итоговую оценку даёт логистическая модель, подобранная на SlopBench, которая взвешивает каждый движок по тому, что он добавляет, когда остальные уже известны. Детекторы, которые ошибаются вместе, например классификаторы, обученные на похожих данных, не учитываются дважды.

Как 23 движка приходят к оценке

SlopTotal не спрашивает мнения у одной модели. Он запускает 23 независимых детектора и показывает все 23 оценки, потому что полезная информация часто кроется в разногласиях. Девять из них – нейросетевые классификаторы, обученные отличать человеческий текст от машинного, среди них DeBERTa-v3-large, RoBERTa-large и BERT-tiny на 4,4 млн параметров. Семь – статистические тесты, которым не нужно обучение: они измеряют, насколько предсказуем текст для моделей GPT-2, через перплексию, ранги токенов, log-rank и перекрёстную энтропию между двумя моделями. Остальные семь читают сам текст: разброс длины предложений, словарь, структуру, оговорки и штампы, которые повторяют модели ИИ.

Итоговая оценка – не среднее. Логистическая модель, подобранная на SlopBench, взвешивает каждый движок по тому, что он добавляет, когда остальные уже известны, поэтому движки, которые ошибаются одинаково, не учитываются дважды. Очень короткие тексты подтягиваются к середине, потому что несколько слов несут мало доказательств.

Границы вердиктов установлены по человеческим текстам: на 45 начинаются 5% человеческих текстов с самыми высокими оценками, на 55 – 2%, на 80 – 0,5%. Значит, оценка 55 и выше означает, что так высоко поднимаются меньше 2 из 100 человеческих текстов. Для других языков есть своя модель, и у каждого языка указан статус: поддерживается, экспериментально или пока ненадёжно.

Измерено на 3252 текстах

Цифра точности мало что значит, если не сказано, на чём её измеряли. SlopTotal измеряют на SlopBench – открытом бенчмарке из 1626 человеческих текстов, написанных до появления ChatGPT, и 1626 текстов ИИ на те же темы и той же длины от 14 современных моделей (среди них GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma и GLM). В нём есть новости, энциклопедии, аннотации научных статей, ответы на форумах вопросов, посты Reddit, отзывы, студенческие эссе, английский неносителей и художественная проза, потому что детектор, проверенный на одном типе текстов, получает цифры, которые рушатся в реальной жизни.

Две части нужны, чтобы ловить несправедливость: 87 отрывков литературы, изданных с 1532 по 1915 год, где любая высокая оценка, заведомая ошибка, и сочинения людей, для которых английский не родной: именно их детекторы чаще всего обвиняют зря. Каждая ключевая цифра измерена на видах текстов, на которых модель не настраивалась, а результаты опубликованы в репозитории вместе с провалами.

Где распознавание перестаёт работать

Короткие тексты ненадёжны в любом детекторе. Меньше чем на 80 словах оценка скачет от одного выбора слов и стабилизируется примерно с 200 слов. Если твит получил очень уверенный ответ, не доверяйте ответу.

Слегка отредактированный текст ИИ – самый трудный случай. Каждый проход человеческой правки стирает машинные следы, и нет порога, после которого правка перестаёт иметь значение. Исходный код не входит в задачу: движки обучены на естественном языке и не распознают надёжно код, написанный ИИ, поэтому SlopTotal этого и не обещает.

Оценка – это улика, а не приговор. Используйте 23 оценки, чтобы решить, куда смотреть и о чём спросить, а потом спросите. Ни один результат детектора не должен сам по себе решать оценку за работу, приём на работу или публикацию.