Точность детекторов ИИ: измерения

Что ищут движки

Классификаторы, обученные на текстах любых LLM, статистические тесты, которые измеряют, насколько предсказуемо каждое слово, и проверки структуры и оборотов, которые повторяют модели ИИ.

Короткие тексты дают слабый сигнал. Используйте не меньше 80 слов, а лучше 200 и больше.

Как читать результат

Оценка идёт от 0 до 100. От 55 баллов набирают меньше 2 из 100 человеческих текстов, от 80 баллов меньше 1 из 200.

Посмотрите и на таблицу движков. Если почти все согласны, оценка служит сильным доказательством. Если мнения разделились, текст часто написан с помощью ИИ или сильно отредактирован, и его стоит внимательно прочитать человеку.

Контекст

Большинство сервисов называют точность, не говоря, на чём её измеряли. Наша измерена на SlopBench: 1626 человеческих текстов и 1626 ИИ-текстов от 14 современных моделей в 15 видах текстов, и каждая цифра получена на текстах, на которых модель не настраивалась. AUC равен 0,942. На пороге «Вероятно, ИИ» распознаётся 67 % ИИ-текстов и ошибочно обвиняется 1,7 % человеческих, потому что этот порог стоит там, где начинаются верхние 2 % человеческих текстов. Детектор, который обещает 99 % и не говорит, на чём, цитирует собственную обучающую выборку.

Как 23 движка приходят к оценке

SlopTotal не спрашивает мнения у одной модели. Он запускает 23 независимых детектора и показывает все 23 оценки, потому что полезная информация часто кроется в разногласиях. Девять из них – нейросетевые классификаторы, обученные отличать человеческий текст от машинного, среди них DeBERTa-v3-large, RoBERTa-large и BERT-tiny на 4,4 млн параметров. Семь – статистические тесты, которым не нужно обучение: они измеряют, насколько предсказуем текст для моделей GPT-2, через перплексию, ранги токенов, log-rank и перекрёстную энтропию между двумя моделями. Остальные семь читают сам текст: разброс длины предложений, словарь, структуру, оговорки и штампы, которые повторяют модели ИИ.

Итоговая оценка – не среднее. Логистическая модель, подобранная на SlopBench, взвешивает каждый движок по тому, что он добавляет, когда остальные уже известны, поэтому движки, которые ошибаются одинаково, не учитываются дважды. Очень короткие тексты подтягиваются к середине, потому что несколько слов несут мало доказательств.

Границы вердиктов установлены по человеческим текстам: на 45 начинаются 5% человеческих текстов с самыми высокими оценками, на 55 – 2%, на 80 – 0,5%. Значит, оценка 55 и выше означает, что так высоко поднимаются меньше 2 из 100 человеческих текстов. Для других языков есть своя модель, и у каждого языка указан статус: поддерживается, экспериментально или пока ненадёжно.

Измерено на 3252 текстах

Цифра точности мало что значит, если не сказано, на чём её измеряли. SlopTotal измеряют на SlopBench – открытом бенчмарке из 1626 человеческих текстов, написанных до появления ChatGPT, и 1626 текстов ИИ на те же темы и той же длины от 14 современных моделей (среди них GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma и GLM). В нём есть новости, энциклопедии, аннотации научных статей, ответы на форумах вопросов, посты Reddit, отзывы, студенческие эссе, английский неносителей и художественная проза, потому что детектор, проверенный на одном типе текстов, получает цифры, которые рушатся в реальной жизни.

Две части нужны, чтобы ловить несправедливость: 87 отрывков литературы, изданных с 1532 по 1915 год, где любая высокая оценка, заведомая ошибка, и сочинения людей, для которых английский не родной: именно их детекторы чаще всего обвиняют зря. Каждая ключевая цифра измерена на видах текстов, на которых модель не настраивалась, а результаты опубликованы в репозитории вместе с провалами.

Где распознавание перестаёт работать

Короткие тексты ненадёжны в любом детекторе. Меньше чем на 80 словах оценка скачет от одного выбора слов и стабилизируется примерно с 200 слов. Если твит получил очень уверенный ответ, не доверяйте ответу.

Слегка отредактированный текст ИИ – самый трудный случай. Каждый проход человеческой правки стирает машинные следы, и нет порога, после которого правка перестаёт иметь значение. Исходный код не входит в задачу: движки обучены на естественном языке и не распознают надёжно код, написанный ИИ, поэтому SlopTotal этого и не обещает.

Оценка – это улика, а не приговор. Используйте 23 оценки, чтобы решить, куда смотреть и о чём спросить, а потом спросите. Ни один результат детектора не должен сам по себе решать оценку за работу, приём на работу или публикацию.