Проверка на ИИ: юридические документы

Почему одной оценки мало

Официальный стиль, английский неносителей и технический жаргон сбивают одиночные детекторы. С 23 движками видно, откуда взялась высокая оценка: от одного типа детекторов или от всех.

Сохраните ссылку на отчёт вместе со своими заметками. Отчёты хранятся 30 дней, потом удаляются.

Надёжный порядок работы

Вставьте текст, загрузите документ или укажите страницу. Дождитесь, пока закончат все движки. Считайте 55 баллов и выше поводом присмотреться, а не доказательством.

Никогда не наказывайте человека только из-за оценки. Используйте таблицу движков, чтобы начать разговор с автором текста.

Как 23 движка приходят к оценке

SlopTotal не спрашивает мнения у одной модели. Он запускает 23 независимых детектора и показывает все 23 оценки, потому что полезная информация часто кроется в разногласиях. Девять из них – нейросетевые классификаторы, обученные отличать человеческий текст от машинного, среди них DeBERTa-v3-large, RoBERTa-large и BERT-tiny на 4,4 млн параметров. Семь – статистические тесты, которым не нужно обучение: они измеряют, насколько предсказуем текст для моделей GPT-2, через перплексию, ранги токенов, log-rank и перекрёстную энтропию между двумя моделями. Остальные семь читают сам текст: разброс длины предложений, словарь, структуру, оговорки и штампы, которые повторяют модели ИИ.

Итоговая оценка – не среднее. Логистическая модель, подобранная на SlopBench, взвешивает каждый движок по тому, что он добавляет, когда остальные уже известны, поэтому движки, которые ошибаются одинаково, не учитываются дважды. Очень короткие тексты подтягиваются к середине, потому что несколько слов несут мало доказательств.

Границы вердиктов установлены по человеческим текстам: на 45 начинаются 5% человеческих текстов с самыми высокими оценками, на 55 – 2%, на 80 – 0,5%. Значит, оценка 55 и выше означает, что так высоко поднимаются меньше 2 из 100 человеческих текстов. Для других языков есть своя модель, и у каждого языка указан статус: поддерживается, экспериментально или пока ненадёжно.

Измерено на 3252 текстах

Цифра точности мало что значит, если не сказано, на чём её измеряли. SlopTotal измеряют на SlopBench – открытом бенчмарке из 1626 человеческих текстов, написанных до появления ChatGPT, и 1626 текстов ИИ на те же темы и той же длины от 14 современных моделей (среди них GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma и GLM). В нём есть новости, энциклопедии, аннотации научных статей, ответы на форумах вопросов, посты Reddit, отзывы, студенческие эссе, английский неносителей и художественная проза, потому что детектор, проверенный на одном типе текстов, получает цифры, которые рушатся в реальной жизни.

Две части нужны, чтобы ловить несправедливость: 87 отрывков литературы, изданных с 1532 по 1915 год, где любая высокая оценка, заведомая ошибка, и сочинения людей, для которых английский не родной: именно их детекторы чаще всего обвиняют зря. Каждая ключевая цифра измерена на видах текстов, на которых модель не настраивалась, а результаты опубликованы в репозитории вместе с провалами.

Где распознавание перестаёт работать

Короткие тексты ненадёжны в любом детекторе. Меньше чем на 80 словах оценка скачет от одного выбора слов и стабилизируется примерно с 200 слов. Если твит получил очень уверенный ответ, не доверяйте ответу.

Слегка отредактированный текст ИИ – самый трудный случай. Каждый проход человеческой правки стирает машинные следы, и нет порога, после которого правка перестаёт иметь значение. Исходный код не входит в задачу: движки обучены на естественном языке и не распознают надёжно код, написанный ИИ, поэтому SlopTotal этого и не обещает.

Оценка – это улика, а не приговор. Используйте 23 оценки, чтобы решить, куда смотреть и о чём спросить, а потом спросите. Ни один результат детектора не должен сам по себе решать оценку за работу, приём на работу или публикацию.