Детектор ИИ для текстов на русском

Как измеряли русский

С человеческой стороны – 40 статей русской Википедии в редакции 2018 года, до того как языковые модели стали писать заметную её часть, и отрывок литературы, изданной до 1920 года. Со стороны ИИ – тексты DeepSeek, GPT-6 Luna, Mistral Small, Llama 4 Maverick и Qwen 3.8 Flash на те же темы, написанные по-русски.

Каждое число на этой странице получено пятикратной перекрёстной проверкой: модель, оценивающая текст, не видела его при подборе. В более жёсткой проверке веса, подобранные только на DeepSeek, отметили 100% текстов четырёх других семейств моделей.

Что ИИ злоупотребляет в русском

Если сравнить 40 энциклопедических отрывков, написанных ИИ, с 40 статьями Википедии на те же темы, выделяются несколько слов: «включая» в 33% текстов ИИ против 0% статей; «одним из» в 33% текстов ИИ против 5% статей; «остаётся» в 26% текстов ИИ против 0% статей; «в том числе» в 26% текстов ИИ против 5% статей; «известность» в 18% текстов ИИ против 0% статей.

Это склонности моделей, а не доказательства. Многие люди пишут каждое из этих слов, и SlopTotal их не считает: оценку дают движки. Список здесь потому, что внимательный читатель замечает это первым.

Короткие тексты

Короткий русский текст притормаживается. Ниже 150 слов оценка снижается тем сильнее, чем меньше текста, потому что одно-два предложения почти ничего не доказывают. Силу этой поправки подбирали на французских, испанских, немецких, итальянских и португальских текстах, обрезанных до 50 и 100 слов, где она снизила долю отмеченных человеческих текстов с 20% до 5%. На русском отдельно её не измеряли, поэтому короткий результат – лишь подсказка.

Украинский и антиплагиат

Украинский распознаётся как отдельный язык и помечается как неподдерживаемый, а не оценивается как русский, потому что украинских текстов в подборе не было. Сервисы вроде «Антиплагиата» ищут заимствованный текст; SlopTotal ищет текст, написанный машиной. Это ответы на разные вопросы, и один не заменяет другой.

Как 23 движка приходят к оценке

SlopTotal не спрашивает мнения у одной модели. Он запускает 23 независимых детектора и показывает все 23 оценки, потому что полезная информация часто кроется в разногласиях. Девять из них – нейросетевые классификаторы, обученные отличать человеческий текст от машинного, среди них DeBERTa-v3-large, RoBERTa-large и BERT-tiny на 4,4 млн параметров. Семь – статистические тесты, которым не нужно обучение: они измеряют, насколько предсказуем текст для моделей GPT-2, через перплексию, ранги токенов, log-rank и перекрёстную энтропию между двумя моделями. Остальные семь читают сам текст: разброс длины предложений, словарь, структуру, оговорки и штампы, которые повторяют модели ИИ.

Итоговая оценка – не среднее. Логистическая модель, подобранная на SlopBench, взвешивает каждый движок по тому, что он добавляет, когда остальные уже известны, поэтому движки, которые ошибаются одинаково, не учитываются дважды. Очень короткие тексты подтягиваются к середине, потому что несколько слов несут мало доказательств.

Границы вердиктов установлены по человеческим текстам: на 45 начинаются 5% человеческих текстов с самыми высокими оценками, на 55 – 2%, на 80 – 0,5%. Значит, оценка 55 и выше означает, что так высоко поднимаются меньше 2 из 100 человеческих текстов. Для других языков есть своя модель, и у каждого языка указан статус: поддерживается, экспериментально или пока ненадёжно.

Измерено на 3252 текстах

Цифра точности мало что значит, если не сказано, на чём её измеряли. SlopTotal измеряют на SlopBench – открытом бенчмарке из 1626 человеческих текстов, написанных до появления ChatGPT, и 1626 текстов ИИ на те же темы и той же длины от 14 современных моделей (среди них GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma и GLM). В нём есть новости, энциклопедии, аннотации научных статей, ответы на форумах вопросов, посты Reddit, отзывы, студенческие эссе, английский неносителей и художественная проза, потому что детектор, проверенный на одном типе текстов, получает цифры, которые рушатся в реальной жизни.

Две части нужны, чтобы ловить несправедливость: 87 отрывков литературы, изданных с 1532 по 1915 год, где любая высокая оценка, заведомая ошибка, и сочинения людей, для которых английский не родной: именно их детекторы чаще всего обвиняют зря. Каждая ключевая цифра измерена на видах текстов, на которых модель не настраивалась, а результаты опубликованы в репозитории вместе с провалами.

Где распознавание перестаёт работать

Короткие тексты ненадёжны в любом детекторе. Меньше чем на 80 словах оценка скачет от одного выбора слов и стабилизируется примерно с 200 слов. Если твит получил очень уверенный ответ, не доверяйте ответу.

Слегка отредактированный текст ИИ – самый трудный случай. Каждый проход человеческой правки стирает машинные следы, и нет порога, после которого правка перестаёт иметь значение. Исходный код не входит в задачу: движки обучены на естественном языке и не распознают надёжно код, написанный ИИ, поэтому SlopTotal этого и не обещает.

Оценка – это улика, а не приговор. Используйте 23 оценки, чтобы решить, куда смотреть и о чём спросить, а потом спросите. Ни один результат детектора не должен сам по себе решать оценку за работу, приём на работу или публикацию.