Чи працюють гуманайзери ШІ?

Що шукають рушії

Класифікатори, навчені на текстах будь-яких LLM, статистичні тести, що вимірюють, наскільки передбачуване кожне слово, і перевірки структури та зворотів, які повторюють моделі ШІ.

Короткі тексти дають слабкий сигнал. Використовуйте щонайменше 80 слів, а краще 200 і більше.

Як читати результат

Оцінка йде від 0 до 100. Від 55 балів набирають менш ніж 2 зі 100 людських текстів, від 80 балів менш ніж 1 із 200.

Погляньте й на таблицю рушіїв. Якщо майже всі згодні, оцінка є вагомим доказом. Якщо думки розділилися, текст часто написано з допомогою ШІ або сильно відредаговано, і його варто уважно прочитати людині.

Контекст

Гуманайзер переписує текст ШІ, доки детектор не перестане його позначати. У нашому тесті цикл, який переписував текст, доки оцінка SlopTotal не опускалася нижче 30, провів 19 із 20 текстів ШІ, але здебільшого додаючи деталі й твердження, яких не було в оригіналі. Коли версії, що додавали факти або змінювали зміст, почали відхиляти, пройшли лише 4 із 20 і жодного студентського есе. Текст, який здається людським лише тому, що тепер каже те, чого автор ніколи не писав, має більшу проблему, ніж його оцінка.

Як 23 рушії доходять до оцінки

SlopTotal не питає думки в однієї моделі. Він запускає 23 незалежні детектори й показує всі 23 оцінки, бо корисна інформація часто ховається в розбіжностях. Дев'ять із них – нейромережеві класифікатори, навчені відрізняти людський текст від машинного, серед них DeBERTa-v3-large, RoBERTa-large і BERT-tiny на 4,4 млн параметрів. Сім – статистичні тести, яким не потрібне навчання: вони вимірюють, наскільки передбачуваний текст для моделей GPT-2, через перплексію, ранги токенів, log-rank і перехресну ентропію між двома моделями. Решта сім читають сам текст: розкид довжини речень, словник, структуру, застереження й штампи, які повторюють моделі ШІ.

Підсумкова оцінка – не середнє. Логістична модель, підібрана на SlopBench, зважує кожен рушій за тим, що він додає, коли решта вже відомі, тому рушії, які помиляються однаково, не враховуються двічі. Дуже короткі тексти підтягуються до середини, бо кілька слів несуть мало доказів.

Межі вердиктів установлено за людськими текстами: на 45 починаються 5% людських текстів із найвищими оцінками, на 55 – 2%, на 80 – 0,5%. Отже, оцінка 55 і вище означає, що так високо піднімаються менш ніж 2 зі 100 людських текстів. Для інших мов є своя модель, і в кожної мови вказано статус: підтримується, експериментально або поки ненадійно.

Виміряно на 3252 текстах

Цифра точності мало що означає, якщо не сказано, на чому її виміряли. SlopTotal вимірюють на SlopBench – відкритому бенчмарку з 1626 людських текстів, написаних до появи ChatGPT, і 1626 текстів ШІ на ті самі теми й тієї самої довжини від 14 сучасних моделей (серед них GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma і GLM). У ньому є новини, енциклопедії, анотації наукових статей, відповіді на форумах запитань, дописи Reddit, відгуки, студентські есе, англійська неносіїв і художня проза, бо детектор, перевірений на одному типі текстів, отримує цифри, які руйнуються в реальному житті.

Дві частини потрібні, щоб ловити несправедливість: 87 уривків літератури, виданих з 1532 по 1915 рік, де будь-яка висока оцінка, свідома помилка, і твори людей, для яких англійська не рідна: саме їх детектори найчастіше звинувачують даремно. Кожну ключову цифру виміряно на видах текстів, на яких модель не налаштовували, а результати опубліковано в репозиторії разом із провалами.

Де розпізнавання перестає працювати

Короткі тексти ненадійні в будь-якому детекторі. Менш ніж на 80 словах оцінка стрибає від самого вибору слів і стабілізується приблизно з 200 слів. Якщо твіт отримав дуже впевнену відповідь, не довіряйте відповіді.

Злегка відредагований текст ШІ – найважчий випадок. Кожне коло людського редагування стирає машинні сліди, і немає межі, після якої редагування перестає мати значення. Вихідний код не входить у задачу: рушії навчено на природній мові, і вони не розпізнають надійно код, написаний ШІ, тому SlopTotal цього й не обіцяє.

Оцінка – це доказ, а не вирок. Використовуйте 23 оцінки, щоб вирішити, куди дивитися й про що спитати, а потім спитайте. Жоден результат детектора не має сам по собі вирішувати оцінку за роботу, прийом на роботу чи публікацію.