Точність детекторів ШІ: виміри

Що шукають рушії

Класифікатори, навчені на текстах будь-яких LLM, статистичні тести, що вимірюють, наскільки передбачуване кожне слово, і перевірки структури та зворотів, які повторюють моделі ШІ.

Короткі тексти дають слабкий сигнал. Використовуйте щонайменше 80 слів, а краще 200 і більше.

Як читати результат

Оцінка йде від 0 до 100. Від 55 балів набирають менш ніж 2 зі 100 людських текстів, від 80 балів менш ніж 1 із 200.

Погляньте й на таблицю рушіїв. Якщо майже всі згодні, оцінка є вагомим доказом. Якщо думки розділилися, текст часто написано з допомогою ШІ або сильно відредаговано, і його варто уважно прочитати людині.

Контекст

Більшість сервісів називає точність, не кажучи, на чому її виміряли. Нашу виміряно на SlopBench: 1626 людських текстів і 1626 ШІ-текстів від 14 сучасних моделей у 15 видах текстів, і кожну цифру отримано на текстах, на яких модель не налаштовували. AUC дорівнює 0,942. На порозі «Ймовірно, ШІ» розпізнається 67 % ШІ-текстів і помилково звинувачується 1,7 % людських, бо цей поріг стоїть там, де починаються верхні 2 % людських текстів. Детектор, що обіцяє 99 % і не каже, на чому, цитує власну навчальну вибірку.

Як 23 рушії доходять до оцінки

SlopTotal не питає думки в однієї моделі. Він запускає 23 незалежні детектори й показує всі 23 оцінки, бо корисна інформація часто ховається в розбіжностях. Дев'ять із них – нейромережеві класифікатори, навчені відрізняти людський текст від машинного, серед них DeBERTa-v3-large, RoBERTa-large і BERT-tiny на 4,4 млн параметрів. Сім – статистичні тести, яким не потрібне навчання: вони вимірюють, наскільки передбачуваний текст для моделей GPT-2, через перплексію, ранги токенів, log-rank і перехресну ентропію між двома моделями. Решта сім читають сам текст: розкид довжини речень, словник, структуру, застереження й штампи, які повторюють моделі ШІ.

Підсумкова оцінка – не середнє. Логістична модель, підібрана на SlopBench, зважує кожен рушій за тим, що він додає, коли решта вже відомі, тому рушії, які помиляються однаково, не враховуються двічі. Дуже короткі тексти підтягуються до середини, бо кілька слів несуть мало доказів.

Межі вердиктів установлено за людськими текстами: на 45 починаються 5% людських текстів із найвищими оцінками, на 55 – 2%, на 80 – 0,5%. Отже, оцінка 55 і вище означає, що так високо піднімаються менш ніж 2 зі 100 людських текстів. Для інших мов є своя модель, і в кожної мови вказано статус: підтримується, експериментально або поки ненадійно.

Виміряно на 3252 текстах

Цифра точності мало що означає, якщо не сказано, на чому її виміряли. SlopTotal вимірюють на SlopBench – відкритому бенчмарку з 1626 людських текстів, написаних до появи ChatGPT, і 1626 текстів ШІ на ті самі теми й тієї самої довжини від 14 сучасних моделей (серед них GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma і GLM). У ньому є новини, енциклопедії, анотації наукових статей, відповіді на форумах запитань, дописи Reddit, відгуки, студентські есе, англійська неносіїв і художня проза, бо детектор, перевірений на одному типі текстів, отримує цифри, які руйнуються в реальному житті.

Дві частини потрібні, щоб ловити несправедливість: 87 уривків літератури, виданих з 1532 по 1915 рік, де будь-яка висока оцінка, свідома помилка, і твори людей, для яких англійська не рідна: саме їх детектори найчастіше звинувачують даремно. Кожну ключову цифру виміряно на видах текстів, на яких модель не налаштовували, а результати опубліковано в репозиторії разом із провалами.

Де розпізнавання перестає працювати

Короткі тексти ненадійні в будь-якому детекторі. Менш ніж на 80 словах оцінка стрибає від самого вибору слів і стабілізується приблизно з 200 слів. Якщо твіт отримав дуже впевнену відповідь, не довіряйте відповіді.

Злегка відредагований текст ШІ – найважчий випадок. Кожне коло людського редагування стирає машинні сліди, і немає межі, після якої редагування перестає мати значення. Вихідний код не входить у задачу: рушії навчено на природній мові, і вони не розпізнають надійно код, написаний ШІ, тому SlopTotal цього й не обіцяє.

Оцінка – це доказ, а не вирок. Використовуйте 23 оцінки, щоб вирішити, куди дивитися й про що спитати, а потім спитайте. Жоден результат детектора не має сам по собі вирішувати оцінку за роботу, прийом на роботу чи публікацію.