OpenAI Detector

Результати вимірювань: OpenAI Detector

На SlopBench (1626 людських текстів, написаних до ChatGPT, і 1626 ШІ-текстів від 14 сучасних моделей, 15 видів текстів) OpenAI Detector отримав AUC 0.521. Машинному тексту він у середньому ставив 0.163, сучасному людському – 0.096. AUC – це ймовірність того, що він поставить випадковий ШІ-уривок вище за випадковий людський: 1,0 – ідеальне розділення, 0,5 – підкинута монета.

Одна частина перевіряє найважливішу помилку: 87 уривків, виданих з 1532 по 1915 рік (Макіавеллі, Остін, Мелвілл, Кафка), де будь-яка висока оцінка – свідома помилка, бо ці тексти на століття й більше старші за мовні моделі. OpenAI Detector поставив їм 0.046. Це збігається з його оцінкою для сучасних текстів людей, тож помітної упередженості до старої прози в нього немає.

Його роль в оцінці

OpenAI Detector – один рядок у таблиці з 23 рушіїв, поруч із нейромережевими класифікаторами, статистичними тестами на основі моделей GPT-2 і перевірками самого тексту. Жоден рушій не вирішує вердикт сам.

Підсумкову оцінку дає логістична модель, підібрана на SlopBench, яка зважує кожен рушій за тим, що він додає, коли решта вже відомі. Детектори, які помиляються разом, наприклад класифікатори, навчені на схожих даних, не враховуються двічі.

Як 23 рушії доходять до оцінки

SlopTotal не питає думки в однієї моделі. Він запускає 23 незалежні детектори й показує всі 23 оцінки, бо корисна інформація часто ховається в розбіжностях. Дев'ять із них – нейромережеві класифікатори, навчені відрізняти людський текст від машинного, серед них DeBERTa-v3-large, RoBERTa-large і BERT-tiny на 4,4 млн параметрів. Сім – статистичні тести, яким не потрібне навчання: вони вимірюють, наскільки передбачуваний текст для моделей GPT-2, через перплексію, ранги токенів, log-rank і перехресну ентропію між двома моделями. Решта сім читають сам текст: розкид довжини речень, словник, структуру, застереження й штампи, які повторюють моделі ШІ.

Підсумкова оцінка – не середнє. Логістична модель, підібрана на SlopBench, зважує кожен рушій за тим, що він додає, коли решта вже відомі, тому рушії, які помиляються однаково, не враховуються двічі. Дуже короткі тексти підтягуються до середини, бо кілька слів несуть мало доказів.

Межі вердиктів установлено за людськими текстами: на 45 починаються 5% людських текстів із найвищими оцінками, на 55 – 2%, на 80 – 0,5%. Отже, оцінка 55 і вище означає, що так високо піднімаються менш ніж 2 зі 100 людських текстів. Для інших мов є своя модель, і в кожної мови вказано статус: підтримується, експериментально або поки ненадійно.

Виміряно на 3252 текстах

Цифра точності мало що означає, якщо не сказано, на чому її виміряли. SlopTotal вимірюють на SlopBench – відкритому бенчмарку з 1626 людських текстів, написаних до появи ChatGPT, і 1626 текстів ШІ на ті самі теми й тієї самої довжини від 14 сучасних моделей (серед них GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma і GLM). У ньому є новини, енциклопедії, анотації наукових статей, відповіді на форумах запитань, дописи Reddit, відгуки, студентські есе, англійська неносіїв і художня проза, бо детектор, перевірений на одному типі текстів, отримує цифри, які руйнуються в реальному житті.

Дві частини потрібні, щоб ловити несправедливість: 87 уривків літератури, виданих з 1532 по 1915 рік, де будь-яка висока оцінка, свідома помилка, і твори людей, для яких англійська не рідна: саме їх детектори найчастіше звинувачують даремно. Кожну ключову цифру виміряно на видах текстів, на яких модель не налаштовували, а результати опубліковано в репозиторії разом із провалами.

Де розпізнавання перестає працювати

Короткі тексти ненадійні в будь-якому детекторі. Менш ніж на 80 словах оцінка стрибає від самого вибору слів і стабілізується приблизно з 200 слів. Якщо твіт отримав дуже впевнену відповідь, не довіряйте відповіді.

Злегка відредагований текст ШІ – найважчий випадок. Кожне коло людського редагування стирає машинні сліди, і немає межі, після якої редагування перестає мати значення. Вихідний код не входить у задачу: рушії навчено на природній мові, і вони не розпізнають надійно код, написаний ШІ, тому SlopTotal цього й не обіцяє.

Оцінка – це доказ, а не вирок. Використовуйте 23 оцінки, щоб вирішити, куди дивитися й про що спитати, а потім спитайте. Жоден результат детектора не має сам по собі вирішувати оцінку за роботу, прийом на роботу чи публікацію.