Перевірка на ШІ: новинні матеріали

Чому однієї оцінки замало

Офіційний стиль, англійська неносіїв і технічний жаргон збивають поодинокі детектори. З 23 рушіями видно, звідки взялася висока оцінка: від одного типу детекторів чи від усіх.

Збережіть посилання на звіт разом зі своїми нотатками. Звіти зберігаються 30 днів, потім видаляються.

Надійний порядок роботи

Вставте текст, завантажте документ або вкажіть сторінку. Дочекайтеся, поки завершать усі рушії. Вважайте 55 балів і вище приводом придивитися, а не доказом.

Ніколи не карайте людину лише через оцінку. Використовуйте таблицю рушіїв, щоб почати розмову з автором тексту.

Як 23 рушії доходять до оцінки

SlopTotal не питає думки в однієї моделі. Він запускає 23 незалежні детектори й показує всі 23 оцінки, бо корисна інформація часто ховається в розбіжностях. Дев'ять із них – нейромережеві класифікатори, навчені відрізняти людський текст від машинного, серед них DeBERTa-v3-large, RoBERTa-large і BERT-tiny на 4,4 млн параметрів. Сім – статистичні тести, яким не потрібне навчання: вони вимірюють, наскільки передбачуваний текст для моделей GPT-2, через перплексію, ранги токенів, log-rank і перехресну ентропію між двома моделями. Решта сім читають сам текст: розкид довжини речень, словник, структуру, застереження й штампи, які повторюють моделі ШІ.

Підсумкова оцінка – не середнє. Логістична модель, підібрана на SlopBench, зважує кожен рушій за тим, що він додає, коли решта вже відомі, тому рушії, які помиляються однаково, не враховуються двічі. Дуже короткі тексти підтягуються до середини, бо кілька слів несуть мало доказів.

Межі вердиктів установлено за людськими текстами: на 45 починаються 5% людських текстів із найвищими оцінками, на 55 – 2%, на 80 – 0,5%. Отже, оцінка 55 і вище означає, що так високо піднімаються менш ніж 2 зі 100 людських текстів. Для інших мов є своя модель, і в кожної мови вказано статус: підтримується, експериментально або поки ненадійно.

Виміряно на 3252 текстах

Цифра точності мало що означає, якщо не сказано, на чому її виміряли. SlopTotal вимірюють на SlopBench – відкритому бенчмарку з 1626 людських текстів, написаних до появи ChatGPT, і 1626 текстів ШІ на ті самі теми й тієї самої довжини від 14 сучасних моделей (серед них GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma і GLM). У ньому є новини, енциклопедії, анотації наукових статей, відповіді на форумах запитань, дописи Reddit, відгуки, студентські есе, англійська неносіїв і художня проза, бо детектор, перевірений на одному типі текстів, отримує цифри, які руйнуються в реальному житті.

Дві частини потрібні, щоб ловити несправедливість: 87 уривків літератури, виданих з 1532 по 1915 рік, де будь-яка висока оцінка, свідома помилка, і твори людей, для яких англійська не рідна: саме їх детектори найчастіше звинувачують даремно. Кожну ключову цифру виміряно на видах текстів, на яких модель не налаштовували, а результати опубліковано в репозиторії разом із провалами.

Де розпізнавання перестає працювати

Короткі тексти ненадійні в будь-якому детекторі. Менш ніж на 80 словах оцінка стрибає від самого вибору слів і стабілізується приблизно з 200 слів. Якщо твіт отримав дуже впевнену відповідь, не довіряйте відповіді.

Злегка відредагований текст ШІ – найважчий випадок. Кожне коло людського редагування стирає машинні сліди, і немає межі, після якої редагування перестає мати значення. Вихідний код не входить у задачу: рушії навчено на природній мові, і вони не розпізнають надійно код, написаний ШІ, тому SlopTotal цього й не обіцяє.

Оцінка – це доказ, а не вирок. Використовуйте 23 оцінки, щоб вирішити, куди дивитися й про що спитати, а потім спитайте. Жоден результат детектора не має сам по собі вирішувати оцінку за роботу, прийом на роботу чи публікацію.