Cross-Perplexity

ما الذي قاسه Cross-Perplexity

على SlopBench (1626 نصًا بشريًا كُتب قبل ChatGPT و1626 نصًا من 14 نموذج ذكاء اصطناعي حاليًا، في 15 نوعًا من الكتابة) بلغ Cross-Perplexity قيمة AUC قدرها 0.618. أعطى النص الآلي في المتوسط 0.680 والنص البشري الحديث 0.580. وAUC هو احتمال أن يضع مقطعًا عشوائيًا من الذكاء الاصطناعي فوق مقطع بشري عشوائي: 1.0 فصل تام و0.5 مثل رمي عملة.

يختبر أحد الأجزاء الإخفاق الأهم: 87 مقطعًا نُشرت بين 1532 و1915 (مكيافيلي، أوستن، ملفيل، كافكا)، حيث تكون أي نتيجة مرتفعة خطأً بالضرورة، لأن هذه الكتابات تسبق النماذج اللغوية بقرن أو أكثر. أعطاها Cross-Perplexity 0.437. وهذا أدنى بمقدار 0.143 من نتيجته للكتابة البشرية الحديثة، فالنثر العتيق لا يخدعه.

دوره في النتيجة

Cross-Perplexity صف واحد في جدول المحركات الـ23، إلى جانب المصنِّفات العصبية والاختبارات الإحصائية المبنية على نماذج GPT-2 وفحوص النص نفسه. لا يقرر أي محرك الحكم وحده.

تأتي النتيجة الإجمالية من نموذج لوجستي مضبوط على SlopBench، يزن كل محرك بحسب ما يضيفه عندما تكون المحركات الأخرى معروفة. ولا تُحسب الكواشف التي تخطئ معًا مرتين، مثل المصنِّفات المدرَّبة على بيانات متشابهة.

كيف تصل المحركات الـ23 إلى نتيجة

لا يسأل SlopTotal نموذجًا واحدًا عن رأيه. بل يشغّل 23 كاشفًا مستقلًا ويعرض النتائج الـ23 كلها، لأن المعلومة المفيدة تكمن غالبًا في الخلاف. تسعة منها مصنِّفات عصبية دُرِّبت على التمييز بين النص البشري والنص الآلي، ومنها DeBERTa-v3-large وRoBERTa-large ونموذج BERT-tiny بـ4.4 مليون معامل. وسبعة اختبارات إحصائية لا تحتاج إلى تدريب: تقيس مدى قابلية النص للتوقع بالنسبة إلى نماذج GPT-2، عبر الحيرة ورتب الرموز وlog-rank والإنتروبيا المتقاطعة بين نموذجين. أما السبعة الباقية فتقرأ النص نفسه: تفاوت أطوال الجمل والمفردات والبنية وعبارات التحوّط والعبارات الجاهزة التي تكررها نماذج الذكاء الاصطناعي.

النتيجة الإجمالية ليست متوسطًا. فنموذج لوجستي مضبوط على SlopBench يزن كل محرك بحسب ما يضيفه عندما تكون نتائج المحركات الأخرى معروفة، فلا تُحسب المحركات التي تخطئ بالطريقة نفسها مرتين. وتُسحب النصوص القصيرة جدًا نحو الوسط، لأن كلمات قليلة لا تحمل أدلة كثيرة.

حُدِّدت نطاقات الحكم على أساس النصوص البشرية: عند 45 تبدأ أعلى 5% من النصوص البشرية نتيجةً، وعند 55 أعلى 2%، وعند 80 أعلى 0.5%. لذا تعني النتيجة 55 أو أكثر أن أقل من 2 من كل 100 نص بشري يبلغ هذا الارتفاع. وللغات الأخرى نموذجها الخاص، وتُوسَم كل لغة بأنها مدعومة أو تجريبية أو غير موثوقة بعد.

قيس على 3,252 نصًا

رقم الدقة لا يعني الكثير ما لم يُذكر على ماذا قيس. يُقاس SlopTotal على SlopBench، وهي مجموعة اختبار مفتوحة تضم 1,626 نصًا بشريًا كُتبت كلها قبل ظهور ChatGPT، و1,626 نصًا للذكاء الاصطناعي في الموضوعات نفسها وبالأطوال نفسها من 14 نموذجًا حاليًا (منها GPT-6 وDeepSeek وQwen وLlama وMistral وGemma وGLM). وتشمل الأخبار والموسوعات والملخصات العلمية وأجوبة منتديات الأسئلة ومنشورات Reddit والمراجعات ومقالات الطلاب والإنجليزية لغير الناطقين بها والأدب، لأن الكاشف الذي يُختبر على نوع واحد من الكتابة ينتهي بأرقام تنهار في الواقع.

ثمة جزءان لكشف الظلم: 87 مقطعًا أدبيًا نُشرت بين 1532 و1915، حيث تكون أي نتيجة مرتفعة خطأً بالضرورة، ومقالات أشخاص يكتبون الإنجليزية لغةً ثانية، وهم أكثر من تتهمهم الكواشف خطأً. كل رقم رئيسي مقيس على أنواع كتابة لم يُضبط النموذج عليها، والنتائج منشورة في المستودع بما فيها الإخفاقات.

أين يتوقف الكشف عن العمل

النصوص القصيرة غير موثوقة في أي كاشف. تحت 80 كلمة تقريبًا تتقلب النتيجة بسبب اختيار الكلمات وحده، وتستقر من نحو 200 كلمة. إذا حصلت تغريدة على جواب واثق جدًا، فلا تثق بالجواب.

نص الذكاء الاصطناعي المعدّل قليلًا هو الحالة الصعبة. فكل جولة إعادة كتابة بشرية تمحو آثار الآلة، ولا توجد عتبة يتوقف بعدها التعديل عن التأثير. والشيفرة البرمجية خارج النطاق: فالمحركات مدرَّبة على اللغة الطبيعية ولا تكشف بموثوقية الشيفرة التي يكتبها الذكاء الاصطناعي، لذا لا يدّعي SlopTotal ذلك.

النتيجة دليل وليست حكمًا. استخدم النتائج الـ23 لتقرر أين تنظر وماذا تسأل، ثم اسأل. لا ينبغي لأي نتيجة كاشف أن تقرر وحدها درجة أو توظيفًا أو نشرًا.