محركات كشف الذكاء الاصطناعي: الـ23 كلها مقيسة ومقيَّمة

كيف تصل المحركات الـ23 إلى نتيجة

لا يسأل SlopTotal نموذجًا واحدًا عن رأيه. بل يشغّل 23 كاشفًا مستقلًا ويعرض النتائج الـ23 كلها، لأن المعلومة المفيدة تكمن غالبًا في الخلاف. تسعة منها مصنِّفات عصبية دُرِّبت على التمييز بين النص البشري والنص الآلي، ومنها DeBERTa-v3-large وRoBERTa-large ونموذج BERT-tiny بـ4.4 مليون معامل. وسبعة اختبارات إحصائية لا تحتاج إلى تدريب: تقيس مدى قابلية النص للتوقع بالنسبة إلى نماذج GPT-2، عبر الحيرة ورتب الرموز وlog-rank والإنتروبيا المتقاطعة بين نموذجين. أما السبعة الباقية فتقرأ النص نفسه: تفاوت أطوال الجمل والمفردات والبنية وعبارات التحوّط والعبارات الجاهزة التي تكررها نماذج الذكاء الاصطناعي.

النتيجة الإجمالية ليست متوسطًا. فنموذج لوجستي مضبوط على SlopBench يزن كل محرك بحسب ما يضيفه عندما تكون نتائج المحركات الأخرى معروفة، فلا تُحسب المحركات التي تخطئ بالطريقة نفسها مرتين. وتُسحب النصوص القصيرة جدًا نحو الوسط، لأن كلمات قليلة لا تحمل أدلة كثيرة.

حُدِّدت نطاقات الحكم على أساس النصوص البشرية: عند 45 تبدأ أعلى 5% من النصوص البشرية نتيجةً، وعند 55 أعلى 2%، وعند 80 أعلى 0.5%. لذا تعني النتيجة 55 أو أكثر أن أقل من 2 من كل 100 نص بشري يبلغ هذا الارتفاع. وللغات الأخرى نموذجها الخاص، وتُوسَم كل لغة بأنها مدعومة أو تجريبية أو غير موثوقة بعد.

قيس على 3,252 نصًا

رقم الدقة لا يعني الكثير ما لم يُذكر على ماذا قيس. يُقاس SlopTotal على SlopBench، وهي مجموعة اختبار مفتوحة تضم 1,626 نصًا بشريًا كُتبت كلها قبل ظهور ChatGPT، و1,626 نصًا للذكاء الاصطناعي في الموضوعات نفسها وبالأطوال نفسها من 14 نموذجًا حاليًا (منها GPT-6 وDeepSeek وQwen وLlama وMistral وGemma وGLM). وتشمل الأخبار والموسوعات والملخصات العلمية وأجوبة منتديات الأسئلة ومنشورات Reddit والمراجعات ومقالات الطلاب والإنجليزية لغير الناطقين بها والأدب، لأن الكاشف الذي يُختبر على نوع واحد من الكتابة ينتهي بأرقام تنهار في الواقع.

ثمة جزءان لكشف الظلم: 87 مقطعًا أدبيًا نُشرت بين 1532 و1915، حيث تكون أي نتيجة مرتفعة خطأً بالضرورة، ومقالات أشخاص يكتبون الإنجليزية لغةً ثانية، وهم أكثر من تتهمهم الكواشف خطأً. كل رقم رئيسي مقيس على أنواع كتابة لم يُضبط النموذج عليها، والنتائج منشورة في المستودع بما فيها الإخفاقات.

أين يتوقف الكشف عن العمل

النصوص القصيرة غير موثوقة في أي كاشف. تحت 80 كلمة تقريبًا تتقلب النتيجة بسبب اختيار الكلمات وحده، وتستقر من نحو 200 كلمة. إذا حصلت تغريدة على جواب واثق جدًا، فلا تثق بالجواب.

نص الذكاء الاصطناعي المعدّل قليلًا هو الحالة الصعبة. فكل جولة إعادة كتابة بشرية تمحو آثار الآلة، ولا توجد عتبة يتوقف بعدها التعديل عن التأثير. والشيفرة البرمجية خارج النطاق: فالمحركات مدرَّبة على اللغة الطبيعية ولا تكشف بموثوقية الشيفرة التي يكتبها الذكاء الاصطناعي، لذا لا يدّعي SlopTotal ذلك.

النتيجة دليل وليست حكمًا. استخدم النتائج الـ23 لتقرر أين تنظر وماذا تسأل، ثم اسأل. لا ينبغي لأي نتيجة كاشف أن تقرر وحدها درجة أو توظيفًا أو نشرًا.