دقة كواشف الذكاء الاصطناعي، مقيسة

ما الذي تبحث عنه المحركات

مصنِّفات دُرِّبت على نصوص من أي نموذج لغوي كبير، واختبارات إحصائية تقيس مدى قابلية كل كلمة للتوقع، وفحص للبنية والعبارات التي تكررها نماذج الذكاء الاصطناعي.

النصوص القصيرة تعطي إشارات ضعيفة. استخدم 80 كلمة على الأقل، و200 أو أكثر إن أمكن.

كيف تقرأ النتيجة

تتراوح النتيجة من 0 إلى 100. من 55 فما فوق يبلغها أقل من 2 من كل 100 نص بشري، ومن 80 فما فوق أقل من 1 من كل 200.

انظر أيضًا إلى جدول المحركات. حين تتفق المحركات كلها تقريبًا تكون النتيجة دليلًا قويًا. وحين تنقسم، يكون النص غالبًا مكتوبًا بمساعدة الذكاء الاصطناعي أو معدّلًا كثيرًا، ويستحق قراءة بشرية متأنية.

السياق

تذكر معظم الأدوات رقمًا للدقة دون أن تقول على ماذا قيس. رقمنا مقيس على SlopBench: 1626 نصًا بشريًا و1626 نصًا من 14 نموذج ذكاء اصطناعي حاليًا في 15 نوعًا من الكتابة، وكل رقم مقيس على كتابة لم يُضبط النموذج عليها. قيمة AUC هي 0.942. عند خط «على الأرجح ذكاء اصطناعي» يُكشف 67% من نصوص الذكاء الاصطناعي ويُتهم خطأً 1.7% من النصوص البشرية، لأن هذا الخط موضوع حيث تبدأ أعلى 2% من النصوص البشرية. والكاشف الذي يعلن 99% دون أن يقول على ماذا، إنما يقتبس مجموعة تدريبه.

كيف تصل المحركات الـ23 إلى نتيجة

لا يسأل SlopTotal نموذجًا واحدًا عن رأيه. بل يشغّل 23 كاشفًا مستقلًا ويعرض النتائج الـ23 كلها، لأن المعلومة المفيدة تكمن غالبًا في الخلاف. تسعة منها مصنِّفات عصبية دُرِّبت على التمييز بين النص البشري والنص الآلي، ومنها DeBERTa-v3-large وRoBERTa-large ونموذج BERT-tiny بـ4.4 مليون معامل. وسبعة اختبارات إحصائية لا تحتاج إلى تدريب: تقيس مدى قابلية النص للتوقع بالنسبة إلى نماذج GPT-2، عبر الحيرة ورتب الرموز وlog-rank والإنتروبيا المتقاطعة بين نموذجين. أما السبعة الباقية فتقرأ النص نفسه: تفاوت أطوال الجمل والمفردات والبنية وعبارات التحوّط والعبارات الجاهزة التي تكررها نماذج الذكاء الاصطناعي.

النتيجة الإجمالية ليست متوسطًا. فنموذج لوجستي مضبوط على SlopBench يزن كل محرك بحسب ما يضيفه عندما تكون نتائج المحركات الأخرى معروفة، فلا تُحسب المحركات التي تخطئ بالطريقة نفسها مرتين. وتُسحب النصوص القصيرة جدًا نحو الوسط، لأن كلمات قليلة لا تحمل أدلة كثيرة.

حُدِّدت نطاقات الحكم على أساس النصوص البشرية: عند 45 تبدأ أعلى 5% من النصوص البشرية نتيجةً، وعند 55 أعلى 2%، وعند 80 أعلى 0.5%. لذا تعني النتيجة 55 أو أكثر أن أقل من 2 من كل 100 نص بشري يبلغ هذا الارتفاع. وللغات الأخرى نموذجها الخاص، وتُوسَم كل لغة بأنها مدعومة أو تجريبية أو غير موثوقة بعد.

قيس على 3,252 نصًا

رقم الدقة لا يعني الكثير ما لم يُذكر على ماذا قيس. يُقاس SlopTotal على SlopBench، وهي مجموعة اختبار مفتوحة تضم 1,626 نصًا بشريًا كُتبت كلها قبل ظهور ChatGPT، و1,626 نصًا للذكاء الاصطناعي في الموضوعات نفسها وبالأطوال نفسها من 14 نموذجًا حاليًا (منها GPT-6 وDeepSeek وQwen وLlama وMistral وGemma وGLM). وتشمل الأخبار والموسوعات والملخصات العلمية وأجوبة منتديات الأسئلة ومنشورات Reddit والمراجعات ومقالات الطلاب والإنجليزية لغير الناطقين بها والأدب، لأن الكاشف الذي يُختبر على نوع واحد من الكتابة ينتهي بأرقام تنهار في الواقع.

ثمة جزءان لكشف الظلم: 87 مقطعًا أدبيًا نُشرت بين 1532 و1915، حيث تكون أي نتيجة مرتفعة خطأً بالضرورة، ومقالات أشخاص يكتبون الإنجليزية لغةً ثانية، وهم أكثر من تتهمهم الكواشف خطأً. كل رقم رئيسي مقيس على أنواع كتابة لم يُضبط النموذج عليها، والنتائج منشورة في المستودع بما فيها الإخفاقات.

أين يتوقف الكشف عن العمل

النصوص القصيرة غير موثوقة في أي كاشف. تحت 80 كلمة تقريبًا تتقلب النتيجة بسبب اختيار الكلمات وحده، وتستقر من نحو 200 كلمة. إذا حصلت تغريدة على جواب واثق جدًا، فلا تثق بالجواب.

نص الذكاء الاصطناعي المعدّل قليلًا هو الحالة الصعبة. فكل جولة إعادة كتابة بشرية تمحو آثار الآلة، ولا توجد عتبة يتوقف بعدها التعديل عن التأثير. والشيفرة البرمجية خارج النطاق: فالمحركات مدرَّبة على اللغة الطبيعية ولا تكشف بموثوقية الشيفرة التي يكتبها الذكاء الاصطناعي، لذا لا يدّعي SlopTotal ذلك.

النتيجة دليل وليست حكمًا. استخدم النتائج الـ23 لتقرر أين تنظر وماذا تسأل، ثم اسأل. لا ينبغي لأي نتيجة كاشف أن تقرر وحدها درجة أو توظيفًا أو نشرًا.