AI डिटेक्टर की सटीकता, मापी हुई

इंजन क्या खोजते हैं

कोई भी LLM के टेक्स्ट पर प्रशिक्षित क्लासिफ़ायर, ऐसे सांख्यिकीय टेस्ट जो मापते हैं कि हर शब्द कितना अनुमान लगाने लायक है, और उस संरचना व वाक्यांशों की जाँच जिन्हें AI मॉडल बार-बार दोहराते हैं।

छोटे टेक्स्ट कमज़ोर संकेत देते हैं। कम से कम 80 शब्द इस्तेमाल करें, और हो सके तो 200 या उससे ज़्यादा।

नतीजा कैसे पढ़ें

स्कोर 0 से 100 तक होता है। 55 या उससे ऊपर का स्कोर 100 में से 2 से कम इंसानी टेक्स्ट को मिलता है, और 80 या उससे ऊपर 200 में से 1 से भी कम को।

इंजन तालिका भी देखें। जब लगभग सभी इंजन सहमत हों, तो स्कोर एक मज़बूत सबूत है। जब उनकी राय बँटी हो, तो टेक्स्ट अक्सर AI की मदद से लिखा गया या काफ़ी बदला गया होता है, और उसे किसी इंसान को ध्यान से पढ़ना चाहिए।

संदर्भ

ज़्यादातर टूल सटीकता का आँकड़ा बताते हैं, पर यह नहीं कि उसे किस पर मापा। हमारा आँकड़ा SlopBench पर मापा गया है: मौजूदा 14 मॉडलों के 1,626 इंसानी और 1,626 AI टेक्स्ट, 15 तरह के लेखन में, और हर आँकड़ा ऐसे लेखन पर जिस पर मॉडल ट्यून नहीं हुआ। AUC 0.942 है। "संभवतः AI" की रेखा पर 67% AI टेक्स्ट पकड़े जाते हैं और 1.7% इंसानी टेक्स्ट को गलती से AI कहा जाता है, क्योंकि यह रेखा वहीं रखी गई है जहाँ इंसानी टेक्स्ट के सबसे ऊँचे 2% शुरू होते हैं। जो डिटेक्टर यह बताए बिना 99% का दावा करे कि किस पर मापा, वह अपने ही ट्रेनिंग सेट का हवाला दे रहा है।

23 इंजन स्कोर तक कैसे पहुँचते हैं

SlopTotal किसी एक मॉडल से राय नहीं माँगता। वह 23 स्वतंत्र डिटेक्टर चलाता है और सभी 23 स्कोर दिखाता है, क्योंकि काम की जानकारी अक्सर असहमति में छिपी होती है। इनमें से नौ न्यूरल क्लासिफ़ायर हैं जिन्हें इंसानी और मशीनी टेक्स्ट में फ़र्क करने के लिए प्रशिक्षित किया गया है, जैसे DeBERTa-v3-large, RoBERTa-large और 44 लाख पैरामीटर वाला BERT-tiny। सात सांख्यिकीय टेस्ट हैं जिन्हें किसी प्रशिक्षण की ज़रूरत नहीं: ये perplexity, टोकन रैंक, log-rank और दो मॉडलों के बीच क्रॉस-एंट्रॉपी से मापते हैं कि टेक्स्ट GPT-2 मॉडलों के लिए कितना अनुमान लगाने लायक है। बाकी सात ख़ुद लेखन को पढ़ते हैं: वाक्यों की लंबाई में बदलाव, शब्दावली, संरचना, गोलमोल बातें और वे घिसे-पिटे वाक्यांश जिन्हें AI मॉडल दोहराते हैं।

कुल स्कोर औसत नहीं है। SlopBench पर फ़िट किया गया एक लॉजिस्टिक मॉडल हर इंजन को इस हिसाब से वज़न देता है कि बाकी इंजनों का नतीजा पता होने पर वह कितना जोड़ता है, इसलिए एक ही तरह से ग़लती करने वाले इंजन दो बार नहीं गिने जाते। बहुत छोटे टेक्स्ट को बीच की ओर खींचा जाता है, क्योंकि कुछ शब्दों में ज़्यादा सबूत नहीं होता।

फ़ैसले की श्रेणियाँ इंसानी लेखन के आधार पर तय की गई हैं: 45 पर सबसे ऊँचे स्कोर वाले 5% इंसानी टेक्स्ट शुरू होते हैं, 55 पर 2% और 80 पर 0.5%। इसलिए 55 या उससे ऊपर के स्कोर का मतलब है कि 100 में से 2 से कम इंसानी टेक्स्ट इतना ऊपर पहुँचते हैं। दूसरी भाषाओं का अपना मॉडल है, और हर भाषा को समर्थित, प्रायोगिक या अभी भरोसेमंद नहीं के रूप में दर्शाया गया है।

3,252 टेक्स्ट पर मापा गया

सटीकता की कोई संख्या तब तक ज़्यादा मायने नहीं रखती जब तक यह न बताया जाए कि उसे किस पर मापा गया। SlopTotal को SlopBench पर मापा जाता है, जो एक खुला बेंचमार्क है: इसमें 1,626 इंसानी टेक्स्ट हैं, सभी ChatGPT के आने से पहले लिखे गए, और उन्हीं विषयों व उतनी ही लंबाई के 1,626 AI टेक्स्ट हैं जो 14 मौजूदा मॉडलों (जिनमें GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma और GLM शामिल हैं) ने लिखे। इसमें ख़बरें, विश्वकोश, वैज्ञानिक सारांश, सवाल-जवाब, Reddit पोस्ट, समीक्षाएँ, छात्रों के निबंध, ग़ैर-मूल वक्ताओं की अंग्रेज़ी और कथा-साहित्य शामिल हैं, क्योंकि जिस डिटेक्टर को सिर्फ़ एक तरह के लेखन पर परखा गया हो, उसकी संख्याएँ असल दुनिया में ढह जाती हैं।

अन्याय पकड़ने के लिए दो हिस्से हैं: 1532 से 1915 के बीच छपे साहित्य के 87 अंश, जिन पर कोई भी ऊँचा स्कोर परिभाषा से ही गलती है, और अंग्रेज़ी को दूसरी भाषा के रूप में लिखने वालों के निबंध, जिन पर डिटेक्टर सबसे ज़्यादा गलत आरोप लगाते हैं। हर मुख्य आँकड़ा ऐसे लेखन पर मापा गया है जिस पर मॉडल को ट्यून नहीं किया गया, और नतीजे विफलताओं समेत रिपॉज़िटरी में प्रकाशित हैं।

जहाँ डिटेक्शन काम करना बंद कर देता है

छोटे टेक्स्ट किसी भी डिटेक्टर में भरोसेमंद नहीं होते। लगभग 80 शब्दों से कम पर स्कोर सिर्फ़ शब्दों के चुनाव से ऊपर-नीचे होता है, और लगभग 200 शब्दों से स्थिर होता है। अगर किसी ट्वीट को बहुत पक्का जवाब मिले, तो जवाब पर शक करें।

थोड़ा बदला गया AI टेक्स्ट सबसे कठिन मामला है। इंसान के हर दोबारा लिखने से मशीन के निशान मिटते जाते हैं, और ऐसी कोई सीमा नहीं जिसके बाद बदलाव से फ़र्क पड़ना बंद हो जाए। सोर्स कोड इसके दायरे से बाहर है: इंजन प्राकृतिक भाषा पर प्रशिक्षित हैं और AI के लिखे कोड को भरोसे से नहीं पहचानते, इसलिए SlopTotal ऐसा दावा नहीं करता।

स्कोर सबूत है, फ़ैसला नहीं। 23 स्कोर से तय करें कि कहाँ देखना है और क्या पूछना है, फिर पूछें। किसी डिटेक्टर का नतीजा अकेले किसी ग्रेड, नौकरी या प्रकाशन का फ़ैसला नहीं करना चाहिए।