Vocabulary Richness

Vocabulary Richness ने क्या मापा

SlopBench पर (ChatGPT से पहले लिखे 1,626 इंसानी टेक्स्ट और मौजूदा 14 मॉडलों के 1,626 AI टेक्स्ट, 15 तरह के लेखन में) Vocabulary Richness का AUC 0.362 रहा। इसने मशीनी टेक्स्ट को औसतन 0.090 और आधुनिक इंसानी टेक्स्ट को 0.136 दिया। AUC वह संभावना है कि यह किसी भी AI अंश को किसी भी इंसानी अंश से ऊपर रखे: 1.0 पूरी तरह अलग करना है और 0.5 सिक्का उछालने जैसा।

एक हिस्सा सबसे अहम गलती को परखता है: 1532 से 1915 के बीच छपे 87 अंश (मैकियावेली, ऑस्टेन, मेलविल, काफ़्का), जिन पर कोई भी ऊँचा स्कोर परिभाषा से ही गलती है, क्योंकि ये भाषा मॉडलों से एक सदी या उससे ज़्यादा पुराने हैं। Vocabulary Richness ने इन्हें 0.120 दिया। यह आधुनिक इंसानी लेखन के उसके स्कोर के बराबर है, इसलिए पुराने गद्य के प्रति कोई मापने योग्य पूर्वाग्रह नहीं दिखता।

स्कोर में इसकी भूमिका

Vocabulary Richness इंजन तालिका की 23 पंक्तियों में से एक है, जिसके साथ न्यूरल क्लासिफ़ायर, GPT-2 मॉडलों पर आधारित सांख्यिकीय टेस्ट और ख़ुद लेखन की जाँच करने वाले टेस्ट हैं। कोई एक इंजन अकेले फ़ैसला नहीं करता।

कुल स्कोर SlopBench पर फ़िट किए गए एक लॉजिस्टिक मॉडल से आता है, जो हर इंजन को इस हिसाब से वज़न देता है कि बाकी इंजनों का नतीजा पता होने पर वह कितना जोड़ता है। साथ में ग़लती करने वाले डिटेक्टर, जैसे एक जैसे डेटा पर प्रशिक्षित क्लासिफ़ायर, दो बार नहीं गिने जाते।

23 इंजन स्कोर तक कैसे पहुँचते हैं

SlopTotal किसी एक मॉडल से राय नहीं माँगता। वह 23 स्वतंत्र डिटेक्टर चलाता है और सभी 23 स्कोर दिखाता है, क्योंकि काम की जानकारी अक्सर असहमति में छिपी होती है। इनमें से नौ न्यूरल क्लासिफ़ायर हैं जिन्हें इंसानी और मशीनी टेक्स्ट में फ़र्क करने के लिए प्रशिक्षित किया गया है, जैसे DeBERTa-v3-large, RoBERTa-large और 44 लाख पैरामीटर वाला BERT-tiny। सात सांख्यिकीय टेस्ट हैं जिन्हें किसी प्रशिक्षण की ज़रूरत नहीं: ये perplexity, टोकन रैंक, log-rank और दो मॉडलों के बीच क्रॉस-एंट्रॉपी से मापते हैं कि टेक्स्ट GPT-2 मॉडलों के लिए कितना अनुमान लगाने लायक है। बाकी सात ख़ुद लेखन को पढ़ते हैं: वाक्यों की लंबाई में बदलाव, शब्दावली, संरचना, गोलमोल बातें और वे घिसे-पिटे वाक्यांश जिन्हें AI मॉडल दोहराते हैं।

कुल स्कोर औसत नहीं है। SlopBench पर फ़िट किया गया एक लॉजिस्टिक मॉडल हर इंजन को इस हिसाब से वज़न देता है कि बाकी इंजनों का नतीजा पता होने पर वह कितना जोड़ता है, इसलिए एक ही तरह से ग़लती करने वाले इंजन दो बार नहीं गिने जाते। बहुत छोटे टेक्स्ट को बीच की ओर खींचा जाता है, क्योंकि कुछ शब्दों में ज़्यादा सबूत नहीं होता।

फ़ैसले की श्रेणियाँ इंसानी लेखन के आधार पर तय की गई हैं: 45 पर सबसे ऊँचे स्कोर वाले 5% इंसानी टेक्स्ट शुरू होते हैं, 55 पर 2% और 80 पर 0.5%। इसलिए 55 या उससे ऊपर के स्कोर का मतलब है कि 100 में से 2 से कम इंसानी टेक्स्ट इतना ऊपर पहुँचते हैं। दूसरी भाषाओं का अपना मॉडल है, और हर भाषा को समर्थित, प्रायोगिक या अभी भरोसेमंद नहीं के रूप में दर्शाया गया है।

3,252 टेक्स्ट पर मापा गया

सटीकता की कोई संख्या तब तक ज़्यादा मायने नहीं रखती जब तक यह न बताया जाए कि उसे किस पर मापा गया। SlopTotal को SlopBench पर मापा जाता है, जो एक खुला बेंचमार्क है: इसमें 1,626 इंसानी टेक्स्ट हैं, सभी ChatGPT के आने से पहले लिखे गए, और उन्हीं विषयों व उतनी ही लंबाई के 1,626 AI टेक्स्ट हैं जो 14 मौजूदा मॉडलों (जिनमें GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma और GLM शामिल हैं) ने लिखे। इसमें ख़बरें, विश्वकोश, वैज्ञानिक सारांश, सवाल-जवाब, Reddit पोस्ट, समीक्षाएँ, छात्रों के निबंध, ग़ैर-मूल वक्ताओं की अंग्रेज़ी और कथा-साहित्य शामिल हैं, क्योंकि जिस डिटेक्टर को सिर्फ़ एक तरह के लेखन पर परखा गया हो, उसकी संख्याएँ असल दुनिया में ढह जाती हैं।

अन्याय पकड़ने के लिए दो हिस्से हैं: 1532 से 1915 के बीच छपे साहित्य के 87 अंश, जिन पर कोई भी ऊँचा स्कोर परिभाषा से ही गलती है, और अंग्रेज़ी को दूसरी भाषा के रूप में लिखने वालों के निबंध, जिन पर डिटेक्टर सबसे ज़्यादा गलत आरोप लगाते हैं। हर मुख्य आँकड़ा ऐसे लेखन पर मापा गया है जिस पर मॉडल को ट्यून नहीं किया गया, और नतीजे विफलताओं समेत रिपॉज़िटरी में प्रकाशित हैं।

जहाँ डिटेक्शन काम करना बंद कर देता है

छोटे टेक्स्ट किसी भी डिटेक्टर में भरोसेमंद नहीं होते। लगभग 80 शब्दों से कम पर स्कोर सिर्फ़ शब्दों के चुनाव से ऊपर-नीचे होता है, और लगभग 200 शब्दों से स्थिर होता है। अगर किसी ट्वीट को बहुत पक्का जवाब मिले, तो जवाब पर शक करें।

थोड़ा बदला गया AI टेक्स्ट सबसे कठिन मामला है। इंसान के हर दोबारा लिखने से मशीन के निशान मिटते जाते हैं, और ऐसी कोई सीमा नहीं जिसके बाद बदलाव से फ़र्क पड़ना बंद हो जाए। सोर्स कोड इसके दायरे से बाहर है: इंजन प्राकृतिक भाषा पर प्रशिक्षित हैं और AI के लिखे कोड को भरोसे से नहीं पहचानते, इसलिए SlopTotal ऐसा दावा नहीं करता।

स्कोर सबूत है, फ़ैसला नहीं। 23 स्कोर से तय करें कि कहाँ देखना है और क्या पूछना है, फिर पूछें। किसी डिटेक्टर का नतीजा अकेले किसी ग्रेड, नौकरी या प्रकाशन का फ़ैसला नहीं करना चाहिए।