क्या SlopTotal, कोई भी LLM के टेक्स्ट पहचान सकता है?

हाँ। स्कोर को 14 मौजूदा मॉडलों के टेक्स्ट पर कैलिब्रेट किया गया है, और क्लासिफ़ायर कोई भी LLM जैसे आउटपुट पर प्रशिक्षित हैं। बहुत ज़्यादा संपादित टेक्स्ट अक्सर बीच की श्रेणियों में आते हैं, इसलिए इंजन तालिका देखें।

क्या यह मुफ़्त है?

हाँ। कोई अकाउंट नहीं, कोई क्रेडिट नहीं और कोई पेड प्लान नहीं।

ओपन-सोर्स AI डिटेक्टर: कोड पढ़ें, ख़ुद चलाएँ

इंजन	आर्किटेक्चर	पैरामीटर	AUC
SuperAnnotate huggingface.co/SuperAnnotate/ai-detector	RoBERTa-large	355M	0.939
Desklib DeBERTa huggingface.co/desklib/ai-text-detector-v1.01	DeBERTa-v3-large	435M	0.936
Fakespot huggingface.co/fakespot-ai/roberta-base-ai-text-detection-v1	RoBERTa-base	125M	0.917
ReMoDetect huggingface.co/hyunseoki/ReMoDetect-deberta	DeBERTa	184M	0.866
Structural Analysis	linguistic heuristic	–	0.756
TMR Detector huggingface.co/Oxidane/tmr-ai-text-detector	RoBERTa-base	125M	0.749
E5-Small huggingface.co/MayZhou/e5-small-lora-ai-generated-detector	E5-small + LoRA	33M	0.720
ChatGPT Detector huggingface.co/Hello-SimpleAI/chatgpt-detector-roberta	RoBERTa-base	125M	0.688
Binoculars arxiv.org/abs/2401.12070	GPT-2 Medium + DistilGPT-2	355M + 82M	0.680
BERT-tiny RAID huggingface.co/ShantanuT01/BERT-tiny-RAID	BERT-tiny	4.4M	0.654
Log-Rank huggingface.co/openai-community/gpt2-medium	GPT-2 Medium	355M	0.644
Perplexity huggingface.co/openai-community/gpt2-medium	GPT-2 Medium	355M	0.644
Fast-DetectGPT arxiv.org/abs/2310.05130	GPT-2 Medium	355M	0.632
GLTR arxiv.org/abs/1906.04043	GPT-2 Medium	355M	0.622
Cross-Perplexity huggingface.co/distilbert/distilgpt2	GPT-2 Medium + DistilGPT-2	355M + 82M	0.618
Burstiness	GPT-2 Medium	355M	0.589
Linguistic Markers	linguistic heuristic	–	0.574
Formulaic Patterns	linguistic heuristic	–	0.557
DivEye	GPT-2 Medium	355M	0.548
Readability Uniformity	linguistic heuristic	–	0.539
OpenAI Detector huggingface.co/roberta-base-openai-detector	RoBERTa-base	125M	0.521
Sentiment & Hedging	linguistic heuristic	–	0.491
Vocabulary Richness	linguistic heuristic	–	0.362

इंजन क्या खोजते हैं

कोई भी LLM के टेक्स्ट पर प्रशिक्षित क्लासिफ़ायर, ऐसे सांख्यिकीय टेस्ट जो मापते हैं कि हर शब्द कितना अनुमान लगाने लायक है, और उस संरचना व वाक्यांशों की जाँच जिन्हें AI मॉडल बार-बार दोहराते हैं।

छोटे टेक्स्ट कमज़ोर संकेत देते हैं। कम से कम 80 शब्द इस्तेमाल करें, और हो सके तो 200 या उससे ज़्यादा।

नतीजा कैसे पढ़ें

स्कोर 0 से 100 तक होता है। 55 या उससे ऊपर का स्कोर 100 में से 2 से कम इंसानी टेक्स्ट को मिलता है, और 80 या उससे ऊपर 200 में से 1 से भी कम को।

इंजन तालिका भी देखें। जब लगभग सभी इंजन सहमत हों, तो स्कोर एक मज़बूत सबूत है। जब उनकी राय बँटी हो, तो टेक्स्ट अक्सर AI की मदद से लिखा गया या काफ़ी बदला गया होता है, और उसे किसी इंसान को ध्यान से पढ़ना चाहिए।

संदर्भ

बैकएंड, सभी 23 इंजन, मूल्यांकन ढाँचा और कच्चे माप की फ़ाइलें सार्वजनिक हैं। विफलताएँ भी: तीन इंजन उल्टा स्कोर कर रहे थे, और दो बिना प्रशिक्षण वाला, बेतरतीब शुरू हुआ नेटवर्क लोड कर रहे थे, फिर भी समूह में असली भार रखते थे। जिस डिटेक्टर को आप जाँच नहीं सकते, वह आपसे उसकी सटीकता पर आँख मूँदकर भरोसा करने को कह रहा है, और सटीकता के दावे ही वह हिस्सा हैं जिसका इस क्षेत्र में कोई सबूत प्रकाशित नहीं करता।

23 इंजन स्कोर तक कैसे पहुँचते हैं

SlopTotal किसी एक मॉडल से राय नहीं माँगता। वह 23 स्वतंत्र डिटेक्टर चलाता है और सभी 23 स्कोर दिखाता है, क्योंकि काम की जानकारी अक्सर असहमति में छिपी होती है। इनमें से नौ न्यूरल क्लासिफ़ायर हैं जिन्हें इंसानी और मशीनी टेक्स्ट में फ़र्क करने के लिए प्रशिक्षित किया गया है, जैसे DeBERTa-v3-large, RoBERTa-large और 44 लाख पैरामीटर वाला BERT-tiny। सात सांख्यिकीय टेस्ट हैं जिन्हें किसी प्रशिक्षण की ज़रूरत नहीं: ये perplexity, टोकन रैंक, log-rank और दो मॉडलों के बीच क्रॉस-एंट्रॉपी से मापते हैं कि टेक्स्ट GPT-2 मॉडलों के लिए कितना अनुमान लगाने लायक है। बाकी सात ख़ुद लेखन को पढ़ते हैं: वाक्यों की लंबाई में बदलाव, शब्दावली, संरचना, गोलमोल बातें और वे घिसे-पिटे वाक्यांश जिन्हें AI मॉडल दोहराते हैं।

कुल स्कोर औसत नहीं है। SlopBench पर फ़िट किया गया एक लॉजिस्टिक मॉडल हर इंजन को इस हिसाब से वज़न देता है कि बाकी इंजनों का नतीजा पता होने पर वह कितना जोड़ता है, इसलिए एक ही तरह से ग़लती करने वाले इंजन दो बार नहीं गिने जाते। बहुत छोटे टेक्स्ट को बीच की ओर खींचा जाता है, क्योंकि कुछ शब्दों में ज़्यादा सबूत नहीं होता।

फ़ैसले की श्रेणियाँ इंसानी लेखन के आधार पर तय की गई हैं: 45 पर सबसे ऊँचे स्कोर वाले 5% इंसानी टेक्स्ट शुरू होते हैं, 55 पर 2% और 80 पर 0.5%। इसलिए 55 या उससे ऊपर के स्कोर का मतलब है कि 100 में से 2 से कम इंसानी टेक्स्ट इतना ऊपर पहुँचते हैं। दूसरी भाषाओं का अपना मॉडल है, और हर भाषा को समर्थित, प्रायोगिक या अभी भरोसेमंद नहीं के रूप में दर्शाया गया है।

3,252 टेक्स्ट पर मापा गया

सटीकता की कोई संख्या तब तक ज़्यादा मायने नहीं रखती जब तक यह न बताया जाए कि उसे किस पर मापा गया। SlopTotal को SlopBench पर मापा जाता है, जो एक खुला बेंचमार्क है: इसमें 1,626 इंसानी टेक्स्ट हैं, सभी ChatGPT के आने से पहले लिखे गए, और उन्हीं विषयों व उतनी ही लंबाई के 1,626 AI टेक्स्ट हैं जो 14 मौजूदा मॉडलों (जिनमें GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma और GLM शामिल हैं) ने लिखे। इसमें ख़बरें, विश्वकोश, वैज्ञानिक सारांश, सवाल-जवाब, Reddit पोस्ट, समीक्षाएँ, छात्रों के निबंध, ग़ैर-मूल वक्ताओं की अंग्रेज़ी और कथा-साहित्य शामिल हैं, क्योंकि जिस डिटेक्टर को सिर्फ़ एक तरह के लेखन पर परखा गया हो, उसकी संख्याएँ असल दुनिया में ढह जाती हैं।

अन्याय पकड़ने के लिए दो हिस्से हैं: 1532 से 1915 के बीच छपे साहित्य के 87 अंश, जिन पर कोई भी ऊँचा स्कोर परिभाषा से ही गलती है, और अंग्रेज़ी को दूसरी भाषा के रूप में लिखने वालों के निबंध, जिन पर डिटेक्टर सबसे ज़्यादा गलत आरोप लगाते हैं। हर मुख्य आँकड़ा ऐसे लेखन पर मापा गया है जिस पर मॉडल को ट्यून नहीं किया गया, और नतीजे विफलताओं समेत रिपॉज़िटरी में प्रकाशित हैं।

जहाँ डिटेक्शन काम करना बंद कर देता है

छोटे टेक्स्ट किसी भी डिटेक्टर में भरोसेमंद नहीं होते। लगभग 80 शब्दों से कम पर स्कोर सिर्फ़ शब्दों के चुनाव से ऊपर-नीचे होता है, और लगभग 200 शब्दों से स्थिर होता है। अगर किसी ट्वीट को बहुत पक्का जवाब मिले, तो जवाब पर शक करें।

थोड़ा बदला गया AI टेक्स्ट सबसे कठिन मामला है। इंसान के हर दोबारा लिखने से मशीन के निशान मिटते जाते हैं, और ऐसी कोई सीमा नहीं जिसके बाद बदलाव से फ़र्क पड़ना बंद हो जाए। सोर्स कोड इसके दायरे से बाहर है: इंजन प्राकृतिक भाषा पर प्रशिक्षित हैं और AI के लिखे कोड को भरोसे से नहीं पहचानते, इसलिए SlopTotal ऐसा दावा नहीं करता।

स्कोर सबूत है, फ़ैसला नहीं। 23 स्कोर से तय करें कि कहाँ देखना है और क्या पूछना है, फिर पूछें। किसी डिटेक्टर का नतीजा अकेले किसी ग्रेड, नौकरी या प्रकाशन का फ़ैसला नहीं करना चाहिए।

ओपन-सोर्स AI डिटेक्टर

SlopTotal के अंदर के खुले मॉडल