Yapay zekâ dedektörü doğruluğu, ölçüldü

Motorlar neye bakıyor

her türlü büyük dil modeli metinleriyle eğitilmiş sınıflandırıcılar, her kelimenin ne kadar tahmin edilebilir olduğunu ölçen istatistiksel testler ve yapay zekâ modellerinin sürekli tekrarladığı yapı ve kalıpların kontrolü.

Kısa metinler zayıf işaret verir. En az 80 kelime, mümkünse 200 veya daha fazlasını kullanın.

Sonuç nasıl okunur

Puan 0 ile 100 arasındadır. 55 ve üzerine çıkan insan metni 100'de 2'den az, 80 ve üzerine çıkan ise 200'de 1'den azdır.

Motor tablosuna da bakın. Motorların neredeyse hepsi aynı fikirdeyse puan güçlü bir kanıttır. Bölünmüşlerse metin çoğu zaman yapay zekâ yardımıyla yazılmış ya da çokça düzenlenmiştir ve bir insanın dikkatle okumasını hak eder.

Bağlam

Çoğu araç, neyle ölçüldüğünü söylemeden bir doğruluk rakamı verir. Bizimki SlopBench üzerinde ölçülür: güncel 14 modelden 1.626 insan metni ve 1.626 AI metni, 15 yazı türünde; her rakam modelin ayarlanmadığı metinlerde ölçülür. AUC 0,942. "Muhtemelen AI" çizgisinde AI metinlerinin %67'si yakalanır ve insan metinlerinin %1,7'si yanlışlıkla AI sayılır, çünkü bu çizgi insan metinlerinin en yüksek puanlı %2'sinin başladığı yerde durur. Neyle ölçtüğünü söylemeden %99 diyen bir dedektör, kendi eğitim verisini aktarıyordur.

23 motor bir puana nasıl ulaşır

SlopTotal tek bir modelin fikrini sormaz. 23 bağımsız dedektör çalıştırır ve 23 puanın tamamını gösterir, çünkü işe yarayan bilgi çoğu zaman anlaşmazlıktadır. Dokuzu, insan metnini makine metninden ayırmak için eğitilmiş sinir ağı sınıflandırıcılarıdır; aralarında DeBERTa-v3-large, RoBERTa-large ve 4,4 milyon parametreli bir BERT-tiny vardır. Yedisi eğitim gerektirmeyen istatistiksel testlerdir: perplexity, token sıraları, log-rank ve iki model arasındaki çapraz entropi ile metnin GPT-2 modelleri için ne kadar tahmin edilebilir olduğunu ölçerler. Kalan yedisi metnin kendisini okur: cümle uzunluklarındaki değişim, kelime dağarcığı, yapı, temkinli ifadeler ve yapay zekâ modellerinin tekrarladığı klişe kalıplar.

Genel puan bir ortalama değildir. SlopBench üzerinde uydurulmuş bir lojistik model, diğer motorlar bilindiğinde her motorun ne kattığına göre ağırlık verir; böylece aynı şekilde yanılan motorlar iki kez sayılmaz. Çok kısa metinler ortaya doğru çekilir, çünkü birkaç kelime fazla kanıt taşımaz.

Karar aralıkları insan metinlerine göre belirlenir: 45, en yüksek puanlı insan metinlerinin %5'inin başladığı yerdir; 55 %2'nin, 80 ise %0,5'in. Yani 55 veya üzeri bir puan, insan metinlerinin 100'de 2'sinden azının bu kadar yükseğe çıktığı anlamına gelir. Diğer dillerin kendi modeli vardır ve her dil desteklenen, deneysel ya da henüz güvenilir değil olarak işaretlenir.

3.252 metin üzerinde ölçüldü

Bir doğruluk sayısı, neyin üzerinde ölçüldüğü söylenmedikçe pek bir şey ifade etmez. SlopTotal, SlopBench üzerinde ölçülür: tamamı ChatGPT çıkmadan önce yazılmış 1.626 insan metni ile aynı konularda ve aynı uzunlukta, 14 güncel modelin (aralarında GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma ve GLM) yazdığı 1.626 yapay zekâ metninden oluşan açık bir karşılaştırma seti. Haberleri, ansiklopedileri, bilimsel özetleri, soru-cevap yanıtlarını, Reddit gönderilerini, yorumları, öğrenci kompozisyonlarını, anadili İngilizce olmayanların İngilizcesini ve kurguyu kapsar, çünkü tek bir yazı türünde denenen bir dedektör gerçek dünyada çöken sayılarla kalır.

İki bölüm adaletsizliği yakalamak için var: 1532 ile 1915 arasında yayımlanmış 87 edebiyat pasajı (yüksek her puan tanım gereği hatadır) ve İngilizceyi ikinci dil olarak yazanların kompozisyonları; dedektörlerin en sık haksız yere suçladığı kişiler onlar. Her ana rakam, modelin ayarlanmadığı yazı türlerinde ölçülür ve sonuçlar başarısızlıklarıyla birlikte depoda yayımlanır.

Tespitin işe yaramadığı yerler

Kısa metinler hiçbir dedektörde güvenilir değildir. Yaklaşık 80 kelimenin altında puan yalnızca kelime seçimiyle sert biçimde oynar ve yaklaşık 200 kelimeden sonra oturur. Bir tweet çok emin bir yanıt alırsa yanıta güvenmeyin.

Hafifçe düzenlenmiş yapay zekâ metni zor durumdur. İnsanın yaptığı her yeniden yazma turu makine izlerini siler ve düzenlemenin artık önemsiz olduğu bir eşik yoktur. Kaynak kod kapsam dışıdır: motorlar doğal dille eğitilmiştir ve yapay zekânın yazdığı kodu güvenilir biçimde tespit etmez, bu yüzden SlopTotal böyle bir iddiada bulunmaz.

Puan bir kanıttır, hüküm değildir. 23 puanı nereye bakacağınıza ve ne soracağınıza karar vermek için kullanın, sonra sorun. Hiçbir dedektör sonucu tek başına bir notu, bir işe alımı ya da bir yayını belirlememelidir.