Structural Analysis

Ölçüm sonuçları: Structural Analysis

SlopBench üzerinde (ChatGPT'den önce yazılmış 1.626 insan metni ve güncel 14 modelden 1.626 AI metni, 15 yazı türünde) Structural Analysis 0.756 AUC'ye ulaştı. Makine metnine ortalama 0.068, modern insan metnine 0.041 verdi. AUC, rastgele bir AI pasajını rastgele bir insan pasajının üstüne koyma olasılığıdır: 1,0 kusursuz ayrım, 0,5 yazı tura demektir.

Bir bölüm en önemli hatayı test eder: 1532 ile 1915 arasında yayımlanmış 87 pasaj (Machiavelli, Austen, Melville, Kafka); bu metinler dil modellerinden bir yüzyıl ya da daha eski olduğu için yüksek her puan tanım gereği hatadır. Structural Analysis bunlara 0.055 verdi. Bu, günümüz insan yazısına verdiği puanla uyumlu; dolayısıyla eski düzyazıya karşı ölçülebilir bir yanlılık göstermiyor.

Puandaki rolü

Structural Analysis, 23 motorluk tablonun bir satırıdır; yanında sinir ağı sınıflandırıcıları, GPT-2 modellerine dayanan istatistiksel testler ve metnin kendisini inceleyen kontroller vardır. Hiçbir motor kararı tek başına vermez.

Genel puan, SlopBench üzerinde uydurulmuş bir lojistik modelden gelir; bu model, diğerleri bilindiğinde her motorun ne kattığına göre ağırlık verir. Benzer verilerle eğitilmiş sınıflandırıcılar gibi birlikte yanılan dedektörler iki kez sayılmaz.

23 motor bir puana nasıl ulaşır

SlopTotal tek bir modelin fikrini sormaz. 23 bağımsız dedektör çalıştırır ve 23 puanın tamamını gösterir, çünkü işe yarayan bilgi çoğu zaman anlaşmazlıktadır. Dokuzu, insan metnini makine metninden ayırmak için eğitilmiş sinir ağı sınıflandırıcılarıdır; aralarında DeBERTa-v3-large, RoBERTa-large ve 4,4 milyon parametreli bir BERT-tiny vardır. Yedisi eğitim gerektirmeyen istatistiksel testlerdir: perplexity, token sıraları, log-rank ve iki model arasındaki çapraz entropi ile metnin GPT-2 modelleri için ne kadar tahmin edilebilir olduğunu ölçerler. Kalan yedisi metnin kendisini okur: cümle uzunluklarındaki değişim, kelime dağarcığı, yapı, temkinli ifadeler ve yapay zekâ modellerinin tekrarladığı klişe kalıplar.

Genel puan bir ortalama değildir. SlopBench üzerinde uydurulmuş bir lojistik model, diğer motorlar bilindiğinde her motorun ne kattığına göre ağırlık verir; böylece aynı şekilde yanılan motorlar iki kez sayılmaz. Çok kısa metinler ortaya doğru çekilir, çünkü birkaç kelime fazla kanıt taşımaz.

Karar aralıkları insan metinlerine göre belirlenir: 45, en yüksek puanlı insan metinlerinin %5'inin başladığı yerdir; 55 %2'nin, 80 ise %0,5'in. Yani 55 veya üzeri bir puan, insan metinlerinin 100'de 2'sinden azının bu kadar yükseğe çıktığı anlamına gelir. Diğer dillerin kendi modeli vardır ve her dil desteklenen, deneysel ya da henüz güvenilir değil olarak işaretlenir.

3.252 metin üzerinde ölçüldü

Bir doğruluk sayısı, neyin üzerinde ölçüldüğü söylenmedikçe pek bir şey ifade etmez. SlopTotal, SlopBench üzerinde ölçülür: tamamı ChatGPT çıkmadan önce yazılmış 1.626 insan metni ile aynı konularda ve aynı uzunlukta, 14 güncel modelin (aralarında GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma ve GLM) yazdığı 1.626 yapay zekâ metninden oluşan açık bir karşılaştırma seti. Haberleri, ansiklopedileri, bilimsel özetleri, soru-cevap yanıtlarını, Reddit gönderilerini, yorumları, öğrenci kompozisyonlarını, anadili İngilizce olmayanların İngilizcesini ve kurguyu kapsar, çünkü tek bir yazı türünde denenen bir dedektör gerçek dünyada çöken sayılarla kalır.

İki bölüm adaletsizliği yakalamak için var: 1532 ile 1915 arasında yayımlanmış 87 edebiyat pasajı (yüksek her puan tanım gereği hatadır) ve İngilizceyi ikinci dil olarak yazanların kompozisyonları; dedektörlerin en sık haksız yere suçladığı kişiler onlar. Her ana rakam, modelin ayarlanmadığı yazı türlerinde ölçülür ve sonuçlar başarısızlıklarıyla birlikte depoda yayımlanır.

Tespitin işe yaramadığı yerler

Kısa metinler hiçbir dedektörde güvenilir değildir. Yaklaşık 80 kelimenin altında puan yalnızca kelime seçimiyle sert biçimde oynar ve yaklaşık 200 kelimeden sonra oturur. Bir tweet çok emin bir yanıt alırsa yanıta güvenmeyin.

Hafifçe düzenlenmiş yapay zekâ metni zor durumdur. İnsanın yaptığı her yeniden yazma turu makine izlerini siler ve düzenlemenin artık önemsiz olduğu bir eşik yoktur. Kaynak kod kapsam dışıdır: motorlar doğal dille eğitilmiştir ve yapay zekânın yazdığı kodu güvenilir biçimde tespit etmez, bu yüzden SlopTotal böyle bir iddiada bulunmaz.

Puan bir kanıttır, hüküm değildir. 23 puanı nereye bakacağınıza ve ne soracağınıza karar vermek için kullanın, sonra sorun. Hiçbir dedektör sonucu tek başına bir notu, bir işe alımı ya da bir yayını belirlememelidir.