Akurasi detektor AI, terukur

Apa yang dicari mesin

Pengklasifikasi yang dilatih dengan teks dari LLM apa pun, uji statistik yang mengukur seberapa mudah ditebak setiap kata, serta pemeriksaan struktur dan pola kalimat yang sering diulang model AI.

Teks pendek memberi sinyal lemah. Gunakan minimal 80 kata, dan 200 atau lebih jika bisa.

Cara membaca hasilnya

Skornya dari 0 sampai 100. Mulai 55, kurang dari 2 dari 100 teks manusia mencapai skor setinggi itu; mulai 80, kurang dari 1 dari 200.

Lihat juga tabel mesin. Jika hampir semua mesin sepakat, skornya bukti yang kuat. Jika hasilnya terbelah, teks itu sering ditulis dengan bantuan AI atau banyak disunting, dan layak dibaca lebih teliti oleh manusia.

Konteks

Kebanyakan alat menyebut angka akurasi tanpa mengatakan pada apa angka itu diukur. Angka kami diukur di SlopBench: 1.626 teks manusia dan 1.626 teks AI dari 14 model terkini dalam 15 jenis tulisan, setiap angka pada tulisan yang tidak dipakai untuk menyetel model. AUC-nya 0,942. Pada garis "Kemungkinan AI", 67% teks AI tertangkap dan 1,7% teks manusia keliru disebut AI, karena garis itu berada di awal 2% teks manusia dengan skor tertinggi. Detektor yang menyebut 99% tanpa menjelaskan pada apa sedang mengutip set pelatihannya sendiri.

Cara 23 mesin sampai pada satu skor

SlopTotal tidak meminta pendapat satu model saja. SlopTotal menjalankan 23 detektor independen dan menampilkan ke-23 skornya, karena informasi yang berguna sering ada pada perbedaan pendapat. Sembilan di antaranya adalah pengklasifikasi neural yang dilatih untuk membedakan teks manusia dari teks mesin, termasuk DeBERTa-v3-large, RoBERTa-large, dan BERT-tiny dengan 4,4 juta parameter. Tujuh adalah uji statistik yang tidak memerlukan pelatihan: uji ini mengukur seberapa mudah teks ditebak oleh model GPT-2, dengan perplexity, peringkat token, log-rank, dan cross-entropy antara dua model. Tujuh sisanya membaca tulisannya sendiri: variasi panjang kalimat, kosakata, struktur, kalimat yang ragu-ragu, dan frasa klise yang sering diulang model AI.

Skor keseluruhan bukan rata-rata. Model logistik yang dipasangkan pada SlopBench memberi bobot pada setiap mesin menurut apa yang ditambahkannya ketika mesin lain sudah diketahui, sehingga mesin yang gagal dengan cara yang sama tidak dihitung dua kali. Teks yang sangat pendek ditarik ke tengah, karena beberapa kata saja tidak membawa banyak bukti.

Rentang vonis ditetapkan berdasarkan tulisan manusia: di 45 dimulai 5% teks manusia dengan skor tertinggi, di 55 sebanyak 2%, dan di 80 sebanyak 0,5%. Jadi skor 55 atau lebih berarti kurang dari 2 dari 100 teks manusia mencapai skor setinggi itu. Bahasa lain punya model sendiri, dan setiap bahasa ditandai sebagai didukung, eksperimental, atau belum andal.

Diukur pada 3.252 teks

Angka akurasi tidak banyak artinya tanpa menyebut apa yang diukur. SlopTotal diukur dengan SlopBench, tolok ukur terbuka berisi 1.626 teks manusia yang semuanya ditulis sebelum ChatGPT ada, dan 1.626 teks AI dengan topik dan panjang yang sama dari 14 model terkini (di antaranya GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma, dan GLM). Isinya mencakup berita, ensiklopedia, abstrak ilmiah, jawaban forum tanya jawab, unggahan Reddit, ulasan, esai pelajar, bahasa Inggris penutur non-asli, dan fiksi, karena detektor yang hanya diuji pada satu jenis tulisan akan berakhir dengan angka yang runtuh di dunia nyata.

Dua bagian ada untuk menangkap ketidakadilan: 87 kutipan sastra yang terbit antara 1532 dan 1915, di mana skor tinggi apa pun pasti keliru, dan esai orang yang menulis bahasa Inggris sebagai bahasa kedua, yang paling sering dituduh keliru oleh detektor. Setiap angka utama diukur pada jenis tulisan yang tidak dipakai untuk menyetel model, dan hasilnya dipublikasikan di repositori, termasuk kegagalannya.

Di mana deteksi berhenti bekerja

Teks pendek tidak andal, di detektor mana pun. Di bawah sekitar 80 kata, skornya berubah-ubah hanya karena pilihan kata, dan mulai stabil dari sekitar 200 kata. Jika sebuah twit mendapat jawaban yang sangat yakin, curigai jawabannya.

Teks AI yang sedikit disunting adalah kasus yang sulit. Setiap putaran penulisan ulang oleh manusia menghapus jejak mesin, dan tidak ada titik di mana penyuntingan berhenti berpengaruh. Kode sumber berada di luar cakupan: mesin dilatih dengan bahasa alami dan tidak mendeteksi kode tulisan AI secara andal, jadi SlopTotal tidak mengklaimnya.

Skor adalah bukti, bukan vonis. Gunakan 23 skor itu untuk memutuskan bagian mana yang perlu dilihat dan apa yang perlu ditanyakan, lalu tanyakan. Tidak ada hasil detektor yang boleh memutuskan nilai, perekrutan, atau publikasi dengan sendirinya.