Perplexity

Hasil pengukuran Perplexity

Di SlopBench (1.626 teks manusia yang ditulis sebelum ChatGPT dan 1.626 teks AI dari 14 model terkini, dalam 15 jenis tulisan), Perplexity mencapai AUC 0.644. Rata-rata skornya 0.773 untuk teks mesin dan 0.671 untuk teks manusia modern. AUC adalah peluang ia menempatkan kutipan AI acak di atas kutipan manusia acak: 1,0 berarti pemisahan sempurna dan 0,5 sama dengan lempar koin.

Satu bagian menguji kegagalan yang paling penting: 87 kutipan yang terbit antara 1532 dan 1915 (Machiavelli, Austen, Melville, Kafka), di mana skor tinggi apa pun pasti keliru, karena tulisan itu satu abad atau lebih lebih tua daripada model bahasa. Perplexity memberi skor 0.539 untuk kutipan itu. Itu 0.132 di bawah skornya untuk tulisan manusia modern, jadi prosa kuno tidak mengecohnya.

Perannya dalam skor

Perplexity adalah satu baris di tabel 23 mesin, berdampingan dengan pengklasifikasi neural, uji statistik berbasis model GPT-2, dan pemeriksaan tulisan itu sendiri. Tidak ada satu mesin pun yang menentukan vonis sendirian.

Skor keseluruhan berasal dari model logistik yang dipasangkan pada SlopBench, yang memberi bobot pada setiap mesin menurut apa yang ditambahkannya ketika mesin lain sudah diketahui. Detektor yang gagal bersama, seperti pengklasifikasi yang dilatih dengan data serupa, tidak dihitung dua kali.

Cara 23 mesin sampai pada satu skor

SlopTotal tidak meminta pendapat satu model saja. SlopTotal menjalankan 23 detektor independen dan menampilkan ke-23 skornya, karena informasi yang berguna sering ada pada perbedaan pendapat. Sembilan di antaranya adalah pengklasifikasi neural yang dilatih untuk membedakan teks manusia dari teks mesin, termasuk DeBERTa-v3-large, RoBERTa-large, dan BERT-tiny dengan 4,4 juta parameter. Tujuh adalah uji statistik yang tidak memerlukan pelatihan: uji ini mengukur seberapa mudah teks ditebak oleh model GPT-2, dengan perplexity, peringkat token, log-rank, dan cross-entropy antara dua model. Tujuh sisanya membaca tulisannya sendiri: variasi panjang kalimat, kosakata, struktur, kalimat yang ragu-ragu, dan frasa klise yang sering diulang model AI.

Skor keseluruhan bukan rata-rata. Model logistik yang dipasangkan pada SlopBench memberi bobot pada setiap mesin menurut apa yang ditambahkannya ketika mesin lain sudah diketahui, sehingga mesin yang gagal dengan cara yang sama tidak dihitung dua kali. Teks yang sangat pendek ditarik ke tengah, karena beberapa kata saja tidak membawa banyak bukti.

Rentang vonis ditetapkan berdasarkan tulisan manusia: di 45 dimulai 5% teks manusia dengan skor tertinggi, di 55 sebanyak 2%, dan di 80 sebanyak 0,5%. Jadi skor 55 atau lebih berarti kurang dari 2 dari 100 teks manusia mencapai skor setinggi itu. Bahasa lain punya model sendiri, dan setiap bahasa ditandai sebagai didukung, eksperimental, atau belum andal.

Diukur pada 3.252 teks

Angka akurasi tidak banyak artinya tanpa menyebut apa yang diukur. SlopTotal diukur dengan SlopBench, tolok ukur terbuka berisi 1.626 teks manusia yang semuanya ditulis sebelum ChatGPT ada, dan 1.626 teks AI dengan topik dan panjang yang sama dari 14 model terkini (di antaranya GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma, dan GLM). Isinya mencakup berita, ensiklopedia, abstrak ilmiah, jawaban forum tanya jawab, unggahan Reddit, ulasan, esai pelajar, bahasa Inggris penutur non-asli, dan fiksi, karena detektor yang hanya diuji pada satu jenis tulisan akan berakhir dengan angka yang runtuh di dunia nyata.

Dua bagian ada untuk menangkap ketidakadilan: 87 kutipan sastra yang terbit antara 1532 dan 1915, di mana skor tinggi apa pun pasti keliru, dan esai orang yang menulis bahasa Inggris sebagai bahasa kedua, yang paling sering dituduh keliru oleh detektor. Setiap angka utama diukur pada jenis tulisan yang tidak dipakai untuk menyetel model, dan hasilnya dipublikasikan di repositori, termasuk kegagalannya.

Di mana deteksi berhenti bekerja

Teks pendek tidak andal, di detektor mana pun. Di bawah sekitar 80 kata, skornya berubah-ubah hanya karena pilihan kata, dan mulai stabil dari sekitar 200 kata. Jika sebuah twit mendapat jawaban yang sangat yakin, curigai jawabannya.

Teks AI yang sedikit disunting adalah kasus yang sulit. Setiap putaran penulisan ulang oleh manusia menghapus jejak mesin, dan tidak ada titik di mana penyuntingan berhenti berpengaruh. Kode sumber berada di luar cakupan: mesin dilatih dengan bahasa alami dan tidak mendeteksi kode tulisan AI secara andal, jadi SlopTotal tidak mengklaimnya.

Skor adalah bukti, bukan vonis. Gunakan 23 skor itu untuk memutuskan bagian mana yang perlu dilihat dan apa yang perlu ditanyakan, lalu tanyakan. Tidak ada hasil detektor yang boleh memutuskan nilai, perekrutan, atau publikasi dengan sendirinya.