Độ chính xác của công cụ phát hiện AI, đo thực tế

Các công cụ tìm kiếm điều gì

Bộ phân loại được huấn luyện bằng văn bản của mọi LLM, các phép thử thống kê đo mức độ dễ đoán của từng chữ, và việc kiểm tra cấu trúc cùng những cách diễn đạt mà mô hình AI hay lặp lại.

Văn bản ngắn cho tín hiệu yếu. Hãy dùng ít nhất 80 chữ, và 200 chữ trở lên nếu có thể.

Cách đọc kết quả

Điểm số từ 0 đến 100. Từ 55 trở lên, chưa tới 2 trên 100 văn bản do người viết đạt mức đó; từ 80 trở lên, chưa tới 1 trên 200.

Hãy xem cả bảng công cụ. Khi gần như tất cả đều đồng ý, điểm số là bằng chứng mạnh. Khi chúng chia rẽ, văn bản thường được viết với sự trợ giúp của AI hoặc đã chỉnh sửa nhiều, và đáng để con người đọc kỹ hơn.

Bối cảnh

Phần lớn công cụ đưa ra con số độ chính xác mà không nói đo trên gì. Con số của chúng tôi đo trên SlopBench: 1.626 văn bản của người và 1.626 văn bản AI từ 14 mô hình hiện nay, thuộc 15 thể loại, mỗi con số đều đo trên văn bản không dùng để tinh chỉnh mô hình. AUC là 0,942. Ở ngưỡng "Có thể là AI", 67% văn bản AI bị phát hiện và 1,7% văn bản của người bị gọi nhầm là AI, vì ngưỡng này đặt đúng chỗ bắt đầu 2% văn bản người có điểm cao nhất. Một bộ phát hiện quảng cáo 99% mà không nói đo trên gì chỉ đang trích dẫn tập huấn luyện của chính nó.

23 công cụ đưa ra điểm số như thế nào

SlopTotal không hỏi ý kiến của chỉ một mô hình. Nó chạy 23 bộ phát hiện độc lập và hiển thị cả 23 điểm số, vì thông tin hữu ích thường nằm ở chỗ chúng bất đồng. Chín bộ là bộ phân loại nơ-ron được huấn luyện để phân biệt văn bản do người viết với văn bản do máy tạo, trong đó có DeBERTa-v3-large, RoBERTa-large và một BERT-tiny 4,4 triệu tham số. Bảy bộ là phép thử thống kê không cần huấn luyện: chúng đo mức độ dễ đoán của văn bản đối với các mô hình GPT-2, bằng perplexity, thứ hạng token, log-rank và entropy chéo giữa hai mô hình. Bảy bộ còn lại đọc chính câu chữ: độ dao động của độ dài câu, vốn từ, cấu trúc, những cách nói rào đón và các câu sáo rỗng mà mô hình AI hay lặp lại.

Điểm tổng không phải là trung bình cộng. Một mô hình logistic được khớp trên SlopBench gán trọng số cho từng công cụ theo phần thông tin nó bổ sung khi đã biết kết quả của các công cụ khác, nên những công cụ sai theo cùng một kiểu không bị tính hai lần. Văn bản rất ngắn được kéo về phía giữa, vì vài chữ không mang nhiều bằng chứng.

Các khoảng kết luận được đặt dựa trên văn bản do người viết: ở mức 45 bắt đầu nhóm 5% văn bản người viết có điểm cao nhất, ở 55 là 2% và ở 80 là 0,5%. Vì vậy điểm từ 55 trở lên nghĩa là chưa tới 2 trên 100 văn bản người viết đạt mức cao như thế. Các ngôn ngữ khác có mô hình riêng, và mỗi ngôn ngữ được ghi rõ là được hỗ trợ, thử nghiệm hoặc chưa đáng tin cậy.

Đo trên 3.252 văn bản

Một con số về độ chính xác chẳng mấy ý nghĩa nếu không nói rõ nó được đo trên dữ liệu gì. SlopTotal được đo trên SlopBench, một bộ đánh giá mở gồm 1.626 văn bản do người viết, tất cả đều trước khi ChatGPT ra đời, và 1.626 văn bản AI cùng chủ đề, cùng độ dài, từ 14 mô hình hiện nay (trong đó có GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma và GLM). Bộ dữ liệu bao gồm tin tức, bách khoa, tóm tắt khoa học, câu trả lời trên diễn đàn hỏi đáp, bài đăng Reddit, đánh giá, bài luận của sinh viên, tiếng Anh của người không phải bản ngữ và văn hư cấu, vì một bộ phát hiện chỉ được thử trên một loại văn bản sẽ có những con số sụp đổ ngoài đời thực.

Có hai phần để bắt lỗi bất công: 87 đoạn văn học xuất bản từ năm 1532 đến 1915, nơi mọi điểm cao đều chắc chắn là sai, và bài luận của những người viết tiếng Anh như ngôn ngữ thứ hai, những người bị các bộ phát hiện buộc tội oan nhiều nhất. Mọi con số chính đều được đo trên những thể loại không dùng để tinh chỉnh mô hình, và kết quả được công bố trong kho mã, kể cả những thất bại.

Khi nào việc phát hiện hết hiệu quả

Văn bản ngắn không đáng tin cậy, với bất kỳ bộ phát hiện nào. Dưới khoảng 80 chữ, điểm số dao động mạnh chỉ vì cách chọn từ, và ổn định từ khoảng 200 chữ trở lên. Nếu một dòng tweet nhận được câu trả lời rất chắc chắn, hãy nghi ngờ câu trả lời đó.

Văn bản AI được chỉnh sửa nhẹ là trường hợp khó. Mỗi lượt con người viết lại lại xóa bớt dấu vết của máy, và không có ngưỡng nào mà sau đó việc chỉnh sửa không còn ảnh hưởng. Mã nguồn nằm ngoài phạm vi: các công cụ được huấn luyện bằng ngôn ngữ tự nhiên và không phát hiện đáng tin cậy mã do AI viết, nên SlopTotal không khẳng định điều đó.

Điểm số là bằng chứng, không phải phán quyết. Hãy dùng 23 điểm số để quyết định nên xem chỗ nào và hỏi điều gì, rồi hãy hỏi. Không kết quả nào của bộ phát hiện nên tự nó quyết định một điểm số, một lần tuyển dụng hay một lần xuất bản.