Linguistic Markers

Kết quả đo của Linguistic Markers

Trên SlopBench (1.626 văn bản của người viết trước ChatGPT và 1.626 văn bản AI từ 14 mô hình hiện nay, thuộc 15 thể loại), Linguistic Markers đạt AUC 0.574. Trung bình nó cho văn bản máy 0.166 và văn bản người hiện đại 0.070. AUC là xác suất nó xếp một đoạn AI bất kỳ cao hơn một đoạn của người bất kỳ: 1,0 là phân tách hoàn hảo, 0,5 là tung đồng xu.

Một phần kiểm tra lỗi quan trọng nhất: 87 đoạn xuất bản từ năm 1532 đến 1915 (Machiavelli, Austen, Melville, Kafka), nơi mọi điểm cao đều chắc chắn là sai, vì các văn bản này có trước mô hình ngôn ngữ một thế kỷ trở lên. Linguistic Markers cho chúng 0.046. Mức này tương đương điểm nó chấm cho văn bản người viết hiện đại, nên nó không thể hiện thiên lệch đo được với văn xuôi cũ.

Vai trò của nó trong điểm số

Linguistic Markers là một dòng trong bảng 23 công cụ, bên cạnh các bộ phân loại nơ-ron, phép thử thống kê dựa trên mô hình GPT-2 và việc kiểm tra chính câu chữ. Không công cụ nào tự mình quyết định kết luận.

Điểm tổng đến từ một mô hình logistic khớp trên SlopBench, gán trọng số cho từng công cụ theo phần thông tin nó bổ sung khi đã biết các công cụ khác. Những bộ phát hiện cùng sai, như các bộ phân loại huấn luyện trên dữ liệu giống nhau, không bị tính hai lần.

23 công cụ đưa ra điểm số như thế nào

SlopTotal không hỏi ý kiến của chỉ một mô hình. Nó chạy 23 bộ phát hiện độc lập và hiển thị cả 23 điểm số, vì thông tin hữu ích thường nằm ở chỗ chúng bất đồng. Chín bộ là bộ phân loại nơ-ron được huấn luyện để phân biệt văn bản do người viết với văn bản do máy tạo, trong đó có DeBERTa-v3-large, RoBERTa-large và một BERT-tiny 4,4 triệu tham số. Bảy bộ là phép thử thống kê không cần huấn luyện: chúng đo mức độ dễ đoán của văn bản đối với các mô hình GPT-2, bằng perplexity, thứ hạng token, log-rank và entropy chéo giữa hai mô hình. Bảy bộ còn lại đọc chính câu chữ: độ dao động của độ dài câu, vốn từ, cấu trúc, những cách nói rào đón và các câu sáo rỗng mà mô hình AI hay lặp lại.

Điểm tổng không phải là trung bình cộng. Một mô hình logistic được khớp trên SlopBench gán trọng số cho từng công cụ theo phần thông tin nó bổ sung khi đã biết kết quả của các công cụ khác, nên những công cụ sai theo cùng một kiểu không bị tính hai lần. Văn bản rất ngắn được kéo về phía giữa, vì vài chữ không mang nhiều bằng chứng.

Các khoảng kết luận được đặt dựa trên văn bản do người viết: ở mức 45 bắt đầu nhóm 5% văn bản người viết có điểm cao nhất, ở 55 là 2% và ở 80 là 0,5%. Vì vậy điểm từ 55 trở lên nghĩa là chưa tới 2 trên 100 văn bản người viết đạt mức cao như thế. Các ngôn ngữ khác có mô hình riêng, và mỗi ngôn ngữ được ghi rõ là được hỗ trợ, thử nghiệm hoặc chưa đáng tin cậy.

Đo trên 3.252 văn bản

Một con số về độ chính xác chẳng mấy ý nghĩa nếu không nói rõ nó được đo trên dữ liệu gì. SlopTotal được đo trên SlopBench, một bộ đánh giá mở gồm 1.626 văn bản do người viết, tất cả đều trước khi ChatGPT ra đời, và 1.626 văn bản AI cùng chủ đề, cùng độ dài, từ 14 mô hình hiện nay (trong đó có GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma và GLM). Bộ dữ liệu bao gồm tin tức, bách khoa, tóm tắt khoa học, câu trả lời trên diễn đàn hỏi đáp, bài đăng Reddit, đánh giá, bài luận của sinh viên, tiếng Anh của người không phải bản ngữ và văn hư cấu, vì một bộ phát hiện chỉ được thử trên một loại văn bản sẽ có những con số sụp đổ ngoài đời thực.

Có hai phần để bắt lỗi bất công: 87 đoạn văn học xuất bản từ năm 1532 đến 1915, nơi mọi điểm cao đều chắc chắn là sai, và bài luận của những người viết tiếng Anh như ngôn ngữ thứ hai, những người bị các bộ phát hiện buộc tội oan nhiều nhất. Mọi con số chính đều được đo trên những thể loại không dùng để tinh chỉnh mô hình, và kết quả được công bố trong kho mã, kể cả những thất bại.

Khi nào việc phát hiện hết hiệu quả

Văn bản ngắn không đáng tin cậy, với bất kỳ bộ phát hiện nào. Dưới khoảng 80 chữ, điểm số dao động mạnh chỉ vì cách chọn từ, và ổn định từ khoảng 200 chữ trở lên. Nếu một dòng tweet nhận được câu trả lời rất chắc chắn, hãy nghi ngờ câu trả lời đó.

Văn bản AI được chỉnh sửa nhẹ là trường hợp khó. Mỗi lượt con người viết lại lại xóa bớt dấu vết của máy, và không có ngưỡng nào mà sau đó việc chỉnh sửa không còn ảnh hưởng. Mã nguồn nằm ngoài phạm vi: các công cụ được huấn luyện bằng ngôn ngữ tự nhiên và không phát hiện đáng tin cậy mã do AI viết, nên SlopTotal không khẳng định điều đó.

Điểm số là bằng chứng, không phải phán quyết. Hãy dùng 23 điểm số để quyết định nên xem chỗ nào và hỏi điều gì, rồi hãy hỏi. Không kết quả nào của bộ phát hiện nên tự nó quyết định một điểm số, một lần tuyển dụng hay một lần xuất bản.