Phát hiện AI cho văn bản pháp lý

Vì sao một điểm số là chưa đủ

Văn phong trang trọng, tiếng Anh của người không phải bản ngữ và thuật ngữ chuyên ngành dễ đánh lừa bộ phát hiện đơn lẻ. Với 23 công cụ, bạn thấy được điểm cao đến từ một loại bộ phát hiện hay từ tất cả.

Hãy lưu đường dẫn báo cáo cùng ghi chú của bạn. Báo cáo được giữ 30 ngày, sau đó bị xóa.

Một quy trình đáng tin cậy

Dán văn bản, tải tài liệu lên hoặc nhập trang web. Chờ tất cả công cụ chạy xong. Hãy xem mức 55 trở lên là lý do để xem xét kỹ hơn, không phải là bằng chứng.

Đừng bao giờ xử phạt ai chỉ vì điểm số. Hãy dùng bảng công cụ để bắt đầu trao đổi với người viết.

23 công cụ đưa ra điểm số như thế nào

SlopTotal không hỏi ý kiến của chỉ một mô hình. Nó chạy 23 bộ phát hiện độc lập và hiển thị cả 23 điểm số, vì thông tin hữu ích thường nằm ở chỗ chúng bất đồng. Chín bộ là bộ phân loại nơ-ron được huấn luyện để phân biệt văn bản do người viết với văn bản do máy tạo, trong đó có DeBERTa-v3-large, RoBERTa-large và một BERT-tiny 4,4 triệu tham số. Bảy bộ là phép thử thống kê không cần huấn luyện: chúng đo mức độ dễ đoán của văn bản đối với các mô hình GPT-2, bằng perplexity, thứ hạng token, log-rank và entropy chéo giữa hai mô hình. Bảy bộ còn lại đọc chính câu chữ: độ dao động của độ dài câu, vốn từ, cấu trúc, những cách nói rào đón và các câu sáo rỗng mà mô hình AI hay lặp lại.

Điểm tổng không phải là trung bình cộng. Một mô hình logistic được khớp trên SlopBench gán trọng số cho từng công cụ theo phần thông tin nó bổ sung khi đã biết kết quả của các công cụ khác, nên những công cụ sai theo cùng một kiểu không bị tính hai lần. Văn bản rất ngắn được kéo về phía giữa, vì vài chữ không mang nhiều bằng chứng.

Các khoảng kết luận được đặt dựa trên văn bản do người viết: ở mức 45 bắt đầu nhóm 5% văn bản người viết có điểm cao nhất, ở 55 là 2% và ở 80 là 0,5%. Vì vậy điểm từ 55 trở lên nghĩa là chưa tới 2 trên 100 văn bản người viết đạt mức cao như thế. Các ngôn ngữ khác có mô hình riêng, và mỗi ngôn ngữ được ghi rõ là được hỗ trợ, thử nghiệm hoặc chưa đáng tin cậy.

Đo trên 3.252 văn bản

Một con số về độ chính xác chẳng mấy ý nghĩa nếu không nói rõ nó được đo trên dữ liệu gì. SlopTotal được đo trên SlopBench, một bộ đánh giá mở gồm 1.626 văn bản do người viết, tất cả đều trước khi ChatGPT ra đời, và 1.626 văn bản AI cùng chủ đề, cùng độ dài, từ 14 mô hình hiện nay (trong đó có GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma và GLM). Bộ dữ liệu bao gồm tin tức, bách khoa, tóm tắt khoa học, câu trả lời trên diễn đàn hỏi đáp, bài đăng Reddit, đánh giá, bài luận của sinh viên, tiếng Anh của người không phải bản ngữ và văn hư cấu, vì một bộ phát hiện chỉ được thử trên một loại văn bản sẽ có những con số sụp đổ ngoài đời thực.

Có hai phần để bắt lỗi bất công: 87 đoạn văn học xuất bản từ năm 1532 đến 1915, nơi mọi điểm cao đều chắc chắn là sai, và bài luận của những người viết tiếng Anh như ngôn ngữ thứ hai, những người bị các bộ phát hiện buộc tội oan nhiều nhất. Mọi con số chính đều được đo trên những thể loại không dùng để tinh chỉnh mô hình, và kết quả được công bố trong kho mã, kể cả những thất bại.

Khi nào việc phát hiện hết hiệu quả

Văn bản ngắn không đáng tin cậy, với bất kỳ bộ phát hiện nào. Dưới khoảng 80 chữ, điểm số dao động mạnh chỉ vì cách chọn từ, và ổn định từ khoảng 200 chữ trở lên. Nếu một dòng tweet nhận được câu trả lời rất chắc chắn, hãy nghi ngờ câu trả lời đó.

Văn bản AI được chỉnh sửa nhẹ là trường hợp khó. Mỗi lượt con người viết lại lại xóa bớt dấu vết của máy, và không có ngưỡng nào mà sau đó việc chỉnh sửa không còn ảnh hưởng. Mã nguồn nằm ngoài phạm vi: các công cụ được huấn luyện bằng ngôn ngữ tự nhiên và không phát hiện đáng tin cậy mã do AI viết, nên SlopTotal không khẳng định điều đó.

Điểm số là bằng chứng, không phải phán quyết. Hãy dùng 23 điểm số để quyết định nên xem chỗ nào và hỏi điều gì, rồi hãy hỏi. Không kết quả nào của bộ phát hiện nên tự nó quyết định một điểm số, một lần tuyển dụng hay một lần xuất bản.