AI 检测引擎:全部 23 个均经实测评分

全部 23 个引擎的架构,以及它们在 AI 文本和 1920 年前出版的人类文字对照集上的实测 AUC。

引擎 AUC 对旧式文字的偏差 在分数中的权重
1 SuperAnnotate 神经网络分类器 · 355M
0.939
-0.18
2 Desklib DeBERTa 神经网络分类器 · 435M
0.936
-0.17
3 Fakespot 神经网络分类器 · 125M
0.917
+0.04
4 ReMoDetect 神经网络分类器 · 184M
0.866
-0.28 0
5 Structural Analysis 语言启发式检测器
0.756
+0.01
6 TMR Detector 神经网络分类器 · 125M
0.749
+0.17 0
7 E5-Small 嵌入分类器 · 33M
0.720
-0.20 0
8 ChatGPT Detector 神经网络分类器 · 125M
0.688
-0.15 0
9 Binoculars 统计检验 · 355M + 82M
0.680
-0.08
10 BERT-tiny RAID 神经网络分类器 · 4.4M
0.654
-0.17 0
11 Log-Rank 统计检验 · 355M
0.644
-0.14 0
12 Perplexity 统计检验 · 355M
0.644
-0.13 0
13 Fast-DetectGPT 统计检验 · 355M
0.632
-0.04 0
14 GLTR 统计检验 · 355M
0.622
-0.20 0
15 Cross-Perplexity 统计检验 · 355M + 82M
0.618
-0.14 0
16 Burstiness 语言启发式检测器 · 355M
0.589
+0.08
17 Linguistic Markers 语言启发式检测器
0.574
-0.02 0
18 Formulaic Patterns 语言启发式检测器
0.557
0.00
19 DivEye 统计检验 · 355M
0.548
-0.12 0
20 Readability Uniformity 语言启发式检测器
0.539
+0.03
21 OpenAI Detector 神经网络分类器 · 125M
0.521
-0.05 0
22 Sentiment & Hedging 语言启发式检测器
0.491
-0.02 0
23 Vocabulary Richness 语言启发式检测器
0.362
-0.02 0

AUC 表示引擎把 AI 文本排在人类文本之上的频率:1 为完美,0.5 等于抛硬币。偏差指它给 1920 年以前文学的打分比现代人类写作高出多少。权重是英文校准分给每个引擎的份额;多数引擎为零,因为其他引擎已经提供了同样的信号。

23 个引擎如何得出分数

SlopTotal 不只问一个模型的意见。它运行 23 个独立检测器并展示全部 23 个分数,因为有用的信息往往藏在分歧里。其中 9 个是经过训练、用来区分人类文字和机器文字的神经网络分类器,包括 DeBERTa-v3-large、RoBERTa-large 和一个 440 万参数的 BERT-tiny。7 个是不需要训练的统计测试:它们用困惑度、词元排名、log-rank 以及两个模型之间的交叉熵,衡量文字对 GPT-2 模型来说有多容易预测。其余 7 个直接分析文字本身:句子长度的变化、词汇、结构、含糊其辞的表达,以及 AI 模型常用的套话。

总分不是平均值。一个在 SlopBench 上拟合的逻辑回归模型,会按照每个引擎在已知其他引擎结果的情况下还能补充多少信息来分配权重,因此以同样方式出错的引擎不会被重复计算。很短的文字会被拉向中间值,因为寥寥几个词承载不了多少证据。

判定区间是根据人类文字设定的:45 分是人类文字中得分最高的 5% 的起点,55 分是最高的 2%,80 分是最高的 0.5%。所以 55 分以上意味着只有不到 2% 的人类文字能得这么高。其他语言有各自的模型,每种语言都标注为支持、实验性或尚不可靠。

在 3,252 篇文字上测量

准确度数字如果不说明是在什么上测的,就没有多大意义。SlopTotal 在 SlopBench 上测量。这是一个开放基准,包含 1,626 篇全部写于 ChatGPT 出现之前的人类文字,以及 1,626 篇主题相同、长度相同、由 14 个当前模型(包括 GPT-6、DeepSeek、Qwen、Llama、Mistral、Gemma 和 GLM)写成的 AI 文字。它涵盖新闻、百科、科学摘要、问答回答、Reddit 帖子、评论、学生作文、非母语者写的英语和小说,因为只在一种文字上测试过的检测器,数字一到真实环境就会垮掉。

有两部分专门用来发现不公平:1532 年至 1915 年间出版的 87 段文学作品,任何高分都必然是误判;以及英语为第二语言者写的作文,他们正是最常被检测器冤枉的人。每个主要数字都是在模型没有用来调参的文体上测得的,结果连同失败一起公布在代码库中。

检测在哪里失效

无论哪个检测器,短文字都不可靠。少于大约 80 个词时,分数会因用词不同而大幅波动,从大约 200 个词开始才会稳定。如果一条推文得到了一个非常笃定的结论,请怀疑这个结论。

稍加修改的 AI 文字是最难的情况。人每改写一遍,机器的痕迹就少一些,而且不存在一个改到某种程度就不再重要的临界点。源代码不在检测范围内:这些引擎是用自然语言训练的,无法可靠地检测 AI 写的代码,所以 SlopTotal 不作此承诺。

分数是证据,不是判决。用这 23 个分数决定该看哪里、该问什么,然后去问。任何检测结果都不应单独决定一个成绩、一次录用或一篇文章能否发表。