Fast-DetectGPT

Fast-DetectGPTの測定結果

SlopBench（ChatGPT以前に書かれた人間の文章1,626件と、現行の14モデルによるAI文章1,626件、15種類の文章ジャンル）で、Fast-DetectGPTのAUCは0.632でした。機械の文章には平均0.475、現代の人間の文章には0.325をつけました。AUCは、ランダムに選んだAIの文章を人間の文章より上に並べる確率で、1.0は完全な分離、0.5はコイン投げと同じです。

ある区分は、最も重要な失敗を試します。1532年から1915年に出版された87の抜粋（マキャヴェリ、オースティン、メルヴィル、カフカ）で、言語モデルより一世紀以上前の文章のため、高いスコアは定義上すべて誤りです。Fast-DetectGPTはこれらに0.283をつけました。これは現代の人間の文章に対するスコアとほぼ同じで、古い文章への偏りは測定上見られません。

スコアにおける役割

Fast-DetectGPTは23のエンジン表の1行で、ニューラル分類器、GPT-2モデルを使った統計テスト、文章そのもののチェックと並んでいます。1つのエンジンだけで判定が決まることはありません。

全体のスコアは、SlopBenchで当てはめたロジスティックモデルから出ます。このモデルは、ほかのエンジンの結果がわかったうえで各エンジンが加える情報の量に応じて重みを付けます。似たデータで学習した分類器のように一緒に間違える検出器が、二重に数えられることはありません。

23のエンジンがスコアを出す仕組み

SlopTotalは1つのモデルだけに意見を求めません。23の独立した検出器を動かし、23のスコアをすべて表示します。役に立つ情報は、意見の食い違いの中にあることが多いからです。9つは人間の文章と機械の文章を見分けるように学習したニューラル分類器で、DeBERTa-v3-large、RoBERTa-large、パラメータ数440万のBERT-tinyなどがあります。7つは学習を必要としない統計テストで、GPT-2モデルにとって文章がどれだけ予測しやすいかを、パープレキシティ、トークン順位、log-rank、2つのモデル間の交差エントロピーで測ります。残りの7つは文章そのものを読み、文の長さのばらつき、語彙、構成、ぼかした表現、AIモデルが繰り返しがちな決まり文句を見ます。

全体のスコアは平均ではありません。SlopBenchで当てはめたロジスティックモデルが、ほかのエンジンの結果がわかったうえで各エンジンが加える情報の量に応じて重みを付けるため、同じように間違えるエンジンが二重に数えられることはありません。ごく短い文章は中央に寄せられます。数語では証拠がほとんどないからです。

判定の帯域は人間の文章をもとに決めています。45はスコアが高い上位5%の人間の文章が始まる位置、55は上位2%、80は上位0.5%です。つまりスコアが55以上なら、そこまで高くなる人間の文章は100本中2本未満ということです。ほかの言語には独自のモデルがあり、言語ごとに対応、試験的、まだ信頼できない、のいずれかが示されます。

3,252本の文章で測定

精度の数字は、何で測ったかを示さなければほとんど意味がありません。SlopTotalはSlopBenchで測定しています。これは、すべてChatGPT登場以前に書かれた人間の文章1,626本と、同じテーマ・同じ長さで最新の14モデル（GPT-6、DeepSeek、Qwen、Llama、Mistral、Gemma、GLMなど）が書いたAIの文章1,626本からなる公開ベンチマークです。ニュース、百科事典、科学論文の要旨、Q&Aの回答、Redditの投稿、レビュー、学生の作文、母語ではない英語、小説を含みます。1種類の文章だけで試した検出器の数字は、現実の場面では崩れてしまうからです。

不公平を見つけるための区分が二つあります。1532年から1915年に出版された文学の87の抜粋（高いスコアは定義上すべて誤り）と、英語を第二言語として書く人の作文です。後者は、検出器が最も誤って疑う人たちです。主要な数字はすべて、モデルの調整に使っていない種類の文章で測定しており、結果は失敗も含めてリポジトリで公開しています。

検出が機能しなくなるところ

短い文章は、どの検出器でも信頼できません。約80語未満ではスコアが言葉の選び方だけで大きく揺れ、約200語以上で落ち着きます。ツイートに自信たっぷりの答えが出たら、その答えを疑ってください。

少しだけ手直ししたAIの文章は難しいケースです。人が書き直すたびに機械の痕跡は消えていき、ここから先は手直しが関係なくなるという境目はありません。ソースコードは対象外です。エンジンは自然言語で学習しており、AIが書いたコードを確実には検出できないため、SlopTotalもそうは主張しません。

スコアは証拠であって、判決ではありません。23のスコアを使ってどこを見て何を尋ねるかを決め、実際に尋ねてください。検出器の結果だけで、成績、採用、掲載を決めるべきではありません。