日本語の文章のAI判定

日本語での測り方

人の側は、言語モデルがまだ目立って書き込んでいなかった2018年時点の日本語版ウィキペディアの記事40本と、1920年以前に刊行された文学作品の抜粋4本です。AIの側は、DeepSeek、GPT-6 Luna、Mistral Small、Llama 4 Maverick、Qwen 3.8 Flashに同じ題材について日本語で書かせた文章です。

このページの数字はすべて5分割の交差検証によるもので、ある文章を採点するモデルはその文章を調整に使っていません。さらに厳しい試験として、DeepSeekだけで調整した重みで他の4系統のモデルの文章を採点しても、89%を検出しました。

AIが日本語で使いすぎる表現

AIが書いた百科事典風の文章40本と、同じ題材のウィキペディア記事40本を比べると、いくつかの表現が目立ちます。「幅広い」はAIの文章の22%、記事の0%、「を通じて」はAIの文章の20%、記事の0%、「で知られ」はAIの文章の18%、記事の2%、「分野で」はAIの文章の18%、記事の0%、「を担う」はAIの文章の15%、記事の0%。

これはモデルの傾向であって証拠ではありません。どの表現も人が普通に使いますし、SlopTotalはこれらを数えていません。スコアはエンジンから出ます。注意深い読み手がまず気づく点として載せています。

短い文章と文字数

日本語には単語の間に空白がないため、SlopTotalは2文字を1語として数えます。ベンチマークの指示文と同じ換算です。ヨーロッパの言語で調整した短文向けの補正は日本語には使わず、およそ160文字未満の日本語の文章は信頼度「低」として報告し、その理由をレポートに書きます。

中国語との区別と、使われているエンジン

日本語と中国語はかなの割合で見分けます。中国語は未対応で、学習に使っていないデータでのAUCは0.76でした。日本語では、ヨーロッパの言語よりも一つのエンジンへの依存が大きくなります。ラテン文字以外でも働き続ける分類器が、報酬モデルを使って学習したDeBERTaベースの検出器ReMoDetectだからです。レポートや論文の確認では、23のエンジンそれぞれの結果を見て、判定が複数の方法に支えられているかを確かめてください。

23のエンジンがスコアを出す仕組み

SlopTotalは1つのモデルだけに意見を求めません。23の独立した検出器を動かし、23のスコアをすべて表示します。役に立つ情報は、意見の食い違いの中にあることが多いからです。9つは人間の文章と機械の文章を見分けるように学習したニューラル分類器で、DeBERTa-v3-large、RoBERTa-large、パラメータ数440万のBERT-tinyなどがあります。7つは学習を必要としない統計テストで、GPT-2モデルにとって文章がどれだけ予測しやすいかを、パープレキシティ、トークン順位、log-rank、2つのモデル間の交差エントロピーで測ります。残りの7つは文章そのものを読み、文の長さのばらつき、語彙、構成、ぼかした表現、AIモデルが繰り返しがちな決まり文句を見ます。

全体のスコアは平均ではありません。SlopBenchで当てはめたロジスティックモデルが、ほかのエンジンの結果がわかったうえで各エンジンが加える情報の量に応じて重みを付けるため、同じように間違えるエンジンが二重に数えられることはありません。ごく短い文章は中央に寄せられます。数語では証拠がほとんどないからです。

判定の帯域は人間の文章をもとに決めています。45はスコアが高い上位5%の人間の文章が始まる位置、55は上位2%、80は上位0.5%です。つまりスコアが55以上なら、そこまで高くなる人間の文章は100本中2本未満ということです。ほかの言語には独自のモデルがあり、言語ごとに対応、試験的、まだ信頼できない、のいずれかが示されます。

3,252本の文章で測定

精度の数字は、何で測ったかを示さなければほとんど意味がありません。SlopTotalはSlopBenchで測定しています。これは、すべてChatGPT登場以前に書かれた人間の文章1,626本と、同じテーマ・同じ長さで最新の14モデル（GPT-6、DeepSeek、Qwen、Llama、Mistral、Gemma、GLMなど）が書いたAIの文章1,626本からなる公開ベンチマークです。ニュース、百科事典、科学論文の要旨、Q&Aの回答、Redditの投稿、レビュー、学生の作文、母語ではない英語、小説を含みます。1種類の文章だけで試した検出器の数字は、現実の場面では崩れてしまうからです。

不公平を見つけるための区分が二つあります。1532年から1915年に出版された文学の87の抜粋（高いスコアは定義上すべて誤り）と、英語を第二言語として書く人の作文です。後者は、検出器が最も誤って疑う人たちです。主要な数字はすべて、モデルの調整に使っていない種類の文章で測定しており、結果は失敗も含めてリポジトリで公開しています。

検出が機能しなくなるところ

短い文章は、どの検出器でも信頼できません。約80語未満ではスコアが言葉の選び方だけで大きく揺れ、約200語以上で落ち着きます。ツイートに自信たっぷりの答えが出たら、その答えを疑ってください。

少しだけ手直ししたAIの文章は難しいケースです。人が書き直すたびに機械の痕跡は消えていき、ここから先は手直しが関係なくなるという境目はありません。ソースコードは対象外です。エンジンは自然言語で学習しており、AIが書いたコードを確実には検出できないため、SlopTotalもそうは主張しません。

スコアは証拠であって、判決ではありません。23のスコアを使ってどこを見て何を尋ねるかを決め、実際に尋ねてください。検出器の結果だけで、成績、採用、掲載を決めるべきではありません。