Benchmark de détecteurs d’IA

git clone https://github.com/pablocaeg/sloptotal.git
cd sloptotal/tests/eval/slopbench
SLOPTOTAL_URL=http://127.0.0.1:8000 python score.py results.jsonl
python analyze.py results.jsonl

Ce que cherchent les moteurs

Des classifieurs entraînés sur des textes de n’importe quel LLM, des tests statistiques qui mesurent la prévisibilité de chaque mot, et des vérifications de la structure et des tournures que les modèles d’IA répètent.

Les textes courts donnent des signaux faibles. Utilisez au moins 80 mots, et 200 ou plus si possible.

Lire le résultat

Le score va de 0 à 100. À partir de 55, moins de 2 textes humains sur 100 obtiennent un score aussi élevé ; à partir de 80, moins de 1 sur 200.

Regardez aussi le tableau des moteurs. Quand presque tous sont d’accord, le score est une preuve solide. Quand ils se partagent, le texte a souvent été écrit avec l’aide de l’IA ou très retravaillé, et il mérite une lecture humaine plus attentive.

Contexte

Les chiffres et le code qui les a produits sont publics. Sur SlopBench, l'ensemble calibré atteint un AUC de 0,942 et qualifie de « Probablement IA » 67 % des textes IA et 1,7 % des textes humains. Les chiffres de chaque moteur sont publiés aussi, y compris les plus gênants : des classifieurs presque parfaits sur le benchmark RAID tombent à un AUC de 0,75 sur les modèles actuels, et les tests de perplexité GPT-2 à environ 0,64.

Comment les 23 moteurs aboutissent à un score

SlopTotal ne demande pas l’avis d’un seul modèle. Il fait passer 23 détecteurs indépendants et affiche les 23 scores, parce que l’information utile se trouve souvent dans le désaccord. Neuf sont des classifieurs neuronaux entraînés à distinguer un texte humain d’un texte généré, dont DeBERTa-v3-large, RoBERTa-large et un BERT-tiny de 4,4 millions de paramètres. Sept sont des tests statistiques qui ne demandent aucun entraînement : ils mesurent à quel point le texte est prévisible pour des modèles GPT-2, avec la perplexité, le rang des tokens, le log-rank et l’entropie croisée entre deux modèles. Les sept autres lisent la prose elle-même : la variation de longueur des phrases, le vocabulaire, la structure, les précautions de langage et les formules toutes faites que les modèles d’IA répètent.

Le score global n’est pas une moyenne. Un modèle logistique ajusté sur SlopBench pondère chaque moteur selon ce qu’il apporte une fois les autres connus, de sorte que les moteurs qui se trompent de la même façon ne comptent pas deux fois. Les textes très courts sont ramenés vers le milieu, parce que quelques mots ne portent pas beaucoup d’indices.

Les bandes du verdict sont fixées sur des textes humains : à 45 commencent les 5 % de textes humains au score le plus élevé, à 55 les 2 % et à 80 les 0,5 %. Un score de 55 ou plus signifie donc que moins de 2 textes humains sur 100 obtiennent un score aussi élevé. Les autres langues ont leur propre ajustement, et chaque langue est indiquée comme prise en charge, expérimentale ou pas encore fiable.

Mesuré sur 3 252 textes

Un chiffre de précision ne dit pas grand-chose sans préciser sur quoi il a été mesuré. SlopTotal est mesuré sur SlopBench, un banc d’essai ouvert de 1 626 textes humains, tous écrits avant l’arrivée de ChatGPT, et de 1 626 textes d’IA sur les mêmes sujets et de même longueur, issus de 14 modèles actuels (dont GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma et GLM). Il couvre l’actualité, les encyclopédies, les résumés scientifiques, les réponses de forums, les posts Reddit, les avis, les copies d’étudiants, l’anglais de non-natifs et la fiction, parce qu’un détecteur testé sur un seul type d’écrit finit avec des chiffres qui s’effondrent dans la vraie vie.

Deux sous-ensembles servent à repérer l'injustice : 87 passages de littérature publiés entre 1532 et 1915, où tout score élevé est une erreur par construction, et des rédactions de personnes dont l'anglais n'est pas la langue maternelle, celles que les détecteurs accusent le plus souvent à tort. Chaque chiffre clé est mesuré sur des types d'écriture sur lesquels le modèle n'a pas été ajusté, et les résultats sont publiés dans le dépôt, échecs compris.

Là où la détection cesse de fonctionner

Les textes courts ne sont pas fiables, quel que soit le détecteur. En dessous d’environ 80 mots, le score varie au gré du choix des mots, et il se stabilise à partir d’environ 200. Si un tweet reçoit une réponse très assurée, méfiez-vous de la réponse.

Un texte d’IA légèrement retouché est le cas difficile. Chaque passage de réécriture humaine efface des traces de la machine, et il n’existe pas de seuil au-delà duquel la retouche ne compte plus. Le code source est hors champ : les moteurs sont entraînés sur du langage naturel et ne détectent pas de façon fiable le code écrit par une IA, donc SlopTotal ne le prétend pas.

Un score est un indice, pas un verdict. Servez-vous des 23 scores pour savoir où regarder et quoi demander, puis demandez. Aucun résultat de détecteur ne devrait à lui seul décider d’une note, d’une embauche ou d’une publication.