Fiabilité des détecteurs d’IA, mesurée

Ce que cherchent les moteurs

Des classifieurs entraînés sur des textes de n’importe quel LLM, des tests statistiques qui mesurent la prévisibilité de chaque mot, et des vérifications de la structure et des tournures que les modèles d’IA répètent.

Les textes courts donnent des signaux faibles. Utilisez au moins 80 mots, et 200 ou plus si possible.

Lire le résultat

Le score va de 0 à 100. À partir de 55, moins de 2 textes humains sur 100 obtiennent un score aussi élevé ; à partir de 80, moins de 1 sur 200.

Regardez aussi le tableau des moteurs. Quand presque tous sont d’accord, le score est une preuve solide. Quand ils se partagent, le texte a souvent été écrit avec l’aide de l’IA ou très retravaillé, et il mérite une lecture humaine plus attentive.

Contexte

La plupart des outils donnent un chiffre de précision sans dire sur quoi il a été mesuré. Le nôtre est mesuré sur SlopBench : 1 626 textes humains et 1 626 textes IA issus de 14 modèles actuels, sur 15 types d'écriture, et chaque chiffre porte sur des textes sur lesquels le modèle n'a pas été ajusté. L'AUC est de 0,942. Au seuil « Probablement IA », 67 % des textes IA sont repérés et 1,7 % des textes humains accusés à tort, car ce seuil se situe là où commencent les 2 % supérieurs des textes humains. Un détecteur qui annonce 99 % sans dire sur quoi cite son propre jeu d'entraînement.

Comment les 23 moteurs aboutissent à un score

SlopTotal ne demande pas l’avis d’un seul modèle. Il fait passer 23 détecteurs indépendants et affiche les 23 scores, parce que l’information utile se trouve souvent dans le désaccord. Neuf sont des classifieurs neuronaux entraînés à distinguer un texte humain d’un texte généré, dont DeBERTa-v3-large, RoBERTa-large et un BERT-tiny de 4,4 millions de paramètres. Sept sont des tests statistiques qui ne demandent aucun entraînement : ils mesurent à quel point le texte est prévisible pour des modèles GPT-2, avec la perplexité, le rang des tokens, le log-rank et l’entropie croisée entre deux modèles. Les sept autres lisent la prose elle-même : la variation de longueur des phrases, le vocabulaire, la structure, les précautions de langage et les formules toutes faites que les modèles d’IA répètent.

Le score global n’est pas une moyenne. Un modèle logistique ajusté sur SlopBench pondère chaque moteur selon ce qu’il apporte une fois les autres connus, de sorte que les moteurs qui se trompent de la même façon ne comptent pas deux fois. Les textes très courts sont ramenés vers le milieu, parce que quelques mots ne portent pas beaucoup d’indices.

Les bandes du verdict sont fixées sur des textes humains : à 45 commencent les 5 % de textes humains au score le plus élevé, à 55 les 2 % et à 80 les 0,5 %. Un score de 55 ou plus signifie donc que moins de 2 textes humains sur 100 obtiennent un score aussi élevé. Les autres langues ont leur propre ajustement, et chaque langue est indiquée comme prise en charge, expérimentale ou pas encore fiable.

Mesuré sur 3 252 textes

Un chiffre de précision ne dit pas grand-chose sans préciser sur quoi il a été mesuré. SlopTotal est mesuré sur SlopBench, un banc d’essai ouvert de 1 626 textes humains, tous écrits avant l’arrivée de ChatGPT, et de 1 626 textes d’IA sur les mêmes sujets et de même longueur, issus de 14 modèles actuels (dont GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma et GLM). Il couvre l’actualité, les encyclopédies, les résumés scientifiques, les réponses de forums, les posts Reddit, les avis, les copies d’étudiants, l’anglais de non-natifs et la fiction, parce qu’un détecteur testé sur un seul type d’écrit finit avec des chiffres qui s’effondrent dans la vraie vie.

Deux sous-ensembles servent à repérer l'injustice : 87 passages de littérature publiés entre 1532 et 1915, où tout score élevé est une erreur par construction, et des rédactions de personnes dont l'anglais n'est pas la langue maternelle, celles que les détecteurs accusent le plus souvent à tort. Chaque chiffre clé est mesuré sur des types d'écriture sur lesquels le modèle n'a pas été ajusté, et les résultats sont publiés dans le dépôt, échecs compris.

Là où la détection cesse de fonctionner

Les textes courts ne sont pas fiables, quel que soit le détecteur. En dessous d’environ 80 mots, le score varie au gré du choix des mots, et il se stabilise à partir d’environ 200. Si un tweet reçoit une réponse très assurée, méfiez-vous de la réponse.

Un texte d’IA légèrement retouché est le cas difficile. Chaque passage de réécriture humaine efface des traces de la machine, et il n’existe pas de seuil au-delà duquel la retouche ne compte plus. Le code source est hors champ : les moteurs sont entraînés sur du langage naturel et ne détectent pas de façon fiable le code écrit par une IA, donc SlopTotal ne le prétend pas.

Un score est un indice, pas un verdict. Servez-vous des 23 scores pour savoir où regarder et quoi demander, puis demandez. Aucun résultat de détecteur ne devrait à lui seul décider d’une note, d’une embauche ou d’une publication.