Détecteur IA en français

Comment le français a été mesuré

Côté humain : 40 articles de Wikipédia en français tels qu'ils étaient en 2018, avant que les modèles de langue n'y écrivent quoi que ce soit de notable, et 20 extraits de littérature française publiés avant 1920. Côté IA : des textes de DeepSeek, GPT-6 Luna, Mistral Small, Llama 4 Maverick et Qwen 3.8 Flash sur les mêmes sujets, rédigés en français.

Chaque chiffre de cette page vient d'une validation croisée à cinq plis : le modèle qui note un texte ne l'a pas vu pendant l'ajustement. Test plus sévère encore, des poids ajustés sur DeepSeek seul ont signalé 97 % des textes des quatre autres familles de modèles. Ils ont appris à quoi ressemble un français écrit par une machine, pas les manies d'un seul modèle.

Ce que l'IA surutilise en français

En comparant 40 passages encyclopédiques écrits par une IA à 40 articles de Wikipédia sur les mêmes sujets, certains mots ressortent : « rôle » dans 28 % des textes d'IA contre 2 % des articles ; « souvent » dans 25 % des textes d'IA contre 0 % des articles ; « parmi » dans 22 % des textes d'IA contre 2 % des articles ; « aujourd'hui » dans 20 % des textes d'IA contre 0 % des articles ; « marqué » dans 20 % des textes d'IA contre 2 % des articles.

Ce sont des tendances des modèles, pas des preuves. Beaucoup de gens emploient chacun de ces mots, et SlopTotal ne les compte pas : le score vient des moteurs. La liste est là parce que c'est ce qu'un lecteur attentif remarque en premier.

Les textes courts

Un texte court en français est retenu. Sous 150 mots, le score est tiré vers le bas en proportion du peu de texte disponible, car une ou deux phrases ne prouvent pas grand-chose. Sur des textes coupés à 50 mots en français, espagnol, allemand, italien et portugais, cette correction a fait passer les textes humains signalés de 20 % à 5 %. Le prix est réel : à 50 mots, l'IA n'est plus signalée que 46 % du temps au lieu de 69 %.

Compilatio, universités et variantes du français

Beaucoup d'universités francophones utilisent Compilatio ou un service comparable. SlopTotal ne le remplace pas et n'essaie pas d'imiter son score. Ce qu'il apporte, c'est le détail : 23 moteurs, chacun avec son score, pour voir si un signalement repose sur plusieurs méthodes indépendantes ou sur une seule. Le français humain du banc d'essai mêle les variantes régionales ; le français de Belgique, de Suisse, du Canada ou d'Afrique n'a pas été mesuré à part.

Comment les 23 moteurs aboutissent à un score

SlopTotal ne demande pas l’avis d’un seul modèle. Il fait passer 23 détecteurs indépendants et affiche les 23 scores, parce que l’information utile se trouve souvent dans le désaccord. Neuf sont des classifieurs neuronaux entraînés à distinguer un texte humain d’un texte généré, dont DeBERTa-v3-large, RoBERTa-large et un BERT-tiny de 4,4 millions de paramètres. Sept sont des tests statistiques qui ne demandent aucun entraînement : ils mesurent à quel point le texte est prévisible pour des modèles GPT-2, avec la perplexité, le rang des tokens, le log-rank et l’entropie croisée entre deux modèles. Les sept autres lisent la prose elle-même : la variation de longueur des phrases, le vocabulaire, la structure, les précautions de langage et les formules toutes faites que les modèles d’IA répètent.

Le score global n’est pas une moyenne. Un modèle logistique ajusté sur SlopBench pondère chaque moteur selon ce qu’il apporte une fois les autres connus, de sorte que les moteurs qui se trompent de la même façon ne comptent pas deux fois. Les textes très courts sont ramenés vers le milieu, parce que quelques mots ne portent pas beaucoup d’indices.

Les bandes du verdict sont fixées sur des textes humains : à 45 commencent les 5 % de textes humains au score le plus élevé, à 55 les 2 % et à 80 les 0,5 %. Un score de 55 ou plus signifie donc que moins de 2 textes humains sur 100 obtiennent un score aussi élevé. Les autres langues ont leur propre ajustement, et chaque langue est indiquée comme prise en charge, expérimentale ou pas encore fiable.

Mesuré sur 3 252 textes

Un chiffre de précision ne dit pas grand-chose sans préciser sur quoi il a été mesuré. SlopTotal est mesuré sur SlopBench, un banc d’essai ouvert de 1 626 textes humains, tous écrits avant l’arrivée de ChatGPT, et de 1 626 textes d’IA sur les mêmes sujets et de même longueur, issus de 14 modèles actuels (dont GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma et GLM). Il couvre l’actualité, les encyclopédies, les résumés scientifiques, les réponses de forums, les posts Reddit, les avis, les copies d’étudiants, l’anglais de non-natifs et la fiction, parce qu’un détecteur testé sur un seul type d’écrit finit avec des chiffres qui s’effondrent dans la vraie vie.

Deux sous-ensembles servent à repérer l'injustice : 87 passages de littérature publiés entre 1532 et 1915, où tout score élevé est une erreur par construction, et des rédactions de personnes dont l'anglais n'est pas la langue maternelle, celles que les détecteurs accusent le plus souvent à tort. Chaque chiffre clé est mesuré sur des types d'écriture sur lesquels le modèle n'a pas été ajusté, et les résultats sont publiés dans le dépôt, échecs compris.

Là où la détection cesse de fonctionner

Les textes courts ne sont pas fiables, quel que soit le détecteur. En dessous d’environ 80 mots, le score varie au gré du choix des mots, et il se stabilise à partir d’environ 200. Si un tweet reçoit une réponse très assurée, méfiez-vous de la réponse.

Un texte d’IA légèrement retouché est le cas difficile. Chaque passage de réécriture humaine efface des traces de la machine, et il n’existe pas de seuil au-delà duquel la retouche ne compte plus. Le code source est hors champ : les moteurs sont entraînés sur du langage naturel et ne détectent pas de façon fiable le code écrit par une IA, donc SlopTotal ne le prétend pas.

Un score est un indice, pas un verdict. Servez-vous des 23 scores pour savoir où regarder et quoi demander, puis demandez. Aucun résultat de détecteur ne devrait à lui seul décider d’une note, d’une embauche ou d’une publication.