Vocabulary Richness

docker run -p 8000:8000 -v sloptotal-models:/app/models ghcr.io/pablocaeg/sloptotal

curl -s -X POST http://localhost:8000/api/analyze \
  -H "Content-Type: application/json" \
  -d '{"text": "Paste at least 50 characters of text here..."}' \
  | jq '.engine_results[] | select(.engine_name == "Vocabulary Richness")'

Ce que Vocabulary Richness a mesuré

Sur SlopBench (1 626 textes humains écrits avant ChatGPT et 1 626 textes IA issus de 14 modèles actuels, sur 15 types d'écriture), Vocabulary Richness a obtenu un AUC de 0.362. Il a donné en moyenne 0.090 au texte machine et 0.136 au texte humain moderne. L'AUC est la probabilité qu'il classe un passage IA quelconque au-dessus d'un passage humain quelconque : 1,0 est une séparation parfaite, 0,5 un pile ou face.

Un sous-ensemble teste l'échec qui compte le plus : 87 passages publiés entre 1532 et 1915 (Machiavel, Austen, Melville, Kafka), où tout score élevé est une erreur par construction, puisque ces textes précèdent les modèles de langage d'un siècle ou plus. Vocabulary Richness leur a donné 0.120. C'est conforme à sa note sur l'écriture humaine moderne : il ne montre aucun biais mesurable contre la prose ancienne.

Son rôle dans le score

Vocabulary Richness est une ligne du tableau des 23 moteurs, à côté de classifieurs neuronaux, de tests statistiques fondés sur des modèles GPT-2 et de vérifications de la prose elle-même. Aucun moteur ne décide seul du verdict.

Le score global vient d’un modèle logistique ajusté sur SlopBench, qui pondère chaque moteur selon ce qu’il apporte une fois les autres connus. Les détecteurs qui se trompent ensemble, comme des classifieurs entraînés sur des données proches, ne comptent pas deux fois.

Comment les 23 moteurs aboutissent à un score

SlopTotal ne demande pas l’avis d’un seul modèle. Il fait passer 23 détecteurs indépendants et affiche les 23 scores, parce que l’information utile se trouve souvent dans le désaccord. Neuf sont des classifieurs neuronaux entraînés à distinguer un texte humain d’un texte généré, dont DeBERTa-v3-large, RoBERTa-large et un BERT-tiny de 4,4 millions de paramètres. Sept sont des tests statistiques qui ne demandent aucun entraînement : ils mesurent à quel point le texte est prévisible pour des modèles GPT-2, avec la perplexité, le rang des tokens, le log-rank et l’entropie croisée entre deux modèles. Les sept autres lisent la prose elle-même : la variation de longueur des phrases, le vocabulaire, la structure, les précautions de langage et les formules toutes faites que les modèles d’IA répètent.

Le score global n’est pas une moyenne. Un modèle logistique ajusté sur SlopBench pondère chaque moteur selon ce qu’il apporte une fois les autres connus, de sorte que les moteurs qui se trompent de la même façon ne comptent pas deux fois. Les textes très courts sont ramenés vers le milieu, parce que quelques mots ne portent pas beaucoup d’indices.

Les bandes du verdict sont fixées sur des textes humains : à 45 commencent les 5 % de textes humains au score le plus élevé, à 55 les 2 % et à 80 les 0,5 %. Un score de 55 ou plus signifie donc que moins de 2 textes humains sur 100 obtiennent un score aussi élevé. Les autres langues ont leur propre ajustement, et chaque langue est indiquée comme prise en charge, expérimentale ou pas encore fiable.

Mesuré sur 3 252 textes

Un chiffre de précision ne dit pas grand-chose sans préciser sur quoi il a été mesuré. SlopTotal est mesuré sur SlopBench, un banc d’essai ouvert de 1 626 textes humains, tous écrits avant l’arrivée de ChatGPT, et de 1 626 textes d’IA sur les mêmes sujets et de même longueur, issus de 14 modèles actuels (dont GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma et GLM). Il couvre l’actualité, les encyclopédies, les résumés scientifiques, les réponses de forums, les posts Reddit, les avis, les copies d’étudiants, l’anglais de non-natifs et la fiction, parce qu’un détecteur testé sur un seul type d’écrit finit avec des chiffres qui s’effondrent dans la vraie vie.

Deux sous-ensembles servent à repérer l'injustice : 87 passages de littérature publiés entre 1532 et 1915, où tout score élevé est une erreur par construction, et des rédactions de personnes dont l'anglais n'est pas la langue maternelle, celles que les détecteurs accusent le plus souvent à tort. Chaque chiffre clé est mesuré sur des types d'écriture sur lesquels le modèle n'a pas été ajusté, et les résultats sont publiés dans le dépôt, échecs compris.

Là où la détection cesse de fonctionner

Les textes courts ne sont pas fiables, quel que soit le détecteur. En dessous d’environ 80 mots, le score varie au gré du choix des mots, et il se stabilise à partir d’environ 200. Si un tweet reçoit une réponse très assurée, méfiez-vous de la réponse.

Un texte d’IA légèrement retouché est le cas difficile. Chaque passage de réécriture humaine efface des traces de la machine, et il n’existe pas de seuil au-delà duquel la retouche ne compte plus. Le code source est hors champ : les moteurs sont entraînés sur du langage naturel et ne détectent pas de façon fiable le code écrit par une IA, donc SlopTotal ne le prétend pas.

Un score est un indice, pas un verdict. Servez-vous des 23 scores pour savoir où regarder et quoi demander, puis demandez. Aucun résultat de détecteur ne devrait à lui seul décider d’une note, d’une embauche ou d’une publication.