Vocabulary Richness

docker run -p 8000:8000 -v sloptotal-models:/app/models ghcr.io/pablocaeg/sloptotal

curl -s -X POST http://localhost:8000/api/analyze \
  -H "Content-Type: application/json" \
  -d '{"text": "Paste at least 50 characters of text here..."}' \
  | jq '.engine_results[] | select(.engine_name == "Vocabulary Richness")'

Qué midió Vocabulary Richness

En SlopBench (1626 textos humanos escritos antes de ChatGPT y 1626 textos de IA de 14 modelos actuales, en 15 tipos de escritura), Vocabulary Richness alcanzó un AUC de 0.362. Puntuó de media el texto de máquina con 0.090 y el texto humano moderno con 0.136. El AUC es la probabilidad de que coloque un pasaje de IA cualquiera por encima de uno humano cualquiera: 1,0 es una separación perfecta y 0,5, lanzar una moneda.

Una parte pone a prueba el fallo que más importa: 87 pasajes publicados entre 1532 y 1915 (Maquiavelo, Austen, Melville, Kafka), donde cualquier puntuación alta es un error por definición, porque esos textos son un siglo o más anteriores a los modelos de lenguaje. Vocabulary Richness les dio 0.120. Eso coincide con su puntuación en escritura humana moderna, así que no muestra sesgo medible contra la prosa antigua.

Su papel en la puntuación

Vocabulary Richness es una fila de la tabla de 23 motores, junto a clasificadores neuronales, pruebas estadísticas basadas en modelos GPT-2 y comprobaciones de la propia prosa. Ningún motor decide el veredicto por sí solo.

La puntuación global sale de un modelo logístico ajustado con SlopBench, que pondera cada motor según lo que aporta cuando ya se conocen los demás. Los detectores que fallan juntos, como clasificadores entrenados con datos parecidos, no cuentan dos veces.

Cómo llegan los 23 motores a una puntuación

SlopTotal no pide opinión a un solo modelo. Pasa 23 detectores independientes y muestra las 23 puntuaciones, porque la información útil suele estar en el desacuerdo. Nueve son clasificadores neuronales entrenados para distinguir texto humano de texto generado, entre ellos DeBERTa-v3-large, RoBERTa-large y un BERT-tiny de 4,4 millones de parámetros. Siete son pruebas estadísticas que no necesitan entrenamiento: miden lo predecible que resulta el texto para modelos GPT-2, con perplejidad, rangos de tokens, log-rank y la entropía cruzada entre dos modelos. Los otros siete leen la propia prosa: la variación en la longitud de las frases, el vocabulario, la estructura, las matizaciones y las fórmulas que los modelos de IA repiten.

La puntuación global no es una media. Un modelo logístico ajustado con SlopBench pondera cada motor según lo que aporta cuando ya se conocen los demás, así que los motores que fallan del mismo modo no cuentan dos veces. Los textos muy cortos se acercan al centro, porque unas pocas palabras no aportan muchas pruebas.

Las bandas del veredicto se fijan con escritura humana: en 45 empieza el 5 % de textos humanos con puntuación más alta, en 55 el 2 % y en 80 el 0,5 %. Por tanto, una puntuación de 55 o más significa que menos de 2 de cada 100 textos humanos puntúan tan alto. Los demás idiomas tienen su propio ajuste, y cada idioma figura como compatible, experimental o todavía no fiable.

Medido con 3.252 textos

Una cifra de precisión dice poco si no se indica con qué se midió. SlopTotal se mide con SlopBench, un banco de pruebas abierto de 1.626 textos humanos, todos escritos antes de que existiera ChatGPT, y 1.626 textos de IA sobre los mismos temas y con la misma longitud, de 14 modelos actuales (entre ellos GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma y GLM). Abarca noticias, enciclopedias, resúmenes científicos, respuestas de foros de preguntas, publicaciones de Reddit, reseñas, redacciones de estudiantes, inglés de no nativos y ficción, porque un detector probado con un solo tipo de escritura acaba con cifras que se derrumban fuera del laboratorio.

Dos partes existen para detectar injusticias: 87 pasajes de literatura publicados entre 1532 y 1915, donde cualquier puntuación alta es un error por definición, y redacciones de personas que escriben en inglés como segunda lengua, a quienes los detectores acusan injustamente con más frecuencia. Cada cifra principal se mide en tipos de texto con los que el modelo no se ajustó, y los resultados están publicados en el repositorio, fallos incluidos.

Dónde deja de funcionar la detección

Los textos cortos no son fiables, en ningún detector. Por debajo de unas 80 palabras la puntuación oscila solo por la elección de palabras, y se estabiliza a partir de unas 200. Si un tuit recibe una respuesta muy segura, desconfía de la respuesta.

El texto de IA ligeramente editado es el caso difícil. Cada pasada de reescritura humana borra huellas de la máquina, y no hay un punto a partir del cual editar deje de importar. El código fuente queda fuera: los motores están entrenados con lenguaje natural y no detectan con fiabilidad código escrito por IA, así que SlopTotal no lo afirma.

Una puntuación es una prueba, no un veredicto. Usa las 23 puntuaciones para decidir dónde mirar y qué preguntar, y luego pregunta. Ningún resultado de un detector debería decidir por sí solo una nota, una contratación o una publicación.