Benchmark de detectores de IA

git clone https://github.com/pablocaeg/sloptotal.git
cd sloptotal/tests/eval/slopbench
SLOPTOTAL_URL=http://127.0.0.1:8000 python score.py results.jsonl
python analyze.py results.jsonl

Qué buscan los motores

Clasificadores entrenados con textos de cualquier LLM, pruebas estadísticas que miden lo predecible que es cada palabra y comprobaciones de la estructura y las fórmulas que los modelos de IA repiten.

Los textos cortos dan señales débiles. Usa al menos 80 palabras, y 200 o más si puedes.

Cómo leer el resultado

La puntuación va de 0 a 100. A partir de 55, menos de 2 de cada 100 textos humanos puntúan tan alto; a partir de 80, menos de 1 de cada 200.

Mira también la tabla de motores. Cuando casi todos coinciden, la puntuación es una prueba sólida. Cuando se dividen, el texto suele estar hecho con ayuda de IA o muy editado, y merece una lectura humana más atenta.

Contexto

Las cifras y el código que las produjo son públicos. En SlopBench, el conjunto calibrado alcanza un AUC de 0,942 y califica de «Probablemente IA» al 67 % de los textos de IA y al 1,7 % de los humanos. También publicamos las cifras de cada motor, incluidas las incómodas: clasificadores casi perfectos en el benchmark RAID bajan a un AUC de 0,75 con modelos actuales, y las pruebas de perplejidad de GPT-2, a cerca de 0,64.

Cómo llegan los 23 motores a una puntuación

SlopTotal no pide opinión a un solo modelo. Pasa 23 detectores independientes y muestra las 23 puntuaciones, porque la información útil suele estar en el desacuerdo. Nueve son clasificadores neuronales entrenados para distinguir texto humano de texto generado, entre ellos DeBERTa-v3-large, RoBERTa-large y un BERT-tiny de 4,4 millones de parámetros. Siete son pruebas estadísticas que no necesitan entrenamiento: miden lo predecible que resulta el texto para modelos GPT-2, con perplejidad, rangos de tokens, log-rank y la entropía cruzada entre dos modelos. Los otros siete leen la propia prosa: la variación en la longitud de las frases, el vocabulario, la estructura, las matizaciones y las fórmulas que los modelos de IA repiten.

La puntuación global no es una media. Un modelo logístico ajustado con SlopBench pondera cada motor según lo que aporta cuando ya se conocen los demás, así que los motores que fallan del mismo modo no cuentan dos veces. Los textos muy cortos se acercan al centro, porque unas pocas palabras no aportan muchas pruebas.

Las bandas del veredicto se fijan con escritura humana: en 45 empieza el 5 % de textos humanos con puntuación más alta, en 55 el 2 % y en 80 el 0,5 %. Por tanto, una puntuación de 55 o más significa que menos de 2 de cada 100 textos humanos puntúan tan alto. Los demás idiomas tienen su propio ajuste, y cada idioma figura como compatible, experimental o todavía no fiable.

Medido con 3.252 textos

Una cifra de precisión dice poco si no se indica con qué se midió. SlopTotal se mide con SlopBench, un banco de pruebas abierto de 1.626 textos humanos, todos escritos antes de que existiera ChatGPT, y 1.626 textos de IA sobre los mismos temas y con la misma longitud, de 14 modelos actuales (entre ellos GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma y GLM). Abarca noticias, enciclopedias, resúmenes científicos, respuestas de foros de preguntas, publicaciones de Reddit, reseñas, redacciones de estudiantes, inglés de no nativos y ficción, porque un detector probado con un solo tipo de escritura acaba con cifras que se derrumban fuera del laboratorio.

Dos partes existen para detectar injusticias: 87 pasajes de literatura publicados entre 1532 y 1915, donde cualquier puntuación alta es un error por definición, y redacciones de personas que escriben en inglés como segunda lengua, a quienes los detectores acusan injustamente con más frecuencia. Cada cifra principal se mide en tipos de texto con los que el modelo no se ajustó, y los resultados están publicados en el repositorio, fallos incluidos.

Dónde deja de funcionar la detección

Los textos cortos no son fiables, en ningún detector. Por debajo de unas 80 palabras la puntuación oscila solo por la elección de palabras, y se estabiliza a partir de unas 200. Si un tuit recibe una respuesta muy segura, desconfía de la respuesta.

El texto de IA ligeramente editado es el caso difícil. Cada pasada de reescritura humana borra huellas de la máquina, y no hay un punto a partir del cual editar deje de importar. El código fuente queda fuera: los motores están entrenados con lenguaje natural y no detectan con fiabilidad código escrito por IA, así que SlopTotal no lo afirma.

Una puntuación es una prueba, no un veredicto. Usa las 23 puntuaciones para decidir dónde mirar y qué preguntar, y luego pregunta. Ningún resultado de un detector debería decidir por sí solo una nota, una contratación o una publicación.