SuperAnnotate

Qué midió SuperAnnotate

Frente a 110 muestras de prensa, prosa literaria, poesía y resúmenes académicos — texto automático de GPT-4, ChatGPT, Llama, Mistral, Cohere y GPT-3 — SuperAnnotate alcanzó un AUC de 0.989. Puntuó el texto automático con 0.999 de media y el texto humano moderno con 0.206. El AUC es la probabilidad de que ordene un pasaje de IA por encima de uno humano al azar: 1,0 es separación perfecta y 0,5 es echarlo a suertes.

Un segundo corpus prueba el fallo que más importa. Son 26 pasajes publicados entre 1532 y 1915 — Maquiavelo, Austen, Melville, Kafka — donde cualquier puntuación alta es un error por construcción, porque la escritura precede a los modelos de lenguaje en más de un siglo. SuperAnnotate los puntuó con 0.002. Eso queda 0.204 por debajo de su puntuación en escritura humana moderna, así que la prosa arcaica no lo activa.

Cómo decide

SuperAnnotate aporta una fila de las 23, junto a clasificadores neuronales, pruebas estadísticas basadas en GPT-2 y heurísticas lingüísticas. Ningún motor fija el veredicto por sí solo. Los pesos salen de la medición: la parte de cada detector es proporcional a lo bien que separó texto humano conocido de texto automático conocido, y se reduce si mostró sesgo contra algún tipo de escritura.

Esto importa porque los detectores fallan de forma correlacionada. Los clasificadores neuronales se entrenaron con datos solapados, así que cuando se equivocan tienden a equivocarse juntos, y promediar deja que un motor seguro de sí mismo arrastre el resultado. La coincidencia entre familias independientes es la señal en la que merece la pena confiar.

Cómo llegan a un veredicto los 23 motores

SlopTotal no consulta la opinión de un solo modelo. Ejecuta 23 detectores independientes y muestra las 23 filas, porque lo interesante suele estar en el desacuerdo. Nueve son clasificadores neuronales ajustados para separar texto humano de texto automático, entre ellos DeBERTa-v3-large, tres variantes de RoBERTa y un BERT-tiny de 4,4 millones de parámetros que responde en milisegundos. Siete son pruebas estadísticas que no requieren entrenar ningún detector: miden lo predecible que resulta tu texto para GPT-2 Medium mediante perplejidad, distribución de rangos de token, log-rank y razones de entropía cruzada entre dos modelos distintos. Los siete restantes leen la prosa en sí: contracciones, uso de guiones largos, varianza en la longitud de las frases, matizaciones y arranques de manual.

La puntuación final no es un promedio. Promediar permite que un único motor seguro de sí mismo arrastre el resultado, y los detectores fallan de forma correlacionada: los clasificadores neuronales se entrenaron con datos parecidos, así que cuando se equivocan tienden a equivocarse juntos. El cálculo se ancla en los clasificadores que en nuestra propia evaluación resultaron precisos y sin sesgo, los combina con el conjunto ponderado completo y trata la coincidencia entre familias independientes como la verdadera señal de confianza.

Cada peso proviene de una medición, no de una intuición. La contribución de cada detector es proporcional a lo bien que separó texto humano conocido de texto automático conocido en las pruebas, y se reduce si mostró sesgo contra algún tipo de escritura. Los detectores entrenados con el mismo banco de pruebas que usamos se atenúan, porque un modelo evaluado sobre su propia distribución de entrenamiento siempre se favorece.

Probado con dos corpus, no con uno

Las afirmaciones sobre precisión valen poco si no se dice qué se probó. SlopTotal se evalúa con texto automático de seis familias de modelos — GPT-4, ChatGPT, Llama, Mistral, Cohere y GPT-3 — en cuatro tipos de escritura: periodismo, prosa literaria, poesía y resúmenes académicos. Medir un solo dominio es la vía rápida a cifras impresionantes que se derrumban en la práctica: encontramos un motor propio que puntuaba casi a la perfección en resúmenes y funcionaba justo al revés en todo lo demás.

El segundo corpus es el que casi ningún detector usa. Es prosa publicada entre 1532 y 1915 — Maquiavelo, Austen, Melville, Kafka — donde una puntuación alta solo puede ser un error, porque el texto es anterior a los modelos de lenguaje por más de un siglo. Cualquier detector que penalice en silencio la escritura antigua o más formal queda al descubierto con ese conjunto, y varios de los nuestros quedaron. Los resultados están publicados en el repositorio, incluidos los fallos.

Dónde deja de funcionar la detección

Los textos cortos no son fiables y ningún detector honesto dirá lo contrario. Por debajo de unas 80 palabras la puntuación oscila según la elección de una sola palabra; los resultados se estabilizan a partir de unas 200. Si pegas un tuit y obtienes una respuesta rotunda, desconfía de la respuesta antes que del tuit.

La IA editada a mano es el caso difícil. Un texto reescrito frase a frase por una persona pierde huellas automáticas en cada pasada, y no existe un umbral a partir del cual editar deje de importar. El código fuente es una carencia real: estos motores se entrenaron con lenguaje natural y, en nuestras pruebas, ni acusan en falso al código humano ni detectan de forma fiable el código automático, así que no afirmamos que puedan.

Una puntuación es una prueba, no un veredicto. Usa las 23 filas para decidir dónde mirar y qué preguntar, y pregunta. Ningún resultado de un detector debería decidir por sí solo una nota, una contratación o una publicación, y cualquier herramienta que te invite a hacerlo vende una certeza que no tiene.