Detector de publicaciones en redes

Qué buscamos en publicaciones en redes

Clasificadores entrenados en salida de any LLM, más perplexity y frases formulaicas.

Fragmentos cortos distorsionan la puntuación. Mejor 150+ palabras.

Contexto

Para: Community managers que vigilan la calidad del feed. Motores orientados a any LLM más pruebas estadísticas.

Nota editorial

Sin cookies de analítica. Informes borrados a los 30 días.

Consejo: textos cortos (<80 palabras) oscilan mucho. Artículos de 200+ palabras se estabilizan.

Cómo llegan a un veredicto los 23 motores

SlopTotal no consulta la opinión de un solo modelo. Ejecuta 23 detectores independientes y muestra las 23 filas, porque lo interesante suele estar en el desacuerdo. Nueve son clasificadores neuronales ajustados para separar texto humano de texto automático, entre ellos DeBERTa-v3-large, tres variantes de RoBERTa y un BERT-tiny de 4,4 millones de parámetros que responde en milisegundos. Siete son pruebas estadísticas que no requieren entrenar ningún detector: miden lo predecible que resulta tu texto para GPT-2 Medium mediante perplejidad, distribución de rangos de token, log-rank y razones de entropía cruzada entre dos modelos distintos. Los siete restantes leen la prosa en sí: contracciones, uso de guiones largos, varianza en la longitud de las frases, matizaciones y arranques de manual.

La puntuación final no es un promedio. Promediar permite que un único motor seguro de sí mismo arrastre el resultado, y los detectores fallan de forma correlacionada: los clasificadores neuronales se entrenaron con datos parecidos, así que cuando se equivocan tienden a equivocarse juntos. El cálculo se ancla en los clasificadores que en nuestra propia evaluación resultaron precisos y sin sesgo, los combina con el conjunto ponderado completo y trata la coincidencia entre familias independientes como la verdadera señal de confianza.

Cada peso proviene de una medición, no de una intuición. La contribución de cada detector es proporcional a lo bien que separó texto humano conocido de texto automático conocido en las pruebas, y se reduce si mostró sesgo contra algún tipo de escritura. Los detectores entrenados con el mismo banco de pruebas que usamos se atenúan, porque un modelo evaluado sobre su propia distribución de entrenamiento siempre se favorece.

Probado con dos corpus, no con uno

Las afirmaciones sobre precisión valen poco si no se dice qué se probó. SlopTotal se evalúa con texto automático de seis familias de modelos — GPT-4, ChatGPT, Llama, Mistral, Cohere y GPT-3 — en cuatro tipos de escritura: periodismo, prosa literaria, poesía y resúmenes académicos. Medir un solo dominio es la vía rápida a cifras impresionantes que se derrumban en la práctica: encontramos un motor propio que puntuaba casi a la perfección en resúmenes y funcionaba justo al revés en todo lo demás.

El segundo corpus es el que casi ningún detector usa. Es prosa publicada entre 1532 y 1915 — Maquiavelo, Austen, Melville, Kafka — donde una puntuación alta solo puede ser un error, porque el texto es anterior a los modelos de lenguaje por más de un siglo. Cualquier detector que penalice en silencio la escritura antigua o más formal queda al descubierto con ese conjunto, y varios de los nuestros quedaron. Los resultados están publicados en el repositorio, incluidos los fallos.

Dónde deja de funcionar la detección

Los textos cortos no son fiables y ningún detector honesto dirá lo contrario. Por debajo de unas 80 palabras la puntuación oscila según la elección de una sola palabra; los resultados se estabilizan a partir de unas 200. Si pegas un tuit y obtienes una respuesta rotunda, desconfía de la respuesta antes que del tuit.

La IA editada a mano es el caso difícil. Un texto reescrito frase a frase por una persona pierde huellas automáticas en cada pasada, y no existe un umbral a partir del cual editar deje de importar. El código fuente es una carencia real: estos motores se entrenaron con lenguaje natural y, en nuestras pruebas, ni acusan en falso al código humano ni detectan de forma fiable el código automático, así que no afirmamos que puedan.

Una puntuación es una prueba, no un veredicto. Usa las 23 filas para decidir dónde mirar y qué preguntar, y pregunta. Ningún resultado de un detector debería decidir por sí solo una nota, una contratación o una publicación, y cualquier herramienta que te invite a hacerlo vende una certeza que no tiene.