Benchmark de detectores de IA

git clone https://github.com/pablocaeg/sloptotal.git
cd sloptotal/tests/eval/slopbench
SLOPTOTAL_URL=http://127.0.0.1:8000 python score.py results.jsonl
python analyze.py results.jsonl

O que os motores procuram

Classificadores treinados com textos de qualquer LLM, testes estatísticos que medem o quanto cada palavra é previsível e verificações da estrutura e das fórmulas que os modelos de IA repetem.

Textos curtos dão sinais fracos. Use pelo menos 80 palavras, e 200 ou mais quando puder.

Como ler o resultado

A pontuação vai de 0 a 100. A partir de 55, menos de 2 em cada 100 textos humanos chegam a essa pontuação; a partir de 80, menos de 1 em cada 200.

Olhe também a tabela de motores. Quando quase todos concordam, a pontuação é uma evidência forte. Quando se dividem, o texto costuma ter sido feito com ajuda de IA ou muito editado, e merece uma leitura humana mais atenta.

Contexto

Os números e o código que os produziu são públicos. No SlopBench, o conjunto calibrado chega a um AUC de 0,942 e chama de "Provavelmente IA" 67% dos textos de IA e 1,7% dos textos humanos. Os números de cada motor também são publicados, inclusive os incômodos: classificadores quase perfeitos no benchmark RAID caem para um AUC de 0,75 com modelos atuais, e os testes de perplexidade do GPT-2 para cerca de 0,64.

Como os 23 motores chegam a uma pontuação

O SlopTotal não pede a opinião de um único modelo. Ele roda 23 detectores independentes e mostra as 23 pontuações, porque a informação útil costuma estar na discordância. Nove são classificadores neurais treinados para separar texto humano de texto gerado, entre eles DeBERTa-v3-large, RoBERTa-large e um BERT-tiny de 4,4 milhões de parâmetros. Sete são testes estatísticos que não precisam de treinamento: medem o quanto o texto é previsível para modelos GPT-2, com perplexidade, posição dos tokens, log-rank e a entropia cruzada entre dois modelos. Os outros sete leem a própria escrita: a variação no tamanho das frases, o vocabulário, a estrutura, as ressalvas e as fórmulas prontas que os modelos de IA repetem.

A pontuação geral não é uma média. Um modelo logístico ajustado no SlopBench pondera cada motor pelo que ele acrescenta quando os outros já são conhecidos, então motores que erram do mesmo jeito não contam duas vezes. Textos muito curtos são puxados para o meio, porque poucas palavras não trazem muita evidência.

As faixas do veredito são definidas com escrita humana: em 45 começam os 5% de textos humanos com pontuação mais alta, em 55 os 2% e em 80 os 0,5%. Portanto, uma pontuação de 55 ou mais significa que menos de 2 em cada 100 textos humanos chegam a esse nível. Os outros idiomas têm o próprio ajuste, e cada idioma aparece como compatível, experimental ou ainda não confiável.

Medido em 3.252 textos

Um número de precisão diz pouco se não se sabe em que ele foi medido. O SlopTotal é medido no SlopBench, um benchmark aberto com 1.626 textos humanos, todos escritos antes de o ChatGPT existir, e 1.626 textos de IA sobre os mesmos temas e com o mesmo tamanho, de 14 modelos atuais (entre eles GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma e GLM). Ele abrange notícias, enciclopédias, resumos científicos, respostas de fóruns de perguntas, posts do Reddit, avaliações, redações de estudantes, inglês de não nativos e ficção, porque um detector testado com um só tipo de texto acaba com números que desabam no mundo real.

Duas partes existem para pegar injustiças: 87 trechos de literatura publicados entre 1532 e 1915, em que qualquer pontuação alta é um erro por definição, e redações de pessoas que escrevem em inglês como segunda língua, as que os detectores mais acusam injustamente. Cada número principal é medido em tipos de texto nos quais o modelo não foi ajustado, e os resultados estão publicados no repositório, com as falhas.

Onde a detecção deixa de funcionar

Textos curtos não são confiáveis, em nenhum detector. Abaixo de umas 80 palavras a pontuação oscila só pela escolha das palavras, e se estabiliza a partir de umas 200. Se um tuíte recebe uma resposta muito segura, desconfie da resposta.

Texto de IA levemente editado é o caso difícil. Cada rodada de reescrita humana apaga marcas da máquina, e não existe um ponto a partir do qual editar deixa de importar. Código-fonte fica de fora: os motores são treinados com linguagem natural e não detectam com confiança código escrito por IA, então o SlopTotal não afirma isso.

Uma pontuação é uma evidência, não um veredito. Use as 23 pontuações para decidir onde olhar e o que perguntar, e então pergunte. Nenhum resultado de detector deveria decidir sozinho uma nota, uma contratação ou uma publicação.