Precisão dos detectores de IA, medida

O que os motores procuram

Classificadores treinados com textos de qualquer LLM, testes estatísticos que medem o quanto cada palavra é previsível e verificações da estrutura e das fórmulas que os modelos de IA repetem.

Textos curtos dão sinais fracos. Use pelo menos 80 palavras, e 200 ou mais quando puder.

Como ler o resultado

A pontuação vai de 0 a 100. A partir de 55, menos de 2 em cada 100 textos humanos chegam a essa pontuação; a partir de 80, menos de 1 em cada 200.

Olhe também a tabela de motores. Quando quase todos concordam, a pontuação é uma evidência forte. Quando se dividem, o texto costuma ter sido feito com ajuda de IA ou muito editado, e merece uma leitura humana mais atenta.

Contexto

A maioria das ferramentas dá um número de precisão sem dizer em que foi medido. O nosso é medido no SlopBench: 1.626 textos humanos e 1.626 textos de IA de 14 modelos atuais em 15 tipos de escrita, cada número em textos nos quais o modelo não foi ajustado. O AUC é 0,942. Na linha de "Provavelmente IA", 67% dos textos de IA são detectados e 1,7% dos textos humanos são acusados por engano, porque essa linha fica onde começa o 1º grupo de 2% dos textos humanos com pontuação mais alta. Um detector que anuncia 99% sem dizer em quê está citando o próprio conjunto de treino.

Como os 23 motores chegam a uma pontuação

O SlopTotal não pede a opinião de um único modelo. Ele roda 23 detectores independentes e mostra as 23 pontuações, porque a informação útil costuma estar na discordância. Nove são classificadores neurais treinados para separar texto humano de texto gerado, entre eles DeBERTa-v3-large, RoBERTa-large e um BERT-tiny de 4,4 milhões de parâmetros. Sete são testes estatísticos que não precisam de treinamento: medem o quanto o texto é previsível para modelos GPT-2, com perplexidade, posição dos tokens, log-rank e a entropia cruzada entre dois modelos. Os outros sete leem a própria escrita: a variação no tamanho das frases, o vocabulário, a estrutura, as ressalvas e as fórmulas prontas que os modelos de IA repetem.

A pontuação geral não é uma média. Um modelo logístico ajustado no SlopBench pondera cada motor pelo que ele acrescenta quando os outros já são conhecidos, então motores que erram do mesmo jeito não contam duas vezes. Textos muito curtos são puxados para o meio, porque poucas palavras não trazem muita evidência.

As faixas do veredito são definidas com escrita humana: em 45 começam os 5% de textos humanos com pontuação mais alta, em 55 os 2% e em 80 os 0,5%. Portanto, uma pontuação de 55 ou mais significa que menos de 2 em cada 100 textos humanos chegam a esse nível. Os outros idiomas têm o próprio ajuste, e cada idioma aparece como compatível, experimental ou ainda não confiável.

Medido em 3.252 textos

Um número de precisão diz pouco se não se sabe em que ele foi medido. O SlopTotal é medido no SlopBench, um benchmark aberto com 1.626 textos humanos, todos escritos antes de o ChatGPT existir, e 1.626 textos de IA sobre os mesmos temas e com o mesmo tamanho, de 14 modelos atuais (entre eles GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma e GLM). Ele abrange notícias, enciclopédias, resumos científicos, respostas de fóruns de perguntas, posts do Reddit, avaliações, redações de estudantes, inglês de não nativos e ficção, porque um detector testado com um só tipo de texto acaba com números que desabam no mundo real.

Duas partes existem para pegar injustiças: 87 trechos de literatura publicados entre 1532 e 1915, em que qualquer pontuação alta é um erro por definição, e redações de pessoas que escrevem em inglês como segunda língua, as que os detectores mais acusam injustamente. Cada número principal é medido em tipos de texto nos quais o modelo não foi ajustado, e os resultados estão publicados no repositório, com as falhas.

Onde a detecção deixa de funcionar

Textos curtos não são confiáveis, em nenhum detector. Abaixo de umas 80 palavras a pontuação oscila só pela escolha das palavras, e se estabiliza a partir de umas 200. Se um tuíte recebe uma resposta muito segura, desconfie da resposta.

Texto de IA levemente editado é o caso difícil. Cada rodada de reescrita humana apaga marcas da máquina, e não existe um ponto a partir do qual editar deixa de importar. Código-fonte fica de fora: os motores são treinados com linguagem natural e não detectam com confiança código escrito por IA, então o SlopTotal não afirma isso.

Uma pontuação é uma evidência, não um veredito. Use as 23 pontuações para decidir onde olhar e o que perguntar, e então pergunte. Nenhum resultado de detector deveria decidir sozinho uma nota, uma contratação ou uma publicação.