Detector de IA em português

Como o português foi medido

Do lado humano, 40 artigos da Wikipédia em português como estavam em 2018, antes de os modelos de linguagem escreverem uma parte relevante dela, e 20 trechos de literatura publicada antes de 1920. Do lado da IA, textos de DeepSeek, GPT-6 Luna, Mistral Small, Llama 4 Maverick e Qwen 3.8 Flash sobre os mesmos temas, escritos em português.

Cada número desta página vem de uma validação cruzada em cinco partes: o modelo que avalia um texto não o viu durante o ajuste. Num teste mais duro, pesos ajustados só com o DeepSeek marcaram 94% dos textos das outras quatro famílias de modelos.

O que a IA usa demais em português

Comparando 40 trechos enciclopédicos escritos por IA com 40 artigos da Wikipédia sobre os mesmos temas, algumas palavras se destacam: “especialmente” em 22% dos textos de IA contra 0% dos artigos; “se tornou” em 22% dos textos de IA contra 2% dos artigos; “posteriormente” em 20% dos textos de IA contra 0% dos artigos; “sobretudo” em 18% dos textos de IA contra 0% dos artigos; “trajetória” em 15% dos textos de IA contra 0% dos artigos.

São tendências dos modelos, não provas. Muita gente usa cada uma dessas palavras, e o SlopTotal não as conta: a nota vem dos motores. A lista está aqui porque é o que um leitor atento percebe primeiro.

Textos curtos

Um texto curto em português é freado. Abaixo de 150 palavras, a nota cai na proporção do pouco texto que há, porque uma ou duas frases não trazem muita evidência para nenhum lado. Em textos cortados para 50 palavras em português, francês, espanhol, alemão e italiano, essa correção levou os textos humanos marcados de 20% para 5%. O custo: com 50 palavras, a IA é marcada em 46% das vezes em vez de 69%.

Português do Brasil e de Portugal

O português humano do teste é o da Wikipédia e da literatura clássica, que mistura o brasileiro e o europeu; os dois não foram medidos separadamente. O texto de IA foi pedido em português sem indicar a variante, e a maioria dos modelos respondeu em português do Brasil. Para TCC, artigos e redações, use o detalhe dos 23 motores para ver se um alerta se apoia em vários métodos ou em um só.

Como os 23 motores chegam a uma pontuação

O SlopTotal não pede a opinião de um único modelo. Ele roda 23 detectores independentes e mostra as 23 pontuações, porque a informação útil costuma estar na discordância. Nove são classificadores neurais treinados para separar texto humano de texto gerado, entre eles DeBERTa-v3-large, RoBERTa-large e um BERT-tiny de 4,4 milhões de parâmetros. Sete são testes estatísticos que não precisam de treinamento: medem o quanto o texto é previsível para modelos GPT-2, com perplexidade, posição dos tokens, log-rank e a entropia cruzada entre dois modelos. Os outros sete leem a própria escrita: a variação no tamanho das frases, o vocabulário, a estrutura, as ressalvas e as fórmulas prontas que os modelos de IA repetem.

A pontuação geral não é uma média. Um modelo logístico ajustado no SlopBench pondera cada motor pelo que ele acrescenta quando os outros já são conhecidos, então motores que erram do mesmo jeito não contam duas vezes. Textos muito curtos são puxados para o meio, porque poucas palavras não trazem muita evidência.

As faixas do veredito são definidas com escrita humana: em 45 começam os 5% de textos humanos com pontuação mais alta, em 55 os 2% e em 80 os 0,5%. Portanto, uma pontuação de 55 ou mais significa que menos de 2 em cada 100 textos humanos chegam a esse nível. Os outros idiomas têm o próprio ajuste, e cada idioma aparece como compatível, experimental ou ainda não confiável.

Medido em 3.252 textos

Um número de precisão diz pouco se não se sabe em que ele foi medido. O SlopTotal é medido no SlopBench, um benchmark aberto com 1.626 textos humanos, todos escritos antes de o ChatGPT existir, e 1.626 textos de IA sobre os mesmos temas e com o mesmo tamanho, de 14 modelos atuais (entre eles GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma e GLM). Ele abrange notícias, enciclopédias, resumos científicos, respostas de fóruns de perguntas, posts do Reddit, avaliações, redações de estudantes, inglês de não nativos e ficção, porque um detector testado com um só tipo de texto acaba com números que desabam no mundo real.

Duas partes existem para pegar injustiças: 87 trechos de literatura publicados entre 1532 e 1915, em que qualquer pontuação alta é um erro por definição, e redações de pessoas que escrevem em inglês como segunda língua, as que os detectores mais acusam injustamente. Cada número principal é medido em tipos de texto nos quais o modelo não foi ajustado, e os resultados estão publicados no repositório, com as falhas.

Onde a detecção deixa de funcionar

Textos curtos não são confiáveis, em nenhum detector. Abaixo de umas 80 palavras a pontuação oscila só pela escolha das palavras, e se estabiliza a partir de umas 200. Se um tuíte recebe uma resposta muito segura, desconfie da resposta.

Texto de IA levemente editado é o caso difícil. Cada rodada de reescrita humana apaga marcas da máquina, e não existe um ponto a partir do qual editar deixa de importar. Código-fonte fica de fora: os motores são treinados com linguagem natural e não detectam com confiança código escrito por IA, então o SlopTotal não afirma isso.

Uma pontuação é uma evidência, não um veredito. Use as 23 pontuações para decidir onde olhar e o que perguntar, e então pergunte. Nenhum resultado de detector deveria decidir sozinho uma nota, uma contratação ou uma publicação.