Burstiness

docker run -p 8000:8000 -v sloptotal-models:/app/models ghcr.io/pablocaeg/sloptotal

curl -s -X POST http://localhost:8000/api/analyze \
  -H "Content-Type: application/json" \
  -d '{"text": "Paste at least 50 characters of text here..."}' \
  | jq '.engine_results[] | select(.engine_name == "Burstiness")'

O que Burstiness mediu

No SlopBench (1.626 textos humanos escritos antes do ChatGPT e 1.626 textos de IA de 14 modelos atuais, em 15 tipos de escrita), o Burstiness chegou a um AUC de 0.589. Deu em média 0.291 ao texto de máquina e 0.208 ao texto humano moderno. O AUC é a probabilidade de ele colocar um trecho de IA qualquer acima de um humano qualquer: 1,0 é separação perfeita e 0,5 é cara ou coroa.

Uma parte testa a falha que mais importa: 87 trechos publicados entre 1532 e 1915 (Maquiavel, Austen, Melville, Kafka), em que qualquer pontuação alta é um erro por definição, porque os textos são um século ou mais anteriores aos modelos de linguagem. O Burstiness deu a eles 0.284. São 0.076 acima da pontuação dele em escrita humana atual, o tipo de diferença que faz uma prosa antiga ou formal parecer escrita por máquina.

O papel dele na pontuação

Burstiness é uma linha da tabela de 23 motores, ao lado de classificadores neurais, testes estatísticos baseados em modelos GPT-2 e verificações da própria escrita. Nenhum motor decide o veredito sozinho.

A pontuação geral vem de um modelo logístico ajustado no SlopBench, que pondera cada motor pelo que ele acrescenta quando os outros já são conhecidos. Detectores que erram juntos, como classificadores treinados com dados parecidos, não contam duas vezes.

Como os 23 motores chegam a uma pontuação

O SlopTotal não pede a opinião de um único modelo. Ele roda 23 detectores independentes e mostra as 23 pontuações, porque a informação útil costuma estar na discordância. Nove são classificadores neurais treinados para separar texto humano de texto gerado, entre eles DeBERTa-v3-large, RoBERTa-large e um BERT-tiny de 4,4 milhões de parâmetros. Sete são testes estatísticos que não precisam de treinamento: medem o quanto o texto é previsível para modelos GPT-2, com perplexidade, posição dos tokens, log-rank e a entropia cruzada entre dois modelos. Os outros sete leem a própria escrita: a variação no tamanho das frases, o vocabulário, a estrutura, as ressalvas e as fórmulas prontas que os modelos de IA repetem.

A pontuação geral não é uma média. Um modelo logístico ajustado no SlopBench pondera cada motor pelo que ele acrescenta quando os outros já são conhecidos, então motores que erram do mesmo jeito não contam duas vezes. Textos muito curtos são puxados para o meio, porque poucas palavras não trazem muita evidência.

As faixas do veredito são definidas com escrita humana: em 45 começam os 5% de textos humanos com pontuação mais alta, em 55 os 2% e em 80 os 0,5%. Portanto, uma pontuação de 55 ou mais significa que menos de 2 em cada 100 textos humanos chegam a esse nível. Os outros idiomas têm o próprio ajuste, e cada idioma aparece como compatível, experimental ou ainda não confiável.

Medido em 3.252 textos

Um número de precisão diz pouco se não se sabe em que ele foi medido. O SlopTotal é medido no SlopBench, um benchmark aberto com 1.626 textos humanos, todos escritos antes de o ChatGPT existir, e 1.626 textos de IA sobre os mesmos temas e com o mesmo tamanho, de 14 modelos atuais (entre eles GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma e GLM). Ele abrange notícias, enciclopédias, resumos científicos, respostas de fóruns de perguntas, posts do Reddit, avaliações, redações de estudantes, inglês de não nativos e ficção, porque um detector testado com um só tipo de texto acaba com números que desabam no mundo real.

Duas partes existem para pegar injustiças: 87 trechos de literatura publicados entre 1532 e 1915, em que qualquer pontuação alta é um erro por definição, e redações de pessoas que escrevem em inglês como segunda língua, as que os detectores mais acusam injustamente. Cada número principal é medido em tipos de texto nos quais o modelo não foi ajustado, e os resultados estão publicados no repositório, com as falhas.

Onde a detecção deixa de funcionar

Textos curtos não são confiáveis, em nenhum detector. Abaixo de umas 80 palavras a pontuação oscila só pela escolha das palavras, e se estabiliza a partir de umas 200. Se um tuíte recebe uma resposta muito segura, desconfie da resposta.

Texto de IA levemente editado é o caso difícil. Cada rodada de reescrita humana apaga marcas da máquina, e não existe um ponto a partir do qual editar deixa de importar. Código-fonte fica de fora: os motores são treinados com linguagem natural e não detectam com confiança código escrito por IA, então o SlopTotal não afirma isso.

Uma pontuação é uma evidência, não um veredito. Use as 23 pontuações para decidir onde olhar e o que perguntar, e então pergunte. Nenhum resultado de detector deveria decidir sozinho uma nota, uma contratação ou uma publicação.