Gli umanizzatori di IA funzionano?

Cosa cercano i motori

Classificatori addestrati su testi di qualsiasi LLM, test statistici che misurano quanto è prevedibile ogni parola e controlli sulla struttura e sulle formule che i modelli di IA ripetono.

I testi brevi danno segnali deboli. Usa almeno 80 parole, e 200 o più quando puoi.

Come leggere il risultato

Il punteggio va da 0 a 100. Da 55 in su, meno di 2 testi umani su 100 arrivano a quel punteggio; da 80 in su, meno di 1 su 200.

Guarda anche la tabella dei motori. Quando quasi tutti concordano, il punteggio è un indizio forte. Quando si dividono, il testo è spesso scritto con l’aiuto dell’IA o molto rivisto, e merita una lettura umana più attenta.

Contesto

Un umanizzatore riscrive un testo IA finché il rilevatore smette di segnalarlo. Nel nostro test, un ciclo che riscriveva finché il punteggio di SlopTotal scendeva sotto 30 ha fatto passare 19 testi IA su 20, ma soprattutto aggiungendo dettagli e affermazioni che nell’originale non c’erano. Scartate le riscritture che aggiungevano fatti o cambiavano il senso, ne sono passati 4 su 20, e nessun tema di studenti. Un testo che sembra umano solo perché ora dice cose che il suo autore non ha mai scritto ha un problema più grande del suo punteggio.

Come i 23 motori arrivano a un punteggio

SlopTotal non chiede il parere di un solo modello. Fa girare 23 rilevatori indipendenti e mostra tutti i 23 punteggi, perché l’informazione utile spesso sta nel disaccordo. Nove sono classificatori neurali addestrati a distinguere il testo umano da quello generato, tra cui DeBERTa-v3-large, RoBERTa-large e un BERT-tiny da 4,4 milioni di parametri. Sette sono test statistici che non richiedono addestramento: misurano quanto il testo è prevedibile per i modelli GPT-2, con perplessità, rango dei token, log-rank e l’entropia incrociata tra due modelli. Gli altri sette leggono la prosa stessa: la variazione nella lunghezza delle frasi, il lessico, la struttura, le attenuazioni e le formule fatte che i modelli di IA ripetono.

Il punteggio complessivo non è una media. Un modello logistico adattato su SlopBench pesa ogni motore in base a ciò che aggiunge quando gli altri sono già noti, così i motori che sbagliano allo stesso modo non contano due volte. I testi molto brevi vengono avvicinati al centro, perché poche parole non portano molte prove.

Le fasce del verdetto sono fissate sulla scrittura umana: a 45 inizia il 5% dei testi umani con il punteggio più alto, a 55 il 2% e a 80 lo 0,5%. Un punteggio di 55 o più significa quindi che meno di 2 testi umani su 100 arrivano così in alto. Le altre lingue hanno un proprio modello, e ogni lingua è indicata come supportata, sperimentale o non ancora affidabile.

Misurato su 3.252 testi

Un dato di accuratezza dice poco se non si sa su cosa è stato misurato. SlopTotal è misurato su SlopBench, un benchmark aperto di 1.626 testi umani, tutti scritti prima che esistesse ChatGPT, e 1.626 testi di IA sugli stessi argomenti e della stessa lunghezza, da 14 modelli attuali (tra cui GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma e GLM). Copre notizie, enciclopedie, abstract scientifici, risposte di forum, post di Reddit, recensioni, temi di studenti, inglese di non madrelingua e narrativa, perché un rilevatore provato su un solo tipo di scrittura finisce con numeri che crollano nel mondo reale.

Due parti servono a scoprire le ingiustizie: 87 brani di letteratura pubblicati tra il 1532 e il 1915, dove qualsiasi punteggio alto è per definizione un errore, e temi di persone che scrivono in inglese come seconda lingua, quelle che i rilevatori accusano a torto più spesso. Ogni dato principale è misurato su tipi di scrittura su cui il modello non è stato tarato, e i risultati sono pubblicati nel repository, fallimenti compresi.

Dove il rilevamento smette di funzionare

I testi brevi non sono affidabili, con nessun rilevatore. Sotto le 80 parole circa il punteggio oscilla per la sola scelta delle parole, e si stabilizza da circa 200 in su. Se un tweet riceve una risposta molto sicura, diffida della risposta.

Il testo di IA appena ritoccato è il caso difficile. Ogni passaggio di riscrittura umana cancella tracce della macchina, e non c’è una soglia oltre la quale ritoccare smetta di contare. Il codice sorgente resta fuori: i motori sono addestrati sul linguaggio naturale e non rilevano in modo affidabile il codice scritto dall’IA, quindi SlopTotal non lo dichiara.

Un punteggio è un indizio, non un verdetto. Usa i 23 punteggi per decidere dove guardare e cosa chiedere, poi chiedi. Nessun risultato di un rilevatore dovrebbe decidere da solo un voto, un’assunzione o una pubblicazione.