Rilevatore AI per testi in italiano

Come è stato misurato l'italiano

Dal lato umano, 40 voci di Wikipedia in italiano com'erano nel 2018, prima che i modelli linguistici vi scrivessero in misura apprezzabile, e 20 brani di letteratura pubblicata prima del 1920. Dal lato dell'IA, testi di DeepSeek, GPT-6 Luna, Mistral Small, Llama 4 Maverick e Qwen 3.8 Flash sugli stessi argomenti, scritti in italiano, più 20 testi di un Llama 2 adattato pubblicati con la competizione SemEval 2024.

Ogni numero in questa pagina viene da una validazione incrociata a cinque gruppi: il modello che valuta un testo non lo ha visto durante l'adattamento. In una prova più severa, pesi adattati solo su DeepSeek hanno segnalato l'86% dei testi delle altre quattro famiglie di modelli.

Le parole che l'IA usa troppo in italiano

Confrontando 40 passaggi enciclopedici scritti da un'IA con 40 voci di Wikipedia sugli stessi argomenti, spiccano alcune parole: «tra cui» nel 30% dei testi di IA contro il 2% delle voci; «oltre» nel 22% dei testi di IA contro il 0% delle voci; «di rilievo» nel 20% dei testi di IA contro il 2% delle voci; «inoltre» nel 20% dei testi di IA contro il 2% delle voci; «caratterizzato» nel 18% dei testi di IA contro il 0% delle voci.

Sono tendenze dei modelli, non prove. Molte persone usano ognuna di queste parole, e SlopTotal non le conta: il punteggio viene dai motori. La lista è qui perché è la prima cosa che nota un lettore attento.

Testi brevi

Un testo breve in italiano viene frenato. Sotto le 150 parole il punteggio scende in proporzione a quanto poco testo c'è, perché una o due frasi non dicono molto né in un senso né nell'altro. Su testi tagliati a 50 parole in italiano, francese, spagnolo, tedesco e portoghese, questa correzione ha portato i testi umani segnalati dal 20% al 5%. Il prezzo: a 50 parole l'IA viene segnalata il 46% delle volte invece del 69%.

Il salto dell'italiano

L'italiano è la lingua che è cambiata di più con la calibrazione per lingua: prima, SlopTotal segnalava l'11% dei testi di IA in italiano, perché i motori pensati per l'inglese leggevano l'italiano come uniformemente strano. Ora ne segnala l'89%, con il 7% dei testi umani sopra 45. Se l'ateneo usa un altro strumento per tesi e elaborati, il dettaglio dei 23 motori aiuta a capire da dove nasce una segnalazione.

Come i 23 motori arrivano a un punteggio

SlopTotal non chiede il parere di un solo modello. Fa girare 23 rilevatori indipendenti e mostra tutti i 23 punteggi, perché l’informazione utile spesso sta nel disaccordo. Nove sono classificatori neurali addestrati a distinguere il testo umano da quello generato, tra cui DeBERTa-v3-large, RoBERTa-large e un BERT-tiny da 4,4 milioni di parametri. Sette sono test statistici che non richiedono addestramento: misurano quanto il testo è prevedibile per i modelli GPT-2, con perplessità, rango dei token, log-rank e l’entropia incrociata tra due modelli. Gli altri sette leggono la prosa stessa: la variazione nella lunghezza delle frasi, il lessico, la struttura, le attenuazioni e le formule fatte che i modelli di IA ripetono.

Il punteggio complessivo non è una media. Un modello logistico adattato su SlopBench pesa ogni motore in base a ciò che aggiunge quando gli altri sono già noti, così i motori che sbagliano allo stesso modo non contano due volte. I testi molto brevi vengono avvicinati al centro, perché poche parole non portano molte prove.

Le fasce del verdetto sono fissate sulla scrittura umana: a 45 inizia il 5% dei testi umani con il punteggio più alto, a 55 il 2% e a 80 lo 0,5%. Un punteggio di 55 o più significa quindi che meno di 2 testi umani su 100 arrivano così in alto. Le altre lingue hanno un proprio modello, e ogni lingua è indicata come supportata, sperimentale o non ancora affidabile.

Misurato su 3.252 testi

Un dato di accuratezza dice poco se non si sa su cosa è stato misurato. SlopTotal è misurato su SlopBench, un benchmark aperto di 1.626 testi umani, tutti scritti prima che esistesse ChatGPT, e 1.626 testi di IA sugli stessi argomenti e della stessa lunghezza, da 14 modelli attuali (tra cui GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma e GLM). Copre notizie, enciclopedie, abstract scientifici, risposte di forum, post di Reddit, recensioni, temi di studenti, inglese di non madrelingua e narrativa, perché un rilevatore provato su un solo tipo di scrittura finisce con numeri che crollano nel mondo reale.

Due parti servono a scoprire le ingiustizie: 87 brani di letteratura pubblicati tra il 1532 e il 1915, dove qualsiasi punteggio alto è per definizione un errore, e temi di persone che scrivono in inglese come seconda lingua, quelle che i rilevatori accusano a torto più spesso. Ogni dato principale è misurato su tipi di scrittura su cui il modello non è stato tarato, e i risultati sono pubblicati nel repository, fallimenti compresi.

Dove il rilevamento smette di funzionare

I testi brevi non sono affidabili, con nessun rilevatore. Sotto le 80 parole circa il punteggio oscilla per la sola scelta delle parole, e si stabilizza da circa 200 in su. Se un tweet riceve una risposta molto sicura, diffida della risposta.

Il testo di IA appena ritoccato è il caso difficile. Ogni passaggio di riscrittura umana cancella tracce della macchina, e non c’è una soglia oltre la quale ritoccare smetta di contare. Il codice sorgente resta fuori: i motori sono addestrati sul linguaggio naturale e non rilevano in modo affidabile il codice scritto dall’IA, quindi SlopTotal non lo dichiara.

Un punteggio è un indizio, non un verdetto. Usa i 23 punteggi per decidere dove guardare e cosa chiedere, poi chiedi. Nessun risultato di un rilevatore dovrebbe decidere da solo un voto, un’assunzione o una pubblicazione.