Rilevamento dell’IA per articoli di cronaca

Perché un solo punteggio non basta

La scrittura formale, l’inglese di chi non è madrelingua e il gergo tecnico ingannano i singoli rilevatori. Con 23 motori vedi se un punteggio alto viene da un solo tipo di rilevatore o da tutti.

Salva il link del report insieme ai tuoi appunti. I report restano disponibili per 30 giorni, poi vengono cancellati.

Un metodo che regge

Incolla il testo, carica il documento o indica la pagina. Aspetta che tutti i motori abbiano finito. Considera 55 o più un motivo per guardare meglio, non una prova.

Non penalizzare mai nessuno solo per il punteggio. Usa la tabella dei motori per avviare la conversazione con chi ha scritto il testo.

Come i 23 motori arrivano a un punteggio

SlopTotal non chiede il parere di un solo modello. Fa girare 23 rilevatori indipendenti e mostra tutti i 23 punteggi, perché l’informazione utile spesso sta nel disaccordo. Nove sono classificatori neurali addestrati a distinguere il testo umano da quello generato, tra cui DeBERTa-v3-large, RoBERTa-large e un BERT-tiny da 4,4 milioni di parametri. Sette sono test statistici che non richiedono addestramento: misurano quanto il testo è prevedibile per i modelli GPT-2, con perplessità, rango dei token, log-rank e l’entropia incrociata tra due modelli. Gli altri sette leggono la prosa stessa: la variazione nella lunghezza delle frasi, il lessico, la struttura, le attenuazioni e le formule fatte che i modelli di IA ripetono.

Il punteggio complessivo non è una media. Un modello logistico adattato su SlopBench pesa ogni motore in base a ciò che aggiunge quando gli altri sono già noti, così i motori che sbagliano allo stesso modo non contano due volte. I testi molto brevi vengono avvicinati al centro, perché poche parole non portano molte prove.

Le fasce del verdetto sono fissate sulla scrittura umana: a 45 inizia il 5% dei testi umani con il punteggio più alto, a 55 il 2% e a 80 lo 0,5%. Un punteggio di 55 o più significa quindi che meno di 2 testi umani su 100 arrivano così in alto. Le altre lingue hanno un proprio modello, e ogni lingua è indicata come supportata, sperimentale o non ancora affidabile.

Misurato su 3.252 testi

Un dato di accuratezza dice poco se non si sa su cosa è stato misurato. SlopTotal è misurato su SlopBench, un benchmark aperto di 1.626 testi umani, tutti scritti prima che esistesse ChatGPT, e 1.626 testi di IA sugli stessi argomenti e della stessa lunghezza, da 14 modelli attuali (tra cui GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma e GLM). Copre notizie, enciclopedie, abstract scientifici, risposte di forum, post di Reddit, recensioni, temi di studenti, inglese di non madrelingua e narrativa, perché un rilevatore provato su un solo tipo di scrittura finisce con numeri che crollano nel mondo reale.

Due parti servono a scoprire le ingiustizie: 87 brani di letteratura pubblicati tra il 1532 e il 1915, dove qualsiasi punteggio alto è per definizione un errore, e temi di persone che scrivono in inglese come seconda lingua, quelle che i rilevatori accusano a torto più spesso. Ogni dato principale è misurato su tipi di scrittura su cui il modello non è stato tarato, e i risultati sono pubblicati nel repository, fallimenti compresi.

Dove il rilevamento smette di funzionare

I testi brevi non sono affidabili, con nessun rilevatore. Sotto le 80 parole circa il punteggio oscilla per la sola scelta delle parole, e si stabilizza da circa 200 in su. Se un tweet riceve una risposta molto sicura, diffida della risposta.

Il testo di IA appena ritoccato è il caso difficile. Ogni passaggio di riscrittura umana cancella tracce della macchina, e non c’è una soglia oltre la quale ritoccare smetta di contare. Il codice sorgente resta fuori: i motori sono addestrati sul linguaggio naturale e non rilevano in modo affidabile il codice scritto dall’IA, quindi SlopTotal non lo dichiara.

Un punteggio è un indizio, non un verdetto. Usa i 23 punteggi per decidere dove guardare e cosa chiedere, poi chiedi. Nessun risultato di un rilevatore dovrebbe decidere da solo un voto, un’assunzione o una pubblicazione.