Structural Analysis

Cosa ha misurato Structural Analysis

Su SlopBench (1.626 testi umani scritti prima di ChatGPT e 1.626 testi IA di 14 modelli attuali, in 15 tipi di scrittura), Structural Analysis ha raggiunto un AUC di 0.756. Ha dato in media 0.068 al testo macchina e 0.041 al testo umano moderno. L'AUC è la probabilità che collochi un brano IA qualsiasi sopra uno umano qualsiasi: 1,0 è una separazione perfetta, 0,5 un lancio di moneta.

Una parte mette alla prova l'errore che conta di più: 87 brani pubblicati tra il 1532 e il 1915 (Machiavelli, Austen, Melville, Kafka), dove qualsiasi punteggio alto è per definizione un errore, perché i testi precedono i modelli linguistici di un secolo o più. Structural Analysis ha dato loro 0.055. È in linea con il suo punteggio per la scrittura umana moderna, quindi non mostra una distorsione misurabile verso la prosa antica.

Il suo ruolo nel punteggio

Structural Analysis è una riga della tabella dei 23 motori, accanto a classificatori neurali, test statistici basati su modelli GPT-2 e controlli della prosa stessa. Nessun motore decide da solo il verdetto.

Il punteggio complessivo viene da un modello logistico adattato su SlopBench, che pesa ogni motore in base a ciò che aggiunge quando gli altri sono già noti. I rilevatori che sbagliano insieme, come classificatori addestrati su dati simili, non contano due volte.

Come i 23 motori arrivano a un punteggio

SlopTotal non chiede il parere di un solo modello. Fa girare 23 rilevatori indipendenti e mostra tutti i 23 punteggi, perché l’informazione utile spesso sta nel disaccordo. Nove sono classificatori neurali addestrati a distinguere il testo umano da quello generato, tra cui DeBERTa-v3-large, RoBERTa-large e un BERT-tiny da 4,4 milioni di parametri. Sette sono test statistici che non richiedono addestramento: misurano quanto il testo è prevedibile per i modelli GPT-2, con perplessità, rango dei token, log-rank e l’entropia incrociata tra due modelli. Gli altri sette leggono la prosa stessa: la variazione nella lunghezza delle frasi, il lessico, la struttura, le attenuazioni e le formule fatte che i modelli di IA ripetono.

Il punteggio complessivo non è una media. Un modello logistico adattato su SlopBench pesa ogni motore in base a ciò che aggiunge quando gli altri sono già noti, così i motori che sbagliano allo stesso modo non contano due volte. I testi molto brevi vengono avvicinati al centro, perché poche parole non portano molte prove.

Le fasce del verdetto sono fissate sulla scrittura umana: a 45 inizia il 5% dei testi umani con il punteggio più alto, a 55 il 2% e a 80 lo 0,5%. Un punteggio di 55 o più significa quindi che meno di 2 testi umani su 100 arrivano così in alto. Le altre lingue hanno un proprio modello, e ogni lingua è indicata come supportata, sperimentale o non ancora affidabile.

Misurato su 3.252 testi

Un dato di accuratezza dice poco se non si sa su cosa è stato misurato. SlopTotal è misurato su SlopBench, un benchmark aperto di 1.626 testi umani, tutti scritti prima che esistesse ChatGPT, e 1.626 testi di IA sugli stessi argomenti e della stessa lunghezza, da 14 modelli attuali (tra cui GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma e GLM). Copre notizie, enciclopedie, abstract scientifici, risposte di forum, post di Reddit, recensioni, temi di studenti, inglese di non madrelingua e narrativa, perché un rilevatore provato su un solo tipo di scrittura finisce con numeri che crollano nel mondo reale.

Due parti servono a scoprire le ingiustizie: 87 brani di letteratura pubblicati tra il 1532 e il 1915, dove qualsiasi punteggio alto è per definizione un errore, e temi di persone che scrivono in inglese come seconda lingua, quelle che i rilevatori accusano a torto più spesso. Ogni dato principale è misurato su tipi di scrittura su cui il modello non è stato tarato, e i risultati sono pubblicati nel repository, fallimenti compresi.

Dove il rilevamento smette di funzionare

I testi brevi non sono affidabili, con nessun rilevatore. Sotto le 80 parole circa il punteggio oscilla per la sola scelta delle parole, e si stabilizza da circa 200 in su. Se un tweet riceve una risposta molto sicura, diffida della risposta.

Il testo di IA appena ritoccato è il caso difficile. Ogni passaggio di riscrittura umana cancella tracce della macchina, e non c’è una soglia oltre la quale ritoccare smetta di contare. Il codice sorgente resta fuori: i motori sono addestrati sul linguaggio naturale e non rilevano in modo affidabile il codice scritto dall’IA, quindi SlopTotal non lo dichiara.

Un punteggio è un indizio, non un verdetto. Usa i 23 punteggi per decidere dove guardare e cosa chiedere, poi chiedi. Nessun risultato di un rilevatore dovrebbe decidere da solo un voto, un’assunzione o una pubblicazione.