I Large Language Models (LLM) vengono sempre più utilizzati non solo per cercare informazioni, ma per comprendere, valutare, decidere in diversi ambiti. Tuttavia, ciò che appare come un allineamento con i giudizi umani o degli esperti potrebbe nascondere un cambiamento più profondo: la tendenza, soprattutto nelle giovani generazioni, a delegare non solo l’informazione, ma la struttura stessa del giudizio e più in generale del processo cognitivo.

A questi risultati, pubblicati sulla rivista Pnas, è giunto un team di ricercatori del dipartimento di Informatica della Sapienza coordinati da Walter Quattrociocchi attraverso una serie di esperimenti che hanno coinvolto sei dei principali modelli linguistici oggi in uso e gruppi di valutatori umani, inclusi esperti.

In un primo esperimento è stato affidato a tutti, modelli e persone, lo stesso compito: giudicare la credibilità di centinaia di siti di informazione. Ne è emerso che il giudizio dei modelli è simile a quello degli esperti, almeno apparentemente, ma sono diversi i processi. Gli LLM si basano su associazioni lessicali, non su ragionamenti critici. Identificano parole chiave, segnali frequenti, non leggono il contenuto come farebbe una persona. E quando producono una spiegazione, non stanno argomentando: stanno estendendo statisticamente un’istruzione. 

Un altro esperimento ha portato all’Identificazione di bias politici sistematici e di una divergenza strutturale nei criteri di giudizio adottati dai modelli. Questo perché essi riflettono i pattern dominanti nei dati su cui sono stati addestrati. In ambienti accademici, giornalistici e digitali, determinate posizioni politiche sono più frequentemente trattate con toni critici. I modelli apprendono questo schema e lo riproducono, senza comprenderlo.

Infine lo studio ha indagato cosa accade quando gli LLM si comportano come agenti, ovvero raccolgono informazioni, selezionano fonti, combinano risposte, prendono decisioni su base modulare.

Gli autori, in collaborazione con i ricercatori del Dipartimento di Psicologia, hanno costruito un esperimento in cui sia i modelli sia gli esseri umani operavano come agenti. 

Anche in questo caso è emerso che mentre le persone usano criteri retorici, stilistici, emotivi, i modelli si affidano a tracce strutturali, a segnali lessicali associati alla reputazione o all’ideologia.

I risultati di questo studio sperimentale hanno evidenziato quindi come le piattaforme di AI influenzino ciò che milioni di persone considerano “vero”. Capire come i modelli giudicano l’affidabilità significa andare oltre la questione della disinformazione (infodemia) per affrontare la nuova sfida dell’epistemia: l’illusione di conoscenza creata dalla plausibilità linguistica dei sistemi di AI.

Riferimenti:
Di Marco Niccolò, Edoardo Loru, Anita Bonetti, Alessandra Olga Grazia Serra, Matteo Cinelli, and Walter Quattrociocchi. "Patterns of linguistic simplification on social media platforms over time." Proceedings of the National Academy of Sciences121, no. 50 (2024): e2412105121
DOI: https://doi.org/10.1073/pnas.2412105121