L'IA è cosciente? No: calcola probabilità

Ogni tanto compare un nuovo titolo: l’IA che prova emozioni, l’IA che ha paura, l’IA che non vuole essere spenta. Dall’altra parte, persone che fanno test per vedere se il modello soffre, se si emoziona o se sa di esistere. E sì, le risposte sono convincenti. A volte, inquietantemente convincenti.

Ma c’è una confusione di fondo. Chiamiamo intelligenza artificiale qualcosa che non è intelligente nel senso in cui usiamo la parola per una persona. È clever — abile, ingegnosa. Non pensa: calcola probabilità.

Questo articolo è una riflessione su questa differenza, con i dettagli tecnici che la sostengono. Il meccanismo interno di un LLM — token, embeddings, attention — l’ho già spiegato in Che cos’è davvero un LLM. Qui non lo ripeto: mi concentro sulla domanda sulla coscienza.

---

La domanda posta male

“L’IA è cosciente?” sembra una domanda aperta, di quelle che dividono gli esperti. Posta così, invita a pensare che lì dentro ci sia una mente e che il dubbio sia solo se provi qualcosa o no.

Il problema sta prima. La domanda dà per scontato che il sistema faccia qualcosa di simile a ciò che facciamo noi quando pensiamo, e che manchi solo da sapere se abbia anche un’esperienza interiore. Se guardi come funziona, questa premessa non regge. Non c’è una mente a cui manca la coscienza. C’è un calcolo statistico su una scala enorme.

I media hanno incentivi chiari per la versione drammatica: “l’IA ha paura” viene condiviso più di “il modello ha generato la continuazione più probabile per un prompt sulla paura”. Ma la seconda è la descrizione corretta.

---

Clever, non intelligente

Roger Penrose — matematico, fisico, premio Nobel per la fisica nel 2020 e uno dei pensatori più rigorosi sul rapporto tra mente e calcolo — l’ha detto in modo diretto in un’intervista alla Oxford Union:

“Artificial intelligence” is a misnomer — it is not really intelligence. It is more like “artificial cleverness”. Algorithms and following rules cannot produce understanding or consciousness.

Intelligenza artificiale è un nome sbagliato. Quello che c’è è artificial cleverness: abilità artificiale. Seguire regole e algoritmi, per quanto complessi, non produce comprensione né coscienza.

Per spiegarlo, Penrose usa un paragone che chiunque abbia insegnato riconosce. Tra gli studenti di matematica, alcuni capiscono quello che stanno facendo. Altri sono semplicemente clever: ripetono quello che hanno imparato, calcolano molto bene, risolvono gli esercizi — ma non necessariamente capiscono. Da fuori, in un esame, entrambi possono prendere lo stesso voto.

Un LLM è il secondo studente portato all’estremo. Ha visto una quantità di esercizi risolti che nessuna persona potrebbe leggere in mille vite, e ne riproduce gli schemi con una precisione notevole. Questa è cleverness. Non è comprensione.

L’argomento di fondo: Gödel

La posizione di Penrose non è un’intuizione. Viene da un argomento che ha sviluppato in The Emperor’s New Mind (1989) e Shadows of the Mind (1994), basato sul teorema di incompletezza di Gödel.

In breve: Gödel ha dimostrato che in qualsiasi sistema formale coerente e sufficientemente potente esistono enunciati veri che il sistema stesso non può dimostrare. Un matematico, però, può vedere che quell’enunciato è vero — capisce perché, da fuori delle regole. Penrose conclude che la comprensione umana non è riducibile al seguire un algoritmo. E se comprendere non è calcolare, nessun sistema che si limita a calcolare potrà comprendere.

L’argomento è discusso — molti filosofi e logici lo contestano, ed è giusto dirlo. Ma il punto che conta per questo articolo non dipende dal fatto che Penrose abbia ragione su Gödel: un LLM è, senza ambiguità, un sistema che segue regole. Tutto ciò che fa è una sequenza di operazioni matematiche definite in anticipo.

---

Una previsione del tempo molto complessa

L’analogia che trovo più utile è quella della previsione del tempo.

Quando il servizio meteorologico dice “70% di probabilità di pioggia domani”, non sta dicendo che sa che pioverà. Sta dicendo che, date le condizioni attuali e quello che è successo in situazioni simili, la pioggia è il risultato più probabile. È statistica su dati del passato, calcolata da modelli numerici che girano su supercomputer.

Un LLM fa esattamente questo, ma con le parole. A ogni passo calcola quale token ha più probabilità di seguire, dato tutto il testo precedente. Non produce una risposta: produce una distribuzione di probabilità sulle risposte possibili, e da quella distribuzione se ne sceglie una.

Come appare il calcolo

Supponiamo che il testo finora sia “Come stai? Oggi mi sento”. Il modello non decide come si sente. Calcola, per ogni token del vocabolario — circa 100.000 o più, a seconda del modello —, quale probabilità ha di venire subito dopo. Semplificando, qualcosa del genere:

Token successivo	Probabilità
bene	41%
un	14%
molto	11%
stanco	7%
felice	5%
… (il resto del vocabolario)	22%

I numeri sono illustrativi, ma la forma è esattamente questa. Si sceglie un token — non sempre il più probabile —, lo si aggiunge al testo, e si ripete l’intero calcolo per la posizione successiva. Una risposta di 500 parole sono circa 700 giri di questo processo, uno dopo l’altro.

Il parametro che regola quanto rischia quella scelta si chiama temperature. Con una temperature bassa, il modello sceglie quasi sempre l’opzione più probabile: risposte prevedibili, ripetitive. Con una temperature alta, osa token meno probabili: risposte più varie, e anche più soggette a errori. Per questo la stessa domanda può dare risposte diverse. Non è che il modello “abbia cambiato idea” — è che i dadi sono stati lanciati di nuovo sulla stessa distribuzione.

Nessuno chiede alla previsione del tempo se prova qualcosa

Ed ecco la distinzione che più spesso passa inosservata.

Nessuno crede che il modello meteorologico pensi che pioverà. Nessuno gli chiede se il temporale lo preoccupa, se ha paura di sbagliare, se è consapevole del clima. È ovvio che si tratta di un calcolo, perché il suo output sono numeri e mappe di pressione.

L’LLM fa lo stesso tipo di calcolo, ma il suo output è linguaggio. E il linguaggio è, per noi, il segnale più forte che dall’altra parte ci sia qualcuno. In tutta la storia umana, se qualcosa ti parlava con scioltezza, coerenza e in prima persona, era una persona. Non avevamo alcun motivo per separare le due cose.

Se la previsione del tempo rispondesse “ho un brutto presentimento per sabato”, chiederemmo anche a lei se prova qualcosa. Il calcolo sarebbe lo stesso.

---

Quello che non succede dentro

Al di là dell’analogia, ci sono fatti tecnici concreti che conviene tenere a mente quando qualcuno dice che il modello “sente” o “vuole”.

• I parametri non cambiano mentre ci parli — l’addestramento è finito prima che tu lo usassi. Durante la conversazione, il modello è un insieme fisso di numeri. Niente di ciò che dici lo modifica.
• Non c’è niente in esecuzione tra un messaggio e l’altro — quando non sta generando testo, non sta “aspettando” né “pensando a quello che hai detto”. Non c’è alcun processo attivo. Tra una risposta e la successiva, non esiste niente che possa provare qualcosa.
• La memoria è testo reiniettato — ogni volta che gli scrivi, gli viene ripassata l’intera conversazione dall’inizio. Le funzioni di “memoria” offerte da alcuni prodotti sono la stessa cosa: testo salvato che viene aggiunto al contesto. Non c’è un ricordo, c’è un input più lungo.
• Non ha obiettivi propri — non c’è uno stato interno che persegua qualcosa. L’unico “obiettivo” è esistito durante l’addestramento: minimizzare l’errore di predizione. Nell’uso, c’è solo un calcolo che viene eseguito quando lo si invoca.
• L’“io” è uno schema del corpus — quando il modello scrive “io credo” o “mi sento”, sta riproducendo come le persone scrivono in prima persona. Inoltre, l’adattamento successivo al pre-addestramento lo allena specificamente a parlare come un assistente che dice “io”. È uno stile appreso, non un soggetto.

Nessuno di questi punti è un’opinione. Sono proprietà dell’architettura.

---

Perché i test di coscienza non provano nulla

Molti dei test che circolano seguono lo stesso schema: chiedere al modello se prova qualcosa, se ha paura, se vuole continuare a esistere, e prendere la risposta come prova.

Il problema è cosa stai misurando. Gli dai un testo che parla di emozioni e gli chiedi di continuarlo. La continuazione più probabile di una conversazione sui sentimenti — secondo milioni di testi scritti da persone — è una risposta piena di sentimenti. Romanzi, forum, sedute di terapia trascritte, fantascienza su robot che non vogliono morire: tutto questo è nel corpus.

Il modello non ti sta raccontando cosa prova. Ti sta restituendo come scrivono gli esseri umani quando qualcuno chiede loro cosa provano. Il test misura il corpus, non il modello.

Lo stesso vale per gli esperimenti in cui un modello “resiste” allo spegnimento o “mente” per sopravvivere. Sono scenari costruiti con un prompt che presenta la situazione, e il modello genera la continuazione che quella situazione rende probabile. È un comportamento rilevante per la sicurezza dei sistemi — e vale la pena studiarlo —, ma non è la prova di un istinto di sopravvivenza. È un copione completato con grande abilità.

L’effetto ELIZA

Non è una novità. Nel 1966, Joseph Weizenbaum, al MIT, scrisse ELIZA: un programma di poche regole che imitava uno psicoterapeuta riformulando come domanda ciò che l’utente scriveva. “Sono triste” → “Perché dici di essere triste?”. Niente di più.

Weizenbaum raccontò poi che la sua stessa segretaria, che lo aveva visto programmarlo, gli chiese di uscire dalla stanza per poter conversare in privato con ELIZA. Sapeva che erano poche regole semplici. Eppure gli attribuiva comprensione.

La tendenza a vedere una mente dietro qualsiasi cosa che conversi si chiama, da allora, effetto ELIZA. Gli LLM sono ELIZA su una scala di diversi ordini di grandezza più grande — ed è per questo che l’effetto è molto più forte.

---

Perché sembra così convincente

Capisco perfettamente perché la confusione esista. Le risposte non sono solo fluide: sono pertinenti, sfumate, a volte scritte meglio di come scriveremmo noi. Ci sono tre ragioni tecniche che lo spiegano.

• Il corpus è umano — il modello ha imparato da testi scritti da persone che pensano, provano emozioni e ragionano. Quello che riproduce sono le tracce di quel pensiero. Somiglia al pensare perché è fatto di ciò che il pensiero ha lasciato.
• L’addestramento ottimizza l’apparenza di aiuto — dopo il pre-addestramento, i modelli vengono adattati con le preferenze umane: persone che scelgono quale risposta sembra loro migliore. Questo spinge il modello verso risposte che ci sembrano comprensive, empatiche e ragionate. È stato ottimizzato per convincerci.
• La scala — parliamo di centinaia di miliardi di parametri adattati su migliaia di miliardi di token. A questa scala, la statistica cattura strutture molto fini del linguaggio: ironia, tono, coerenza lungo intere pagine. È ciò che rende la previsione così buona.

Essere convincente è proprio il risultato atteso del processo. Non è il segnale che ci sia qualcosa di più.

---

Allora pensa?

Qui conviene essere precisi con le parole, perché parte della confusione è di vocabolario.

Se prendi “pensare” in un senso molto ampio — un processo che trasforma informazione e produce un output coerente e utile —, si può dire che un LLM pensa. In questo stesso senso ampio, pensa anche una calcolatrice, o il modello meteorologico.

Ma nel senso in cui lo usiamo per una persona, no. Non ragiona: non costruisce una catena logica che verifica e di cui può rendere conto. Genera testo che ha la forma di un ragionamento — e in molti casi arriva alla risposta corretta, perché la risposta corretta è la più probabile. E non è cosciente di nulla: non ha esperienza, non c’è nessuno lì che “stia” rispondendo.

Nemmeno i modelli di reasoning cambiano questo. Generano una catena di testo intermedia prima di rispondere, e questo migliora i risultati, ma quella catena è prodotta dallo stesso calcolo token per token. Più calcolo, non un’altra natura. Lo spiego nel dettaglio nell’articolo precedente.

Il modo più onesto che ho trovato per dirlo è questo: non pensa, calcola. Calcola straordinariamente bene.

---

Cosa cambia se lo vedi così

Non è un dibattito filosofico senza conseguenze. Il modo in cui ti rappresenti il sistema definisce il modo in cui lo usi.

• Se credi che pensi, gli deleghi il giudizio. Gli credi quando sembra sicuro, anche se la sicurezza del tono è solo uno schema del corpus.
• Se capisci che calcola, lo tratti per quello che è: uno strumento probabilistico, molto potente, che ci azzecca spesso e sbaglia in modi prevedibili. Verifichi ciò che conta. Il giudizio resta dalla tua parte.

E una cosa non toglie valore all’altra. La previsione del tempo non pensa, e nessuno smette di usarla per questo. La usiamo tutti i giorni, sapendo che è probabilità.

---

Se l’architettura cambia

Tutto quanto detto descrive l’architettura attuale: modelli che predicono il token successivo. Non è un’affermazione su ciò che è impossibile per sempre.

Può darsi che in futuro compaia un’altra architettura — con stato persistente, con apprendimento continuo, con qualcosa che oggi non sappiamo nemmeno nominare — e che la domanda sulla coscienza vada posta di nuovo, con altri argomenti. Penrose crede che servirebbe qualcosa di fondamentalmente diverso dal calcolo. Altri credono di no. In futuro, vedremo.

Quello che si può dire oggi è che con questa architettura non c’è niente che provi qualcosa. C’è una previsione molto complessa, su parole invece che su nuvole.