A IA é consciente? Não: ela calcula probabilidades

De vez em quando aparece uma nova manchete: a IA que sente, a IA que tem medo, a IA que não quer ser desligada. Do outro lado, gente fazendo testes para ver se o modelo sofre, se se emociona ou se sabe que existe. E sim, as respostas são convincentes. Às vezes, inquietantemente convincentes.

Mas há uma confusão de base. Chamamos de inteligência artificial algo que não é inteligente no sentido em que usamos a palavra para uma pessoa. É clever — hábil, engenhoso. Não pensa: calcula probabilidades.

Este texto é uma reflexão sobre essa diferença, com os detalhes técnicos que a sustentam. O mecanismo interno de um LLM — tokens, embeddings, attention — eu já expliquei em O que é realmente um LLM. Aqui não repito: concentro-me na pergunta sobre a consciência.

Un robot plateado con forma de marioneta, sostenido por hilos, en pose pensativa con la mano en el mentón frente a la consola de una nave espacial retro. En el pecho lleva una placa que dice BRAINIAC

A pergunta mal formulada

“A IA é consciente?” parece uma pergunta aberta, daquelas que dividem os especialistas. Formulada assim, convida a pensar que há uma mente ali dentro e que a dúvida é se ela sente ou não.

O problema está antes. A pergunta parte do princípio de que o sistema faz algo parecido com o que fazemos quando pensamos, e que só falta saber se, além disso, tem experiência interna. Se você olha como funciona, essa premissa não se sustenta. Não há uma mente à qual falta consciência. Há um cálculo estatístico em uma escala enorme.

A mídia tem incentivos claros para a versão dramática: “a IA tem medo” é mais compartilhado do que “o modelo gerou a continuação mais provável para um prompt sobre o medo”. Mas a segunda é a descrição correta.

Clever, não inteligente

Roger Penrose — matemático, físico, Prêmio Nobel de Física em 2020 e um dos pensadores mais rigorosos sobre a relação entre mente e computação — disse isso de forma direta em uma entrevista na Oxford Union:

“Artificial intelligence” is a misnomer — it is not really intelligence. It is more like “artificial cleverness”. Algorithms and following rules cannot produce understanding or consciousness.

Inteligência artificial é um nome errado. O que existe é artificial cleverness: habilidade artificial. Seguir regras e algoritmos, por mais complexos que sejam, não produz compreensão nem consciência.

Para explicar, Penrose usa uma comparação que qualquer pessoa que já tenha dado aula reconhece. Entre os estudantes de matemática, alguns entendem o que estão fazendo. Outros são simplesmente clever: repetem o que aprenderam, calculam muito bem, resolvem os exercícios — mas não necessariamente entendem. De fora, em uma prova, os dois podem tirar a mesma nota.

Um LLM é o segundo estudante levado ao extremo. Viu uma quantidade de exercícios resolvidos que nenhuma pessoa conseguiria ler em mil vidas, e reproduz seus padrões com uma precisão notável. Isso é cleverness. Não é compreensão.

O argumento de fundo: Gödel

A posição de Penrose não é uma intuição. Vem de um argumento que ele desenvolveu em The Emperor’s New Mind (1989) e Shadows of the Mind (1994), apoiado no teorema da incompletude de Gödel.

Em versão curta: Gödel demonstrou que em qualquer sistema formal consistente e suficientemente poderoso existem enunciados verdadeiros que o próprio sistema não consegue demonstrar. Um matemático, porém, consegue ver que esse enunciado é verdadeiro — entende por quê, de fora das regras. Penrose conclui que a compreensão humana não é redutível a seguir um algoritmo. E se compreender não é computar, nenhum sistema que só computa vai compreender.

O argumento é discutido — muitos filósofos e lógicos o contestam, e vale a pena dizer isso. Mas o ponto que importa para este texto não depende de Penrose ter razão sobre Gödel: um LLM é, sem ambiguidade, um sistema que segue regras. Tudo o que ele faz é uma sequência de operações matemáticas definidas de antemão.

Uma previsão do tempo muito complexa

A analogia que acho mais útil é a da previsão do tempo.

Quando o serviço meteorológico diz “70% de probabilidade de chuva amanhã”, não está dizendo que sabe que vai chover. Está dizendo que, dadas as condições atuais e o que aconteceu em situações parecidas, a chuva é o resultado mais provável. É estatística sobre dados do passado, calculada por modelos numéricos que rodam em supercomputadores.

Um LLM faz exatamente isso, mas com palavras. A cada passo, calcula qual token tem mais probabilidade de vir em seguida, dado todo o texto anterior. Não produz uma resposta: produz uma distribuição de probabilidade sobre as respostas possíveis, e dessa distribuição se escolhe uma.

Como o cálculo se parece

Suponha que o texto até agora seja “Como você está? Hoje eu me sinto”. O modelo não decide como se sente. Calcula, para cada token do vocabulário — uns 100.000 ou mais, dependendo do modelo —, qual a probabilidade de vir a seguir. Simplificando, algo assim:

Próximo token	Probabilidade
bem	41%
um	14%
muito	11%
cansado	7%
feliz	5%
… (o resto do vocabulário)	22%

Os números são ilustrativos, mas a forma é exatamente essa. Escolhe-se um token — nem sempre o mais provável —, ele é adicionado ao texto, e o cálculo inteiro se repete para a posição seguinte. Uma resposta de 500 palavras são umas 700 voltas desse processo, uma atrás da outra.

O parâmetro que regula quanto essa escolha arrisca se chama temperature. Com temperature baixa, o modelo escolhe quase sempre o mais provável: respostas previsíveis, repetitivas. Com temperature alta, ele se arrisca em tokens menos prováveis: respostas mais variadas, e também mais propensas a erros. Por isso a mesma pergunta pode dar respostas diferentes. Não é que o modelo “mudou de opinião” — é que os dados foram jogados de novo sobre a mesma distribuição.

Ninguém pergunta à previsão do tempo se ela sente

E aqui está a distinção que mais passa despercebida.

Ninguém acredita que o modelo meteorológico pensa que vai chover. Ninguém pergunta se ele está preocupado com a tempestade, se tem medo de errar, se tem consciência do clima. É óbvio que é um cálculo, porque sua saída são números e mapas de pressão.

O LLM faz o mesmo tipo de cálculo, mas sua saída é linguagem. E a linguagem é, para nós, o sinal mais forte de que há alguém do outro lado. Ao longo de toda a história humana, se algo falava com você com fluência, coerência e em primeira pessoa, era uma pessoa. Não tínhamos nenhuma razão para separar as duas coisas.

Se a previsão do tempo respondesse “tenho um mau pressentimento sobre o sábado”, também perguntaríamos se ela sente. O cálculo seria o mesmo.

O que não acontece lá dentro

Além da analogia, há fatos técnicos concretos que vale ter em mente quando alguém diz que o modelo “sente” ou “quer”.

Os parâmetros não mudam enquanto você conversa com ele — o treinamento terminou antes de você usá-lo. Durante a conversa, o modelo é um conjunto fixo de números. Nada do que você disser o modifica.
Não há nada rodando entre mensagens — quando não está gerando texto, ele não está “esperando” nem “pensando no que você disse”. Não há nenhum processo ativo. Entre uma resposta e a seguinte, não existe nada que possa sentir.
A memória é texto reinjetado — cada vez que você escreve, a conversa completa é passada de novo desde o começo. As funções de “memória” que alguns produtos oferecem são a mesma coisa: texto salvo que é adicionado ao contexto. Não há uma lembrança, há um input mais longo.
Não tem objetivos próprios — não há um estado interno que persiga algo. O único “objetivo” existiu durante o treinamento: minimizar o erro de predição. Em uso, há apenas um cálculo que é executado quando é invocado.
O “eu” é um padrão do corpus — quando o modelo escreve “eu acho” ou “eu me sinto”, está reproduzindo como as pessoas escrevem em primeira pessoa. Além disso, o ajuste posterior ao pré-treinamento o treina especificamente para falar como um assistente que diz “eu”. É um estilo aprendido, não um sujeito.

Nenhum desses pontos é uma opinião. São propriedades da arquitetura.

Por que os testes de consciência não provam nada

Muitos dos testes que circulam seguem o mesmo esquema: perguntar ao modelo se ele sente, se tem medo, se quer continuar existindo, e tomar a resposta como evidência.

O problema é o que você está medindo. Você dá a ele um texto que fala de emoções e pede que o continue. A continuação mais provável de uma conversa sobre sentimentos — segundo milhões de textos escritos por pessoas — é uma resposta com sentimentos. Romances, fóruns, sessões de terapia transcritas, ficção científica sobre robôs que não querem morrer: tudo isso está no corpus.

O modelo não está contando o que sente. Está devolvendo como os humanos escrevem quando perguntam a eles o que sentem. O teste mede o corpus, não o modelo.

O mesmo vale para os experimentos em que um modelo “resiste” a ser desligado ou “mente” para sobreviver. São cenários construídos com um prompt que apresenta a situação, e o modelo gera a continuação que essa situação torna provável. É um comportamento relevante para a segurança dos sistemas — e vale estudá-lo —, mas não é evidência de um instinto de sobrevivência. É um roteiro completado com muita habilidade.

O efeito ELIZA

Isso não é novo. Em 1966, Joseph Weizenbaum, no MIT, escreveu ELIZA: um programa de poucas regras que imitava um psicoterapeuta reformulando como pergunta o que o usuário escrevia. “Estou triste” → “Por que você diz que está triste?”. Nada mais.

Weizenbaum contou depois que sua própria secretária, que tinha visto como ele o programava, pediu que ele saísse da sala para poder conversar em particular com ELIZA. Ela sabia que eram umas poucas regras simples. Mesmo assim, atribuía compreensão ao programa.

A tendência a ver uma mente por trás de qualquer coisa que conversa se chama, desde então, efeito ELIZA. Os LLMs são ELIZA em uma escala várias ordens de grandeza maior — e por isso o efeito é muito mais forte.

Por que parece tão convincente

Entendo perfeitamente por que a confusão existe. As respostas não são só fluentes: são pertinentes, cheias de nuances, às vezes mais bem escritas do que o que nós escreveríamos. Há três razões técnicas que explicam isso.

O corpus é humano — o modelo aprendeu com textos escritos por pessoas que pensam, sentem e raciocinam. O que ele reproduz são os rastros desse pensamento. Parece pensar porque é feito do que o pensamento deixou.
O treinamento otimiza a aparência de ajuda — depois do pré-treinamento, os modelos são ajustados com preferências humanas: pessoas que escolhem qual resposta lhes parece melhor. Isso empurra o modelo para respostas que nos parecem compreensivas, empáticas e raciocinadas. Ele foi otimizado para nos convencer.
A escala — estamos falando de centenas de bilhões de parâmetros ajustados sobre trilhões de tokens. Nessa escala, a estatística captura estruturas muito finas da linguagem: ironia, tom, coerência ao longo de páginas. É o que torna a previsão tão boa.

Ser convincente é justamente o resultado esperado do processo. Não é sinal de que haja algo mais.

Então ele pensa?

Aqui vale ser preciso com as palavras, porque parte da confusão é de vocabulário.

Se você toma “pensar” em um sentido muito amplo — um processo que transforma informação e produz uma saída coerente e útil —, dá para dizer que um LLM pensa. Nesse mesmo sentido amplo, uma calculadora também pensa, ou o modelo meteorológico.

Mas no sentido em que usamos a palavra para uma pessoa, não. Ele não raciocina: não constrói uma cadeia lógica que verifique e da qual possa prestar contas. Gera texto que tem a forma de um raciocínio — e em muitos casos chega à resposta correta, porque a resposta correta é a mais provável. E não é consciente de nada: não tem experiência, não há ninguém ali que “esteja” respondendo.

Nem os modelos de reasoning mudam isso. Eles geram uma cadeia de texto intermediária antes de responder, e isso melhora os resultados, mas essa cadeia é produzida pelo mesmo cálculo token a token. Mais cômputo, não outra natureza. Detalho isso no post anterior.

A forma mais honesta que encontrei de dizer isso é esta: não pensa, calcula. Calcula extraordinariamente bem.

O que muda se você entende assim

Isso não é um debate filosófico sem consequências. A forma como você imagina o sistema define como você o usa.

Se você acredita que ele pensa, delega a ele o critério. Acredita nele quando soa seguro, ainda que a segurança do tom seja só um padrão do corpus.
Se você entende que ele calcula, trata-o como o que é: uma ferramenta probabilística, muito poderosa, que acerta muito e falha de formas previsíveis. Você verifica o que importa. O critério fica do seu lado.

E uma coisa não tira o valor da outra. A previsão do tempo não pensa, e ninguém deixa de usá-la por isso. Usamos todos os dias, sabendo que é probabilidade.

Se a arquitetura mudar

Tudo o que foi dito descreve a arquitetura atual: modelos que predizem o próximo token. Não é uma afirmação sobre o que é impossível para sempre.

Pode ser que no futuro apareça outra arquitetura — com estado persistente, com aprendizado contínuo, com algo que hoje nem sabemos nomear — e a pergunta sobre a consciência precise ser feita de novo, com outros argumentos. Penrose acredita que seria necessário algo fundamentalmente diferente da computação. Outros acreditam que não. No futuro, veremos.

O que dá para dizer hoje é que, com esta arquitetura, não há nada que sinta. Há uma previsão muito complexa, sobre palavras em vez de nuvens.