¿La IA es consciente? No: calcula probabilidades

Cada tanto aparece un nuevo titular: la IA que siente, la IA que tiene miedo, la IA que no quiere que la apaguen. Del otro lado, gente que hace pruebas para ver si el modelo sufre, si se emociona o si sabe que existe. Y sí, las respuestas son convincentes. A veces, inquietantemente convincentes.

Pero hay una confusión de base. Le decimos inteligencia artificial a algo que no es inteligente en el sentido en que usamos la palabra para una persona. Es clever — hábil, ingenioso. No piensa: calcula probabilidades.

Esta nota es una reflexión sobre esa diferencia, con los detalles técnicos que la sostienen. El mecanismo interno de un LLM — tokens, embeddings, attention — ya lo expliqué en Qué es realmente un LLM. Acá no lo repito: me concentro en la pregunta por la conciencia.

Un robot plateado con forma de marioneta, sostenido por hilos, en pose pensativa con la mano en el mentón frente a la consola de una nave espacial retro. En el pecho lleva una placa que dice BRAINIAC

La pregunta mal planteada

“¿La IA es consciente?” suena a una pregunta abierta, de esas que dividen a los expertos. Planteada así, invita a pensar que hay una mente ahí adentro y que la duda es si siente o no.

El problema está antes. La pregunta da por sentado que el sistema hace algo parecido a lo que hacemos nosotros cuando pensamos, y que sólo falta saber si además tiene experiencia interna. Si mirás cómo funciona, esa premisa no se sostiene. No hay una mente a la que le falte conciencia. Hay un cálculo estadístico de una escala enorme.

Los medios tienen incentivos claros para la versión dramática: “la IA tiene miedo” se comparte más que “el modelo generó la continuación más probable para un prompt sobre el miedo”. Pero la segunda es la descripción correcta.

Clever, no inteligente

Roger Penrose — matemático, físico, Premio Nobel de Física en 2020 y uno de los pensadores más rigurosos sobre la relación entre mente y computación — lo dijo de forma directa en una entrevista en la Oxford Union:

“Artificial intelligence” is a misnomer — it is not really intelligence. It is more like “artificial cleverness”. Algorithms and following rules cannot produce understanding or consciousness.

Inteligencia artificial es un nombre equivocado. Lo que hay es artificial cleverness: habilidad artificial. Seguir reglas y algoritmos, por más complejos que sean, no produce comprensión ni conciencia.

Para explicarlo, Penrose usa una comparación que cualquiera que haya enseñado reconoce. Entre los estudiantes de matemática, algunos entienden lo que están haciendo. Otros son simplemente clever: repiten lo que aprendieron, calculan muy bien, resuelven los ejercicios — pero no necesariamente entienden. Desde afuera, en un examen, los dos pueden sacar la misma nota.

Un LLM es el segundo estudiante llevado al extremo. Vio una cantidad de ejercicios resueltos que ninguna persona podría leer en mil vidas, y reproduce sus patrones con una precisión notable. Eso es cleverness. No es comprensión.

El argumento de fondo: Gödel

La posición de Penrose no es una intuición. Viene de un argumento que desarrolló en The Emperor’s New Mind (1989) y Shadows of the Mind (1994), apoyado en el teorema de incompletitud de Gödel.

En versión corta: Gödel demostró que en cualquier sistema formal consistente y suficientemente potente hay enunciados verdaderos que el propio sistema no puede demostrar. Un matemático, sin embargo, puede ver que ese enunciado es verdadero — entiende por qué, desde afuera de las reglas. Penrose concluye que la comprensión humana no es reducible a seguir un algoritmo. Y si comprender no es computar, ningún sistema que sólo computa va a comprender.

El argumento es discutido — muchos filósofos y lógicos lo objetan, y conviene decirlo. Pero el punto que importa para esta nota no depende de que Penrose tenga razón sobre Gödel: un LLM es, sin ambigüedad, un sistema que sigue reglas. Todo lo que hace es una secuencia de operaciones matemáticas definidas de antemano.

Un pronóstico del tiempo muy complejo

La analogía que me resulta más útil es la del pronóstico del tiempo.

Cuando el servicio meteorológico dice “70% de probabilidad de lluvia para mañana”, no está diciendo que sabe que va a llover. Está diciendo que, dadas las condiciones actuales y lo que pasó en situaciones parecidas, la lluvia es el resultado más probable. Es estadística sobre datos del pasado, calculada por modelos numéricos que corren en supercomputadoras.

Un LLM hace exactamente eso, pero con palabras. En cada paso calcula qué token es más probable que siga, dado todo el texto anterior. No produce una respuesta: produce una distribución de probabilidad sobre las respuestas posibles, y de esa distribución se elige una.

Cómo se ve el cálculo

Supongamos que el texto hasta ahora es “¿Cómo estás? Hoy me siento”. El modelo no decide cómo se siente. Calcula, para cada token del vocabulario — unos 100.000 o más, según el modelo —, qué probabilidad tiene de venir a continuación. Simplificado, algo así:

Siguiente token	Probabilidad
bien	41%
un	14%
muy	11%
cansado	7%
feliz	5%
… (el resto del vocabulario)	22%

Los números son ilustrativos, pero la forma es exactamente esa. Se elige un token — no siempre el más probable —, se agrega al texto, y se repite el cálculo entero para la posición siguiente. Una respuesta de 500 palabras son unas 700 vueltas de este proceso, una detrás de otra.

El parámetro que regula cuánto se arriesga esa elección se llama temperature. Con temperature baja, el modelo elige casi siempre lo más probable: respuestas predecibles, repetitivas. Con temperature alta, se anima a tokens menos probables: respuestas más variadas, y también más propensas a errores. Por eso la misma pregunta puede dar respuestas distintas. No es que el modelo “cambió de opinión” — es que se tiró los dados de nuevo sobre la misma distribución.

Nadie le pregunta al pronóstico si siente

Y acá está la distinción que más se pasa por alto.

Nadie cree que el modelo meteorológico piensa que va a llover. Nadie le pregunta si le preocupa la tormenta, si tiene miedo de equivocarse, si es consciente del clima. Es obvio que es un cálculo, porque su salida son números y mapas de presión.

El LLM hace el mismo tipo de cálculo, pero su salida es lenguaje. Y el lenguaje es, para nosotros, la señal más fuerte de que hay alguien del otro lado. Durante toda la historia humana, si algo te hablaba con fluidez, coherencia y en primera persona, era una persona. No teníamos ninguna razón para separar las dos cosas.

Si el pronóstico del tiempo contestara “tengo un mal presentimiento sobre el sábado”, también le preguntaríamos si siente. El cálculo sería el mismo.

Lo que no ocurre adentro

Más allá de la analogía, hay hechos técnicos concretos que conviene tener presentes cuando alguien dice que el modelo “siente” o “quiere”.

Los parámetros no cambian mientras hablás con él — el entrenamiento terminó antes de que lo usaras. Durante la conversación, el modelo es un conjunto fijo de números. Nada de lo que le digas lo modifica.
No hay nada corriendo entre mensajes — cuando no está generando texto, no está “esperando” ni “pensando en lo que dijiste”. No hay ningún proceso activo. Entre una respuesta y la siguiente, no existe nada que pueda sentir.
La memoria es texto reinyectado — cada vez que le escribís, se le vuelve a pasar la conversación completa desde el principio. Las funciones de “memoria” que ofrecen algunos productos son lo mismo: texto guardado que se agrega al contexto. No hay un recuerdo, hay un input más largo.
No tiene objetivos propios — no hay un estado interno que persiga algo. El único “objetivo” existió durante el entrenamiento: minimizar el error de predicción. En uso, sólo hay un cálculo que se ejecuta cuando se lo invoca.
El “yo” es un patrón del corpus — cuando el modelo escribe “yo creo” o “me siento”, está reproduciendo cómo escriben las personas en primera persona. Además, el ajuste posterior al preentrenamiento lo entrena específicamente para hablar como un asistente que dice “yo”. Es un estilo aprendido, no un sujeto.

Ninguno de estos puntos es una opinión. Son propiedades de la arquitectura.

Por qué los tests de conciencia no prueban nada

Muchas de las pruebas que circulan siguen el mismo esquema: preguntarle al modelo si siente, si tiene miedo, si quiere seguir existiendo, y tomar la respuesta como evidencia.

El problema es qué estás midiendo. Le das un texto que habla de emociones y le pedís que lo continúe. La continuación más probable de una conversación sobre sentimientos — según millones de textos escritos por personas — es una respuesta con sentimientos. Novelas, foros, terapias transcriptas, ciencia ficción sobre robots que no quieren morir: todo eso está en el corpus.

El modelo no te está contando lo que siente. Te está devolviendo cómo escriben los humanos cuando les preguntan lo que sienten. El test mide el corpus, no el modelo.

Lo mismo pasa con los experimentos donde un modelo “se resiste” a ser apagado o “miente” para sobrevivir. Son escenarios construidos con un prompt que plantea la situación, y el modelo genera la continuación que esa situación hace probable. Es un comportamiento relevante para la seguridad de los sistemas — y conviene estudiarlo —, pero no es evidencia de un instinto de supervivencia. Es un guion completado con mucha habilidad.

El efecto ELIZA

Esto no es nuevo. En 1966, Joseph Weizenbaum, en el MIT, escribió ELIZA: un programa de unas pocas reglas que imitaba a un psicoterapeuta reformulando lo que el usuario escribía como pregunta. “Estoy triste” → “¿Por qué decís que estás triste?”. Nada más.

Weizenbaum contó después que su propia secretaria, que había visto cómo lo programaba, le pidió que saliera de la sala para poder conversar en privado con ELIZA. Sabía que eran unas reglas simples. Igual le atribuía comprensión.

La tendencia a ver una mente detrás de cualquier cosa que conversa se llama, desde entonces, efecto ELIZA. Los LLM son ELIZA con una escala varios órdenes de magnitud mayor — y por eso el efecto es mucho más fuerte.

Por qué parece tan convincente

Entiendo perfectamente por qué la confusión existe. Las respuestas no sólo son fluidas: son pertinentes, matizadas, a veces mejor escritas que lo que escribiríamos nosotros. Hay tres razones técnicas que lo explican.

El corpus es humano — el modelo aprendió de texto escrito por personas que piensan, sienten y razonan. Lo que reproduce son las huellas de ese pensamiento. Se parece a pensar porque está hecho de lo que dejó pensar.
El entrenamiento optimiza la apariencia de ayuda — después del preentrenamiento, los modelos se ajustan con preferencias humanas: personas que eligen qué respuesta les parece mejor. Eso empuja al modelo hacia respuestas que nos parecen comprensivas, empáticas y razonadas. Se optimizó para convencernos.
La escala — estamos hablando de cientos de miles de millones de parámetros ajustados sobre billones de tokens. A esa escala, la estadística captura estructuras muy finas del lenguaje: ironía, tono, coherencia a lo largo de páginas. Es lo que hace al pronóstico tan bueno.

Que sea convincente es, justamente, el resultado esperado del proceso. No es una señal de que haya algo más.

¿Entonces piensa?

Acá conviene ser preciso con las palabras, porque parte de la confusión es de vocabulario.

Si tomás “pensar” en un sentido muy amplio — un proceso que transforma información y produce una salida coherente y útil —, se puede decir que un LLM piensa. En ese mismo sentido amplio, también piensa una calculadora, o el modelo meteorológico.

Pero en el sentido en que lo usamos para una persona, no. No razona: no construye una cadena lógica que verifique y de la que pueda dar cuenta. Genera texto que tiene la forma de un razonamiento — y en muchos casos llega a la respuesta correcta, porque la respuesta correcta es la más probable. Y no es consciente de nada: no tiene experiencia, no hay nadie ahí que “esté” respondiendo.

Ni siquiera los modelos de reasoning cambian esto. Generan una cadena de texto intermedia antes de responder, y eso mejora los resultados, pero esa cadena se produce con el mismo cálculo token a token. Más cómputo, no otra naturaleza. Lo detallo en el post anterior.

La forma más honesta que encontré de decirlo es esta: no piensa, calcula. Calcula extraordinariamente bien.

Lo que cambia si lo entendés así

Esto no es un debate filosófico sin consecuencias. Cómo te representás el sistema define cómo lo usás.

Si creés que piensa, le delegás criterio. Le creés cuando suena seguro, aunque la seguridad del tono sea sólo un patrón del corpus.
Si entendés que calcula, lo tratás como lo que es: una herramienta probabilística, muy potente, que acierta mucho y falla de formas predecibles. Verificás lo importante. El criterio queda de tu lado.

Y una cosa no le quita valor a la otra. El pronóstico del tiempo no piensa, y nadie deja de usarlo por eso. Lo usamos todos los días, sabiendo que es probabilidad.

Si la arquitectura cambia

Todo lo anterior describe la arquitectura actual: modelos que predicen el siguiente token. No es una afirmación sobre lo que es imposible para siempre.

Puede que en el futuro aparezca otra arquitectura — con estado persistente, con aprendizaje continuo, con algo que hoy no sabemos ni nombrar — y la pregunta por la conciencia tenga que plantearse de nuevo, con otros argumentos. Penrose cree que haría falta algo fundamentalmente distinto de la computación. Otros creen que no. En un futuro, veremos.

Lo que sí se puede decir hoy es que con esta arquitectura no hay nada que sienta. Hay un pronóstico muy complejo, sobre palabras en lugar de nubes.