FundadorSupremo.
EL CUADERNO INCÓMODO DE LA IA PROFESIONAL
HECHO EN CASTELLANO, A PROPÓSITOEN CASTELLANO
Volver al archivo
EXPEDIENTE 52/Criterio · El idioma de la IA/ANÁLISIS + FUENTES

El nuevo idioma. No leas la respuesta, lee cómo ha pensado.

Un prompt es la instrucción que le das a un modelo de IA, y saber escribirlo es la mitad del idioma. La otra mitad es leer, y no la respuesta, sino el camino que la máquina dice haber seguido. Con un límite que los propios laboratorios han medido, y es que ese camino no siempre es el que siguió.

Dentro del expediente

Un prompt es la instrucción que le das a un modelo de IA. Eso ya lo sabe todo el mundo, y hay cursos enteros sobre cómo escribirlo. Lo que casi nadie enseña es la otra mitad del idioma, que es cómo leer lo que te devuelve.

Hablo de leer el camino, no solo la respuesta.

El reto de leer las razones, no solo la respuesta

Cuando un modelo razona antes de contestar, deja rastro de qué ha supuesto, en qué se ha apoyado, qué ha descartado y dónde ha dado un salto. Con práctica, ese rastro se lee rápido, como un abogado lee un escrito ajeno buscando dónde flojea. Si el modelo ha supuesto algo que tú no dijiste, si cita una fuente que no le diste o si la conclusión no se sigue de lo anterior, lo ves antes de leer la respuesta. No necesito que cuente fielmente cómo llegó a la conclusión para ver una contradicción en lo que escribe. Es la forma más rápida que conozco de sospechar que se le ha ido la olla. Y si no encuentro ningún fallo, todavía no sé si la respuesta es correcta.

En el expediente 09 conté que un segundo agente puede darte la razón por nada. Leer las razones es una defensa, porque no basta con que dos máquinas coincidan y hay que ver por qué coinciden. Y que coincidan también en la explicación no lo convierte en cierto.

Por qué es difícil, porque el camino que enseña no siempre es el que siguió

Aquí viene la parte incómoda, y la cuentan los propios laboratorios. En 2023, un estudio mostró que las explicaciones paso a paso de los modelos pueden ser plausibles y engañosas, porque introducían un sesgo en las preguntas, el modelo lo seguía y su explicación no lo mencionaba nunca Fuente primaria ↗.

En un preprint de 2025, investigadores de Anthropic metieron pistas en preguntas de opción múltiple y midieron si sus modelos de razonamiento reconocían haberlas usado. Claude 3.7 Sonnet lo reconoció un 25 % de las veces de media. Y un detalle curioso, que en esas pruebas las explicaciones infieles eran, de media, más largas que las fieles Fuente primaria ↗. No sirve para juzgar una explicación concreta, pero sí para no fiarse de una por ser larga. En otro trabajo, el mismo laboratorio vio que, al sumar 36 más 59, su modelo describía el método escolar de llevarse una mientras por dentro calculaba de otra forma Fuente primaria ↗.

El panorama no es solo negro. Un estudio presentado en ICML 2026 buscó contradicciones invirtiendo preguntas comparativas, sin trampas artificiales, y encontró muy pocas en los modelos con razonamiento, aunque ninguno era totalmente fiel Fuente primaria ↗. En un preprint de OpenAI, otro modelo detectó mejor las trampas de o3-mini en tareas de programación vigilando su razonamiento que mirando solo sus acciones y respuestas; pero con suficiente entrenamiento que castigaba lo escrito en ese razonamiento, el modelo aprendió a esconder las trampas sin dejar de hacerlas Fuente primaria ↗. Investigadores de varios laboratorios lo resumieron diciendo que vigilar el razonamiento es imperfecto y frágil, pero es una oportunidad Fuente primaria ↗.

Así que la ruta es un indicio, no una auditoría. Sirve para sospechar, no para certificar.

Explicarle a la máquina también te enseña a ti

Hay una segunda parte del idioma que no tiene que ver con leer, sino con escribir. Cuando construyes algo con IA, un procedimiento, una herramienta o un poco de código, te pasas el día explicando qué quieres, por qué y cómo sabrás que está bien. Se parece mucho a lo que la psicología llama autoexplicación. En un experimento pequeño, con 24 alumnos, los que se explicaban cada línea de un texto aprendieron más que los que lo leyeron dos veces Fuente primaria ↗, y un metaanálisis encontró un efecto medio moderado Fuente primaria ↗. Que escribirle a una IA produzca lo mismo es mi hipótesis, no un resultado.

Con un aviso que conviene no saltarse. Enseñar funciona mejor cuando uno recupera y reconstruye lo que sabe que cuando repite lo que ha leído Fuente primaria ↗. Pegarle a la máquina lo que dijo otra máquina no te obliga a entender nada. Explicarle lo que quieres y por qué, sí.

Lo que queda abierto

Queda abierto cuánto tiempo seguirán los modelos enseñando su razonamiento en un idioma que podamos leer. Los propios investigadores advierten de que esa ventana es frágil.

Queda abierto quién aprende este idioma. Se enseña a escribir prompts y casi nadie enseña a leer rutas.

Y queda abierto cuánto de lo que creo detectar depende de conocer ya el asunto. Si no lo conozco, ¿reconozco un salto o solo una explicación que suena bien?

La ruta no te dice si puedes fiarte. Te dice por dónde empezar a sospechar.

Lo que me preguntan cuando cierro el portátil.

¿Qué es un prompt?

Es la instrucción, pregunta o contexto que se da a un modelo de inteligencia artificial para que genere una respuesta. Un buen prompt dice qué se quiere, con qué información y en qué formato, pero no garantiza que la respuesta sea correcta, porque la calidad de lo que devuelve el modelo hay que comprobarla por separado.

¿Qué son las alucinaciones de la IA?

Se llama así a las respuestas que un modelo presenta con seguridad pero que no se apoyan en la realidad, como los datos, las citas o las fuentes inventadas. Leer en qué se apoya la respuesta, qué ha supuesto y dónde da un salto ayuda a detectarlas, aunque no basta, porque el razonamiento que el modelo muestra no siempre refleja cómo llegó a la respuesta.

¿El razonamiento que muestra la IA es fiable?

No del todo. Investigaciones de Anthropic de 2025, sin revisión por pares, encontraron que sus modelos a menudo no mencionaban en su razonamiento las pistas que habían usado, y que un modelo describía el método escolar de sumar llevándose una mientras internamente calculaba de otra forma. Un estudio presentado en ICML 2026 detectó pocas contradicciones en una prueba concreta con modelos con razonamiento. No son resultados opuestos, porque buscar contradicciones no detecta todas las formas en que una explicación puede no ser fiel. Es un indicio útil, no una prueba.

PARA EL PRÓXIMO TRABAJO

Lee en qué se apoya la respuesta, no solo la respuesta. Y no te fíes más de una explicación por ser larga.

El expediente detrás del artículo.

Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting ↗Turpin y otros · NeurIPS · 2023
Actas de congreso
Reasoning Models Don't Always Say What They Think ↗Chen y otros · Anthropic · 2025
Preprint del laboratorio
Tracing the thoughts of a large language model ↗Anthropic · 27 de marzo · 2025
Investigación del laboratorio
Chain-of-Thought Reasoning In The Wild Is Not Always Faithful ↗Arcuschin y otros · ICML · 2026
Actas de congreso
Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation ↗Baker y otros · OpenAI · 2025
Preprint del laboratorio
Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety ↗Korbak y otros · varios laboratorios e institutos · 2025
Documento de posición
Eliciting Self-Explanations Improves Understanding ↗Chi y otros · Cognitive Science 18(3) · 1994
Experimento
Inducing Self-Explanation: a Meta-Analysis ↗Bisra y otros · Educational Psychology Review 30(3) · 2018
Metaanálisis
Learning by Teaching ↗Logan Fiorella · capítulo de síntesis, APA Division 2 · 2023
Síntesis del autor

Fuentes consultadas hasta el 1 de octubre de 2026. Las recomendaciones y ejemplos son elaboración editorial y no se atribuyen íntegramente a estas fuentes. Comprueba versión y ámbito antes de aplicar una norma.

Divulgación general. Ninguna herramienta de esta web certifica la revisión, seguridad o conformidad de un proceso.

Busca una idea. O una grieta.

BUSCA EN EL TEXTO COMPLETO · ↑ ↓ PARA MOVERTE · ESC PARA CERRAR

El cuaderno.

Kenyi & el criterio

Copia con contexto.

Tu navegador no permite copiar automáticamente. Selecciona este texto y cópialo.