El motivo por el que la IA todavía no puede reemplazarte

El 22 de junio de 2023, en Nueva York, el juez P. Kevin Castel multó con 5.000 dólares a dos abogados y a su estudio por un escrito que citaba seis fallos inexistentes. Uno de ellos, con más de 30 años de ejercicio, los había conseguido con ChatGPT. Según su propia declaración jurada, cuando le preguntó al sistema si esos casos eran reales, la respuesta fue que sí, y que podían encontrarse en las bases de jurisprudencia.

En ese momento pareció una anécdota. Hoy tiene nombre y una base de datos que lo cuenta.

La lleva el investigador Damien Charlotin, que registra las decisiones judiciales de todo el mundo que constataron citas, fallos o datos inventados con inteligencia artificial. En 2023 fueron 16; en 2025, 861, y en lo que va de 2026, 1.261. Al 16 de octubre sumaban 2.199: más de la mitad involucra a personas que litigan sin abogado, 871 a abogados y 32 a jueces. Diez son de la Argentina.

No es que la IA empeoró: la usamos muchísimo más. El riesgo crece con el uso y, por lo tanto, la revisión tiene que crecer igual.

¿Por qué una tecnología que trabaja cada vez mejor todavía sigue cometiendo un error tan básico como inventar información? Para responderlo hay que mirar qué es, en realidad, eso que llamamos IA.

Qué es un modelo de lenguaje y por qué inventa

Un modelo de lenguaje, como los que están detrás de ChatGPT, Claude o Gemini, hace una sola cosa: recibe un texto y devuelve otro. Si parece que recuerda o que nos conoce, es porque cada vez que le escribimos se le vuelve a pasar la conversación entera del chat, más algo que guardó en algún lugar, más la pregunta nueva, y el modelo vuelve a predecir la respuesta como si la viera por primera vez.

Mientras lo usamos, por dentro no cambia nada: no aprende de nosotros (sólo una capa exterior guarda fragmentos de información), no sabe lo que pasó después de su entrenamiento y no puede comprobar lo que dice. Cuando no sabe algo, las probabilidades de las palabras posibles quedan repartidas, y el modelo igual elige una. Si le pido que complete mi ficha y no sabe cuándo es mi cumpleaños, va a poner una fecha que suene bien.

Predice lo probable, no lo verdadero. En la jerga, eso se llama alucinar: responder algo falso con la misma seguridad que algo cierto.

Qué agrega la capa exterior y qué no puede corregir

Si el modelo solo produce texto, ¿cómo manda un correo o arma una planilla? Conviene imaginar a un experto encerrado en una habitación, que solo puede comunicarse con papelitos que pasa por debajo de la puerta. Del otro lado, alguien lee cada papelito, hace el trámite, busca el archivo o manda el mensaje, y le devuelve otro papelito con el resultado.

El experto es el modelo; el que está afuera es el arnés, el programa que lo rodea y le da herramientas para ejecutar, memoria para recordar, búsqueda en internet para lo nuevo, pruebas para verificar y una computadora donde actuar. Cuando ese ida y vuelta se repite hasta terminar una tarea, el sistema pasa a llamarse agente.

El arnés le da manos al modelo, pero no le cambia la cabeza. El de afuera ejecuta lo que dice el papelito, y el papelito lo escribió alguien que predice lo probable: si adentro hubo un error, afuera se ejecuta con la misma prolijidad que un acierto.

En una columna anterior propuse tres cajas para ordenar la discusión sobre una IA de nivel humano. Hoy estamos en la primera, la de las tareas bien definidas, con nuestros ojos sobre el hombro; todavía no en la segunda, la de una IA a la que se le pueden dejar las llaves de la oficina.

Cómo se mide cuánto inventa la IA

En noviembre de 2025, Artificial Analysis, una firma independiente que evalúa modelos, publicó AA-Omniscience: 6.000 preguntas de conocimiento profesional en 42 temas. Su regla es la que importa: si el modelo acierta, suma un punto; si inventa, resta uno; si dice “no sé”, no suma ni resta.

El primero de aquel ranking, Claude Opus 4.1, de Anthropic, acertaba 36 de cada 100 preguntas e inventaba 31. Hoy el primero es Claude Opus 5.5, de la misma empresa: acierta 66, casi el doble, e inventa 20.

Pero cuando no acierta, en el 59% de los casos inventa en lugar de admitir que no sabe, según la tabla del 16 de octubre; en Opus 4.1, esa proporción era del 48%.

Saber más no es lo mismo que inventar menos. El que más acierta hoy, Claude Fable 5.1, con 67% de aciertos, inventa en el 73% de los casos en que no acierta. El que menos inventa entre los más avanzados, Gemini 4 Argon, de Google, lo hace en el 15% porque dice “no sé” más seguido; a cambio, acierta 50 de cada 100, y todavía no está abierto al público.

Darle el documento ayuda, pero no alcanza: según la tabla que Vectara actualizó el 22 de septiembre, al resumir un texto los modelos más grandes agregan algo que no estaba en el original en entre 6 y 14 de cada 100 resúmenes.

Por qué los modelos adivinan en lugar de decir “no sé”

Si un modelo puede decir “no sé”, ¿por qué no lo dice más seguido? No hace falta ninguna conspiración: alcanza con un incentivo. En septiembre de 2025, investigadores de OpenAI y del Instituto de Tecnología de Georgia encabezados por Adam Tauman Kalai lo explicaron en el trabajo “Por qué alucinan los modelos de lenguaje”: los exámenes con que se entrenan y se miden estos sistemas premian adivinar.

Es la lógica de una prueba de opción múltiple: la pregunta en blanco vale cero seguro y la que se adivina a veces suma, así que, si equivocarse no resta, conviene arriesgar siempre. Los autores proponen castigar más el error dicho con seguridad que la duda, que es lo que hace AA-Omniscience.

Los modelos mejoran, pero no en línea recta: según Artificial Analysis, GPT-5.6 Sol, de OpenAI, inventaba en el 92% de los casos en que no acertaba, y su sucesor, GPT-6 Astra, en el 51%. Con un sistema que predice texto, el cero no está garantizado.

Mi lectura, discutible, es que ese es el motivo por el que la IA de hoy todavía no puede reemplazar a quien la usa: no es que no sepa hacer el trabajo, es que son demasiadas las veces en que no se da cuenta de cuándo lo hizo mal, y lo informa con la misma seguridad. Las personas también nos equivocamos, pero podemos decir “no sé” y, cuando firmamos, respondemos por lo que firmamos.

Qué revisar y cuánto, según lo que está en juego

Antes de preguntar, conviene darle permiso para dudar, pasarle el documento con la consigna de que conteste solo con lo que dice y pedirle que marque de qué está menos seguro. Con la fuente adelante inventa mucho menos; también ayudan la búsqueda en internet y dividir lo grande en pasos chicos. Tres instrucciones sirven para empezar:

Para datos o hechos: “Respondé solo si estás seguro. Si no lo estás, decí ‘No lo sé’ en lugar de adivinar, y marcá claramente las partes en las que tengas dudas”.

Para documentos propios, como contratos, informes o actas: “Usá únicamente el documento de abajo. Si la respuesta no está ahí, decímelo. Citá la frase exacta que usaste”.

Para análisis y recomendaciones: “Explicá cómo llegaste a esta respuesta, listá tus fuentes y decime de qué parte estás menos seguro”.

Después viene el control: cada dato importante, con dos fuentes; cada link y cada cita, abiertos, y si no aparecen, no se usan; los números, recalculados, y el código, probado. Si al repreguntar de otra manera la respuesta cambia, el modelo no lo sabía. Pedirle que diga “no sé” tiene un costo, porque contesta menos. Para decidir, igual es preferible un “no sé” a un dato inventado.

No hace falta revisar todo con la misma lupa, sino según lo que está en juego, como en un semáforo. En verde, los borradores y las ideas: uso libre, con una mirada rápida. En amarillo, los datos (cifras, nombres, citas, links y código): siempre contra la fuente original. En rojo, lo que decide algo o se publica, sobre clientes, dinero, temas legales o personas: fuente, otra persona que revise y alguien que firme.

Conviene tratarla como a un pasante brillante, rápido y a veces demasiado seguro. Y si un agente avisa que terminó, hay que comprobarlo.

Delegá la tarea, no la responsabilidad. La caja uno dice “con ojos por sobre el hombro”. Esos ojos son los nuestros.