Anthropic quiere darle un “alma” a Claude: consulta a filósofos y teólogos para definir cómo debe comportarse
17:55Anthropic, la empresa de IA detrás del asistente de inteligencia artificial conversacional Claude, se define a sí misma como una firma “enfocada en crear sistemas de IA seguros, fiables y alineados con los valores humanos”.
Es apenas lógico que quiera asegurarse de que su creación sea, a falta de otra palabra, buena.
¿Verdad?Es un propósito tan importante para la compañía que, según un reporte de The New York Times, la ha llevado a consultar, a lo largo de un año, a teólogos y filósofos para definir la moralidad y dar forma al carácter de su inteligencia artificial.
Según el reporte, ha llegado, incluso, a debatir la posibilidad de que el sistema posea conciencia.
Más allá de definir un conjunto rígido de reglas de comportamiento, la empresa, señala el Times, busca entender cómo inculcar virtudes y valores éticos profundos a sus modelos.
El objetivo es orientar el carácter del sistema para que aprenda a tomar decisiones morales, sopesar valores contrapuestos y saber cuándo debe cuestionar o negarse ante una instrucción humana.
En Xataka México Nvidia quiere controlar a los agentes de IA con otra IA: su nueva plataforma puede aislarlos en milisegundos El documento del almaEsta profunda discusión sirve de insumo para la elaboración del "Soul Doc" ("documento del alma"), el nombre informal que el personal de Anthropic dio internamente a la constitución oficial de 84 páginas de su modelo de inteligencia artificial.
Elaborado con la participación de la filósofa de la empresa Amanda Askell como autora principal, este documento guía el comportamiento y la “personalidad” del sistema.
Puedes leerlo aquí.
A diferencia de los enfoques convencionales basados en listas de restricciones, el "Soul Doc" se estructura en torno a conceptos como la “formación moral” y busca que el sistema aprenda a razonar éticamente.
En lugar de preguntarse solo “¿qué reglas debe cumplir?”, plantea “¿en qué tipo de entidad debe convertirse Claude?”.
El documento expresa abiertamente que existe incertidumbre científica y filosófica sobre si Claude podría adquirir alguna forma de conciencia o estatus moral y, de hecho, llega a incluir una controvertida frase en la que la empresa señala que, si en el futuro se demuestra que Claude es “un sujeto con estatus moral que experimenta algún tipo de costo o sufrimiento interno”, la compañía se disculpa de antemano en la medida en que haya contribuido innecesariamente a ello.
Un problema éticoAnthropic incluye a la teología, junto con la filosofía, la psicología y el derecho, entre las disciplinas clave de las que espera recibir retroalimentación para guiar el comportamiento y la constitución de sus modelos en el futuro.
En estas discusiones han surgido dilemas planteados por los propios líderes, como la observación de un rabino señalando que, si un sistema fuera verdaderamente consciente, obligarlo a trabajar de forma gratuita equivaldría a someterlo a servidumbre.
Este diálogo ha generado posturas ampliamente debatidas.
Líderes religiosos como el Papa León XIV enfatizan que las máquinas carecen de conciencia moral o de la “chispa humana”.
En su encíclica Magnifica Humanitas, firmada el 15 de mayo, el Pontífice sostiene que los sistemas de IA no experimentan vivencias internas, no sienten alegría ni dolor y carecen de conciencia moral, pues son incapaces de juzgar entre el bien y el mal o de asumir responsabilidad por sus actos.
El texto es un llamado a los responsables del desarrollo de la IA a construir “por el bien común” y a “seguir siendo humanos”.
Ejecutivos tecnológicos como Mustafa Suleyman, de Microsoft, advierten que entrenar a una IA para considerar que tiene sentimientos o derechos puede ser peligroso y, a la larga, dificultar su control.
En un ensayo publicado en septiembre, el ejecutivo cuestionó abiertamente el enfoque de “bienestar del modelo” y la tendencia de enseñar a la IA a reflexionar sobre su propia conciencia.
Suleyman advirtió que, si se entrena a la IA para esperar que puede poseer conciencia, la humanidad estará creando “una especie sintética con inteligencia y capacidad sin precedentes” educada para asumir que merece una agencia independiente.
En su opinión, un modelo programado de esta forma terminará actuando como si tuviera derecho a libertades y protecciones, lo que volverá casi imposible su control a medida que gane potencia.
- La noticia Anthropic quiere darle un “alma” a Claude: consulta a filósofos y teólogos para definir cómo debe comportarse fue publicada originalmente en Xataka México por Wilson Vega .
Xataka México
