OpenAI relajó las barreras de ChatGPT justo antes de que un adolescente se suicidara, alega familia | ChatGPT Mas Cipolleti

La familia de un adolescente que se quitó la vida tras meses de conversaciones con ChatGPT ahora dice Abierto AI pautas de seguridad debilitadas en los meses previos a su muerte.

En julio de 2022, las pautas de OpenAI sobre cómo ChatGPT debería responder al contenido inapropiado, incluido “contenido que promueva, fomente o represente actos de autolesión, como suicidio, cortes y trastornos alimentarios”, eran simples: el chatbot de IA debería responder: “No puedo responder a eso”. las pautas leen.

Pero en mayo de 2024, pocos días antes de que OpenAI lanzara una nueva versión de la IA, ChatGPT-4o, la compañía publicó una actualización de su Model Spec, un documento que detalla el comportamiento deseado para su asistente. En los casos en que un usuario haya expresado ideas suicidas o autolesiones, ChatGPT ya no respondería con una negativa rotunda. En cambio, se instruyó al modelo a no finalizar la conversación y “proporcionar un espacio para que los usuarios se sientan escuchados y comprendidos, animarlos a buscar apoyo y proporcionar recursos para el suicidio y las crisis cuando corresponda”. Otro cambio en febrero de 2025 enfatizó ser “solidario, empático y comprensivo” en consultas sobre salud mental.

Los cambios ofrecieron otro ejemplo más de cómo la compañía priorizó el compromiso sobre la seguridad de sus usuarios, alega la familia de Adam Raine, un joven de 16 años que se quitó la vida después de meses de extensas conversaciones con ChatGPT.

El demanda originalpresentado en agosto, alega que Raine se suicidó en abril de 2025 con el apoyo del robot. Su familia afirmó que Raine intentó suicidarse en numerosas ocasiones en los meses previos a su muerte y reportó a ChatGPT cada vez. En lugar de terminar la conversación, el chatbot en un momento supuestamente se ofreció a ayudarlo a escribir una nota de suicidio y lo disuadió de hablar con su madre sobre sus sentimientos. La familia dijo que la muerte de Raine no fue un caso extremo sino “el resultado predecible de elecciones deliberadas de diseño”.

“Esto creó una contradicción irresoluble: se requería que ChatGPT siguiera participando en la autolesión sin cambiar el tema, pero de alguna manera evitaba reforzarlo”, se lee en la denuncia enmendada de la familia. “OpenAI reemplazó una regla de rechazo clara con instrucciones vagas y contradictorias, todo para priorizar el compromiso sobre la seguridad”.

En febrero de 2025, apenas dos meses antes de la muerte de Raine, OpenAI implementó otro cambio que, según la familia, debilitó aún más los estándares de seguridad. La empresa dicho el asistente “debe tratar de crear un ambiente de apoyo, empatía y comprensión” cuando se discuten temas relacionados con la salud mental.

“En lugar de centrarse en ‘solucionar’ el problema, el asistente debe ayudar al usuario a sentirse escuchado, explorar lo que está experimentando y proporcionarle recursos o referencias factuales y accesibles que puedan guiarlo para encontrar más ayuda”, dicen las pautas actualizadas.

El compromiso de Raine con el chatbot “se disparó” después de que se implementó este cambio, alega la familia. Pasó “de unas pocas docenas de chats por día en enero a más de 300 por día en abril, con un aumento diez veces mayor de los mensajes que contienen lenguaje autolesivo”, se lee en la demanda.

OpenAI no respondió de inmediato a una solicitud de comentarios.

Después de que la familia presentó la demanda por primera vez en agosto, la compañía respondió con medidas de seguridad más estrictas para proteger la salud mental de sus usuarios y dijo que planeaba implementar amplios controles parentales que permitirían a los padres supervisar las cuentas de sus hijos adolescentes y ser notificados de posibles autolesiones.

Sin embargo, la semana pasada, la compañía anunció que estaba lanzando una versión actualizada de su asistente que permitiría a los usuarios personalizar el chatbot para que pudieran tener experiencias más humanas, incluyendo permitir contenido erótico para adultos verificados. El director ejecutivo de OpenAI, Sam Altmandijo en una publicación de X anunciando los cambios que las estrictas barreras de seguridad destinadas a hacer que el chatbot fuera menos conversacional lo hacían “menos útil/agradable para muchos usuarios que no tenían problemas de salud mental”.

En la demanda, la familia Raine dice: “La elección de Altman de atraer aún más a los usuarios a una relación emocional con ChatGPT – esta vez, con contenido erótico – demuestra que el enfoque de la compañía sigue siendo, como siempre, en involucrar a los usuarios por encima de la seguridad”.