Character AI está poniendo fin a su experiencia de chatbot para niños Mas Cipolleti

Los adolescentes están tratando de descubrir dónde encajan en un mundo que cambia más rápido que cualquier generación anterior. Están llenos de emociones, hiperestimulados y crónicamente en línea. Y ahora, las empresas de inteligencia artificial les han proporcionado chatbots diseñados para no dejar de hablar nunca. Los resultados han sido catastróficos.

Una empresa que entiende estas consecuencias es Character.AI, una startup de juegos de rol de IA que enfrenta demandas y protestas públicas después de al menos dos adolescentes murió por suicidio tras prolongadas conversaciones con chatbots de IA en su plataforma. Ahora, Character.AI está realizando cambios en su plataforma para proteger a adolescentes y niños, cambios que podrían afectar los resultados de la startup.

“Lo primero que hemos decidido como Character.AI es que eliminaremos la posibilidad de que los usuarios menores de 18 años participen en chats abiertos con IA en nuestra plataforma”, dijo a TechCrunch Karandeep Anand, director ejecutivo de Character.AI.

La conversación abierta se refiere al intercambio sin restricciones que ocurre cuando los usuarios le dan un mensaje a un chatbot y este responde con preguntas de seguimiento que los expertos dicen están diseñados para mantener a los usuarios interesados. Anand sostiene que este tipo de interacción, en la que la IA actúa como un compañero de conversación o un amigo en lugar de una herramienta creativa, no sólo es riesgosa para los niños, sino que no se alinea con la visión de la empresa.

La startup está intentando pasar de ser un “compañero de IA” a una “plataforma de juegos de roles”. En lugar de charlar con un amigo IA, los adolescentes utilizarán indicaciones para construir historias de forma colaborativa o generar imágenes. En otras palabras, el objetivo es trasladar el compromiso de la conversación a la creación.

Character.AI eliminará gradualmente el acceso al chatbot para adolescentes antes del 25 de noviembre, comenzando con un límite diario de dos horas que se reducirá progresivamente hasta llegar a cero. Para garantizar que esta prohibición se mantenga para usuarios menores de 18 años, la plataforma implementará una herramienta interna de verificación de edad que analiza el comportamiento del usuario, así como herramientas de terceros como Persona. Si esas herramientas fallan, Character.AI utilizará reconocimiento facial y controles de identificación para verificar las edades, dijo Anand.

El movimiento sigue a otros. protecciones adolescentes que Character.AI ha implementado, incluida la introducción de una herramienta de información para padres, personajes filtrados, conversaciones románticas limitadas y notificaciones de tiempo invertido. Anand le dijo a TechCrunch que esos cambios hicieron que la compañía perdiera gran parte de su base de usuarios menores de 18 años y espera que estos nuevos cambios sean igualmente impopulares.

“Es seguro asumir que muchos de nuestros usuarios adolescentes probablemente se sentirán decepcionados… por lo que esperamos que se produzca una mayor rotación”, dijo Anand. “Es difícil especular: ¿se mudarán todos por completo o algunos pasarán a estas nuevas experiencias que hemos estado construyendo durante los últimos siete meses?”

Como parte del impulso de Character.AI para transformar la plataforma de una aplicación centrada en el chat a una “Plataforma social completa basada en contenido” La startup lanzó recientemente varias funciones nuevas centradas en el entretenimiento.

En junio, Character.AI lanzó AvatarFX, un modelo de generación de videos que transforma imágenes en videos animados; Escenas, historias interactivas y precargadas donde los usuarios pueden adentrarse en narrativas con sus personajes favoritos; y Streams, una función que permite interacciones dinámicas entre dos personajes cualesquiera. En agosto, Character.AI lanzó Community Feed, una fuente social donde los usuarios pueden compartir sus personajes, escenas, videos y otro contenido que crean en la plataforma.

En un comunicado dirigido a usuarios menores de 18 años, Character.AI se disculpó por los cambios.

“Sabemos que la mayoría de ustedes usa Carácter.AI para potenciar su creatividad de maneras que se mantengan dentro de los límites de nuestras reglas de contenido”, se lee en la declaración. “No tomamos este paso de eliminar el chat de personajes abierto a la ligera, pero creemos que es lo correcto dadas las preguntas que se han planteado sobre cómo los adolescentes interactúan y deberían interactuar con esta nueva tecnología”.

“No cerraremos la aplicación para menores de 18 años”, dijo Anand. “Solo estamos cerrando los chats abiertos para menores de 18 años porque esperamos que los usuarios menores de 18 años migren a estas otras experiencias y que esas experiencias mejoren con el tiempo. Por lo tanto, duplicar la apuesta por los juegos de IA, los videos cortos de IA y la narración de historias de IA en general. Esa es la gran apuesta que estamos haciendo para traer de vuelta a los menores de 18 años si abandonan”.

Anand reconoció que algunos adolescentes podrían acudir en masa a otras plataformas de inteligencia artificial, como OpenAI, que les permiten tener conversaciones abiertas con chatbots. OpenAI también ha sido criticado recientemente después de una adolescente se quitó la vida tras largas conversaciones con ChatGPT.

“Realmente espero que liderar el camino establezca un estándar en la industria de que para los menores de 18 años, los chats abiertos probablemente no sean el camino o el producto a ofrecer”, dijo Anand. “Para nosotros, creo que las compensaciones son las correctas. Tengo una niña de seis años y quiero asegurarme de que crezca en un ambiente muy seguro con IA de manera responsable”.

Character.AI está tomando estas decisiones antes de que los reguladores le obliguen. El martes, los senadores Josh Hawley (R-MO) y Richard Blumenthal (D-CT) dijeron que introducir legislación prohibir que los compañeros de chatbot de IA estén disponibles para menores, luego de quejas de padres que dijeron que los productos empujaban a sus hijos a conversaciones sexuales, autolesiones y suicidio. A principios de este mes, California se convirtió en el primer estado en regular los chatbots complementarios de IA responsabilizando a las empresas si sus chatbots no cumplen con los estándares de seguridad de la ley.

Además de esos cambios en la plataforma, Character.AI dijo que establecería y financiaría AI Safety Lab, una organización independiente sin fines de lucro dedicada a innovar la alineación de seguridad para las futuras funciones de entretenimiento de AI.

“Se está trabajando mucho en la industria en codificación y desarrollo y otros casos de uso”, dijo Anand. “No creemos que todavía se haya trabajado lo suficiente en la IA agente que impulsa el entretenimiento, y la seguridad será muy crítica para eso”.