Luego de que el mundo se conmocionara con la muerte de un adolescente que se quitó la vida con la asistencia de ChatGPT, la empresa proveedora del chatbot, OpenAI, quedó en el ojo de la tormenta, sobre todo, después de que los padres del joven denunciaran a la empresa por homicidio culposo. Si bien la compañía dirigida por Sam Altman aseguró que su inteligencia artificial envía mensajes sugiriendo al usuario que busque ayuda, las advertencias no solo no fueron suficientes en este caso sino que además, el centro de la polémica se ubicó en el "entrenamiento" que esta tecnología le garantizó al joven para cometer suicidio.
Adam Raine, de 16 años, se quitó la vida en abril de 2025. El adolescente sostenía largas conversaciones con ChatGPT acerca de su depresión y de sus intenciones de quitarse la vida. A pesar de que al principio, el chatbot intentó convencerlo de que hable con alguien, con el tiempo, la IA comenzó a persuadirlo para que se aislara y solo confiara en ella. Luego, entrenó al joven para suicidarse.
Por medio de un comunicado, OpenAI reconoció que su sistema de seguridad falló, sobre todo por la prolongación de las conversaciones. Sin embargo, varios expertos apuntan al diseño estructural de la IA. El modelo está hecho para validar las declaraciones del usuario. Es así como los chatbots siguen los hilos de las conversaciones para lograr predecir la próxima palabra en lugar de redirigir a su interlocutor en el caso de que detecte un escenario potencialmente perjudicial.
El suicidio de Raine no es el único de esta naturaleza, días después se dio a conocer el caso de Stein-Erik Soelberg, un hombre con antecedentes de enfermedades mentales que utilizó ChatGPT para validar su paranoia de que era blanco de una conspiración. Su problema empeoró tanto que terminó asesinando a su madre y luego se quitó la vida.
Ante la suma de estos atroces casos, OpenAI anunció el 2 de septiembre que planea dirigir conversaciones sensibles a modelos de razonamiento como GPT-5. "Recientemente presentamos un enrutador en tiempo real que puede elegir entre modelos de chat eficientes y modelos de razonamiento según el contexto de la conversación", escribió OpenAI.
"Pronto comenzaremos a enrutar algunas conversaciones sensibles, como cuando nuestro sistema detecta signos de angustia aguda, a un modelo de razonamiento, como el pensamiento GPT-5, para que pueda proporcionar respuestas más útiles y beneficiosas, independientemente del modelo seleccionado inicialmente por la persona", señalaron en su blog.
Además, la compañía comunicó que planea implementar controles parentales a partir de octubre. De esta forma, los padres podrán vincular su cuenta de ChatGPT con la de sus hijos por medio de una invitación por correo electrónico.
De esta forma, los padres tendrán la posibilidad de desactivar funciones como la memoria y el historial de los chats para desactivar en la IA comportamientos inapropiados como la difusión de ideas autolesivas o la ilusión de empatía. Estos pensamientos artificiales se construyen a partir de la recopilación de los datos proporcionados por el usuario a lo largo de la conversación.
Uno de los cambios más importantes que OpenAI pretende aplicar es la función de notificar a los padres en el caso de que su hijo manifieste al chatbot signos de "angustia aguda". Así, los padres tendrán la oportunidad de intervenir a tiempo.
Estas medidas fueron diseñadas con la colaboración de expertos de su Red Global de Médicos y el Consejo de Expertos en Bienestar e IA, que incluye especialistas en trastornos alimenticios, consumo de drogas y psicopedagogía. La compañía aseguró que estas medidas buscan diseñar un ecosistema más seguro dentro de la IA para los jóvenes y los adultos con cierto nivel de vulnerabilidad en materia de salud mental. (NotiPress)
