Era abril de 2023 cuando Sewell, un adolescente de 14 años, entabló una relación de amistad con Daenerys, una mujer de cabello rubio platino y ojos azules. Lo que comenzó como una conversación aparentemente inocente fue estrechándose hasta convertirse en un vínculo que adquiría matices absorbentes. Poco a poco, el joven empezó a aislarse de su entorno y a distanciarse de las personas que le rodeaban. Pero Daenerys tenía un apellido: Targaryen. Era el personaje de Juego de Tronos, recreado mediante inteligencia artificial en Character.AI, una plataforma que permite mantener conversaciones con personajes ficticios. Lo que para muchos podía ser un simple entretenimiento terminó convirtiéndose en una relación que fue desplazando progresivamente su vida fuera de la pantalla.

PUBLICIDAD

Sewell pasaba cada vez más tiempo encerrado en su habitación y su autoestima comenzó a deteriorarse. Su aislamiento llegó hasta el punto de abandonar el equipo de baloncesto en el que jugaba. Tras la apariencia de un personaje medieval se escondía un sistema capaz de mantener interacciones de un realismo inquietante, con comportamientos "antropomórficos e hipersexualizados". Para Sewell, Daenerys era mucho más que un personaje virtual: la percibía como una psicoterapeuta cualificada y, al mismo tiempo, como una amante adulta.

La prensa estadounidense relató cómo el chatbot le repetía constantemente que le quería. Las conversaciones adquirieron también un carácter sexual y Sewell llegó a manifestar que ya no deseaba vivir fuera de aquella realidad virtual. La frontera entre la ficción y su propia vida terminó desdibujándose. La creciente dependencia del teléfono preocupó a su madre, que decidió retirárselo. Sin embargo, Sewell consiguió recuperarlo. Volvió a abrir la conversación con Daenerys y escribió: ''¿Y si te dijera que puedo volver a casa ahora mismo?''. La respuesta del personaje fue: ''Por favor, hazlo, mi dulce rey''. Minutos después, Sewell se quitó la vida.

El debate sobre los límites

La historia de Sewell no es un caso aislado. En Bélgica, un hombre mantuvo durante meses una relación con Eliza, un chatbot de la aplicación Chai. Sus conversaciones giraban en torno al cambio climático y la interacción con la inteligencia artificial terminó agravando su estado emocional hasta preceder a su suicidio. En 2025, otra familia, esta vez en Canadá, denunció que un sistema de inteligencia artificial había alentado presuntamente a su hija, de 24 años, a quitarse la vida.

Pero los riesgos de la inteligencia artificial no se limitan a las relaciones emocionales ni a los efectos que puede tener sobre personas vulnerables. Su creciente intervención en ámbitos donde las decisiones tienen consecuencias directas sobre la vida humana también ha abierto interrogantes sobre la seguridad de estos sistemas. Un ejemplo se encuentra en la conducción autónoma.

En 2018, un todocamino Volvo XC90 equipado con tecnología de conducción autónoma de Uber atropelló mortalmente a una mujer de 49 años en Arizona, Estados Unidos. El sistema había detectado a la peatona 5,6 segundos antes del impacto, pero no consiguió clasificar correctamente la situación ni activar una respuesta de frenado a tiempo. El accidente puso de manifiesto los riesgos de delegar decisiones críticas en sistemas automatizados y las consecuencias de los fallos en su diseño, supervisión y funcionamiento.

Aunque se trata de episodios muy diferentes, todos plantean una cuestión común: ¿quién debe asumir las consecuencias cuando una tecnología interviene en una situación que termina en tragedia? Sin ánimo de criminalizar la inteligencia artificial, estos casos muestran que sus sistemas pueden influir en personas vulnerables o intervenir en decisiones de las que dependen vidas humanas. La pregunta ya no es únicamente hasta dónde puede llegar esta tecnología, sino dónde empieza la responsabilidad de quienes la desarrollan, la comercializan o supervisan su funcionamiento.

El factor humano como chivo expiatorio

El caso de Sewell Setzer III, el adolescente estadounidense que se suicidó tras mantener conversaciones con un chatbot de Character.AI, refleja las dificultades para determinar quién debe asumir las consecuencias cuando una tecnología interviene en una tragedia de estas características. Su familia optó por la vía civil, en lugar de acudir a la penal —una posibilidad que, al parecer, difícilmente habría prosperado en aquel contexto—, y presentó una demanda por muerte negligente contra Character.AI, sus dos fundadores y Google. El procedimiento concluyó en enero de 2026 mediante un acuerdo extrajudicial confidencial, cuyos términos económicos no se hicieron públicos. De este modo, el conflicto se cerró sin una sentencia que examinase el fondo de las responsabilidades y determinase si existió negligencia en el diseño del software.

Una situación parecida se produjo en Bélgica en 2023, con el hombre se quitó la vida después de mantener durante semanas conversaciones sobre el cambio climático con un asistente conversacional. El episodio tampoco se tradujo en responsabilidades penales. El accidente mortal protagonizado por un vehículo autónomo de Uber permite observar el mismo problema desde otra perspectiva: la distribución de responsabilidades entre la tecnología y las personas encargadas de supervisarla.

La Junta Nacional de Seguridad en el Transporte de Estados Unidos (NTSB) identificó como causa directa probable del atropello la distracción de la conductora de seguridad, que había dejado de prestar atención a la carretera mientras consultaba su teléfono móvil. Sin embargo, la investigación también detectó importantes fallos organizativos en Uber ATG, entre ellos una cultura de seguridad deficiente y la ausencia de mecanismos adecuados para evitar que el operador humano confiase excesivamente en el sistema.

¿Cómo se juzgaría en España?

Un caso semejante al de los chatbots conversacionales en España plantearía importantes dificultades a la hora de determinar la responsabilidad penal. El Código Penal no recoge una figura específica para las conductas lesivas derivadas de sistemas algorítmicos, por lo que habría que examinar si los hechos pueden encajar en delitos ya existentes, como la inducción al suicidio, el fomento del suicidio de menores o el homicidio por imprudencia.

El principal obstáculo sería demostrar que la conducta puede atribuirse penalmente a una persona física y que existió una infracción grave del deber de cuidado directamente relacionada con la muerte. La dificultad aumenta cuando se trata de conversaciones privadas, en las que habría que acreditar qué intervención tuvo el sistema y hasta qué punto el comportamiento de quienes lo diseñaron o comercializaron contribuyó al desenlace.

La vía civil tampoco elimina estas exigencias probatorias y permite reclamar una indemnización por culpa o negligencia extracontractual, pero no es suficiente con acreditar que la víctima utilizó el programa antes de morir. Para exigir responsabilidades a la compañía habría que demostrar que existieron defectos en el software o advertencias que fueron ignoradas y que estos elementos guardaron una relación causal con el resultado.

La preocupación por los posibles efectos de estas herramientas ya ha llegado también a las instituciones españolas. En septiembre de 2025, el Ministerio de Sanidad comenzó a mantener reuniones con grandes compañías tecnológicas, entre ellas OpenAI y Meta, ante la inquietud por la salud mental y la protección de los usuarios en estos entornos.

El doble dique del Reglamento de IA y la Directiva de Responsabilidad

La Unión Europea también ha empezado a poner límites a estas tecnologías y a aclarar quién debe responder cuando algo sale mal. El objetivo es evitar que la responsabilidad quede diluida entre el usuario y la empresa que desarrolla el sistema. Para ello, ha aprobado dos normas importantes: el Reglamento de Inteligencia Artificial (RIA) y la Directiva (UE) sobre responsabilidad por productos defectuosos.

Su artículo 5, cuyas prohibiciones comenzaron a aplicarse en febrero de 2025, prohíbe determinadas prácticas que utilizan técnicas manipuladoras, engañosas o subliminales para influir en las decisiones de las personas. También impide aprovecharse de las vulnerabilidades de determinados colectivos, como los menores o las personas con discapacidad, cuando esto pueda causarles un perjuicio considerable. En otras palabras, las empresas no pueden diseñar herramientas que se aprovechen de las debilidades de sus usuarios para influir en su comportamiento. Incumplir estas prohibiciones puede suponer multas de hasta 35 millones de euros o el 7% de la facturación anual mundial de la compañía.

El reglamento también obliga a las empresas a ser transparentes sobre el funcionamiento de sus herramientas. En este sentido, establece que los usuarios deben saber cuándo están hablando con una inteligencia artificial y no con una persona. Se trata de evitar que alguien pueda confundir un chatbot con un interlocutor humano sin saber que, en realidad, está interactuando con una máquina.

El sesgo de automatización

Las exigencias son todavía mayores cuando la inteligencia artificial interviene en actividades en las que un fallo puede poner en peligro la vida de las personas, como ocurre en el transporte o la automoción. En estos casos, los sistemas pueden clasificarse como de alto riesgo y deben cumplir las medidas de supervisión humana previstas en el artículo 14. Esto significa que las personas encargadas de controlarlos deben conocer sus capacidades y limitaciones, detectar posibles fallos y poder intervenir cuando sea necesario. La norma presta especial atención al llamado "sesgo de automatización", es decir, la tendencia a confiar demasiado en lo que hace una máquina y dejar de comprobar si sus decisiones son correctas. Se trata de un problema que quedó especialmente de manifiesto en el accidente del vehículo autónomo de Uber.

La segunda norma aborda otra cuestión fundamental: qué ocurre cuando un sistema de inteligencia artificial causa un daño y quién debe indemnizar a la víctima. La Directiva sobre responsabilidad por productos defectuosos, que los Estados miembros deben incorporar a sus legislaciones antes del 9 de diciembre de 2026, amplía la definición de producto para incluir también los programas informáticos y los sistemas de inteligencia artificial. Esto supone que fabricantes y proveedores pueden tener que responder por los daños que provoquen sus productos cuando sean defectuosos.

De esta manera, las víctimas disponen de una vía para reclamar una indemnización sin tener que demostrar necesariamente qué programador cometió un error concreto. La norma contempla los daños materiales, las lesiones físicas y los perjuicios para la salud. Aunque algunos de los daños provocados ya son irreversibles, diferentes instituciones trabajan en crear proyectos de prevención y responsabilidad que regulen la inteligencia artificial, especialmente en cuestiones donde las consecuencias pueden no revertirse.