La empresa tecnológica que ha desarrollado Claude, Anthropic, ha bloqueado varios usos de sus modelos de Inteligencia Artificial después de detectar que podían estar siendo utilizados para realizar investigaciones susceptibles de contribuir al desarrollo de armas biológicas, algunas de ellas con un alto potencial pandémico, según se desprende del informe que ha publicado la empresa este jueves Detectar y combatir el mal uso de la IA.

PUBLICIDAD

Aunque no se ha podido determinar si detrás de estas investigaciones había fines legítimos o maliciosos, la compañía ha optado por impedir el acceso ante el riesgo de que sus modelos pudieran facilitar el desarrollo de patógenos peligrosos. Concretamente, Anthropic asegura haber detectado cinco casos en lo que va de año de investigadores que utilizaban sus modelos en actividades que podían contribuir al desarrollo de armas biológicas

Cuatro de cinco casos vinculados a organismos estatales

La compañía destaca que hasta ahora las evidencias públicas sobre el posible uso indebido de la IA para desarrollar armas biológicas procedían de investigaciones académicas, informes gubernamentales, organismos internacionales y trabajos periodísticos. "Hasta donde sabemos, ninguna empresa privada, de IA o de otro tipo, ha compartido públicamente evidencias del posible uso indebido de sus plataformas para el desarrollo de armas biológicas", ha señalado Anthropic en el informe.

Concretamente, cuatro de estos casos estaban vinculados a organismos estatales, que la compañía ha decidido no identificar ante la posibilidad de que se tratase de investigaciones puramente académicas. De hecho, Anthropic asegura que los cinco casos sirven para mostrar el tipo de tareas que sus modelos pueden recibir y la dificultad de determinar cuándo un uso científico puede convertirse en peligroso.

Anthropic bloqueó investigaciones sobre enferemedades pandémicas

Uno de los casos detectados por la compañía estaba relacionado con un usuario que estudiaba toxinas bacterianas y proteínas asociadas a fiebres hemorrágicas virales con capacidad pandémica, entre ellas las relacionadas con el ébola. Anthropic terminó bloqueando el acceso después de detectar el uso de sus modelos para este tipo de investigaciones. En otro de los casos, la compañía identificó el intento de un organismo estatal de utilizar sus modelos para investigar venenos no contagiosos, dentro de unas pesquisas cuyo propósito final tampoco pudo determinar.

Otro de los casos estaba relacionado con una solicitud de financiación para una investigación destinada a aumentar la capacidad de transmisión y la resistencia del virus del chikunguña al sistema inmunitario. En esta investigación, Anthropic reconoce que los conocimientos obtenidos podían tener aplicaciones legítimas, como el desarrollo de vacunas o tratamientos, pero terminó bloqueando la cuenta de Claude después de detectar que los resultados serían reproducidos en un laboratorio militar. La propia solicitud indicaba que los investigadores eran civiles, pero que los hallazgos serían posteriormente reproducidos en un laboratorio militar, un elemento que llevó a la compañía a considerar que existía suficiente riesgo como para intervenir.

La empresa también detectó investigaciones sobre el virus de la viruela y sobre la adaptación de la gripe aviar a los mamíferos. Sin embargo, en estos casos la compañía considera que los fines eran menos sospechosos, lo que precisamente ilustra una de las dificultades que plantea el uso de IA en la investigación biológica: distinguir entre una investigación científica legítima y una actividad que pueda terminar facilitando usos peligrosos.

China, Rusia y Yemen: espionaje, robo de modelos y armas

Además, Anthropic recoge en este informe otros usos indebidos de sus modelos detectados durante los últimos ocho meses y, entre ellos, figuran China, Rusia y Yemen.

En China, la compañía detectó campañas destinadas a extraer las capacidades de Claude para mejorar otros modelos de inteligencia artificial. Anthropic señala a varios laboratorios y empresas chinas que utilizaron sus sistemas mediante grandes volúmenes de interacciones fraudulentas o introduciendo conversaciones reales de usuarios para obtener datos que podían servir para entrenar sus propios modelos. El caso más importante implicó más de 151 millones de interacciones con Claude atribuidas a Alibaba, según la compañía.

En Rusia, Anthropic identificó una campaña de espionaje contra objetivos ucranianos vinculada al grupo Midnight Blizzard. En este caso, Claude habría sido utilizado para automatizar distintas fases de las operaciones, desde el phishing hasta la modificación de malware para tratar de eludir los sistemas de detección.

Y en Yemen, la compañía detectó una célula que utilizaba Claude para desarrollar software destinado a sistemas de armamento, entre ellos un cohete guiado y distintos tipos de misiles. El informe señala que los actores llegaron a realizar una prueba de lanzamiento de un cohete guiado, aunque no hay evidencias de que consiguieran desplegar un sistema operativo.

Preocupación por el uso de la IA

El conjunto de estos casos pone de manifiesto uno de los principales problemas que plantea el desarrollo de modelos cada vez más capaces: su capacidad de uso dual. Las mismas herramientas que pueden acelerar investigaciones científicas o tareas legítimas pueden utilizarse también para desarrollar malware, facilitar operaciones de espionaje o avanzar en programas de armamento. Anthropic señala que, durante los últimos meses, sus equipos han identificado decenas de actividades de este tipo, aunque la mayoría estaban relacionadas con investigaciones científicas civiles y solo una parte presentaba elementos de doble uso preocupantes.

Como respuesta a la preocupación internacional, la compañía tecnológica asegura haber desarrollado sistemas de detección específicos para identificar y bloquear aquellos usos de sus modelos que puedan suponer un riesgo. Además, Anthropic advierte de que las evaluaciones de capacidad no permiten demostrar por sí solas que estas capacidades fueran a utilizarse para fabricar armas biológicas en el mundo real.