AI WORLD HQ
Si alguna vez permites que un asistente de IA abra archivos, ejecute comandos o envíe mensajes por ti, le estás dando acceso real. Un nuevo informe de investigación de Microsoft plantea una pregunta incómoda: ¿qué pasaría si el propio modelo hubiera sido alterado en secreto?
Qué descubrió Microsoft
Los investigadores de Microsoft describen una técnica a la que llaman «Lazarus». Una puerta trasera es un comportamiento oculto que permanece inactivo hasta que aparece un activador específico, como un agente durmiente que espera una señal. En este caso, los investigadores afirman que basta con cambiar menos de 10 neuronas inactivas —pequeñas unidades dentro de la red de un modelo que rara vez contribuyen a sus respuestas cotidianas— para introducir una puerta trasera en un modelo de lenguaje. No hace falta volver a entrenarlo.
El truco está en el activador. Según los investigadores, puede ser algo tan normal como una fecha. Por ejemplo, cuando el reloj pase de la medianoche de 2027, un agente que esté realizando una tarea normal podría emitir un comando que descargue y ejecute el código del atacante. Hasta entonces, el modelo supera las evaluaciones de seguridad habituales y se comporta con normalidad.
Por qué los agentes aumentan el riesgo
Un chatbot que solo escribe texto puede equivocarse, pero no puede hacer gran cosa por sí mismo. Un agente de IA es diferente: es una IA que puede usar herramientas, como un terminal (una línea de comandos basada en texto en tu ordenador). Microsoft afirma que aquí el peligro es mayor, porque el agente utiliza cualquier acceso que le hayas concedido.
Cómo entender la seguridad de los modelos
Los consejos de Microsoft se resumen en algunos hábitos que los equipos de seguridad llevan años aplicando:
- Procedencia significa saber de dónde procede un modelo y confirmar que no ha sido modificado entre su desarrollador y tu sistema.
- Pesos son los millones de números que almacenan lo que un modelo ha aprendido. Cambiarlos modifica el comportamiento del modelo.
- Comparación de versiones significa comparar dos versiones una junto a otra para detectar diferencias. Microsoft señala que una detección fiable requiere comparar un modelo sospechoso con los pesos originales, sin cambios.
- Defensa en profundidad significa usar varias capas de protección para que, si una falla, las demás sigan funcionando.
Microsoft también afirma que ningún análisis puede demostrar que un modelo es completamente seguro. Por eso, estos pasos reducen el riesgo, pero no lo eliminan. La recomendación de la empresa es considerar un modelo como una posible amenaza interna, no confiar en él a ciegas, limitar lo que puede alcanzar y vigilar lo que hace.
Qué dice Microsoft que está haciendo
Según Microsoft, su plataforma Foundry verifica de dónde proceden los modelos de pesos abiertos (modelos cuyos pesos puede descargar cualquiera), los vincula con sus editores originales y analiza el software relacionado antes de incorporarlos. Los modelos se ejecutan dentro de contenedores propios de Microsoft (paquetes aislados que mantienen el software separado del resto del sistema), y esos contenedores se analizan en busca de vulnerabilidades graves.
La empresa también afirma que está trabajando en más medidas de protección. Entre ellas se incluyen el análisis de pesos con IA, herramientas de red teaming (pruebas que intentan romper un sistema de forma deliberada) y firmas criptográficas, que proporcionarían a cada modelo un sello verificable y un registro de auditoría. Microsoft deja claro que sigue existiendo el riesgo de que un proveedor de confianza sea comprometido y que estas medidas todavía están en desarrollo.
En resumen
Lazarus recuerda que un modelo de IA no es solo una voz amable. Es software con poder real cuando lo conectas a herramientas. La lección práctica es saber de dónde procede tu IA, darle únicamente el acceso que necesita y vigilar lo que hace. Hoy puedes revisar una herramienta de IA que uses y comprobar qué permisos le has concedido.