Investigación: la ciberseguridad convencional no protegerá su IA

En junio de 2025, los investigadores descubrieron una vulnerabilidad que exponía datos confidenciales de Microsoft 365 Copilot sin ninguna interacción por parte de los usuarios. A diferencia de las brechas convencionales que dependen del phishing o de errores de los usuarios, este exploit, ahora conocido como EchoLeak, eludió por completo el comportamiento humano y extrajo silenciosamente información confidencial manipulando la forma en que Copilot interactúa con los datos de los usuarios. El incidente pone de relieve una realidad preocupante: los modelos de seguridad actuales, diseñados para sistemas de software predecibles y defensas de la capa de aplicación, no están preparados para manejar la naturaleza dinámica e interconectada de la infraestructura de IA. La IA ha pasado rápidamente de ser proyectos piloto experimentales a convertirse en una infraestructura fundamental, lo que ha impulsado un aumento sin precedentes de la productividad y ha configurado de manera fundamental la ventaja competitiva en todos los sectores. Sin embargo, como ha demostrado claramente EchoLeak, esta misma integración de la IA expone a las organizaciones a una nueva y sofisticada clase de vulnerabilidades: los exploits de IA de cero clics que comprometen los datos confidenciales sin ninguna interacción por parte del usuario. Esta realidad se deriva de un desajuste fundamental. La mayoría de las organizaciones siguen confiando en marcos de ciberseguridad convencionales, creados para software determinista, para proteger sistemas de IA que son todo menos deterministas. Los sistemas de IA aprenden constantemente de vastos flujos de datos externos e interactúan con ellos, lo que crea puntos ciegos en los que las defensas tradicionales simplemente no son aplicables. El resultado es una brecha de seguridad cada vez mayor. Los líderes subestiman estos riesgos únicos, los atacantes descubren nuevos vectores y las empresas continúan ampliando las implementaciones de IA sin las protecciones que se ajustan a su perfil de amenazas específico. Comprender por qué nuestros enfoques actuales son insuficientes es el primer paso esencial para cerrar esta brecha. Investigación, metodología y conclusiones Para comprender mejor cómo cerrar la brecha entre la nueva IA y la ciberseguridad, mi empresa, Canonical, Google e IDC encuestaron a 500 ejecutivos de todo el mundo, abarcando los sectores de las finanzas, la sanidad, la fabricación y la tecnología. Entre los encuestados se encontraban CIOs, directores de seguridad informática, directores de tecnología y responsables de IA. La encuesta analizó las prácticas actuales, los puntos ciegos y los riesgos percibidos, abarcando marcos de trabajo, IA en la sombra y la grave escasez de talento. Para complementar los datos, hablamos directamente con CIOs, directores de seguridad informática y responsables de IA. Estas conversaciones revelaron la dinámica organizativa, las lagunas conceptuales y las limitaciones diarias que configuran las decisiones reales sobre la seguridad de la IA. Por último, recreamos implementaciones de IA empresarial en entornos controlados. Mediante pruebas con escenarios como datos contaminados, prompts adversos, controladores comprometidos y aceleradores vulnerables, observamos las vulnerabilidades de primera mano, basando nuestro análisis en pruebas empíricas. Para traducir esta complejidad en información útil, estructuramos nuestros hallazgos utilizando el Marco de Gestión de Riesgos de IA (AI RMF) del NIST. Este marco proporciona cuatro funciones orientativas (gobernar, mapear, medir, gestionar) que, en conjunto, forman un manual práctico para gestionar los riesgos de la IA. Alinear nuestros resultados con este modelo nos permitió mostrar a ustedes no solo cuáles son los riesgos, sino también cómo reducirlos de forma sistemática. En las tres capas de investigación, se destacó una conclusión: la seguridad de la IA no es principalmente un problema de aplicación. Es un problema de infraestructura y cadena de suministro. Si bien las medidas de seguridad de las aplicaciones siguen siendo necesarias, por sí solas son insuficientes. Las verdaderas vulnerabilidades, que exploraremos en la siguiente sección (datos contaminados, manipulación adversaria, aceleradores comprometidos y exploits a nivel del sistema), residen en la base de la pila de IA. Para ustedes, la implicación es clara: asegurar la IA requiere un cambio fundamental de enfoque, pasando de aplicar parches en la superficie a reforzar la arquitectura subyacente y los procesos de gestión que hacen posible la IA. Nuevos riesgos que deben abordar los ejecutivos Pocos líderes empresariales se dan cuenta de lo fácil que es utilizar la IA en contra de las propias organizaciones que la implementan. Están surgiendo nuevas formas de ataques que se dirigen a los fundamentos de los sistemas de IA (desde los datos con los que aprenden hasta el hardware en el que se ejecutan), lo que expone a las empresas a un riesgo silencioso y sistémico. Entre ellos se incluyen: Envenenamiento de datos. La corrupción deliberada de los datos de entrenamiento de una IA permite a los atacantes insertar información falsa o sesgada en los datos de entrenamiento de una IA, sesgando los resultados de formas que pueden permanecer invisibles hasta que las decisiones se vuelven catastróficas. Alimentar a una IA financiera con datos comerciales envenenados podría empujarla hacia posiciones desastrosas, mientras que una IA sanitaria expuesta a imágenes médicas manipuladas podría diagnosticar erróneamente a los pacientes. En ambos casos, los datos corruptos socavan silenciosamente la integridad de las decisiones y la confianza de la empresa. Indicaciones adversas. Otra amenaza en aumento son las indicaciones que engañan a los modelos para que violen sus propios límites, ya sea filtrando detalles confidenciales de un caso de una IA legal o generando resultados maliciosos. El resultado no es solo un fallo técnico, sino una crisis de reputación y de cumplimiento normativo. Ataques de inversión de modelos. Estos se producen cuando los hackers extraen datos de entrenamiento sensibles o incluso reconstruyen algoritmos patentados. Para las organizaciones que dependen de modelos o conjuntos de datos únicos como propiedad intelectual, esto representa un robo directo de su ventaja competitiva. Cada uno de estos riesgos representa no solo una vulnerabilidad técnica, sino una amenaza directa para la resiliencia, la confianza y el cumplimiento normativo de las empresas. Sin embargo, la superficie de amenaza se extiende mucho más allá de los propios modelos. Las empresas están ampliando rápidamente la IA a través de proveedores de nube, apoyándose en hardware especializado, como GPU y TPU, para acelerar las cargas de trabajo. Aquí radica un peligroso punto ciego: los estándares de seguridad en la nube actuales están diseñados para proteger las aplicaciones, no los aceleradores y hipervisores subyacentes (el software de la capa del sistema) que alimentan las cargas de trabajo de IA. Una autenticación y un cifrado robustos ofrecen poca tranquilidad si se ha comprometido una capa de controlador o firmware. Un atacante que opere a ese nivel puede extraer silenciosamente datos confidenciales de la memoria o eludir por completo los controles a nivel de aplicación. Sin protecciones más explícitas en esta capa, las empresas corren el riesgo de construir su estrategia de IA sobre bases inestables. Consideremos la historia de«Pal», un desarrollador sénior de un banco internacional. Su equipo protegió meticulosamente la aplicación web insignia de la institución: revisión exhaustiva del código, pruebas de penetración, autenticación multifactorial y cifrado sólido. Sin embargo, ni siquiera este rigor sirvió de defensa una vez que la aplicación se implementó en terminales o servidores empresariales comprometidos. Un keylogger oculto en el sistema operativo podía capturar silenciosamente las credenciales, mientras que el software de la capa del sistema podía eludir todas las medidas de seguridad de la aplicación para filtrar los datos de los clientes. La lección para los ejecutivos es clara: incluso las aplicaciones rigurosamente protegidas quedan indefensas si se implementan en una infraestructura comprometida. Nuestra investigación destaca cuatro imperativos innegociables para los ejecutivos que se enfrentan a la realidad de la seguridad de la IA. No se trata de mejoras opcionales a los manuales existentes. Exigen un replanteamiento total de cómo las organizaciones perciben el riesgo y la resiliencia en una economía impulsada por la IA. 1. La infraestructura de IA es la verdadera superficie de ataque El cambio más urgente es reconocer que el riesgo real no reside en las aplicaciones de IA con las que interactúan los usuarios, sino en la infraestructura especializada (GPU, TPU, controladores, firmware y dispositivos periféricos) que las alimenta. Demasiados líderes extienden las prácticas de seguridad tradicionales centradas en las aplicaciones a las implementaciones de IA, lo que deja la base vulnerable. Pensemos en una organización sanitaria que cifró sus datos y reforzó su aplicación de diagnóstico, solo para verse comprometida a través de un exploit del firmware de una GPU periférica. Los atacantes eludieron las protecciones de la aplicación, accedieron a datos confidenciales de pacientes almacenados en la memoria de la GPU y provocaron un cierre operativo completo. La confianza se evaporó de la noche a la mañana. Riesgos similares se extienden por todos los sectores: las empresas financieras corren el riesgo de que se manipulen sus algoritmos, los fabricantes se enfrentan a la paralización de sus líneas de producción y las instituciones públicas corren el riesgo de que se paralicen sus servicios. Los líderes deben recalibrar sus prioridades: tratar la infraestructura de IA como un factor crítico, crear equipos de seguridad dedicados y ampliar los principios de confianza cero a toda la pila de IA. 2. Las herramientas convencionales no sirven Los controles de seguridad convencionales, diseñados para software determinista, no pueden seguir el ritmo de las complejas cargas de trabajo de IA basadas en datos. Si se aplican sin adaptarlos, dejan peligrosos puntos ciegos. Una empresa de ciberseguridad aprendió esta lección por las malas: tras adoptar el servicio de IA propietario de un importante proveedor de servicios en la nube, se encontró con que no podía auditar las medidas de seguridad subyacentes ni replicar el servicio en otro lugar. No podían reconstruir un servicio de IA similar en su propio centro de datos, ni encontrar un servicio comparable en otros proveedores de servicios en la nube. Atrapados en una «caja negra», heredaron riesgos desconocidos que no podían verificar ni mitigar mediante las medidas de seguridad IT tradicionales. La lección para los ejecutivos es clara: rechacen la fe ciega en los servicios de IA opacos, exijan transparencia y portabilidad, y den prioridad a los marcos abiertos que permiten una validación independiente. Las estrategias híbridas que combinan defensas a nivel de aplicación con supervisión a nivel de infraestructura ya no son opcionales, sino esenciales. 3. Reforzar las cadenas de suministro más importantes La seguridad de la IA se basa en dos cadenas de suministro frágiles e interdependientes: el talento especializado y la infraestructura segura. Ambas se encuentran bajo una gran presión, lo que crea cuellos de botella decisivos para las organizaciones. El reto del talento es evidente: defender la IA requiere conocimientos híbridos en ciberseguridad y aprendizaje automático, un conjunto de habilidades que solo poseen unas pocas empresas tecnológicas importantes. Al mismo tiempo, el cuello de botella de la infraestructura se está agravando. La demanda de GPU, redes de alta velocidad y modelos de terceros rigurosamente evaluados supera constantemente la oferta, lo que expone a las empresas a dependencias críticas. Consideremos el caso de un banco global que retrasó la implementación de un sistema crítico de detección de fraudes, no porque el modelo fallara, sino porque sus cadenas de suministro fallaron. El departamento de recursos humanos no contaba con una fuente sólida de candidatos para puestos relacionados con la inteligencia artificial centrados en la seguridad y carecía de un plan de compensación competitivo para atraer a los escasos especialistas. Para agravar la escasez de talento, el banco se encontró en una lista de espera para adquirir servidores informáticos de alto rendimiento de un importante proveedor de servicios en la nube, lo que le recordó de manera contundente que la capacidad informática segura puede ser tan escasa como el personal cualificado. Estos fallos ponen de manifiesto lo frágiles que pueden ser las cadenas de suministro de IA: las dependencias ocultas en el software y el hardware básicos pueden descarrilar incluso los planes mejor trazados. Problemas fundamentales como el retraso en los parches del sistema operativo o de los controladores de la GPU pueden dejar vulnerables o inutilizables generaciones enteras de GPU, convirtiendo una pequeña actualización en una interrupción de todo el programa. Los líderes no pueden tratar estas cuestiones como algo secundario. Deben invertir en formación cruzada y contratación selectiva, establecer una remuneración acorde con el mercado y canales para el talento en materia de operación y seguridad de la IA, y forjar alianzas estratégicas con proveedores de hardware y software de confianza. Al mismo tiempo, deben diversificar las fuentes de infraestructura, dar prioridad a los acuerdos de nivel de servicio (SLA) contractuales para la seguridad y la aplicación de parches, y mapear rigurosamente todas las dependencias de la pila de IA (desde las fuentes de datos hasta los controladores y el firmware), de modo que la organización pueda anticipar y absorber las perturbaciones de la cadena de suministro en lugar de verse afectada por ellas. 4. Aprovechar la IA para defender la IA La paradoja de la era de la IA es que la misma tecnología que introduce riesgos sin precedentes también ofrece nuevas y poderosas vías de defensa. La capacidad de la IA para analizar grandes conjuntos de datos e identificar patrones complejos la hace especialmente adecuada para reforzar la seguridad de la propia infraestructura de IA. Por ejemplo, la IA puede supervisar continuamente las cargas de trabajo de la GPU en busca de anomalías en el uso de la memoria o la energía, señalando posibles ataques o fallos de funcionamiento antes de que se propaguen. También puede analizar los datos del sistema para predecir problemas de integridad del controlador o del sistema operativo, ofreciendo alertas tempranas de posibles vulnerabilidades. Este poder se extiende a la defensa proactiva: pensemos en una start-up que aprovecha los agentes de IA para escanear entornos de software creados por los clientes, identificando y corrigiendo vulnerabilidades en tiempo real, al tiempo que garantiza que los componentes del software se ajusten a las necesidades, evitando actualizaciones innecesarias y la eliminación de componentes esenciales. Al incorporar la IA en las estrategias defensivas (tanto para la supervisión de la infraestructura como para la seguridad de las aplicaciones), las organizaciones pueden pasar de controles estáticos basados en reglas a sistemas adaptativos que priorizan los riesgos de forma inteligente. Los ejecutivos no deben tratar la seguridad habilitada por la IA como algo experimental. Debe ser un elemento central de la defensa de la empresa, con equipos capacitados y facultados para ponerla en práctica a gran escala. . . . La IA se está convirtiendo rápidamente en un elemento fundamental para obtener una ventaja competitiva, pero sus riesgos de seguridad no se parecen a nada que las empresas hayan gestionado antes. Los CEOs y los consejos de administración deben reconocer que la ciberseguridad convencional no se extiende a la capa de infraestructura donde realmente reside la IA. El riesgo estratégico es evidente: una infraestructura insegura puede socavar los propios sistemas de IA de los que dependen las empresas, erosionar la confianza de los clientes y generar riesgos normativos y de reputación. La oportunidad perdida es igualmente significativa: los líderes que protegen de forma proactiva sus implementaciones de IA pueden avanzar más rápido, innovar con confianza y generar confianza en un mercado cada vez más receloso de los riesgos de la IA. La seguridad de la IA no puede ser una cuestión secundaria. Debe integrarse desde el principio en la estrategia de infraestructura, la gobernanza y las fuentes de talento. Solo así las organizaciones podrán aprovechar las ventajas de la IA sin exponerse a vulnerabilidades ocultas.

Investigación: la ciberseguridad convencional no protegerá su IA

Resumen.

Partner Center