Volver

Cyber AI 2025

Imagen del slider

26 de febrero de 2025

Durante la mesa redonda con la ministra y el presidente del Campus Cyber, se abordaron varios puntos clave. La ministra destacó que Francia cuenta con los mejores talentos, infraestructuras de vanguardia y más de 500 start-ups. Insistió en la necesidad de adoptar una visión internacional y diplomática, evitando al mismo tiempo las divisiones con los países del Sur.

Apertura

Durante la mesa redonda con la ministra y el presidente del Campus Cyber, se abordaron varios puntos clave. La ministra destacó que Francia cuenta con los mejores talentos, infraestructuras de vanguardia y más de 500 start-ups. Insistió en la necesidad de adoptar una visión internacional y diplomática, evitando al mismo tiempo las divisiones con los países del Sur.

Se han destacado los retos sociales, económicos y diplomáticos, así como la importancia del talento, tal y como ha demostrado Deepseek. Para seguir siendo competitivos, es fundamental ser más optimistas y valorar nuestras fortalezas. Iniciativas como Mistral, H y Kyutai no se valoran lo suficiente.

La salud y la inteligencia artificial son ámbitos en los que destacamos. La IA también desempeña un papel fundamental en la ciberseguridad. El anuncio de Inesia, una colaboración entre la ANSSI, el INRIA y el PNL, es un ejemplo concreto de ello.

Sin embargo, los modelos de IA pueden ser objeto de ataques. Se ha lanzado una convocatoria de proyectos para concienciar a las empresas sobre los riesgos asociados.

IA de confianza

En la segunda mesa redonda, en la que participaron representantes de Orange, Microsoft, La Poste y Frédéric O (exministro de Economía Digital y fundador de una start-up), se abordaron varios temas relacionados con la IA de confianza.

La Sra. Bilbao (Microsoft) se refirió al marcado digital, así como al uso de la inteligencia artificial por parte de los ciberatacantes. También se debatió sobre la supervisión de las redes sociales y la formación para sensibilizar sobre la información y las noticias falsas.

El señor Heydemann, de Orange Cyber Defense, destacó la necesidad de generar confianza para fomentar la adopción de la IA y la competitividad de las empresas, al tiempo que se reducen las barreras de entrada. El Sr. Poupard, de Dicaposte, insistió en la importancia de Enisia, afirmando que, una vez disipado el miedo, es posible distinguir lo que puede objetivarse del resto. Enisia ya está en marcha, y los países ricos obtendrán de ella un valor diplomático. También se mencionaron los ejercicios de crisis en el ámbito cibernético.

Frédéric O ha advertido sobre el contexto de aprendizaje y la prioridad que se da al hardware. Microsoft presentó la visión inclusiva de la empresa, proporcionando herramientas para la IA y su dominio por parte de las empresas, al tiempo que destacó la importancia de las necesidades de electricidad y agua para una solución sostenible. También insistieron en que no puede haber confianza sin compartir el valor, y que su enfoque consiste en contar con un ecosistema abierto. La accesibilidad también fue un punto clave para Microsoft.

Presentación de Fortinet

Durante la presentación de Fortinet se abordaron varios puntos. Se reiteraron las preocupaciones habituales sobre los deepfakes y las fugas de datos. Se hizo hincapié en la carrera por reducir el MTTR (tiempo medio de resolución), con guías de actuación generadas por IA que permiten reducir el tiempo de resolución de incidentes de varias horas a unos pocos minutos.

Fortinet ha advertido sobre la compatibilidad entre las diferentes generaciones de IA y la calidad de los datos utilizados. También ha destacado que la IA ocupa el último lugar en la cadena «personas-procesos-tecnología», y no el primero.

Sin embargo, la presentación pareció carecer de madurez en lo que respecta al aumento de la productividad, salvo por la creación de paneles de control automáticos y la ayuda a la programación para usuarios sin conocimientos técnicos. Mi impresión general fue que Fortinet se centraba principalmente en promocionar sus propias soluciones, en lugar de destacar el valor de la IA en la ciberseguridad.

Automatización e inteligencia artificial para el sector de la defensa

Durante la presentación de Cloudflare se abordaron varios puntos importantes. Se volvió a explicar el contexto, poniendo de relieve los retos actuales, como los ataques de tipo «zero-day», el tiempo de explotación y el tiempo que transcurre hasta la aplicación de los parches, así como los ataques DDoS que baten récords en cuanto a su magnitud, alcanzando picos de 5,6 teras de solicitudes por segundo.

Cloudflare ha presentado su infraestructura, destacando la presencia de centros de datos en 50 ciudades equipados con GPU NVIDIA, de un total de 330 ciudades repartidas por 120 países. Esto permite que el 95 % de la población mundial disfrute de una latencia inferior a 50 ms, gracias a una red de 13 000 socios.

La IA se utiliza como detector de solicitudes, para determinar si deben bloquearse. Cloudflare, que protege el 19 % de los sitios web, dispone de los datos necesarios para detectar eficazmente los problemas en Internet y proporcionar información sobre amenazas de alta calidad, capaz de identificar señales débiles. Más del 40 % de las empresas de la lista Fortune 1000 utilizan sus servicios.

Cloudflare utiliza más de 50 modelos de IA generativa (modelo básico desarrollado desde cero por Fortinet), lo que le permite detectar vulnerabilidades con antelación gracias a una inteligencia de amenazas eficaz (WAF automático). Por ejemplo, el 17 de enero, Cloudflare implementó una regla para Ivanti Pulse incluso antes de que apareciera el CVE.

El CAPTCHA de Cloudflare utiliza la inteligencia artificial para reconocer a los usuarios humanos y validar los CAPTCHA, lo que ofrece una mejor experiencia de usuario.

En conclusión, aunque la presentación pareciera un folleto comercial, las cifras y el hecho de contar con IA generativas internas (fundamentos desarrollados internamente) suponen una verdadera aportación a la comprensión de los temas relacionados con las infraestructuras cibernéticas.

Proteja su reputación frente a los agentes de LLM

Akamai cambió el tema de su presentación en el último momento, pasando de la protección de los LLM (modelos de lenguaje a gran escala) a la protección contra los LLM, de ahí el nuevo título.

Destacaron los riesgos de perder el control sobre la propiedad comercial y de que se produzcan contribuciones no remuneradas, ya que los modelos de lenguaje grande (LLM) pueden reutilizar la información facilitada. Además, se abordaron el consumo de recursos y la distinción entre usuarios legítimos y bots.

Se ha señalado que, si se bloquean los agentes LLM, esto podría permitir que un competidor se hiciera con el mercado, lo que a su vez podría dar lugar a desinformación y noticias falsas.

Akamai propuso una estrategia basada en la inteligencia artificial, que consistía en bloquear los agentes o en emitir una alerta en caso de detectarlos.

IAM e IA: Memority

Memority, una empresa francesa, ha presentado su solución IAM basada en IA (gestión de identidades y accesos), que aún no está en producción. Su solución IAM puede implementarse de forma local o en la nube e incluye la gestión de derechos, el aprovisionamiento, el SSO (inicio de sesión único) y la autenticación multifactorial. Su objetivo es obtener la certificación SecNumCloud en 2027.

La implementación de una solución de gestión de identidades y accesos (IAM) es compleja, sobre todo debido a la certificación de derechos, que consume muchos recursos, a los roles huérfanos y a la gestión de roles, que resulta difícil de mantener a lo largo del tiempo a medida que evoluciona el sistema de información. Las reglas de autenticación también contribuyen a esta complejidad.

Los modelos estáticos y el IAM (IAM como servicio) son difíciles de gestionar. Memority ofrece una solución para detectar anomalías en comparación con los compañeros de trabajo y de forma dinámica, como conexiones inusuales (por ejemplo, desde el extranjero o en horarios poco habituales).

La IA también permite gestionar las reglas y los derechos sin necesidad de conocimientos técnicos, lo que mejora la productividad. Además, facilita el mantenimiento de las reglas y las cuentas huérfanas. Sin embargo, en el caso de las cuentas huérfanas, la simple correlación con la presencia, la IP, etc., sigue siendo básica.

Memority prevé un futuro en el que el AIBAC (control de acceso basado en IA) sustituirá al ABAC (control de acceso basado en atributos), al ORBAC (control de acceso basado en la organización) y al RBAC (control de acceso basado en roles) para la gestión de derechos. La IA sugiere y el ser humano valida y enriquece, lo que hace que el AIBAC sea compatible con métodos anteriores como el RBAC.

Memority definirá un riesgo dinámico, respaldado por estadísticas, ya que una persona que se desplaza, por ejemplo, supone un mayor riesgo, lo que facilitará el trabajo del RSSI (responsable de seguridad de los sistemas de información).

Dell e IA Factory

Dell ha presentado sus perspectivas sobre la IA agente en 2025 y la IA multimodal. Huggingface, con su millón de modelos, ilustra la innovación algorítmica de las IA. Se han identificado dos tendencias principales: la IA privada para casos de uso empresarial y la proliferación de casos de IA en las empresas.

Los avances en este ámbito se deben al hardware, los datos y los algoritmos. Sin embargo, es importante señalar que el 90 % de los datos son privados, lo que pone de relieve la importancia fundamental de los datos. Dell mencionó casos de uso como los gemelos digitales de una ciudad y la optimización de la cadena de suministro.

La cuestión de la cuantificación del aumento de la productividad sigue siendo compleja y no tiene una respuesta sencilla. La elección del modelo depende de los casos de uso específicos, y la aplicación directa de un modelo en la empresa no siempre resulta pertinente.

Para gestionar estos datos, Dell propone el concepto de un «data lake». Vuelven a surgir los problemas que ya existían antes de la IA, como la gestión de los datos. La revolución de la IA se basa, ante todo, en los datos y en su organización.

Para que la IA sea fiable, es fundamental comprender la ubicación de los datos. Dell ha destacado que los modelos de lenguaje grande (LLM) con más probabilidades de cumplir con el RGPD son franceses, como Mistral

En cuanto a las infraestructuras:

  • El 90 % de los datos son privados.
  • El 50 % de los nuevos datos proviene del «edge» (por ejemplo, las cajas registradoras conectadas de los supermercados).

Dell recomienda aplicar la IA a los datos, en lugar de al revés. Se han identificado algunos tipos de amenazas que se ven agravadas por la IA:

  • La ingeniería social.
  • El fraude del «presidente» mediante deepfake.
  • Infección e intoxicación.

Aunque esta presentación es una introducción a la IA, destaca la necesidad general en lugar de promocionar un producto concreto, lo cual me ha gustado.

Director de Sistemas de Información de BNP

BNP colabora con Mistral y utiliza la IA a gran escala, con 5000 licencias de Copilot implementadas. El acceso a los datos es un reto fundamental, y el avance se produce paso a paso. Con 180 000 empleados, BNP ha puesto en marcha una amplia campaña de comunicación, seguida de comunidades y pruebas de concepto.

Es imprescindible que el entorno sea seguro. La lucha por el talento se libra en las escuelas, con numerosas profesiones nuevas relacionadas con la IA.

¿Cuáles son los obstáculos para la IA? Es necesario revisar los procesos de la empresa con vistas a la transformación y la formación de los equipos. Un director de sistemas de información debe prever la interoperabilidad, el sistema y la supervisión. Hoy en día, la innovación avanza rápidamente, pero hay que mantener un ritmo aceptable para la formación. BNP colabora con Dell en estos aspectos.

La infraestructura y los facilitadores deben permitir integrar estas innovaciones. BNP cuenta con 2800 expertos en ciberseguridad para supervisar, identificar y resolver los problemas en tiempo real, con la ayuda de la inteligencia artificial.

La legitimidad de Europa se basa en sus mejores matemáticos e investigadores, y debemos estar orgullosos de ello. En cuanto a la resiliencia, BNP cuenta con un equipo dedicado a la IA para la seguridad, con los controles necesarios, incluida la resiliencia. Disponen de una solución de respaldo y de un botón de apagado para la IA.

¿Qué nuevas profesiones? BNP ha creado un grupo de trabajo para ello, centrado especialmente en MLOps (aunque no se conoce el término exacto). Actualmente, BNP no cuenta con ningún agente autónomo en su sistema de información.

Quevlar AI (en colaboración con Nomios)

La solución Quevlar permite realizar investigaciones de nivel 1 y 2, reduciendo el tiempo de tramitación de 30 minutos a 3 minutos y mejorando así el MTTR (tiempo medio de resolución). Además, garantiza una calidad constante en las investigaciones en profundidad y aporta información adicional al análisis, que a menudo se omite por falta de tiempo.

Sentinel One: El impacto de la IA en la seguridad

Sentinel One abordó tres temas principales:

  • Los deepfakes.
  • Las nuevas superficies de ataque creadas por la IA.
  • La defensa impulsada por la IA.

Entre las amenazas identificadas se incluyen los ataques a la cadena de suministro, el ransomware (optimizado mediante IA), los sistemas sin parches y los ciberataques potenciados por la IA (malware polimórfico y phishing personalizado).

La IA ha transformado la desinformación, sobre todo con los deepfakes, aunque estos no siempre requieren el uso de la IA (por ejemplo, al recortar el contexto). Los deepfakes también pueden utilizarse con fines educativos, como en simulaciones médicas ultrarrealistas.

Los ataques que utilizan modelos de lenguaje a gran escala (LLM) incluyen la optimización de las cargas útiles, la reducción de los conocimientos técnicos necesarios para la programación, la búsqueda de vulnerabilidades y un aumento de la ingeniería social.

Sentinel One utiliza la inteligencia artificial para el análisis de comportamiento sin firmas, con un análisis continuo de las señales a través de EDR (detección y respuesta en puntos finales). En el futuro, tienen previsto anticiparse a las amenazas mediante el análisis de los registros internos o de la dark web.

La detección autónoma se ve facilitada por la IA y Purple AI, un agente conversacional que ayuda en el análisis y gestiona las consultas técnicas, y que también puede proporcionar resúmenes. El siguiente paso es pasar del modo copiloto al piloto automático, gestionando las alertas más sencillas.

Durante el FIC, se organizará un «capture the flag» para comparar a un principiante que utilice Purple AI con un experto.

Mindflow: Agente e hiperautomatización

Mindflow es una plataforma similar a n8n (plataforma sin código), en la que cada paso del flujo de trabajo es una descripción para un modelo de lenguaje grande (LLM). Un ejemplo que se ofrece es la automatización de la investigación en materia de propiedad intelectual. La ventaja radica en los cientos de conectores disponibles.

RAPID7: La nube, el aprendizaje automático y la inteligencia artificial que hay que proteger

Según los datos de 2023, el 82 % de los responsables de TI tiene previsto invertir en IA para la ciberseguridad, de los cuales el 67 % lo destinará a la atención al cliente (tickets). RAPID7 presentó las nuevas amenazas, ya descritas en otros talleres, como los deepfakes y la facilidad para programar un virus.

Sin embargo, RAPID7 ha afirmado que no existen nuevos ataques específicos contra la IA (punto en el que todos los demás ponentes y yo mismo discrepamos), aunque sí existen conceptos como el «model poisoning» y las «prompt injections». La IA se utiliza en la detección y la respuesta en la nube. Han observado un aumento de las facturas y de las intrusiones.

No hay nada interesante sobre el taller.

IA SPM

Los conectores permiten utilizar las API de IA proporcionadas por los CSP. Esto resulta interesante (por no decir imprescindible) para el uso de la IA procedente de los CSP. Tanto la solución de Palo Alto como la de Wiz permiten reforzar la seguridad. La carencia seguirá siendo la de los modelos personalizados o de código abierto (Hugging Face). Palo Alto debe ponerse en contacto conmigo precisamente para tratar este punto.

La visión de Google sobre la ciberinteligencia artificial (arriba)

Google comenzó por demostrar sus capacidades en materia de IA, mencionando modelos como Gemma y el Premio Nobel de Química obtenido gracias a la IA. Según Google, los cuatro pilares que hay que tener en cuenta son el modelo, la infraestructura, los datos y las aplicaciones.

Google ha destacado la necesidad de contar con un «AI Red Team». «https://saif.google» es un marco de seguridad adaptado a la IA, presentado como una alternativa al NIST AI RMF y más preciso que el de la ANSSI.

Google también ha mencionado el uso de la IA para la seguridad, especialmente en Workspace y Google Play Protect. Procesan 100 millones de mensajes de spam por minuto utilizando una IA con 200 millones de parámetros, pero no se trata de IA generativa.

IDECSI Copilot: proteger

IDECSI ha presentado la solución Copilot, que procesa 2000 millones de archivos al día en Microsoft 365. La IA potencia el uso de la «shadow IT», y Copilot está empezando a ampliarse a gran escala.

Según ellos, para gestionar los riesgos de Microsoft 365, hay dos aspectos fundamentales:

  1. Los riesgos relacionados con los datos.
  2. El volumen y la obsolescencia de los datos.

Entre los problemas detectados se encuentran un historial sin controlar, una gestión deficiente de los derechos y el uso por error de datos obsoletos. Los datos proceden de las distintas áreas de negocio, pero nadie se hace responsable de ellos, lo que supone un problema para el responsable de seguridad de la información.

IDECSI ofrece la solución Détox, que incluye una parte que no requiere intervención humana. El proceso se desarrolla en tres etapas:

  1. Verificación y auditoría.
  2. Correcciones.
  3. Evaluación de los resultados y repetición cada seis meses.

Este método ofrece una doble ventaja: hace que Copilot sea más eficaz y garantiza la seguridad de los datos. La responsabilidad recae en los departamentos, que son quienes disponen de la información.

Las ventajas de este método incluyen:

  • Reducción de riesgos.
  • Optimización del almacenamiento.
  • Mayor control de los datos.
  • Vista centralizada del tenant.
  • Aumento de la capacidad de actuación de los usuarios.
  • Mejor comprensión y aspectos a tener en cuenta del sistema de información.

Microsoft Security: Garantizar la adopción de la IA (segunda mejor presentación)

Microsoft Security ha expuesto los retos que plantea la adopción de la IA. El primer riesgo es la filtración de información, aunque no se ha abordado el tema del envenenamiento de modelos. La presentación se centró en PaaS y SaaS, con una mayoría de casos relacionados con PaaS (y, en el futuro, con SaaS gracias a Copilot).

En el caso del SaaS, los pilares del NIST son: detección, protección y gobernanza. Copilot garantiza la seguridad de los datos en reposo y en tránsito, preserva la propiedad, protege los derechos de autor y se compromete a cumplir con las normas de conformidad de la UE.

Una IA responsable debe ser inclusiva, confidencial, responsable, imparcial, transparente y fiable. Azure Content Safety viene integrado de forma predeterminada en los servicios, filtrando las inyecciones de comandos, el discurso de odio, etc. Por lo tanto, es fundamental verificar las fuentes para garantizar un uso fiable.

Es importante identificar las IA utilizadas (DSPM for IA, gestión de la postura de seguridad de los datos para la IA) y detectar los usos de riesgo por grupo de usuarios. DSPM for IA permite bloquear determinados servicios SaaS para documentos, como medida de prevención contra la pérdida de datos.

El etiquetado automático y la elevación de datos también son fundamentales. Por ejemplo, un IBAN clasificado como C2 pasa a ser C3 si Copilot crea un archivo de Excel con todos los IBAN disponibles, lo que plantea problemas complejos.

En lo que respecta a la gobernanza, el software debe alertar a los departamentos operativos para evitar sobrecargar al departamento de seguridad.

Conclusión

El evento tuvo un marcado carácter comercial, y los editores se dedicaron a promocionar sus soluciones. Sin embargo, los beneficios reales siguen sin estar claros en la mayoría de las presentaciones, ya que hay pocos casos prácticos concretos. A pesar de ello, podemos observar que los riesgos relacionados con la IA han sido bien identificados por las empresas especializadas en el sector y que la profesión se está consolidando poco a poco.

 

Fabien CELLIER
Responsable del área de IA