Seguridad del aprendizaje automático y la lista ML Top 10 · OWASP Machine Learning Security Top 10

Qué es la seguridad del aprendizaje automático

Un modelo de aprendizaje automático (machine learning, ML) no es un programa escrito regla por regla: es un conjunto de números que se ajustaron a partir de ejemplos. En lugar de reglas escritas a mano, aprende mirando miles de transacciones ya etiquetadas como fraude o legítimas.

Esa diferencia cambia la seguridad. En una aplicación tradicional, un atacante busca fallos en el código. En un sistema de ML, además puede atacar los datos con los que aprendió el modelo, las entradas que recibe, las respuestas que entrega y los archivos donde se guarda. La seguridad del aprendizaje automático es la disciplina que protege todo ese ciclo: datos, entrenamiento, artefactos, despliegue y consumo de las predicciones.

Breve historia

Año	Hito
2004	Se describe la "clasificación adversaria": spammers que ajustan correos para evadir filtros que aprenden.
2012	Primeros ataques de envenenamiento publicados: pocos datos maliciosos degradan el modelo.
2013–2014	Ejemplos adversarios en redes neuronales: cambios imperceptibles en una imagen cambian su clase.
2016–2017	Se demuestran la extracción de modelos por API y la inferencia de pertenencia contra servicios comerciales.
2020	MITRE y Microsoft publican una matriz de amenazas contra ML, origen de MITRE ATLAS.
2023	NIST publica su marco de gestión de riesgos de IA (AI RMF 1.0) y OWASP publica la edición 2023 del ML Security Top 10.

Durante años estos ataques vivieron en artículos académicos; hoy los modelos deciden sobre dinero y salud, y los riesgos pasaron a producción.

Por qué importa en ciberseguridad

Un antifraude que aprueba lo que no debe o un archivo de modelo que ejecuta código al cargarse son incidentes de seguridad, aunque nadie haya tocado el código de la aplicación. Lo enfrentan el analista del SOC, quien revisa la seguridad de una API, el equipo de datos y el auditor de privacidad. Si nadie entiende estos riesgos, se protege el servidor, pero no lo que el modelo aprende ni lo que revela.

Dónde se usa el ML que hay que proteger

Lugar	Ejemplo
Banca y pagos	Puntuación de fraude de cada transferencia SINPE
Correo y mensajería	Filtros de spam y de phishing
Seguridad informática	Antivirus, EDR y detección de anomalías en el SIEM
Identidad	Reconocimiento facial, biometría de voz, detección de bots
Crédito y seguros	Modelos de riesgo que aprueban o rechazan solicitudes
Salud	Apoyo al diagnóstico con imágenes o datos clínicos

El ciclo de vida de un modelo

Piense en el modelo antifraude de una cooperativa ficticia, Cooperativa Arenal, que puntúa cada transferencia antes de aprobarla.

Datos crudos -> Limpieza y etiquetado -> Entrenamiento -> Artefacto del modelo
     -> Registro y despliegue -> API de predicción -> Sistema que consume la respuesta
     -> Retroalimentación (casos confirmados) -> vuelve a Datos crudos

Cada flecha es un punto de ataque: datos alterados, un artefacto reemplazado, una API consultada miles de veces para engañarla o copiarla, o una retroalimentación que nadie valida.

La lista: OWASP Machine Learning Security Top 10

OWASP (Open Worldwide Application Security Project) es la fundación detrás del Top 10 web. La edición vigente al escribir este curso es la de 2023. El proyecto aún la presenta como borrador: verifique en el sitio de OWASP si hay una versión más reciente antes de citarla. Los identificadores oficiales son:

ML01:2023  Input Manipulation Attack    Manipulación de entradas
ML02:2023  Data Poisoning Attack        Envenenamiento de datos
ML03:2023  Model Inversion Attack       Inversión de modelo
ML04:2023  Membership Inference Attack  Inferencia de pertenencia
ML05:2023  Model Theft                  Robo de modelo
ML06:2023  AI Supply Chain Attacks      Cadena de suministro de IA
ML07:2023  Transfer Learning Attack     Ataque de transferencia
ML08:2023  Model Skewing                Sesgo del modelo
ML09:2023  Output Integrity Attack      Integridad de salidas
ML10:2023  Model Poisoning              Envenenamiento del modelo

Ubíquelos en el ciclo. ML02, ML08 y ML10 atacan lo que el modelo aprende. ML01 ataca lo que el modelo recibe. ML03, ML04 y ML05 explotan lo que el modelo revela al responder. ML06 y ML07 llegan por componentes de terceros. ML09 ocurre después del modelo, cuando la respuesta viaja hacia quien la usa.

La lista ML es más general que el Top 10 para aplicaciones LLM que vio en IA para ciberseguridad: aplica a cualquier modelo, desde un árbol de decisión hasta una red neuronal.

Conceptos clave

Concepto	Qué significa
Modelo	El resultado del entrenamiento: una función que recibe datos y devuelve una predicción
Característica	Cada variable de entrada, como el monto o la hora de una transferencia
Etiqueta	La respuesta correcta de un ejemplo de entrenamiento, como "fraude" o "legítima"
Entrenamiento	El proceso en que el modelo ajusta sus parámetros a partir de ejemplos etiquetados
Inferencia	El uso del modelo ya entrenado para predecir sobre datos nuevos
Confianza	La probabilidad que el modelo asigna a su predicción, entre 0 y 1
Artefacto	El archivo donde se guarda el modelo entrenado para desplegarlo
Sobreajuste	Cuando el modelo memoriza su entrenamiento en lugar de aprender a generalizar

Los ejemplos usan Python con scikit-learn sobre datos sintéticos que usted mismo genera, nunca datos reales de personas. En la próxima lección preparará ese entorno.