Arquitectura
IA Segura
Tratar la IA como un solo problema impide diseñar controles. Son cuatro capas y cada una exige un control diferente.
Cuatro capas, cuatro riesgos distintos
Uso
Chatbots y servicios externos
Riesgo: El empleado carga información confidencial en un servicio de IA generativa personal, fuera de todo control corporativo.
Control: Canal corporativo autorizado · control del tráfico saliente · DLP sensible al destino · política de uso aceptable.
Integración
Copilotos sobre datos propios
Riesgo: El copiloto hereda los permisos del usuario y expone información que estaba accesible pero que nadie había encontrado.
Control: Revisión de permisos efectivos previa · clasificación y etiquetado del repositorio · registro de consultas y de fuentes.
Aplicación
Modelos y agentes propios
Riesgo: Inyección de instrucciones, envenenamiento del modelo, fuga por la respuesta y abuso de las herramientas del agente.
Control: Validación de entrada y salida · aislamiento de la ejecución · mediación de las API que invoca · registro de decisiones.
Identidad
Agentes como actores del sistema
Riesgo: Un agente con credenciales y capacidad de acción es un usuario privilegiado que nadie dio de alta ni recertifica.
Control: Identidad de máquina gobernada · privilegio mínimo por tarea · credenciales efímeras · caducidad y recertificación.
Marcos de referencia: OWASP Top 10 for LLM Applications, NIST AI Risk Management Framework e ISO/IEC 42001.
Ocho riesgos, un control primario para cada uno
1. Prompt injection
Instrucciones hostiles insertadas directamente o de forma indirecta en un documento, correo o página que el modelo procesa.
Control: Validación de entrada, separación entre instrucción y dato, y mediación de las herramientas que el agente puede invocar.
2. Model poisoning
Contaminación de los datos de entrenamiento o de ajuste para inducir comportamiento sesgado o puertas traseras.
Control: Procedencia verificada de los datos, control de integridad del conjunto y evaluación de comportamiento antes de publicar.
3. Data leakage
Información sensible que sale por la respuesta del modelo, por el registro de la conversación o por el ajuste fino.
Control: Clasificación previa del corpus, filtrado de salida, DLP sobre el canal y retención acotada de conversaciones.
4. Shadow AI
Uso de servicios de IA no autorizados con datos corporativos, sin visibilidad ni contrato de tratamiento.
Control: Descubrimiento del uso real, canal corporativo autorizado y control del tráfico saliente hacia servicios de IA.
5. Permisos heredados
El copiloto expone información accesible por permisos excesivos que nadie había revisado ni ejercido.
Control: Revisión de permisos efectivos y remediación previa al despliegue; etiquetado del repositorio de contenidos.
6. Agentes sin gobierno
Identidades de máquina con privilegio amplio, sin caducidad, sin dueño y sin recertificación.
Control: Alta en el gobierno de identidades, privilegio mínimo por tarea, credenciales efímeras y registro de decisiones.
7. Cadena de suministro de IA
Modelos, bibliotecas y complementos de terceros incorporados sin verificación de origen ni integridad.
Control: Inventario de componentes, verificación de procedencia y evaluación de seguridad antes de la incorporación.
8. Ausencia de trazabilidad
Imposibilidad de reconstruir qué hizo el sistema, con qué información y por instrucción de quién.
Control: Registro completo de instrucción, contexto, fuente y acción, con retención alineada a la normativa aplicable.
Qué resuelve un producto y qué exige integración
| Capacidad nativa disponible en el mercado | Qué exige integración o diseño propio |
|---|---|
| Shadow AI: control del tráfico saliente y del uso de servicios en la nube identifica y regula el acceso. | El inventario de uso real debe cruzarse con identidad y clasificación de datos para distinguir uso legítimo de fuga. |
| Data leakage por canal: DLP con contexto en correo, endpoint y web bloquea la carga de contenido sensible. | La clasificación del corpus y el filtrado de salida del modelo propio no son nativos: requieren desarrollo y política. |
| Prompt injection: protección de API y detección de abuso en tiempo de ejecución sobre el canal que consume el modelo. | La validación de entrada y la separación instrucción-dato se implementan en la aplicación, no en un producto de seguridad. |
| Permisos heredados: gobierno de identidades y revisión de derechos sobre los repositorios de origen. | La remediación previa al despliegue del copiloto es un proyecto de datos y permisos, no una configuración. |
| Agentes sin gobierno: gestión de identidades de máquina y secretos; mediación de acceso. | El registro de decisiones del agente y la caducidad por tarea exigen diseño en la propia aplicación de IA. |
| Detección de abuso: analítica de comportamiento y correlación sobre la telemetría de uso. | La telemetría del modelo y del agente debe publicarse al plano analítico: no existe por defecto. |
| Trazabilidad y auditoría: registro de acceso, sesión y consulta en identidad, red y API. | La reconstrucción extremo a extremo exige un modelo de datos común. |
Cómo se gobierna la IA sin frenar su adopción
El objetivo no es restringir el uso: es hacer que el uso ocurra dentro de un marco defendible ante el regulador y el directorio.
1. Marco de referencia
Adoptar, no inventar
NIST AI Risk Management Framework para el ciclo de gestión de riesgo; ISO/IEC 42001 como sistema de gestión certificable; OWASP Top 10 for LLM Applications para el riesgo técnico.
2. Inventario de casos de uso
No se gobierna lo que no se lista
Registro único de todo uso de IA en la organización, con propietario de negocio, datos utilizados, decisión que soporta y nivel de riesgo asignado.
3. Clasificación por riesgo
Control proporcional
Niveles diferenciados según impacto: asistencia interna, decisión sobre personas, decisión con efecto financiero o interacción con clientes.
4. Compuertas de aprobación
Rápido y predecible
Revisión de seguridad, privacidad y cumplimiento antes de pasar a producción, con criterios definidos y tiempos comprometidos.
5. Supervisión humana
Responsabilidad asignada
Definición explícita de qué decisiones exigen validación humana y de quién responde por el resultado del sistema.
6. Monitoreo continuo
El riesgo cambia con el uso
Vigilancia del comportamiento del modelo, de la deriva, del uso indebido y de los incidentes, con reporte periódico al comité.
El tratamiento de datos personales por sistemas de IA queda comprendido en la normativa de protección de datos aplicable en cada país. Las entidades bajo supervisión financiera deben además encuadrarlo en su sistema de gestión de seguridad de la información. Autoevaluación de protección de datos.
Evalúe su exposición al riesgo de IA
Agendar taller de arquitectura