Módulo 3 · Riesgos y seguridad de la IA
Cómo evaluar una afirmación de seguridad
Aprenda a interpretar el alcance de una evaluación, reconocer qué evidencia falta y formular preguntas útiles antes de respaldar una propuesta.
Al terminar
Video introductorio · Opcional · 2 min
Una evaluación de seguridad no es una garantía
Puede omitir el video: la lección escrita contiene toda la información.
Leer resumen del video
Este video explica que una evaluación se refiere a un sistema, una tarea, unas condiciones y unos riesgos definidos; no garantiza un desempeño seguro en cualquier contexto.
1. Una afirmación que merece preguntas
Imagine que su delegación recibe esta propuesta:
Una alianza internacional ofrece un asistente de IA para orientar a personas que solicitan ayudas públicas. El proveedor afirma que el sistema superó sus pruebas de seguridad, funciona en varios idiomas y siempre tendrá supervisión humana.
Este es un caso hipotético. No describe a un proveedor, gobierno o programa real.
La propuesta podría ser útil, pero deja preguntas abiertas: ¿qué pruebas superó?, ¿qué ocurre si da una respuesta incorrecta?, ¿quién puede detenerlo?, ¿la supervisión permite detectar un error antes de que afecte a alguien?
La tarea de una delegación no es certificar técnicamente el sistema. Es identificar qué evidencia necesita, quién debería examinarla y qué compromisos conviene aclarar antes de respaldar una propuesta.
Antes de continuar
Escriba dos preguntas que haría al proveedor.
Sus respuestas permanecen en este dispositivo y no se envían ni almacenan en un servidor. No introduzca información oficial o confidencial.
2. Capacidad, exposición y consecuencias
Para analizar un riesgo, separe tres preguntas:
¿Qué puede hacer o qué puede fallar?
- Qué permite examinar
- Una capacidad o fuente de daño
- Ejemplo hipotético
- El asistente puede inventar un requisito para solicitar una ayuda.
¿En qué condiciones afectaría a alguien?
- Qué permite examinar
- Uso, acceso y posibilidades de detección
- Ejemplo hipotético
- Una persona confía en la respuesta porque aparece en una página oficial.
¿Qué consecuencias tendría?
- Qué permite examinar
- Gravedad, alcance y posibilidad de reparación
- Ejemplo hipotético
- La persona pierde un plazo y queda sin acceso a una prestación.
No es una fórmula para calcular una cifra. Es una forma de hacer explícito el camino entre una característica del sistema y un posible daño.
La función asignada al sistema importa. Un asistente que prepara borradores para funcionarios requiere un análisis distinto de uno que responde directamente al público. Si además puede modificar expedientes, hay que examinar sus permisos, los registros de sus acciones y las autorizaciones necesarias.
Compare con la alternativa
3. Qué riesgos estamos considerando
Esta guía utiliza cuatro grupos para facilitar el análisis. Se superponen y no constituyen una clasificación jurídica.
Errores y fallos
Respuestas falsas, decisiones defectuosas o acciones inesperadas pueden perjudicar a personas e instituciones. El contexto de uso determina sus consecuencias.
Uso malicioso
Los sistemas de IA pueden emplearse para fraude, suplantación o actividades cibernéticas dañinas. Algunas capacidades también plantean preocupaciones de uso indebido en ámbitos biológicos y químicos.
Riesgos sistémicos y dependencia
El uso extendido puede generar dependencias y propagar problemas entre organizaciones. Conviene examinar quién controla los servicios compartidos y qué alternativas existen.
Riesgos graves y control de sistemas cada vez más capaces
Se investigan posibles daños de gran escala y situaciones en las que resulte difícil mantener un control efectivo. Hay incertidumbre sobre su probabilidad, evolución y plazos. Una capacidad demostrada en una prueba no establece por sí sola una catástrofe futura. [1]
Estos últimos riesgos pueden parecer lejanos de los servicios públicos, pero importan cuando un país depende de sistemas compartidos, participa en acuerdos internacionales o evalúa usos con consecuencias amplias.
Qué significa esto para una delegación
- Errores en servicios públicos: ¿qué evidencia demuestra que las pruebas reflejan nuestros usos y lenguas?
- Uso malicioso: ¿quién recibe una alerta y qué cooperación podría solicitar un país afectado?
- Dependencia compartida: ¿qué sucede si el servicio se interrumpe o cambian sus condiciones?
- Riesgos graves: ¿qué señales justificarían medidas adicionales y quién revisaría esa decisión?
Una delegación puede apoyar el acceso a aplicaciones beneficiosas y pedir salvaguardas adecuadas. La cuestión práctica es cómo diseñar ambas cosas y distribuir sus costos y responsabilidades.
4. Cómo interpretar la evidencia
Cuando alguien dice «se ha demostrado», pregunte qué se ha demostrado exactamente.
Incidente documentado
- Qué aporta
- Información sobre un problema ocurrido
- Qué falta preguntar
- ¿Se verificó el papel de la IA? ¿Qué tan representativo es el caso?
Prueba controlada
- Qué aporta
- Resultados bajo condiciones definidas
- Qué falta preguntar
- ¿Se parecen esas condiciones al uso previsto?
Proyección o escenario
- Qué aporta
- Una explicación de lo que podría suceder
- Qué falta preguntar
- ¿De qué supuestos depende? ¿Qué evidencia modificaría la conclusión?
Estas preguntas son una herramienta de lectura crítica, no una jerarquía automática. Un incidente puede revelar un peligro sin indicar su frecuencia. Una prueba puede detectar una capacidad preocupante antes de que exista un incidente público.
Las evaluaciones previas al despliegue tienen límites: sus resultados pueden no anticipar adecuadamente el funcionamiento real. [1] Solicite el alcance de la prueba, sus limitaciones y el seguimiento propuesto.
Comprobación rápida
Un proveedor informa que no encontró fallos graves en 500 pruebas. ¿Qué conclusión está justificada?
5. Qué significa una medida de seguridad
La gestión del riesgo requiere definir responsabilidades, evaluar el contexto y revisar el comportamiento del sistema durante su uso. La fiabilidad y la seguridad no se establecen únicamente mediante una declaración inicial. [2][3]
Medida anunciada
«Realizamos evaluaciones»
- Pregunta que conviene hacer
- ¿De qué versión, para qué tareas, con qué resultados y limitaciones?
Medida anunciada
«Hicimos pruebas adversariales»
- Pregunta que conviene hacer
- ¿Qué fallos se intentaron provocar y qué se corrigió después?
Medida anunciada
«Limitamos el acceso»
- Pregunta que conviene hacer
- ¿Qué personas y herramientas tienen acceso, y quién puede cambiar sus permisos?
Medida anunciada
«Tenemos monitoreo»
- Pregunta que conviene hacer
- ¿Qué señales se observan y quién tiene la obligación de responder?
Medida anunciada
«Existe un protocolo de incidentes»
- Pregunta que conviene hacer
- ¿A quién se informa, en qué plazo y qué ayuda recibe la institución afectada?
Medida anunciada
«Podemos suspender el sistema»
- Pregunta que conviene hacer
- ¿Quién puede hacerlo y cómo continúa el servicio público mientras tanto?
Ninguna de estas preguntas exige publicar detalles que facilitarían ataques. Se puede pedir evidencia suficiente mediante mecanismos de acceso apropiados para quienes deban revisarla.
Supervisión humana: una prueba práctica
Suponga que un funcionario revisa cada respuesta antes de enviarla. Para valorar esa supervisión, examine cuatro condiciones:
Información
¿Puede consultar el expediente y las fuentes relevantes?
Competencia
¿Sabe identificar los errores que importan para esa tarea?
Tiempo
¿La carga de trabajo permite una revisión real?
Autoridad
¿Puede corregir, rechazar y elevar el caso sin que la decisión del sistema se imponga automáticamente?
Estas cuatro condiciones son una propuesta didáctica de esta guía, no una certificación. Si el funcionario solo dispone de unos segundos y ve una conclusión sin documentación, su aprobación no demuestra que haya comprobado el resultado. Una explicación generada por el propio sistema tampoco sustituye la verificación del expediente.
Comprobación rápida
¿Qué cambio fortalecería más la supervisión en este caso?
6. Ejercicio: ¿qué debería pedir su delegación?
Tiempo sugerido: 5 minutos. Todos los datos son ficticios.
Retomemos la propuesta. Ahora sabe que:
- El asistente orientaría sobre ayudas públicas, sin decidir formalmente su concesión.
- El proveedor comunica un 96 % de respuestas correctas en su evaluación interna.
- Las pruebas utilizaron consultas en inglés de un contexto administrativo distinto.
- La versión ofrecida respondería en español; todavía no hay resultados de pruebas sobre los trámites del país receptor.
- Se propone que funcionarios revisen las respuestas, pero no se ha asignado personal ni tiempo para hacerlo.
- El acuerdo no identifica un contacto para incidentes, un procedimiento de suspensión o las condiciones para actualizar el modelo.
Pregunta 1
¿Qué posición está mejor sustentada con esta información?
Pregunta 2
Escriba tres solicitudes concretas.
Sus respuestas permanecen en este dispositivo y no se envían ni almacenan en un servidor. No introduzca información oficial o confidencial.
También son pertinentes las preguntas sobre protección de datos, accesibilidad y posibilidad de reclamar. No hay una única lista correcta: explique qué problema aborda cada solicitud.
Pregunta 3
Redacte una intervención de dos frases.
Autoevaluación
7. Lista de verificación para una reunión
Ocho preguntas para evaluar una afirmación de seguridad
0 de 8 revisadas · solo en este dispositivo
Cómo usarla: anote para cada pregunta la evidencia disponible, lo pendiente, la persona responsable y el próximo paso. No convierta las respuestas en una puntuación de seguridad: una sola carencia crítica puede cambiar la decisión.
Abre el diálogo de impresión del navegador; elija «Guardar como PDF».
8. Lo que debe recordar
- Una afirmación de seguridad necesita un alcance definido y evidencia que pueda examinarse.
- Distinga lo observado, lo probado bajo condiciones concretas y lo proyectado.
- Compare el sistema con la alternativa existente.
- Evalúe si la supervisión permite intervenir de verdad.
- Convierta las preocupaciones en solicitudes específicas de evidencia, responsabilidades y seguimiento.
Qué pueden hacer los gobiernos
Siguiente módulo: Qué pueden hacer los gobiernos.
Glosario breve
- Modelo
- componente de IA entrenado a partir de datos que puede integrarse en distintas aplicaciones.
- Sistema
- conjunto operativo que puede incluir un modelo, herramientas, datos y procesos humanos.
- Despliegue
- puesta en uso de un sistema en un entorno concreto.
- Evaluación
- examen del comportamiento o de las capacidades bajo condiciones determinadas.
- Prueba adversarial o red teaming
- intento deliberado de encontrar fallos mediante situaciones exigentes o usos indebidos.
- IA de propósito general (general-purpose AI)
- IA que puede utilizarse para diversas tareas.
- Agente
- sistema que puede ejecutar secuencias de acciones, a veces utilizando herramientas externas.
- Riesgo residual
- riesgo que permanece después de aplicar medidas para reducirlo.
Fuentes y lecturas opcionales
Las preguntas, el caso y las respuestas son elaboración didáctica original. Las referencias respaldan los conceptos indicados; no implican que sus autores avalen esta guía.
- [1]International AI Safety Report, “Extended Summary for Policymakers”, 2026. Evidencia y límites relativos a capacidades, riesgos y evaluaciones. https://internationalaisafetyreport.org/publication/2026-report-extended-summary-policymakers
- [2]NIST, “AI Risk Management Framework (AI RMF 1.0): AI Risks and Trustworthiness”, 2023. Características de fiabilidad, seguridad y evaluación en contexto. https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/
- [3]NIST, “AI Risk Management Framework (AI RMF 1.0): Core”, 2023. Funciones de gobernar, identificar el contexto, medir y gestionar riesgos. Es un marco voluntario, no una obligación internacional. https://airc.nist.gov/airmf-resources/airmf/5-sec-core/