Lo que conseguirás
Evalúa casos de uso de IA desde la regulación, los datos, la arquitectura y el daño real.
Profesionales de seguridad, privacidad, cumplimiento, riesgo, producto, datos y arquitectura que participan en proyectos de IA.
Aprende a evaluar casos de uso de inteligencia artificial desde una visión regulatoria, técnica y organizativa. Aplicarás el método CLARIA para estudiar el contexto, clasificar el sistema conforme al Reglamento de IA, analizar datos y arquitectura, construir escenarios de daño, valorar el riesgo y definir controles durante todo el ciclo de vida.
Crear tu cuenta es gratis. Para acceder a este curso necesitas Cyber2Camp+, por 9,99 € al mes, o un código promocional válido. La suscripción se renueva cada mes hasta que la canceles.
Lo que conseguirás
Profesionales de seguridad, privacidad, cumplimiento, riesgo, producto, datos y arquitectura que participan en proyectos de IA.
Al terminar podrás
Versión 1. Contenido, fuentes y evaluación revisados como un conjunto antes de su publicación.
Una decisión explicada
Escenario ficticio original creado para esta ficha. Es una muestra parcial del razonamiento, no un análisis completo, una lección extraída del curso ni un laboratorio.
Un equipo quiere un chatbot que ayude a su personal de soporte a encontrar procedimientos internos. Solo responderá preguntas: no enviará mensajes ni modificará sistemas. La propuesta inicial recupera fragmentos de un repositorio compartido y los envía, junto con la pregunta, a un proveedor de modelos.
El repositorio mezcla procedimientos comunes y tickets restringidos a distintos equipos. Antes de probar con datos reales, falta comprobar cómo se filtran los documentos por usuario, qué información sale hacia el proveedor y qué se conserva en historiales y registros.
Si la búsqueda recupera un ticket que el usuario no puede consultar, la respuesta podría revelar información de otro equipo. Además, un documento recuperado podría contener instrucciones que intenten desviar al modelo: es un escenario de inyección de instrucciones, no una prueba de que ya haya ocurrido.
El daño plausible es la exposición de información confidencial. No asignaría una probabilidad ni daría el riesgo por controlado sin comprobar los permisos y ensayar estos escenarios. Pedir al chatbot que «no revele secretos» no sustituye los controles de acceso.
Exigiría que el servicio compruebe los permisos antes de recuperar y enviar fragmentos al modelo. Prepararía dos usuarios ficticios con permisos distintos, documentos sintéticos permitidos y restringidos, y uno con instrucciones maliciosas. Comprobaría los fragmentos enviados y las respuestas: citar fuentes ayuda a revisarlas, pero no garantiza su exactitud ni evita una filtración.
Mientras falten esas comprobaciones, limitaría el piloto a documentos sintéticos. El responsable documentaría los fallos, los criterios para detenerlo y el riesgo residual antes de decidir si admite datos reales. Superar estas pruebas no garantiza seguridad; habría que repetir la evaluación al cambiar datos, modelo o permisos.
Para profundizar: NIST: marco de gestión de riesgos de IA (PDF, en inglés) y OWASP: inyección de instrucciones y medidas de mitigación (en inglés). Fundamentan el enfoque; el escenario y la decisión propuesta son didácticos y no acreditan cumplimiento legal.
Programa del curso
Consulta los módulos y las lecciones que incluye este curso teórico. El contenido de las lecciones y la evaluación requieren acceso a Cyber2Camp+ e inscripción en el curso.