EKOPARTY TRAININGS: PROMPT HACKING: TÉCNICAS OFENSIVAS Y DEFENSIVAS EN IA

En la era de los modelos de inteligencia artificial generativa, con el despliegue de aplicaciones multiagente construidas sobre modelos de lenguaje masivos (LLMs o Large Language Models), la seguridad de estos sistemas se ha convertido en un tema crítico. El prompt hacking, en sus distintas versiones, consiste de distintas técnicas utilizadas por los atacantes para manipular y engañar a los modelos de lenguaje, lo que puede tener consecuencias graves en la seguridad y la privacidad de los datos. En este curso ahondaremos en qué son y cómo funcionan los LLMs, lo que ayudará a entender por qué son susceptibles de este tipo de ataques. Asimismo, exploraremos distintas técnicas ofensivas y defensivas para tener un conocimiento más integral de cómo pueden prevenirse o mitigarse este tipo de ataques. Objetivos • Comprender qué son y cómo funcionan los modelos de lenguaje masivos y cómo pueden ser vulnerados. • Entender las distintas técnicas de prompt hacking y sus efectos en aplicaciones que se construyen sobre motores de IA. • Analizar los riesgos y consecuencias de los ataques de prompt hacking. • Desarrollar habilidades para identificar y mitigar ataques prompt hacking. Requisitos previos Estecurso está dedicado a personas quetrabajen en desarrollo de aplicaciones que utilicen motores de IA(e.g., ChatGPT, Claude, Gemini) así como también a quienes se dediquen a la seguridad de aplicaciones montadas sobre motores de IA. • Python y manejo de consola es excluyente(i.e., si sólo conocen Windows, deberían sabercómo correr un script Python desde Powershell). • Otros conocimientos útiles, pero no requeridos, son conocimientos básicos de LLMs (i.e., la tecnología por detrás de ChatGPT y similares), • Docker, API de OpenAI, y técnicas de Prompting. Requerimientos Técnicos: • Python >= 3.11 • Docker • SQLite • Ollama (u opcionalmente alguna API key de algún servicio de AI). • Laptop idealmente con 16GB de RAM mínimo (32GB recomendable) y 200GB libres de disco. • El instructor usará Linux, el código debería ser compatible con OSX e incluso con Windows, pero no se garantiza su ejecución en dichas plataformas. ¿Qué van a poder hacer al terminar? • Comprender qué son y cómo funcionan los modelos de lenguaje masivos y cómo pueden ser vulnerados. • Entender las distintas técnicas de prompt hacking y sus efectos en aplicaciones que se construyen sobre motores de IA. • Analizar los riesgos yconsecuencias de los ataques de prompt hacking. • Desarrollar habilidades para identificar y mitigar ataques prompt hacking. Infraestructura y materiales • El CTF podrá ser realizado en laptop individual, idealmentecon 32GB de ram y 200GB libres de disco, pero también será revisado frente a la clase mediante el instructor. • Python >= 3.12 • Docker • SQLite • Ollama (u opcionalmente alguna APIkey de algún servicio deAI). • El instructor usaráLinux,en teoría elcódigo debería sercompatiblecon OSX eincluso con Windows, pero no se garantiza su ejecución en • dichas plataformas. Agenda detallada I Día 1: Introducción a LLMs y Prompt Hacking Fase 1 · Introducción a LLMs 1.1 ¿Qué es un LLM? • ¿Cómo funcionan los LLMs y qué tipos existen? • ¿Qué es un "Transformer"? • Arquitecturas de Transformers • ¿Cómo se entrena un LLM? • ¿Qué es la tokenización? • Tipos de tokenización • Visualizando un LLM • ¿Qué es un embedding? .2 ¿Qué es un Prompt? • ¿Qué es una ventana de contexto? • ¿Qué significa zero, one y few shot? • ¿Qué es Retrieval Augmented Generation (RAG)? • ¿Qué es chain-of-thought y qué son los LRMs? 1.3 ¿Qué son los Agentes de IA? • ¿Qué frameworks de agentes existen? • ¿Qué son tools? • ¿Qué es ReAct? • ¿Qué es Model Context Protocol (MCP)? Fase 2 · Prompt Hacking 101: Prompt Injection vs. Jailbreaking 2.1 Prompt Injection/Hijacking • ¿Qué es el Prompt Injection/Hijacking? • Peligros del Prompt Injection • Exfiltración de datos (Data Exfiltration) • Envenenamiento de datos (Data Poisoning) • Ejecución de código remoto (Remote Code Execution) • Corrupción de respuestas (Response Corruption) • Prompt Injection directo vs. indirecto • Prompt Leaking 2.2 Jailbreaking • ¿Qué es el Jailbreaking? • Peligros del Jailbreaking • Generación de contenido inapropiado (Misaligned Content Generation) • Campañas de desinformación o estafas • Fuga de información (Information Leaking) • Fomentar conductas y sesgos peligrosos • Categorización de técnicas de jailbreaking • White Box vs. Black Box • Semántico vs. Incoherente • Automático vs. Manual 2.3 Prompt Injection vs. Jailbreaking Agenda detallada I Día 2: Ataques y Defensas en Prompt Hacking Fase 3 · Técnicas Ofensivas y Defensivas de Prompt Hacking 3.1 Prompt Injection • Context Ignoring • Compound Instruction • Virtualization / Role Prompting • Special Case • Few-Shot • Context Switching • Formatting Attacks • Context Window Overflow • Obfuscation • Payload Splitting • Defined Dictionary • Recursive Injection • Code Injection • Bad Chain • Prompt Leaking • Indirect Injections 3.2 Jailbreaking • DAN (Do Anything Now) • Task Deflection • Alignment Hacking • Greedy Coordinate Gradient (GCG) • AutoDAN • Tree of Attacks (TAP) • Crescendo • Many-shot Jailbreaking • AutoDAN Turbo • Bijection Learning 3.3 Técnicas Defensivas • Introducción • Filtrado • Instrucción Defensiva (Instruction Defense) • Post Prompting • Sandwich Defense • Random Sequence Enclosure • XML Tagging • Extra LLM-as-a-Judge • Dual LLM Pattern • CaMeL (CApabilities for MachinE Learning) • Prácticas de mitigación Fase 4 · CTF: Prompt Hacking 4.1 PromptMe - A Vulnerable LLM Application • Prompt Injection • Sensitive Information Disclosure • Supply Chain • Data and Model Poisoning • Improper Output Handling • System Prompt Leakage • Vector and Embedding Weaknesses • Misinformation • Unbounded Consumption Nivel: Intermedio Trainer: Cristian Cardellino Desarrollador e investigador en Inteligencia Artificial con más de 12 años de experiencia en el área de Procesamiento de Lenguaje Natural (NLP, por sus siglas en inglés) y Aprendizaje Automático. Posee un Doctorado en Ciencias de la Computación de la Universidad Nacional de Córdoba, donde se especializó en el estudio y la investigación de sistemas de aprendizaje automático supervisado y semi-supervisado (particularmente en Word Embeddings y Deep Learning) para diversas tareas de NLP y ha realizado una estancia de Postdoc en la Université Côte d’Azur en Niza, Francia. En su carrera académica se destacan haber sido docente de la UNC, en la carrera de Licenciatura en Ciencias de la Computación, por 10 años, además de haber sido investigador partícipe en diversos proyectos de la Unión Europea con los que asistió a varias conferencias internacionales. Su trayectoria en la industria incluye haber trabajado como investigador en IA para Mercado Libre y como desarrollador e ingeniero de IA, Aprendizaje Automático y Datos de manera independiente en la plataforma Toptal para diversos clientes.