¿Por qué aprender Apache Airflow?

En los proyectos modernos de datos no es suficiente con crear procesos de extracción, transformación y carga. También es necesario decidir cuándo se ejecutan, en qué orden, qué dependencias existen entre ellos y qué ocurre cuando alguno falla.

Apache Airflow es una de las herramientas de referencia para la orquestación de pipelines de datos.

Permite definir workflows mediante código Python, programar su ejecución, gestionar dependencias entre tareas, monitorizar procesos y controlar todo el ciclo de ejecución de un pipeline.

En este workshop aprenderás a diseñar y construir pipelines reales con Apache Airflow, utilizando DAGs, Tasks, Operators, dependencias, scheduling y mecanismos de monitorización.

Todo el workshop está planteado desde un enfoque práctico y orientado a escenarios habituales de Data Engineering.

¿Qué aprenderás?

✅ Comprender qué es la orquestación de datos.
✅ Entender la arquitectura de Apache Airflow.
✅ Crear y configurar un entorno Airflow.
✅ Diseñar DAGs.
✅ Crear Tasks.
✅ Utilizar diferentes Operators.
✅ Definir dependencias entre tareas.
✅ Programar ejecuciones mediante scheduling.
✅ Trabajar con parámetros y variables.
✅ Gestionar conexiones.
✅ Utilizar XCom para intercambiar información entre tareas.
✅ Gestionar errores y reintentos.
✅ Monitorizar ejecuciones desde la interfaz de Airflow.
✅ Diseñar pipelines ETL/ELT.
✅ Ejecutar procesos Python y SQL.
✅ Aplicar buenas prácticas de orquestación.

Ficha técnica

• Modalidad: online en directo.
• Duración: 12 horas.
• Distribución: 4 sesiones de 3 horas.
• Proyecto final: asíncrono.
• Plazo de entrega: 14 días.
• Corrección personalizada: incluida.
• Plazas: máximo 12 participantes.
• Nivel: intermedio.
• Idioma: castellano.

Metodología Taller de Tecnología®

• #1 Sesión: Introducción y fundamentos (síncrono).
• #2 Sesión: Primer pipeline con Airflow (síncrono).
• #3 Sesión: Orquestación avanzada (síncrono).
• #4 Sesión: Integración y proyecto completo (síncrono).
• Proyecto final + certificación (asíncrono).

Temario del Workshop

• Introducción a la orquestación de datos.
• Qué es Apache Airflow.
• Arquitectura de Airflow.
• Scheduler.
• Webserver.
• Metadata Database.
• Workers.
• Instalación y configuración.
• Interfaz web de Airflow.
• DAGs.
• Tasks.
• Operators.
• PythonOperator.
• BashOperator.
• SQL Operators.
• Dependencias entre tareas.
• TaskFlow API.
• Scheduling.
• Cron Expressions.
• Start Date.
• Catchup.
• Retries.
• Timeouts.
• Variables.
• Connections.
• XCom.
• Branching.
• Sensors.
• Dynamic Task Mapping.
• Gestión de errores.
• Logs y monitorización.
• Diseño de pipelines ETL.
• Diseño de pipelines ELT.
• Integración con Python.
• Integración con SQL.
• Integración con plataformas de datos.
• Buenas prácticas de diseño de DAGs.

Proyecto Final + Certificación (Asíncrono)

Al finalizar el workshop, los alumnos realizarán de manera individual un proyecto práctico que deberá ser entregado dentro del plazo establecido.

El proyecto consistirá en diseñar y construir un pipeline de datos completo utilizando Apache Airflow.

El alumno deberá crear diferentes tareas, establecer dependencias, programar la ejecución del workflow, gestionar errores y reintentos e integrar procesos Python y SQL dentro de un mismo DAG.

El pipeline deberá representar un escenario realista de Data Engineering, desde la extracción y transformación de los datos hasta la generación de una capa preparada para su explotación posterior.

El proyecto será evaluado por el instructor, quien proporcionará comentarios personalizados, propuestas de mejora y una valoración técnica de la solución presentada.

Los alumnos que superen satisfactoriamente la evaluación recibirán el Certificado de Aprovechamiento de Taller de Tecnología, acreditando las competencias adquiridas durante el workshop.

Formador: Daniel Castillo Garrosset

Formador especializado en Data Engineering, Business Intelligence e IA Generativa, con más de 25 años de experiencia impartiendo formación técnica a empresas, universidades y entidades públicas. Formador de Data Science en el Cibernarium de Barcelona Activa.

• Experiencia real como formador.
• Metodología y enfoque práctico.
• Corrección individual del proyecto.

Requisitos

• Python (nivel básico-intermedio).
• SQL (nivel básico-intermedio).
• Conceptos básicos de Data Engineering.
• Conocimientos básicos sobre procesos ETL/ELT.

No es necesario conocer Apache Airflow previamente.

Público objetivo

• Data Engineers.
• Data Analysts con perfil técnico.
• Desarrolladores Python.
• Analytics Engineers.
• Profesionales que trabajen con pipelines de datos.
• Profesionales que quieran automatizar y orquestar procesos ETL/ELT.

¿Por qué elegir este workshop?

✔ Material descargable
✔ Proyecto real
✔ Soporte durante el workshop
✔ Certificación
✔ Corrección personalizada
✔ Enfoque 100 % práctico
✔ Pipeline completo de Data Engineering

FAQs

• ¿Necesito conocer Apache Airflow?: No. Se explicará desde los fundamentos.
• ¿Necesito saber Python?: Sí. Es recomendable disponer de conocimientos básicos o intermedios de Python.
• ¿Necesito conocimientos de SQL?: Sí. Es recomendable tener una base de SQL para aprovechar las prácticas de integración.
• ¿Es necesario conocer Docker?: No es imprescindible. Se explicará el entorno necesario para trabajar durante el workshop.
• ¿Trabajaremos con DAGs reales?: Sí. El objetivo principal es diseñar y construir workflows completos.
• ¿Aprenderé a programar ejecuciones?: Sí. Se trabajará con scheduling, expresiones cron, fechas de inicio y control de ejecuciones.
• ¿Veremos gestión de errores?: Sí. Se trabajará con retries, logs, monitorización y tratamiento de fallos.
• ¿Es un curso teórico?: No, más del 80 % del tiempo estará dedicado a ejercicios y construcción de pipelines.
• ¿Obtendré certificado?: Sí, una vez superado satisfactoriamente el proyecto final.
• ¿Puedo utilizar el proyecto como portfolio?: Sí. El proyecto estará diseñado para que pueda formar parte de tu portfolio técnico.