¿Por qué aprender Apache Kafka?

Cada vez más arquitecturas de datos necesitan procesar información en tiempo real en lugar de depender exclusivamente de procesos batch ejecutados cada cierto tiempo.

Eventos generados por aplicaciones, sensores, plataformas digitales, sistemas transaccionales o dispositivos pueden producir flujos continuos de información que necesitan ser capturados, distribuidos y procesados de forma eficiente.

Apache Kafka es una de las tecnologías de referencia para construir plataformas de Event Streaming y arquitecturas de datos orientadas a eventos.

Permite desacoplar productores y consumidores, distribuir eventos entre diferentes sistemas y construir pipelines de datos capaces de trabajar de forma continua y escalable.

En este workshop aprenderás los fundamentos de Apache Kafka y construirás pipelines de streaming utilizando Topics, Producers, Consumers, Partitions y Consumer Groups.

Todo el workshop está orientado a comprender cómo incorporar el procesamiento de eventos en tiempo real dentro de una arquitectura moderna de datos.

¿Qué aprenderás?

✅ Comprender qué es Event Streaming.
✅ Entender cuándo utilizar procesamiento batch o streaming.
✅ Comprender la arquitectura de Apache Kafka.
✅ Trabajar con Brokers y Clusters.
✅ Crear y gestionar Topics.
✅ Comprender el funcionamiento de las Partitions.
✅ Crear Producers.
✅ Crear Consumers.
✅ Trabajar con Consumer Groups.
✅ Comprender Offsets.
✅ Gestionar la distribución de eventos.
✅ Entender la replicación y tolerancia a fallos.
✅ Trabajar con retención de mensajes.
✅ Crear productores y consumidores con Python.
✅ Diseñar pipelines de datos en tiempo real.
✅ Comprender las arquitecturas Event-Driven.
✅ Integrar Kafka dentro de una plataforma moderna de datos.

Ficha técnica

• Modalidad: online en directo.
• Duración: 12 horas.
• Distribución: 4 sesiones de 3 horas.
• Proyecto final: asíncrono.
• Plazo de entrega: 14 días.
• Corrección personalizada: incluida.
• Plazas: máximo 12 participantes.
• Nivel: intermedio.
• Idioma: castellano.

Metodología Taller de Tecnología®

• #1 Sesión: Event Streaming y fundamentos de Apache Kafka (síncrono).
• #2 Sesión: Producers, Consumers y Topics (síncrono).
• #3 Sesión: Particiones, Consumer Groups y procesamiento de eventos (síncrono).
• #4 Sesión: Arquitecturas Event-Driven y pipeline completo (síncrono).
• Proyecto final + certificación (asíncrono).

Temario del Workshop

• Introducción al procesamiento de datos en tiempo real.
• Batch Processing vs Stream Processing.
• Qué es Event Streaming.
• Arquitecturas Event-Driven.
• Introducción a Apache Kafka.
• Casos de uso de Kafka.
• Arquitectura de Apache Kafka.
• Kafka Cluster.
• Brokers.
• Topics.
• Partitions.
• Events y Records.
• Keys y Values.
• Producers.
• Consumers.
• Consumer Groups.
• Offsets.
• Orden de los mensajes.
• Distribución de eventos.
• Replicación.
• Tolerancia a fallos.
• Retención de mensajes.
• Log Compaction.
• Creación y configuración de Topics.
• Producción de eventos.
• Consumo de eventos.
• Particionado de eventos.
• Rebalanceo de Consumer Groups.
• Serialización y deserialización.
• JSON como formato de eventos.
• Introducción a Schema Management.
• Integración de Kafka con Python.
• Creación de Producers con Python.
• Creación de Consumers con Python.
• Diseño de pipelines de streaming.
• Introducción a Kafka Connect.
• Integración con fuentes de datos.
• Integración con sistemas analíticos.
• Monitorización básica.
• Buenas prácticas.

Proyecto Final + Certificación (Asíncrono)

Al finalizar el workshop, los alumnos realizarán de manera individual un proyecto práctico que deberá ser entregado dentro del plazo establecido.

El proyecto consistirá en diseñar y construir un pipeline de datos en tiempo real utilizando Apache Kafka.

El alumno deberá crear diferentes Topics, configurar sus particiones y desarrollar un Producer encargado de generar y publicar eventos de forma continua.

Posteriormente desarrollará uno o varios Consumers para procesar los eventos recibidos, trabajando con Consumer Groups y gestionando correctamente los Offsets.

El proyecto incluirá el desarrollo de Producers y Consumers con Python, permitiendo simular un escenario realista de generación y procesamiento continuo de datos.

Finalmente, el alumno deberá representar la arquitectura construida e identificar claramente productores, Kafka Cluster, Topics, Partitions, Consumer Groups y sistemas consumidores.

El objetivo será comprender cómo Apache Kafka permite desacoplar sistemas y construir arquitecturas de datos orientadas a eventos capaces de procesar información en tiempo real.

El proyecto será evaluado por el instructor, quien proporcionará comentarios personalizados, propuestas de mejora y una valoración técnica de la solución presentada.

Los alumnos que superen satisfactoriamente la evaluación recibirán el Certificado de Aprovechamiento de Taller de Tecnología, acreditando las competencias adquiridas durante el workshop.

Formador: Daniel Castillo Garrosset

Formador especializado en Data Engineering, Business Intelligence e IA Generativa, con más de 25 años de experiencia impartiendo formación técnica a empresas, universidades y entidades públicas. Formador de Data Science en el Cibernarium de Barcelona Activa.

• Experiencia real como formador.
• Metodología y enfoque práctico.
• Corrección individual del proyecto.

Requisitos

• Python (nivel básico-intermedio).
• Conceptos básicos de Data Engineering.
• Conocimientos básicos sobre pipelines de datos.

No es necesario conocer Apache Kafka previamente.

Público objetivo

• Data Engineers.
• Analytics Engineers.
• Data Architects.
• Desarrolladores Python.
• Profesionales que trabajen con pipelines de datos.
• Profesionales interesados en procesamiento de datos en tiempo real.
• Profesionales interesados en arquitecturas Event-Driven.
• Profesionales que quieran incorporar streaming a plataformas modernas de datos.

¿Por qué elegir este workshop?

✔ Material descargable
✔ Proyecto real
✔ Soporte durante el workshop
✔ Certificación
✔ Corrección personalizada
✔ Enfoque 100 % práctico
✔ Pipeline de datos en tiempo real
✔ Producers + Consumers con Python
✔ Arquitecturas Event-Driven

FAQs

• ¿Necesito conocer Apache Kafka?: No. El workshop parte desde los fundamentos.
• ¿Necesito saber Python?: Sí. Es recomendable disponer de un nivel básico-intermedio para desarrollar los Producers y Consumers.
• ¿Qué diferencia existe entre procesamiento Batch y Streaming?: En un proceso Batch los datos se procesan normalmente por lotes en determinados momentos, mientras que en Streaming los eventos pueden procesarse continuamente a medida que se generan.
• ¿Qué es un Topic?: Es la estructura lógica utilizada por Kafka para organizar y distribuir los eventos.
• ¿Qué son las Partitions?: Permiten dividir un Topic y distribuir sus datos, facilitando el procesamiento paralelo y la escalabilidad.
• ¿Qué es un Consumer Group?: Es un conjunto de Consumers que colaboran para procesar las particiones de un Topic distribuyendo el trabajo entre ellos.
• ¿Trabajaremos con Python?: Sí. Se desarrollarán Producers y Consumers para generar y procesar eventos.
• ¿Veremos Kafka Connect?: Sí, se realizará una introducción para comprender cómo Kafka puede conectarse con otros sistemas y fuentes de datos.
• ¿Kafka es únicamente una cola de mensajes?: No. Aunque comparte algunos conceptos con los sistemas de mensajería, Kafka está diseñado como una plataforma distribuida de Event Streaming.
• ¿Trabajaremos con datos en tiempo real?: Sí. Las prácticas simularán flujos continuos de eventos y su procesamiento mediante diferentes consumidores.
• ¿Es un curso teórico?: No, más del 80 % del tiempo estará dedicado a ejercicios, configuración y construcción de pipelines de streaming.
• ¿Obtendré certificado?: Sí, una vez superado satisfactoriamente el proyecto final.
• ¿Puedo utilizar el proyecto como portfolio?: Sí. El proyecto estará diseñado para demostrar conocimientos de Event Streaming y arquitecturas de datos en tiempo real.