Confluent Stream Processing using Apache Kafka Streams (STREAMSG)
Přehled
Využijte sílu kontinuálního zpracování dat vytvářením vysokovýkonných aplikací řízených událostmi pomocí Apache Kafka® Streams API a ksqlDB. Naučte se navrhovat škálovatelné, stavové proudové architektury, které provádějí spojení s nízkou latencí, agregace v časových oknech a transformace v reálném čase. Transformujte reaktivní dávkové pracovní postupy na kontinuální datové pipeline, které poskytují okamžité provozní přehledy a maximalizují obchodní hodnotu.
Cílová skupina
Tento kurz je určen pro vývojáře aplikací, architekty, DevOps inženýry a datové vědce, kteří potřebují pracovat s Kafka clustery za účelem vytváření aplikací v reálném čase pomocí Kafka Streams pro filtrování, transformaci, obohacování, agregaci a spojování datových proudů za účelem odhalování anomálií, analýzy chování nebo monitorování komplexních systémů.
Předpoklady
Účastníci by měli mít zkušenosti s vývojem profesionálních aplikací v jazyce Java (preferováno), .NET, C#, Python nebo jiném hlavním programovacím jazyce. Účastníci by také měli mít praktické znalosti vývoje klientských aplikací pro Kafka. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.
Cíle
Cíle kurzu
Lekce a aktivity v tomto kurzu umožňují účastníkům rozvíjet dovednosti potřebné k:
- Identifikaci běžných vzorů a případů použití pro zpracování proudů v reálném čase
- Popisu vysokoúrovňové architektury Apache Kafka Streams
- Psaní aplikací v reálném čase pomocí Kafka Streams API pro filtrování, transformaci, obohacování, agregaci a spojování datových proudů
- Popisu toho, jak Kafka Streams poskytuje elastické, odolné vůči chybám a vysokovýkonné možnosti zpracování proudů
- Testování, zabezpečení, nasazení a monitorování aplikací Kafka Streams
Praktický výcvik
V průběhu celého kurzu praktická cvičení posilují probíraná témata. Cvičení zahrnují:
- Škálování aplikace Kafka Streams
- Anatomie aplikace Kafka Streams
- Práce s formátem JSON
- Časová okna a agregace
- Spojování dvou proudů
- Použití Processor API
- Integrační testy s využitím Embedded Kafka
- Použití JConsole pro monitorování aplikace Streams
- Zabezpečení aplikace Kafka Streams
Osnova kurzu
Modul 1: Úvod do Kafka Streams
- Získání hlubšího porozumění základům Apache Kafka
- Prozkoumání způsobu, jakým Apache Kafka využívá protokol správy skupin pro vyvažování zdrojů
- Popis konceptů zpracování proudů
Modul 2: Práce s Kafka Streams
- Popis anatomie aplikace Kafka Streams
- Psaní proudových aplikací s využitím komponent Kafka Streams DSL (bezstavové/stavové transformace, optimalizace)
Modul 3: Komplexní stavové zpracování operací
- Přehled konceptu času v Apache Kafka Streams
- Použití stavových operací Kafka Streams (časová okna, agregace, spojení)
Modul 4: Pokročilé koncepty
- Zpracování událostí přicházejících se zpožděním
- Prozkoumání spojení cizích klíčů v Kafka Streams
- Použití Kafka Streams Processor API
Modul 5: Testování, monitorování a odstraňování problémů
- Provádění testování s Apache Kafka Streams
- Vyhodnocení možností monitorování pomocí Confluent Control Center a metrik JMX
- Diskuse o běžných chybách a přístupech k odstraňování problémů
Modul 6: Nasazení
- Diskuse o strategiích nasazení (paralelismus, plánování kapacity, elasticita, odolnost vůči chybám)
Modul 7: Zabezpečení
- Prozkoumání způsobů zabezpečení aplikací Kafka Streams (přehled zabezpečení, příklady seznamů řízení přístupu)
Více od IBM
Administration of IBM DataPower Gateway 10 | Podnikové systémy
Advanced Administering Environments with IBM Instana Observability | Podnikové systémy
Advanced Assembler Language Coding Workshop | Podnikové systémy
Advanced HCP Terraform | Podnikové systémy
Advanced Parallel Sysplex Operations and Recovery Workshop | Podnikové systémy
Advanced System Operator Workshop for IBM i | Podnikové systémy