Confluent Stream Processing using Apache Kafka Streams (STREAMSG)

Jiné
Strojově přeloženo

Přehled

Využijte sílu kontinuálního zpracování dat vytvářením vysokovýkonných aplikací řízených událostmi pomocí Apache Kafka® Streams API a ksqlDB. Naučte se navrhovat škálovatelné, stavové proudové architektury, které provádějí spojení s nízkou latencí, agregace v časových oknech a transformace v reálném čase. Transformujte reaktivní dávkové pracovní postupy na kontinuální datové pipeline, které poskytují okamžité provozní přehledy a maximalizují obchodní hodnotu.

Cílová skupina

Tento kurz je určen pro vývojáře aplikací, architekty, DevOps inženýry a datové vědce, kteří potřebují pracovat s Kafka clustery za účelem vytváření aplikací v reálném čase pomocí Kafka Streams pro filtrování, transformaci, obohacování, agregaci a spojování datových proudů za účelem odhalování anomálií, analýzy chování nebo monitorování komplexních systémů.

Předpoklady

Účastníci by měli mít zkušenosti s vývojem profesionálních aplikací v jazyce Java (preferováno), .NET, C#, Python nebo jiném hlavním programovacím jazyce. Účastníci by také měli mít praktické znalosti vývoje klientských aplikací pro Kafka. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.

Cíle

Cíle kurzu 

Lekce a aktivity v tomto kurzu umožňují účastníkům rozvíjet dovednosti potřebné k: 

  • Identifikaci běžných vzorů a případů použití pro zpracování proudů v reálném čase
  • Popisu vysokoúrovňové architektury Apache Kafka Streams 
  • Psaní aplikací v reálném čase pomocí Kafka Streams API pro filtrování, transformaci, obohacování, agregaci a spojování datových proudů 
  • Popisu toho, jak Kafka Streams poskytuje elastické, odolné vůči chybám a vysokovýkonné možnosti zpracování proudů 
  • Testování, zabezpečení, nasazení a monitorování aplikací Kafka Streams

 

Praktický výcvik 

V průběhu celého kurzu praktická cvičení posilují probíraná témata. Cvičení zahrnují: 

  • Škálování aplikace Kafka Streams 
  • Anatomie aplikace Kafka Streams
  • Práce s formátem JSON 
  • Časová okna a agregace 
  • Spojování dvou proudů 
  • Použití Processor API 
  • Integrační testy s využitím Embedded Kafka
  • Použití JConsole pro monitorování aplikace Streams 
  • Zabezpečení aplikace Kafka Streams

Osnova kurzu

Modul 1: Úvod do Kafka Streams

  • Získání hlubšího porozumění základům Apache Kafka
  • Prozkoumání způsobu, jakým Apache Kafka využívá protokol správy skupin pro vyvažování zdrojů
  • Popis konceptů zpracování proudů

Modul 2: Práce s Kafka Streams

  • Popis anatomie aplikace Kafka Streams
  • Psaní proudových aplikací s využitím komponent Kafka Streams DSL (bezstavové/stavové transformace, optimalizace)

Modul 3: Komplexní stavové zpracování operací

  • Přehled konceptu času v Apache Kafka Streams
  • Použití stavových operací Kafka Streams (časová okna, agregace, spojení)

Modul 4: Pokročilé koncepty

  • Zpracování událostí přicházejících se zpožděním
  • Prozkoumání spojení cizích klíčů v Kafka Streams
  • Použití Kafka Streams Processor API

Modul 5: Testování, monitorování a odstraňování problémů

  • Provádění testování s Apache Kafka Streams
  • Vyhodnocení možností monitorování pomocí Confluent Control Center a metrik JMX
  • Diskuse o běžných chybách a přístupech k odstraňování problémů

Modul 6: Nasazení

  • Diskuse o strategiích nasazení (paralelismus, plánování kapacity, elasticita, odolnost vůči chybám)

Modul 7: Zabezpečení

  • Prozkoumání způsobů zabezpečení aplikací Kafka Streams (přehled zabezpečení, příklady seznamů řízení přístupu)