Confluent Stream Processing using Apache Kafka Streams and ksqlDB (STREAMSKSQLG)

Jiné
Strojově přeloženo

Přehled

Využijte potenciál kontinuálního zpracování dat při vytváření škálovatelných stavových aplikací pro stream processing pomocí Apache Kafka® Streams a ksqlDB. Naučte se filtrovat, transformovat, obohacovat, agregovat a spojovat datové toky v reálném čase s využitím architektur s nízkou latencí a vysokou odolností proti chybám. Osvojte si dovednosti potřebné k navrhování, testování, zabezpečení, nasazování a monitorování událostmi řízených aplikací, které přinášejí prakticky využitelné poznatky a okamžitou obchodní hodnotu.

Cílová skupina

Tento kurz je určen pro vývojáře aplikací, architekty, DevOps inženýry a datové vědce, kteří potřebují pracovat s clustery Kafka za účelem vytváření aplikací v reálném čase pro filtrování, transformaci, obohacování, agregaci a spojování datových toků pro detekci anomálií, analýzu chování nebo monitorování komplexních systémů.

Předpoklady

Účastníci by měli mít zkušenosti s profesionálním vývojem aplikací v jazyce Java (preferováno), .NET, C#, Python nebo v jiném rozšířeném programovacím jazyce. Pro plnohodnotnou účast na kurzu si účastníci musí zajistit notebook s neomezeným přístupem k internetu.

Cíl

Cíle kurzu

Lekce a praktické aktivity v tomto kurzu umožní účastníkům získat dovednosti pro:

  • Identifikaci běžných vzorů a případů užití pro zpracování proudů dat v reálném čase 
  • Popis architektury Apache Kafka Streams na vysoké úrovni
  • Vytváření aplikací v reálném čase pomocí Kafka Streams API pro filtrování, transformaci, obohacování, agregaci a spojování datových toků
  • Popis toho, jak ksqlDB kombinuje elastické, chybuvzdorné a vysoce výkonné možnosti zpracování streamů platformy Kafka
  • Streams s jednoduchostí syntaxe podobné SQL
  • Vytváření dotazů v ksqlDB, které demonstrují jejich vyváženost mezi výkonem a jednoduchostí
  • Testování, zabezpečení, nasazování a monitorování aplikací Kafka Streams a dotazů ksqlDB

Praktický trénink

V průběhu kurzu budete koncepty zpracování proudů dat procvičovat v praktických laboratorních cvičeních. Cvičení zahrnují:

  • Prozkoumání anatomie aplikace Kafka Streams
  • Spojení dvou streamů
  • Použití Kafka Streams Processor API
  • Testování aplikace Kafka Streams
  • Použití ksqlDB
  • Použití ksqlDB REST API
  • Škálování aplikace Kafka Streams
  • Zabezpečení aplikace Kafka Streams
  • Získávání metrik z aplikace Kafka Streams
  • Použití nástroje JConsole k monitorování aplikace Kafka Streams

Osnova kurzu

Modul 01: Úvod do Kafka Streams

  • Získání hlubšího porozumění základům Apache Kafka
  • Podrobný pohled na to, jak Apache Kafka využívá protokol správy skupin k vyvažování prostředků
  • Popis vybraných konceptů zpracování proudů dat (Stream Processing)

Modul 02: Práce s Kafka Streams

  • Popis anatomie aplikace Kafka Streams
  • Vytvoření streamovací aplikace využívající komponenty Kafka Streams DSL (bezstavové a stavové transformace, optimalizace)

Modul 03: Úvod do ksqlDB

  • Prozkoumání ucelených (end-to-end) příkladů použití ksqlDB
  • Interakce s ksqlDB
  • Integrace konektorů s ksqlDB

Modul 04: Použití ksqlDB

  • Provádění transformací dat pomocí ksqlDB
  • Prozkoumání skalárních a tabulkových funkcí v ksqlDB

Modul 05: Stavové transformace pomocí Kafka Streams a ksqlDB

  • Přehled konceptu času v Apache Kafka Streams
  • Využití stavových operací okenních funkcí (windowing), agregací a spojování v Kafka Streams a ksqlDB

Modul 06: Pokročilé koncepty 

  • Prozkoumání spojování podle cizího klíče (foreign key joins) v Kafka Streams
  • Vytváření uživatelsky definovaných funkcí (UDF) v ksqlDB
  • Použití Kafka Streams Processor API

Modul 07: Testování, monitorování a řešení problémů

  • Provádění testování s Apache Kafka Streams
  • Vyhodnocení dostupných možností monitorování pomocí JMX, Confluent Control Center a vysvětlení specifik souvisejících s ksqlDB
  • Diskuse o běžných chybách a přístupech k jejich řešení (troubleshooting)

Modul 08: Strategie nasazení a základy zabezpečení

  • Diskuse o strategiích nasazení a kdy je použít: paralelismus, plánování kapacit, elasticita, odolnost proti chybám, specifika ksqlDB
  • Seznámení se základy zabezpečení potřebnými k zahájení návrhu bezpečnostní architektury (přehled zabezpečení, příklady řízení přístupu)
[

Využijte potenciál kontinuálního zpracování dat při vytváření škálovatelných stavových aplikací pro stream processing pomocí Apache Kafka® Streams a ksqlDB. Naučte se filtrovat, transformovat, obohacovat, agregovat a spojovat datové toky v reálném čase s využitím architektur s nízkou latencí a vysokou odolností proti chybám. Osvojte si dovednosti potřebné k navrhování, testování, zabezpečení, nasazování a monitorování událostmi řízených aplikací, které přinášejí prakticky využitelné poznatky a okamžitou obchodní hodnotu.

]

Využijte potenciál kontinuálního zpracování dat při vytváření škálovatelných stavových aplikací pro stream processing pomocí Apache Kafka® Streams a ksqlDB. Naučte se filtrovat, transformovat, obohacovat, agregovat a spojovat datové toky v reálném čase s využitím architektur s nízkou latencí a vysokou odolností proti chybám. Osvojte si dovednosti potřebné k navrhování, testování, zabezpečení, nasazování a monitorování událostmi řízených aplikací, které přinášejí prakticky využitelné poznatky a okamžitou obchodní hodnotu.

Přehled

Využijte potenciál kontinuálního zpracování dat při vytváření škálovatelných stavových aplikací pro stream processing pomocí Apache Kafka® Streams a ksqlDB. Naučte se filtrovat, transformovat, obohacovat, agregovat a spojovat datové toky v reálném čase s využitím architektur s nízkou latencí a vysokou odolností proti chybám. Osvojte si dovednosti potřebné k navrhování, testování, zabezpečení, nasazování a monitorování událostmi řízených aplikací, které přinášejí prakticky využitelné poznatky a okamžitou obchodní hodnotu.

Cílová skupina

Tento kurz je určen pro vývojáře aplikací, architekty, DevOps inženýry a datové vědce, kteří potřebují pracovat s clustery Kafka za účelem vytváření aplikací v reálném čase pro filtrování, transformaci, obohacování, agregaci a spojování datových toků pro detekci anomálií, analýzu chování nebo monitorování komplexních systémů.

Předpoklady

Účastníci by měli mít zkušenosti s profesionálním vývojem aplikací v jazyce Java (preferováno), .NET, C#, Python nebo v jiném rozšířeném programovacím jazyce. Pro plnohodnotnou účast na kurzu si účastníci musí zajistit notebook s neomezeným přístupem k internetu.

Cíl

Cíle kurzu

Lekce a praktické aktivity v tomto kurzu umožní účastníkům získat dovednosti pro:

  • Identifikaci běžných vzorů a případů užití pro zpracování proudů dat v reálném čase 
  • Popis architektury Apache Kafka Streams na vysoké úrovni
  • Vytváření aplikací v reálném čase pomocí Kafka Streams API pro filtrování, transformaci, obohacování, agregaci a spojování datových toků
  • Popis toho, jak ksqlDB kombinuje elastické, chybuvzdorné a vysoce výkonné možnosti zpracování streamů platformy Kafka
  • Streams s jednoduchostí syntaxe podobné SQL
  • Vytváření dotazů v ksqlDB, které demonstrují jejich vyváženost mezi výkonem a jednoduchostí
  • Testování, zabezpečení, nasazování a monitorování aplikací Kafka Streams a dotazů ksqlDB

Praktický trénink

V průběhu kurzu budete koncepty zpracování proudů dat procvičovat v praktických laboratorních cvičeních. Cvičení zahrnují:

  • Prozkoumání anatomie aplikace Kafka Streams
  • Spojení dvou streamů
  • Použití Kafka Streams Processor API
  • Testování aplikace Kafka Streams
  • Použití ksqlDB
  • Použití ksqlDB REST API
  • Škálování aplikace Kafka Streams
  • Zabezpečení aplikace Kafka Streams
  • Získávání metrik z aplikace Kafka Streams
  • Použití nástroje JConsole k monitorování aplikace Kafka Streams