Confluent Stream Processing using Apache Kafka Streams and ksqlDB (STREAMSKSQLG)
Přehled
Využijte potenciál kontinuálního zpracování dat při vytváření škálovatelných stavových aplikací pro stream processing pomocí Apache Kafka® Streams a ksqlDB. Naučte se filtrovat, transformovat, obohacovat, agregovat a spojovat datové toky v reálném čase s využitím architektur s nízkou latencí a vysokou odolností proti chybám. Osvojte si dovednosti potřebné k navrhování, testování, zabezpečení, nasazování a monitorování událostmi řízených aplikací, které přinášejí prakticky využitelné poznatky a okamžitou obchodní hodnotu.
Cílová skupina
Tento kurz je určen pro vývojáře aplikací, architekty, DevOps inženýry a datové vědce, kteří potřebují pracovat s clustery Kafka za účelem vytváření aplikací v reálném čase pro filtrování, transformaci, obohacování, agregaci a spojování datových toků pro detekci anomálií, analýzu chování nebo monitorování komplexních systémů.
Předpoklady
Účastníci by měli mít zkušenosti s profesionálním vývojem aplikací v jazyce Java (preferováno), .NET, C#, Python nebo v jiném rozšířeném programovacím jazyce. Pro plnohodnotnou účast na kurzu si účastníci musí zajistit notebook s neomezeným přístupem k internetu.
Cíl
Cíle kurzu
Lekce a praktické aktivity v tomto kurzu umožní účastníkům získat dovednosti pro:
- Identifikaci běžných vzorů a případů užití pro zpracování proudů dat v reálném čase
- Popis architektury Apache Kafka Streams na vysoké úrovni
- Vytváření aplikací v reálném čase pomocí Kafka Streams API pro filtrování, transformaci, obohacování, agregaci a spojování datových toků
- Popis toho, jak ksqlDB kombinuje elastické, chybuvzdorné a vysoce výkonné možnosti zpracování streamů platformy Kafka
- Streams s jednoduchostí syntaxe podobné SQL
- Vytváření dotazů v ksqlDB, které demonstrují jejich vyváženost mezi výkonem a jednoduchostí
- Testování, zabezpečení, nasazování a monitorování aplikací Kafka Streams a dotazů ksqlDB
Praktický trénink
V průběhu kurzu budete koncepty zpracování proudů dat procvičovat v praktických laboratorních cvičeních. Cvičení zahrnují:
- Prozkoumání anatomie aplikace Kafka Streams
- Spojení dvou streamů
- Použití Kafka Streams Processor API
- Testování aplikace Kafka Streams
- Použití ksqlDB
- Použití ksqlDB REST API
- Škálování aplikace Kafka Streams
- Zabezpečení aplikace Kafka Streams
- Získávání metrik z aplikace Kafka Streams
- Použití nástroje JConsole k monitorování aplikace Kafka Streams
Osnova kurzu
Modul 01: Úvod do Kafka Streams
- Získání hlubšího porozumění základům Apache Kafka
- Podrobný pohled na to, jak Apache Kafka využívá protokol správy skupin k vyvažování prostředků
- Popis vybraných konceptů zpracování proudů dat (Stream Processing)
Modul 02: Práce s Kafka Streams
- Popis anatomie aplikace Kafka Streams
- Vytvoření streamovací aplikace využívající komponenty Kafka Streams DSL (bezstavové a stavové transformace, optimalizace)
Modul 03: Úvod do ksqlDB
- Prozkoumání ucelených (end-to-end) příkladů použití ksqlDB
- Interakce s ksqlDB
- Integrace konektorů s ksqlDB
Modul 04: Použití ksqlDB
- Provádění transformací dat pomocí ksqlDB
- Prozkoumání skalárních a tabulkových funkcí v ksqlDB
Modul 05: Stavové transformace pomocí Kafka Streams a ksqlDB
- Přehled konceptu času v Apache Kafka Streams
- Využití stavových operací okenních funkcí (windowing), agregací a spojování v Kafka Streams a ksqlDB
Modul 06: Pokročilé koncepty
- Prozkoumání spojování podle cizího klíče (foreign key joins) v Kafka Streams
- Vytváření uživatelsky definovaných funkcí (UDF) v ksqlDB
- Použití Kafka Streams Processor API
Modul 07: Testování, monitorování a řešení problémů
- Provádění testování s Apache Kafka Streams
- Vyhodnocení dostupných možností monitorování pomocí JMX, Confluent Control Center a vysvětlení specifik souvisejících s ksqlDB
- Diskuse o běžných chybách a přístupech k jejich řešení (troubleshooting)
Modul 08: Strategie nasazení a základy zabezpečení
- Diskuse o strategiích nasazení a kdy je použít: paralelismus, plánování kapacit, elasticita, odolnost proti chybám, specifika ksqlDB
- Seznámení se základy zabezpečení potřebnými k zahájení návrhu bezpečnostní architektury (přehled zabezpečení, příklady řízení přístupu)
Využijte potenciál kontinuálního zpracování dat při vytváření škálovatelných stavových aplikací pro stream processing pomocí Apache Kafka® Streams a ksqlDB. Naučte se filtrovat, transformovat, obohacovat, agregovat a spojovat datové toky v reálném čase s využitím architektur s nízkou latencí a vysokou odolností proti chybám. Osvojte si dovednosti potřebné k navrhování, testování, zabezpečení, nasazování a monitorování událostmi řízených aplikací, které přinášejí prakticky využitelné poznatky a okamžitou obchodní hodnotu.
]Využijte potenciál kontinuálního zpracování dat při vytváření škálovatelných stavových aplikací pro stream processing pomocí Apache Kafka® Streams a ksqlDB. Naučte se filtrovat, transformovat, obohacovat, agregovat a spojovat datové toky v reálném čase s využitím architektur s nízkou latencí a vysokou odolností proti chybám. Osvojte si dovednosti potřebné k navrhování, testování, zabezpečení, nasazování a monitorování událostmi řízených aplikací, které přinášejí prakticky využitelné poznatky a okamžitou obchodní hodnotu.
Přehled
Využijte potenciál kontinuálního zpracování dat při vytváření škálovatelných stavových aplikací pro stream processing pomocí Apache Kafka® Streams a ksqlDB. Naučte se filtrovat, transformovat, obohacovat, agregovat a spojovat datové toky v reálném čase s využitím architektur s nízkou latencí a vysokou odolností proti chybám. Osvojte si dovednosti potřebné k navrhování, testování, zabezpečení, nasazování a monitorování událostmi řízených aplikací, které přinášejí prakticky využitelné poznatky a okamžitou obchodní hodnotu.
Cílová skupina
Tento kurz je určen pro vývojáře aplikací, architekty, DevOps inženýry a datové vědce, kteří potřebují pracovat s clustery Kafka za účelem vytváření aplikací v reálném čase pro filtrování, transformaci, obohacování, agregaci a spojování datových toků pro detekci anomálií, analýzu chování nebo monitorování komplexních systémů.
Předpoklady
Účastníci by měli mít zkušenosti s profesionálním vývojem aplikací v jazyce Java (preferováno), .NET, C#, Python nebo v jiném rozšířeném programovacím jazyce. Pro plnohodnotnou účast na kurzu si účastníci musí zajistit notebook s neomezeným přístupem k internetu.
Cíl
Cíle kurzu
Lekce a praktické aktivity v tomto kurzu umožní účastníkům získat dovednosti pro:
- Identifikaci běžných vzorů a případů užití pro zpracování proudů dat v reálném čase
- Popis architektury Apache Kafka Streams na vysoké úrovni
- Vytváření aplikací v reálném čase pomocí Kafka Streams API pro filtrování, transformaci, obohacování, agregaci a spojování datových toků
- Popis toho, jak ksqlDB kombinuje elastické, chybuvzdorné a vysoce výkonné možnosti zpracování streamů platformy Kafka
- Streams s jednoduchostí syntaxe podobné SQL
- Vytváření dotazů v ksqlDB, které demonstrují jejich vyváženost mezi výkonem a jednoduchostí
- Testování, zabezpečení, nasazování a monitorování aplikací Kafka Streams a dotazů ksqlDB
Praktický trénink
V průběhu kurzu budete koncepty zpracování proudů dat procvičovat v praktických laboratorních cvičeních. Cvičení zahrnují:
- Prozkoumání anatomie aplikace Kafka Streams
- Spojení dvou streamů
- Použití Kafka Streams Processor API
- Testování aplikace Kafka Streams
- Použití ksqlDB
- Použití ksqlDB REST API
- Škálování aplikace Kafka Streams
- Zabezpečení aplikace Kafka Streams
- Získávání metrik z aplikace Kafka Streams
- Použití nástroje JConsole k monitorování aplikace Kafka Streams
Více od IBM
Administration of IBM DataPower Gateway 10 | Podnikové systémy
Advanced Administering Environments with IBM Instana Observability | Podnikové systémy
Advanced Assembler Language Coding Workshop | Podnikové systémy
Advanced HCP Terraform | Podnikové systémy
Advanced Parallel Sysplex Operations and Recovery Workshop | Podnikové systémy
Advanced System Operator Workshop for IBM i | Podnikové systémy