Mastering Flink SQL on Confluent Platform (FLINKCPG)
Přehled
Tento dvoudenní kurz poskytuje komplexní školení v oblasti zpracování datových proudů v reálném čase pomocí Flink SQL na platformě Confluent Platform. Praktická cvičení v laboratořích zajišťují praktické zkušenosti s dynamickými tabulkami, vodoznaky (watermarks) a okénkováním na základě času události (event-time windowing). Účastníci se naučí analyzovat živé datové proudy pomocí komplexních agregací a spojení (joins) v reálném čase.
Cílová skupina
Tento kurz je určen pro odborníky pracující s SQL, kteří chtějí rozšířit své dovednosti o zpracování datových proudů pomocí Flink SQL na platformě Confluent Platform. Je ideální pro datové inženýry, analytiky a vývojáře, kteří jsou obeznámeni s SQL a potřebují jej aplikovat na datové proudy v reálném čase.
Předpoklady
Tento kurz je doporučen účastníkům, kteří jsou obeznámeni se syntaxí a operacemi SQL a mají základní znalosti platformy Kafka (témata a oddíly) a zpracování datových proudů. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.
Cíle
Cíle kurzu
V průběhu tohoto praktického kurzu se naučíte:
- Porozumět základům Apache Flink a jeho roli ve zpracování datových proudů
- Psát a spouštět dotazy Flink SQL na platformě Confluent Platform
- Rozlišovat mezi zpracováním datových proudů a dávkovým zpracováním
- Pracovat s dynamickými tabulkami a porozumět dualitě datových proudů a tabulek (stream-table duality)
- Spravovat časové atributy, vodoznaky (watermarks) a okna (windows) pro zpracování na základě času události
- Provádět komplexní okénkové agregace (windowed aggregations) v reálném čase pomocí Flink SQL
- Spojovat, obohacovat a korelovat data z více zdrojů datových proudů
Praktický výcvik
V průběhu celého kurzu praktická cvičení prohlubují probíraná témata. Cvičení zahrnují:
- Nastavení laboratorního prostředí Flink SQL na platformě Confluent Platform (Kubernetes + CFK + CMF)
- Práci s Flink na platformě Confluent Platform pomocí Flink SQL CLI a Control Center
- Vytváření dynamických tabulek a porovnávání režimů change log
- Implementaci vodoznaků (watermarks) a časových oken (time windows)
- Provádění agregací v praktickém případu užití
- Zkoumání spojení (joins) (regulární, intervalová, temporální, okénková)
Osnova kurzu
Modul 01: Úvod do Flink
- Lab 01: Nastavení laboratorního prostředí
- Původ zpracování datových proudů
- Co je Apache Flink?
- Rozhraní API Apache Flink
- Flink Job & Topology
Modul 02: Začínáme s Flink SQL
- Lab 02: Práce s Flink na platformě Confluent Platform
- Proč Flink SQL pro zpracování datových proudů?
- Syntaxe Flink SQL
- Zpracování datových proudů vs. dávkové zpracování
- Bezstavové & stavové operátory
- Flink SQL na platformě Confluent Platform
Modul 03: Práce s dynamickými tabulkami
- Lab 03: Práce s dynamickými tabulkami
- Tradiční SQL vs. streamovací SQL
- Dualita datových proudů a tabulek (Stream-Table Duality)
- Vytváření dynamických tabulek
- Konfigurace tabulek & vzory
- Typy sloupců
- Zpracování událostí bez schématu
- Režimy skenování (Scan Modes)
Modul 04: Čas & okna
- Lab 04: Použití vodoznaků (watermarks) a oken (windows)
- Čas události vs. čas zpracování
- Časové atributy vs. časová razítka
- Vodoznaky (Watermarks)
- Okna (Windows)
- Časové funkce & datové typy
Modul 05: Agregace
- Lab 05: Použití agregací v praktickém případu užití
- Přehled
- GROUP BY vs. OVER
- Agregační funkce
- Speciální agregační dotazy
- Další možnosti agregace
- Agregace: důležité aspekty
Modul 06: Spojení (Joins)
- Lab 06: Zkoumání různých typů spojení (joins)
- Úvod do spojení (joins)
- Regulární spojení (Regular Joins)
- Optimalizovaná spojení (Optimized Joins)
- Okénková spojení (Window Joins)
- Další typy spojení (joins)
Více od IBM
Administration of IBM DataPower Gateway 10 | Podnikové systémy
Advanced Administering Environments with IBM Instana Observability | Podnikové systémy
Advanced Assembler Language Coding Workshop | Podnikové systémy
Advanced HCP Terraform | Podnikové systémy
Advanced Parallel Sysplex Operations and Recovery Workshop | Podnikové systémy
Advanced System Operator Workshop for IBM i | Podnikové systémy