Mastering Flink SQL on Confluent Cloud - Extended (FLINKCC2G)
Přehled
Tento intenzivní třídenní kurz poskytuje hloubkové školení zaměřené na budování komplexních streamovacích pipeline v reálném čase pomocí Flink SQL na platformě Confluent Cloud. Účastníci přecházejí od základních konceptů zpracování streamů k pokročilé streamovací architektuře a získávají praktické zkušenosti s vytvářením analytických pipeline s vysokou propustností a nízkou latencí.
Cílová skupina
Tento kurz je určen pro odborníky na SQL, kteří chtějí rozšířit své dovednosti o zpracování streamů pomocí Flink SQL na platformě Confluent Cloud. Je ideální pro datové inženýry, analytiky a vývojáře, kteří jsou obeznámeni s SQL a potřebují jej aplikovat na datové streamy v reálném čase.
Předpoklady
Tento kurz je doporučen účastníkům, kteří jsou obeznámeni se syntaxí a operacemi SQL a mají základní znalosti platformy Kafka (témata a oddíly) a zpracování streamů. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.
Cíl
Cíle kurzu
V průběhu tohoto praktického kurzu se naučíte:
- Budovat streamovací pipeline v reálném čase pomocí Flink SQL
- Pracovat s dynamickými tabulkami a porozumět dualitě stream–tabulka
- Ovládat časová okna, vodoznaky a zpracování na základě času události
- Provádět agregace v časových oknech a analytiku nad živými datovými streamy
- Spojovat, obohacovat a korelovat data z více streamovacích zdrojů
- Detekovat komplexní vzory událostí v reálném čase
- Rozšiřovat možnosti Flink SQL pomocí vlastních UDF
- Používat pokročilé vzory, jako jsou Statement Sets, Snapshots, EOS a State Management
- Připojovat Flink SQL k externím databázím a službám AI/ML
Praktická výuka
V průběhu celého kurzu praktická cvičení prohlubují probíraná témata. Cvičení zahrnují:
- Nastavení Flink SQL na platformě Confluent Cloud
- Psaní a správu dotazů Flink SQL
- Vytváření dynamických tabulek a porovnávání režimů change log
- Implementaci časových oken a vodoznaků
- Provádění agregací v praktickém případu užití
- Zkoumání spojení (regulární, intervalová, temporální, v časových oknech)
- Porovnávání vzorů pro detekci komplexních sekvencí událostí
- Implementaci a nasazení Java UDF
- Práci s pokročilými vzory příkazů
Osnova kurzu
Modul 01: Úvod do Flink
- Lab 01: Nastavení laboratorního prostředí
- Původ zpracování streamů
- Co je Apache Flink?
- API Apache Flink
- Flink Job & Topology
Modul 02: Začínáme s Flink SQL
- Lab 02: Práce s Flink v Confluent Cloud
- Proč Flink SQL pro zpracování streamů?
- Syntaxe Flink SQL
- Streamové vs. dávkové zpracování
- Bezstavové vs. stavové operátory
- Flink SQL na platformě Confluent Cloud
Modul 03: Práce s dynamickými tabulkami
- Lab 03: Práce s dynamickými tabulkami
- Tradiční SQL vs. streamové SQL
- Dualita stream–tabulka
- Vytváření dynamických tabulek
- Konfigurace tabulek & vzory
- Typy sloupců
- Zpracování událostí bez schématu
- Režimy skenování
Modul 04: Čas & okna
- Lab 04: Použití vodoznaků a oken
- Čas události vs. čas zpracování
- Časové atributy vs. časová razítka
- Vodoznaky
- Okna
- Časové funkce & datové typy
Modul 05: Agregace
- Lab 05: Použití agregací v praktickém případu užití
- Přehled
- GROUP BY vs. OVER
- Agregační funkce
- Speciální agregační dotazy
- Další možnosti agregace
- Agregace: důležité aspekty
Modul 06: Spojení
- Lab 06: Zkoumání různých typů spojení
- Úvod do spojení
- Regulární spojení
- Optimalizovaná spojení
- Spojení v časových oknech
- Ostatní typy spojení
Modul 07: Rozpoznávání vzorů
- Lab 07: Porovnávání vzorů pomocí MATCH_RECOGNIZE
- Úvod do rozpoznávání vzorů
- Definování vzorů
- Výstup a navigace ve shodách
- Navigace podél příkladů vzorů
Modul 08: UDF
- Lab 08: Implementace uživatelsky definované funkce (UDF)
- UDF v Confluent Cloud
- Psaní UDF v jazyce Java
Modul 09: Pokročilé vzory příkazů
- Lab 09: Pokročilé vzory příkazů
- Sjednocování více témat
- EXECUTE STATEMENT SET pro Fan-In/Fan-Out
- Sémantika exactly-once pro Kafka Sinks
- Evoluce příkazů s přenosem offsetů
- Snapshot dotazy
- Správa stavu
- Monitorování a správa příkazů pomocí DLQ
Modul 10: Připojení
- Připojení v Confluent Cloud
- Externí tabulky
- AI/ML s připojeními
Více od IBM
Administration of IBM DataPower Gateway 10 | Podnikové systémy
Advanced Administering Environments with IBM Instana Observability | Podnikové systémy
Advanced Assembler Language Coding Workshop | Podnikové systémy
Advanced HCP Terraform | Podnikové systémy
Advanced Parallel Sysplex Operations and Recovery Workshop | Podnikové systémy
Advanced System Operator Workshop for IBM i | Podnikové systémy