Mastering Flink SQL on Confluent Cloud - Extended (FLINKCC2G)

Jiné
Strojově přeloženo

Přehled

Tento intenzivní třídenní kurz poskytuje hloubkové školení zaměřené na budování komplexních streamovacích pipeline v reálném čase pomocí Flink SQL na platformě Confluent Cloud. Účastníci přecházejí od základních konceptů zpracování streamů k pokročilé streamovací architektuře a získávají praktické zkušenosti s vytvářením analytických pipeline s vysokou propustností a nízkou latencí.

Cílová skupina

Tento kurz je určen pro odborníky na SQL, kteří chtějí rozšířit své dovednosti o zpracování streamů pomocí Flink SQL na platformě Confluent Cloud. Je ideální pro datové inženýry, analytiky a vývojáře, kteří jsou obeznámeni s SQL a potřebují jej aplikovat na datové streamy v reálném čase.

Předpoklady

Tento kurz je doporučen účastníkům, kteří jsou obeznámeni se syntaxí a operacemi SQL a mají základní znalosti platformy Kafka (témata a oddíly) a zpracování streamů. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.

Cíl

Cíle kurzu

V průběhu tohoto praktického kurzu se naučíte:

  • Budovat streamovací pipeline v reálném čase pomocí Flink SQL
  • Pracovat s dynamickými tabulkami a porozumět dualitě stream–tabulka
  • Ovládat časová okna, vodoznaky a zpracování na základě času události
  • Provádět agregace v časových oknech a analytiku nad živými datovými streamy
  • Spojovat, obohacovat a korelovat data z více streamovacích zdrojů
  • Detekovat komplexní vzory událostí v reálném čase
  • Rozšiřovat možnosti Flink SQL pomocí vlastních UDF
  • Používat pokročilé vzory, jako jsou Statement Sets, Snapshots, EOS a State Management
  • Připojovat Flink SQL k externím databázím a službám AI/ML

Praktická výuka

V průběhu celého kurzu praktická cvičení prohlubují probíraná témata. Cvičení zahrnují:

  • Nastavení Flink SQL na platformě Confluent Cloud
  • Psaní a správu dotazů Flink SQL
  • Vytváření dynamických tabulek a porovnávání režimů change log
  • Implementaci časových oken a vodoznaků
  • Provádění agregací v praktickém případu užití
  • Zkoumání spojení (regulární, intervalová, temporální, v časových oknech)
  • Porovnávání vzorů pro detekci komplexních sekvencí událostí
  • Implementaci a nasazení Java UDF
  • Práci s pokročilými vzory příkazů

Osnova kurzu

Modul 01: Úvod do Flink

  • Lab 01: Nastavení laboratorního prostředí
  • Původ zpracování streamů
  • Co je Apache Flink?
  • API Apache Flink
  • Flink Job & Topology

Modul 02: Začínáme s Flink SQL

  • Lab 02: Práce s Flink v Confluent Cloud
  • Proč Flink SQL pro zpracování streamů?
  • Syntaxe Flink SQL
  • Streamové vs. dávkové zpracování
  • Bezstavové vs. stavové operátory
  • Flink SQL na platformě Confluent Cloud

Modul 03: Práce s dynamickými tabulkami

  • Lab 03: Práce s dynamickými tabulkami
  • Tradiční SQL vs. streamové SQL
  • Dualita stream–tabulka
  • Vytváření dynamických tabulek
  • Konfigurace tabulek & vzory
  • Typy sloupců
  • Zpracování událostí bez schématu
  • Režimy skenování

Modul 04: Čas & okna

  • Lab 04: Použití vodoznaků a oken
  • Čas události vs. čas zpracování
  • Časové atributy vs. časová razítka
  • Vodoznaky
  • Okna
  • Časové funkce & datové typy

Modul 05: Agregace

  • Lab 05: Použití agregací v praktickém případu užití
  • Přehled
  • GROUP BY vs. OVER
  • Agregační funkce
  • Speciální agregační dotazy
  • Další možnosti agregace
  • Agregace: důležité aspekty

Modul 06: Spojení

  • Lab 06: Zkoumání různých typů spojení
  • Úvod do spojení
  • Regulární spojení
  • Optimalizovaná spojení
  • Spojení v časových oknech
  • Ostatní typy spojení

Modul 07: Rozpoznávání vzorů

  • Lab 07: Porovnávání vzorů pomocí MATCH_RECOGNIZE
  • Úvod do rozpoznávání vzorů
  • Definování vzorů
  • Výstup a navigace ve shodách
  • Navigace podél příkladů vzorů

Modul 08: UDF

  • Lab 08: Implementace uživatelsky definované funkce (UDF)
  • UDF v Confluent Cloud
  • Psaní UDF v jazyce Java

Modul 09: Pokročilé vzory příkazů

  • Lab 09: Pokročilé vzory příkazů
  • Sjednocování více témat
  • EXECUTE STATEMENT SET pro Fan-In/Fan-Out
  • Sémantika exactly-once pro Kafka Sinks
  • Evoluce příkazů s přenosem offsetů
  • Snapshot dotazy
  • Správa stavu
  • Monitorování a správa příkazů pomocí DLQ

Modul 10: Připojení

  • Připojení v Confluent Cloud
  • Externí tabulky
  • AI/ML s připojeními