Mastering Flink SQL on Confluent Platform (FLINKCPG)

Jiné
Strojově přeloženo

Přehled

Tento dvoudenní kurz poskytuje komplexní školení v oblasti zpracování datových proudů v reálném čase pomocí Flink SQL na platformě Confluent Platform. Praktická cvičení v laboratořích zajišťují praktické zkušenosti s dynamickými tabulkami, vodoznaky (watermarks) a okénkováním na základě času události (event-time windowing). Účastníci se naučí analyzovat živé datové proudy pomocí komplexních agregací a spojení (joins) v reálném čase.

Cílová skupina

Tento kurz je určen pro odborníky pracující s SQL, kteří chtějí rozšířit své dovednosti o zpracování datových proudů pomocí Flink SQL na platformě Confluent Platform. Je ideální pro datové inženýry, analytiky a vývojáře, kteří jsou obeznámeni s SQL a potřebují jej aplikovat na datové proudy v reálném čase.

Předpoklady

Tento kurz je doporučen účastníkům, kteří jsou obeznámeni se syntaxí a operacemi SQL a mají základní znalosti platformy Kafka (témata a oddíly) a zpracování datových proudů. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.

Cíle

Cíle kurzu

V průběhu tohoto praktického kurzu se naučíte:

  • Porozumět základům Apache Flink a jeho roli ve zpracování datových proudů
  • Psát a spouštět dotazy Flink SQL na platformě Confluent Platform
  • Rozlišovat mezi zpracováním datových proudů a dávkovým zpracováním
  • Pracovat s dynamickými tabulkami a porozumět dualitě datových proudů a tabulek (stream-table duality)
  • Spravovat časové atributy, vodoznaky (watermarks) a okna (windows) pro zpracování na základě času události
  • Provádět komplexní okénkové agregace (windowed aggregations) v reálném čase pomocí Flink SQL
  • Spojovat, obohacovat a korelovat data z více zdrojů datových proudů

Praktický výcvik

V průběhu celého kurzu praktická cvičení prohlubují probíraná témata. Cvičení zahrnují:

  • Nastavení laboratorního prostředí Flink SQL na platformě Confluent Platform (Kubernetes + CFK + CMF)
  • Práci s Flink na platformě Confluent Platform pomocí Flink SQL CLI a Control Center
  • Vytváření dynamických tabulek a porovnávání režimů change log
  • Implementaci vodoznaků (watermarks) a časových oken (time windows)
  • Provádění agregací v praktickém případu užití
  • Zkoumání spojení (joins) (regulární, intervalová, temporální, okénková)

Osnova kurzu

Modul 01: Úvod do Flink

  • Lab 01: Nastavení laboratorního prostředí
  • Původ zpracování datových proudů
  • Co je Apache Flink?
  • Rozhraní API Apache Flink
  • Flink Job & Topology

Modul 02: Začínáme s Flink SQL

  • Lab 02: Práce s Flink na platformě Confluent Platform
  • Proč Flink SQL pro zpracování datových proudů?
  • Syntaxe Flink SQL
  • Zpracování datových proudů vs. dávkové zpracování
  • Bezstavové & stavové operátory
  • Flink SQL na platformě Confluent Platform

Modul 03: Práce s dynamickými tabulkami

  • Lab 03: Práce s dynamickými tabulkami
  • Tradiční SQL vs. streamovací SQL
  • Dualita datových proudů a tabulek (Stream-Table Duality)
  • Vytváření dynamických tabulek
  • Konfigurace tabulek & vzory
  • Typy sloupců
  • Zpracování událostí bez schématu
  • Režimy skenování (Scan Modes)

Modul 04: Čas & okna

  • Lab 04: Použití vodoznaků (watermarks) a oken (windows)
  • Čas události vs. čas zpracování
  • Časové atributy vs. časová razítka
  • Vodoznaky (Watermarks)
  • Okna (Windows)
  • Časové funkce & datové typy

Modul 05: Agregace

  • Lab 05: Použití agregací v praktickém případu užití
  • Přehled
  • GROUP BY vs. OVER
  • Agregační funkce
  • Speciální agregační dotazy
  • Další možnosti agregace
  • Agregace: důležité aspekty

Modul 06: Spojení (Joins)

  • Lab 06: Zkoumání různých typů spojení (joins)
  • Úvod do spojení (joins)
  • Regulární spojení (Regular Joins)
  • Optimalizovaná spojení (Optimized Joins)
  • Okénková spojení (Window Joins)
  • Další typy spojení (joins)