Mastering Flink SQL on Confluent Cloud - Essentials (MASTERFLINKG)

Jiné
Strojově přeloženo

Přehled

Osvojte si zpracování datových proudů v reálném čase pomocí Flink SQL na platformě Confluent Cloud. Tento praktický kurz vás naučí zpracovávat živé datové proudy, vytvářet dynamické tabulky a spouštět komplexní dotazy s časovými okny – a připraví vás tak na přeměnu surových streamovaných dat na okamžité, využitelné poznatky v plně spravovaném cloudovém prostředí.

Cílová skupina

Tento kurz je určen pro odborníky na SQL, kteří chtějí rozšířit své dovednosti o zpracování datových proudů pomocí Flink SQL na platformě Confluent Cloud. Je ideální pro datové inženýry, analytiky a vývojáře, kteří ovládají SQL a potřebují jej aplikovat na datové proudy v reálném čase.

Předpoklady

null

Cíle kurzu

Kurz je zaměřen na:

  • Pochopení základů Apache Flink a jeho významu pro zpracování datových proudů
  • Psaní a spouštění dotazů Flink SQL na platformě Confluent Cloud
  • Rozlišování mezi zpracováním datových proudů a dávkovým zpracováním
  • Práci s dynamickými tabulkami a pochopení duality stream-tabulka
  • Správu časových atributů a oken pro efektivní zpracování datových proudů
  • Provádění komplexních agregací s časovými okny v reálném čase pomocí Flink SQL
  • Využití Flink SQL pro efektivní spojování streamovaných dat
  • Aplikaci technik porovnávání vzorů pro identifikaci komplexních sekvencí událostí

Osnova kurzu

Modul 1: Úvod do Flink

  • Původ zpracování datových proudů
  • Co je Apache Flink?
  • Rozhraní API Apache Flink
  • Flink Job & Topology
  • Lab 1: Nastavení laboratorního prostředí

Modul 2: Začínáme s Flink SQL

  • Proč Flink SQL pro zpracování datových proudů?
  • Syntaxe Flink SQL
  • Zpracování datových proudů vs. dávkové zpracování
  • Flink SQL na platformě Confluent Cloud
  • Lab 2: Práce s Flink v prostředí Confluent Cloud

Modul 3: Práce s dynamickými tabulkami

  • Tradiční SQL vs. streamovací SQL
  • Dualita stream-tabulka
  • Vytváření dynamických tabulek
  • Typy sloupců
  • Bezstavové vs. stavové operátory
  • Lab 3: Práce s dynamickými tabulkami

Modul 4: Čas & okna

  • Čas události vs. čas zpracování
  • Časové atributy vs. časová razítka
  • Vodoznaky
  • Okna
  • Časové funkce & datové typy
  • Lab 4: Použití vodoznaků a oken

Modul 5: Agregace

  • Přehled
  • GROUP BY vs. OVER
  • Agregační funkce
  • Speciální agregační dotazy
  • Další možnosti agregace
  • Agregace: důležité aspekty
  • Lab 5: Použití agregací v praktickém případě užití

Modul 06: Spojení (Joins)

  • Úvod do spojení
  • Regulární spojení
  • Optimalizovaná spojení
  • Spojení s časovými okny
  • Ostatní typy spojení
  • Lab 6: Zkoumání různých typů spojení

Příloha: Porovnávání vzorů

  • Úvod
  • Pochopení dotazu (rozdělení do oddílů, pořadí událostí, DEFINE, MEASURES, definice vzoru, výstupní režim, strategie po nalezení shody)
  • Navigace ve vzorech
  • Časové atributy
  • Příklady