Serverless Data Processing with Dataflow (GC-SDPD)

Cloud
Strojově přeloženo

Toto školení je určeno pro odborníky v oblasti velkých dat, kteří chtějí prohloubit své znalosti Dataflow za účelem rozvoje svých aplikací pro zpracování dat. Počínaje základy toto školení vysvětluje, jak Apache Beam a Dataflow spolupracují při plnění vašich potřeb v oblasti zpracování dat bez rizika závislosti na konkrétním dodavateli. Část věnovaná vývoji pipeline pokrývá způsob převodu obchodní logiky do aplikací pro zpracování dat, které lze spouštět v Dataflow. Školení vrcholí zaměřením na provoz, které shrnuje nejdůležitější poznatky pro provozování datové aplikace v Dataflow, včetně monitorování, odstraňování problémů, testování a spolehlivosti.


Co se naučíte

  • Demonstrovat, jak Apache Beam a Dataflow spolupracují při plnění potřeb vaší organizace v oblasti zpracování dat.
  • Shrnout výhody Beam Portability Framework a aktivovat jej pro vaše Dataflow pipeline.
  • Aktivovat Shuffle a Streaming Engine pro dávkové a streamovací pipeline za účelem dosažení maximálního výkonu.
  • Aktivovat Flexible Resource Scheduling pro nákladově efektivnější výkon.
  • Vybrat správnou kombinaci oprávnění IAM pro vaši úlohu Dataflow.
  • Implementovat osvědčené postupy pro zabezpečené prostředí zpracování dat.
  • Vybrat a optimalizovat I/O dle vlastního výběru pro vaši Dataflow pipeline.
  • Využívat schémata ke zjednodušení kódu Beam a ke zlepšení výkonu pipeline.
  • Vyvíjet Beam pipeline pomocí SQL a DataFrames.
  • Provádět monitorování, odstraňování problémů, testování a CI/CD na Dataflow pipeline.


Cílová skupina

  • Datový inženýr
  • Datoví analytici a datoví vědci usilující o rozvoj dovedností v oblasti datového inženýrství


Předpoklady

  • Absolvování kurzu „Building Batch Data Pipelines"
  • Absolvování kurzu „Building Resilient Streaming Analytics Systems"


Produkty

  • Dataflow, Cloud Operations


Moduly kurzu

Modul 1: Úvod

  • Úvod do kurzu
  • Opakování Beam a Dataflow

Modul 2: Přenositelnost Beam

  • Přenositelnost Beam
  • Runner v2
  • Kontejnerová prostředí
  • Mezijazykové transformace

Modul 3: Oddělení výpočetních prostředků a úložiště pomocí Dataflow

  • Dataflow
  • Dataflow Shuffle Service
  • Dataflow Streaming Engine
  • Flexible Resource Scheduling

Modul 4: IAM, kvóty a oprávnění

  • IAM
  • Kvóta

Modul 5: Zabezpečení

  • Lokalita dat
  • Sdílená VPC
  • Privátní IP adresy
  • CMEK

Modul 6: Opakování konceptů Beam

  • Základy Beam
  • Pomocné transformace
  • Životní cyklus DoFn

Modul 7: Okna, vodoznaky, triggery

  • Okna
  • Vodoznaky
  • Triggery

Modul 8: Zdroje a jímky

  • Zdroje a jímky
  • Text IO a File IO
  • BigQuery IO
  • PubSub IO
  • Kafka IO
  • Bigtable IO
  • Avro IO
  • Splittable DoFn

Modul 9: Schémata

  • Schémata Beam
  • Příklady kódu

Modul 10: Stav a časovače

  • State API
  • Timer API
  • Shrnutí

Modul 11: Osvědčené postupy

  • Schémata
  • Zpracování nezpracovatelných dat
  • Ošetření chyb
  • Generátor kódu AutoValue
  • Zpracování dat JSON
  • Využití životního cyklu DoFn
  • Optimalizace pipeline

Modul 12: Dataflow SQL a DataFrames

  • Dataflow a Beam SQL
  • Okénkování v SQL
  • Beam DataFrames

Modul 13: Beam Notebooks

  • Beam Notebooks

Modul 14: Monitorování

  • Seznam úloh
  • Informace o úloze
  • Graf úlohy
  • Metriky úlohy
  • Průzkumník metrik

Modul 15: Protokolování a hlášení chyb

  • Protokolování
  • Hlášení chyb

Modul 16: Odstraňování problémů a ladění

  • Pracovní postup odstraňování problémů
  • Typy problémů

Modul 17: Výkon

  • Návrh pipeline
  • Tvar dat
  • Zdroje, jímky a externí systémy
  • Shuffle a Streaming Engine

Modul 18: Testování a CI/CD

  • Přehled testování a CI/CD
  • Jednotkové testování
  • Integrační testování
  • Sestavení artefaktů
  • Nasazení

Modul 19: Spolehlivost

  • Úvod do spolehlivosti
  • Monitorování
  • Geolokace
  • Obnova po havárii
  • Vysoká dostupnost

Modul 20: Flex Templates

  • Klasické šablony
  • Flex Templates
  • Použití Flex Templates
  • Šablony poskytované společností Google

Modul 21: Shrnutí

  • Shrnutí