Serverless Data Processing with Dataflow (GC-SDPD)
Toto školení je určeno pro odborníky v oblasti velkých dat, kteří chtějí prohloubit své znalosti Dataflow za účelem rozvoje svých aplikací pro zpracování dat. Počínaje základy toto školení vysvětluje, jak Apache Beam a Dataflow spolupracují při plnění vašich potřeb v oblasti zpracování dat bez rizika závislosti na konkrétním dodavateli. Část věnovaná vývoji pipeline pokrývá způsob převodu obchodní logiky do aplikací pro zpracování dat, které lze spouštět v Dataflow. Školení vrcholí zaměřením na provoz, které shrnuje nejdůležitější poznatky pro provozování datové aplikace v Dataflow, včetně monitorování, odstraňování problémů, testování a spolehlivosti.
Co se naučíte
- Demonstrovat, jak Apache Beam a Dataflow spolupracují při plnění potřeb vaší organizace v oblasti zpracování dat.
- Shrnout výhody Beam Portability Framework a aktivovat jej pro vaše Dataflow pipeline.
- Aktivovat Shuffle a Streaming Engine pro dávkové a streamovací pipeline za účelem dosažení maximálního výkonu.
- Aktivovat Flexible Resource Scheduling pro nákladově efektivnější výkon.
- Vybrat správnou kombinaci oprávnění IAM pro vaši úlohu Dataflow.
- Implementovat osvědčené postupy pro zabezpečené prostředí zpracování dat.
- Vybrat a optimalizovat I/O dle vlastního výběru pro vaši Dataflow pipeline.
- Využívat schémata ke zjednodušení kódu Beam a ke zlepšení výkonu pipeline.
- Vyvíjet Beam pipeline pomocí SQL a DataFrames.
- Provádět monitorování, odstraňování problémů, testování a CI/CD na Dataflow pipeline.
Cílová skupina
- Datový inženýr
- Datoví analytici a datoví vědci usilující o rozvoj dovedností v oblasti datového inženýrství
Předpoklady
- Absolvování kurzu „Building Batch Data Pipelines"
- Absolvování kurzu „Building Resilient Streaming Analytics Systems"
Produkty
- Dataflow, Cloud Operations
Moduly kurzu
Modul 1: Úvod
- Úvod do kurzu
- Opakování Beam a Dataflow
Modul 2: Přenositelnost Beam
- Přenositelnost Beam
- Runner v2
- Kontejnerová prostředí
- Mezijazykové transformace
Modul 3: Oddělení výpočetních prostředků a úložiště pomocí Dataflow
- Dataflow
- Dataflow Shuffle Service
- Dataflow Streaming Engine
- Flexible Resource Scheduling
Modul 4: IAM, kvóty a oprávnění
- IAM
- Kvóta
Modul 5: Zabezpečení
- Lokalita dat
- Sdílená VPC
- Privátní IP adresy
- CMEK
Modul 6: Opakování konceptů Beam
- Základy Beam
- Pomocné transformace
- Životní cyklus DoFn
Modul 7: Okna, vodoznaky, triggery
- Okna
- Vodoznaky
- Triggery
Modul 8: Zdroje a jímky
- Zdroje a jímky
- Text IO a File IO
- BigQuery IO
- PubSub IO
- Kafka IO
- Bigtable IO
- Avro IO
- Splittable DoFn
Modul 9: Schémata
- Schémata Beam
- Příklady kódu
Modul 10: Stav a časovače
- State API
- Timer API
- Shrnutí
Modul 11: Osvědčené postupy
- Schémata
- Zpracování nezpracovatelných dat
- Ošetření chyb
- Generátor kódu AutoValue
- Zpracování dat JSON
- Využití životního cyklu DoFn
- Optimalizace pipeline
Modul 12: Dataflow SQL a DataFrames
- Dataflow a Beam SQL
- Okénkování v SQL
- Beam DataFrames
Modul 13: Beam Notebooks
- Beam Notebooks
Modul 14: Monitorování
- Seznam úloh
- Informace o úloze
- Graf úlohy
- Metriky úlohy
- Průzkumník metrik
Modul 15: Protokolování a hlášení chyb
- Protokolování
- Hlášení chyb
Modul 16: Odstraňování problémů a ladění
- Pracovní postup odstraňování problémů
- Typy problémů
Modul 17: Výkon
- Návrh pipeline
- Tvar dat
- Zdroje, jímky a externí systémy
- Shuffle a Streaming Engine
Modul 18: Testování a CI/CD
- Přehled testování a CI/CD
- Jednotkové testování
- Integrační testování
- Sestavení artefaktů
- Nasazení
Modul 19: Spolehlivost
- Úvod do spolehlivosti
- Monitorování
- Geolokace
- Obnova po havárii
- Vysoká dostupnost
Modul 20: Flex Templates
- Klasické šablony
- Flex Templates
- Použití Flex Templates
- Šablony poskytované společností Google
Modul 21: Shrnutí
- Shrnutí
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud