Building Batch Data Pipelines on Google Cloud (GC-BBDP)
Datové pipeline obvykle spadají pod jeden z paradigmat Extract and Load (EL), Extract, Load and Transform (ELT) nebo Extract, Transform and Load (ETL). Tento kurz popisuje, který paradigmat by měl být použit a kdy pro dávková data. Kurz dále pokrývá několik technologií na Google Cloud pro transformaci dat, včetně BigQuery, spouštění Spark na Dataproc, grafů pipeline v Cloud Data Fusion a bezserverového zpracování dat pomocí Dataflow. Účastníci získají praktické zkušenosti s budováním komponent datových pipeline na Google Cloud pomocí Qwiklabs.
Komu je kurz určen
Tento kurz je určen vývojářům, kteří jsou zodpovědní za návrh pipeline a architektur pro zpracování dat.
Certifikace
Tento kurz je součástí následujících certifikací:
- Google Cloud Certified Professional Data Engineer
Předpoklady
- Zkušenosti s datovým modelováním a aktivitami ETL (extract, transform, load).
- Zkušenosti s vývojem aplikací pomocí běžného programovacího jazyka, jako je Python nebo Java.
Cíle
- Přehled různých metod načítání dat: EL, ELT a ETL a kdy použít kterou.
- Spuštění Hadoop na Dataproc, použití Cloud Storage a optimalizace úloh Dataproc.
- Sestavení pipeline pro zpracování dat pomocí Dataflow.
- Správa datových pipeline pomocí Data Fusion a Cloud Composer.
Osnova kurzu
Modul 1 – Úvod do sestavování dávkových datových pipeline
Témata:
- EL, ELT, ETL
- Aspekty kvality
- Jak provádět operace v BigQuery
- Nedostatky
- ETL pro řešení problémů s kvalitou dat
Cíle:
- Přehled různých metod načítání dat do datových jezer a datových skladů: EL, ELT a ETL.
Modul 2 – Spouštění Spark na Dataproc
Témata:
- Ekosystém Hadoop
- Spuštění Hadoop na Dataproc
- Cloud Storage místo HDFS
- Optimalizace Dataproc
Cíle:
- Přehled ekosystému Hadoop.
- Diskuse o tom, jak přenést stávající úlohy Hadoop do cloudu pomocí Dataproc.
- Vysvětlení, kdy použít Cloud Storage místo úložiště HDFS.
- Vysvětlení, jak optimalizovat úlohy Dataproc.
Modul 3 – Bezserverové zpracování dat pomocí Dataflow
Témata:
- Úvod do Dataflow
- Proč zákazníci oceňují Dataflow
- Pipeline Dataflow
- Agregace pomocí GroupByKey a Combine
- Vedlejší vstupy a okna
- Šablony Dataflow
Cíle:
- Identifikace funkcí, které zákazníci oceňují v Dataflow.
- Diskuse o základních konceptech Dataflow.
- Přehled použití šablon Dataflow a SQL.
- Napsání jednoduché pipeline Dataflow a její spuštění lokálně i v cloudu.
- Identifikace operací map a reduce, spuštění pipeline a použití parametrů příkazového řádku.
- Čtení dat z BigQuery do Dataflow a použití výstupu pipeline jako vedlejšího vstupu do jiné pipeline.
Modul 4 – Správa datových pipeline pomocí Cloud Data Fusion a Cloud Composer
Témata:
- Vizuální sestavování dávkových datových pipeline pomocí Cloud Data Fusion
- Komponenty
- Přehled uživatelského rozhraní
- Sestavení pipeline
- Průzkum dat pomocí Wrangler
- Orchestrace práce mezi službami Google Cloud pomocí Cloud Composer
- Prostředí Apache Airflow
- DAG a operátory
- Plánování pracovních postupů
- Monitorování a protokolování
Cíle:
- Diskuse o tom, jak spravovat datové pipeline pomocí Data Fusion a Cloud Composer.
- Shrnutí toho, jak Cloud Data Fusion umožňuje datovým analytikům a ETL vývojářům zpracovávat data a sestavovat pipeline vizuálním způsobem.
- Popis toho, jak Cloud Composer může pomoci orchestrovat práci napříč více službami Google Cloud.
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud