Building Batch Data Pipelines on Google Cloud (GC-BBDP)

Jiné
Strojově přeloženo

Datové pipeline obvykle spadají pod jeden z paradigmat Extract and Load (EL), Extract, Load and Transform (ELT) nebo Extract, Transform and Load (ETL). Tento kurz popisuje, který paradigmat by měl být použit a kdy pro dávková data. Kurz dále pokrývá několik technologií na Google Cloud pro transformaci dat, včetně BigQuery, spouštění Spark na Dataproc, grafů pipeline v Cloud Data Fusion a bezserverového zpracování dat pomocí Dataflow. Účastníci získají praktické zkušenosti s budováním komponent datových pipeline na Google Cloud pomocí Qwiklabs.


Komu je kurz určen

Tento kurz je určen vývojářům, kteří jsou zodpovědní za návrh pipeline a architektur pro zpracování dat.


Certifikace

Tento kurz je součástí následujících certifikací:

  • Google Cloud Certified Professional Data Engineer


Předpoklady

  • Zkušenosti s datovým modelováním a aktivitami ETL (extract, transform, load).
  • Zkušenosti s vývojem aplikací pomocí běžného programovacího jazyka, jako je Python nebo Java.


Cíle

  • Přehled různých metod načítání dat: EL, ELT a ETL a kdy použít kterou.
  • Spuštění Hadoop na Dataproc, použití Cloud Storage a optimalizace úloh Dataproc.
  • Sestavení pipeline pro zpracování dat pomocí Dataflow.
  • Správa datových pipeline pomocí Data Fusion a Cloud Composer.


Osnova kurzu

Modul 1 – Úvod do sestavování dávkových datových pipeline

Témata:

  • EL, ELT, ETL
  • Aspekty kvality
  • Jak provádět operace v BigQuery
  • Nedostatky
  • ETL pro řešení problémů s kvalitou dat

Cíle:

  • Přehled různých metod načítání dat do datových jezer a datových skladů: EL, ELT a ETL.


Modul 2 – Spouštění Spark na Dataproc

Témata:

  • Ekosystém Hadoop
  • Spuštění Hadoop na Dataproc
  • Cloud Storage místo HDFS
  • Optimalizace Dataproc

Cíle:

  • Přehled ekosystému Hadoop.
  • Diskuse o tom, jak přenést stávající úlohy Hadoop do cloudu pomocí Dataproc.
  • Vysvětlení, kdy použít Cloud Storage místo úložiště HDFS.
  • Vysvětlení, jak optimalizovat úlohy Dataproc.


Modul 3 – Bezserverové zpracování dat pomocí Dataflow

Témata:

  • Úvod do Dataflow
  • Proč zákazníci oceňují Dataflow
  • Pipeline Dataflow
  • Agregace pomocí GroupByKey a Combine
  • Vedlejší vstupy a okna
  • Šablony Dataflow

Cíle:

  • Identifikace funkcí, které zákazníci oceňují v Dataflow.
  • Diskuse o základních konceptech Dataflow.
  • Přehled použití šablon Dataflow a SQL.
  • Napsání jednoduché pipeline Dataflow a její spuštění lokálně i v cloudu.
  • Identifikace operací map a reduce, spuštění pipeline a použití parametrů příkazového řádku.
  • Čtení dat z BigQuery do Dataflow a použití výstupu pipeline jako vedlejšího vstupu do jiné pipeline.


Modul 4 – Správa datových pipeline pomocí Cloud Data Fusion a Cloud Composer

Témata:

  • Vizuální sestavování dávkových datových pipeline pomocí Cloud Data Fusion
  • Komponenty
  • Přehled uživatelského rozhraní
  • Sestavení pipeline
  • Průzkum dat pomocí Wrangler
  • Orchestrace práce mezi službami Google Cloud pomocí Cloud Composer
  • Prostředí Apache Airflow
  • DAG a operátory
  • Plánování pracovních postupů
  • Monitorování a protokolování

Cíle:

  • Diskuse o tom, jak spravovat datové pipeline pomocí Data Fusion a Cloud Composer.
  • Shrnutí toho, jak Cloud Data Fusion umožňuje datovým analytikům a ETL vývojářům zpracovávat data a sestavovat pipeline vizuálním způsobem.
  • Popis toho, jak Cloud Composer může pomoci orchestrovat práci napříč více službami Google Cloud.