Introduction to Data Engineering on Google Cloud (GC-IDEGC)

Jiné
Strojově přeloženo

V tomto kurzu se seznámíte s datovým inženýrstvím na platformě Google Cloud, s rolemi a odpovědnostmi datových inženýrů a s tím, jak tyto role odpovídají nabídkám poskytovaným společností Google Cloud. Dozvíte se také o způsobech řešení výzev v oblasti datového inženýrství.


Komu je kurz určen?

  • Datoví inženýři
  • Správci databází
  • Správci systémů


Certifikace

Tento kurz je součástí následujících certifikací:

  • Google Cloud Associate Data Practitioner


Předpoklady

  • Předchozí zkušenosti s Google Cloud na základní úrovni zahrnující práci s Cloud Shell a přístup k produktům prostřednictvím konzole Google Cloud.
  • Základní znalost běžného dotazovacího jazyka, například SQL.
  • Zkušenosti s datovým modelováním a činnostmi ETL (extrakce, transformace, načítání).
  • Zkušenosti s vývojem aplikací v běžném programovacím jazyce, například Python.


Cíle

  • Porozumět roli datového inženýra.
  • Identifikovat úlohy datového inženýrství a základní komponenty používané na platformě Google Cloud.
  • Porozumět způsobu vytváření a nasazování datových pipeline různých vzorů na platformě Google Cloud.
  • Identifikovat a využívat různé techniky automatizace na platformě Google Cloud.


Navazující kurzy

  • Building Batch Data Pipelines on Google Cloud (GC-BBDP)
  • Building Resilient Streaming Analytics Systems on Google Cloud (GC-BRSASGC)


Podrobná osnova kurzu

Modul 1 – Úlohy a komponenty datového inženýrství

Témata:

  • Role datového inženýra
  • Datové zdroje versus datové cíle
  • Datové formáty
  • Možnosti úložišť na platformě Google Cloud
  • Možnosti správy metadat na platformě Google Cloud
  • Sdílení datových sad pomocí Analytics Hub

Cíle:

  • Vysvětlit roli datového inženýra.
  • Porozumět rozdílům mezi datovým zdrojem a datovým cílem.
  • Vysvětlit různé typy datových formátů.
  • Vysvětlit možnosti úložišť na platformě Google Cloud.
  • Seznámit se s možnostmi správy metadat na platformě Google Cloud.
  • Porozumět způsobu snadného sdílení datových sad pomocí Analytics Hub.
  • Porozumět způsobu načítání dat do BigQuery prostřednictvím konzole Google Cloud nebo nástroje gcloud CLI.

Aktivity:

  • Cvičení: Načítání dat do BigQuery
  • Kvíz


Modul 2 – Replikace a migrace dat

Témata:

  • Architektura replikace a migrace
  • Nástroj příkazového řádku gcloud
  • Přesun datových sad
  • Datastream

Cíle:

  • Vysvětlit základní architekturu replikace a migrace dat na platformě Google Cloud.
  • Porozumět možnostem a případům použití nástroje příkazového řádku gcloud.
  • Vysvětlit funkčnost a případy použití služby Storage Transfer Service.
  • Vysvětlit funkčnost a případy použití zařízení Transfer Appliance.
  • Porozumět funkcím a nasazení služby Datastream.

Aktivity:

  • Cvičení: Datastream: Replikace PostgreSQL do BigQuery (volitelné pro ILT)
  • Kvíz


Modul 3 – Vzor datové pipeline extrakce a načítání

Témata:

  • Architektura extrakce a načítání
  • Nástroj příkazového řádku bq
  • BigQuery Data Transfer Service
  • BigLake

Cíle:

  • Vysvětlit základní diagram architektury extrakce a načítání.
  • Porozumět možnostem nástroje příkazového řádku bq.
  • Vysvětlit funkčnost a případy použití služby BigQuery Data Transfer Service.
  • Vysvětlit funkčnost a případy použití BigLake jako vzoru bez extrakce a načítání.

Aktivity:

  • Cvičení: BigLake: Qwik Start
  • Kvíz


Modul 4 – Vzor datové pipeline extrakce, načítání a transformace

Témata:

  • Architektura extrakce, načítání a transformace (ELT)
  • Skriptování a plánování SQL pomocí BigQuery
  • Dataform

Cíle:

  • Vysvětlit základní diagram architektury extrakce, načítání a transformace.
  • Porozumět běžné pipeline ELT na platformě Google Cloud.
  • Seznámit se s možnostmi skriptování a plánování SQL v BigQuery.
  • Vysvětlit funkčnost a případy použití služby Dataform.

Aktivity:

  • Cvičení: Vytvoření a spuštění pracovního postupu SQL v Dataform
  • Kvíz


Modul 5 – Vzor datové pipeline extrakce, transformace a načítání

Témata:

  • Architektura extrakce, transformace a načítání (ETL)
  • Nástroje s grafickým rozhraním Google Cloud pro datové pipeline ETL
  • Dávkové zpracování dat pomocí Dataproc
  • Možnosti zpracování streamovaných dat
  • Bigtable a datové pipeline

Cíle:

  • Vysvětlit základní diagram architektury extrakce, transformace a načítání.
  • Seznámit se s nástroji s grafickým rozhraním na platformě Google Cloud používanými pro datové pipeline ETL.
  • Vysvětlit dávkové zpracování dat pomocí Dataproc.
  • Naučit se používat Dataproc Serverless for Spark pro ETL.
  • Vysvětlit možnosti zpracování streamovaných dat.
  • Vysvětlit roli Bigtable v datových pipeline.

Aktivity:

  • Cvičení: Použití Dataproc Serverless for Spark pro načítání dat do BigQuery (volitelné pro ILT)
  • Cvičení: Vytvoření pipeline pro zpracování streamovaných dat pro řídicí panel v reálném čase pomocí Dataflow
  • Kvíz


Modul 6 – Techniky automatizace

Témata:

  • Vzory a možnosti automatizace pro pipeline
  • Cloud Scheduler a Workflows
  • Cloud Composer
  • Cloud Run Functions
  • Eventarc

Cíle:

  • Vysvětlit vzory a možnosti automatizace dostupné pro pipeline.
  • Seznámit se se službami Cloud Scheduler a Workflows.
  • Seznámit se se službou Cloud Composer.
  • Seznámit se s funkcemi Cloud Run.
  • Vysvětlit funkčnost a případy použití automatizace pomocí Eventarc.

Aktivity:

  • Cvičení: Použití Cloud Run Functions pro načítání dat do BigQuery (volitelné pro ILT)
  • Kvíz