Modernizing Data Lakes and Data Warehouses with Google Cloud (GC-MDLDWGC)

Jiné
Strojově přeloženo

Dvě hlavní součásti každého datového kanálu jsou datová jezera a datové sklady. Tento kurz zdůrazňuje případy použití pro každý typ úložiště a podrobně se věnuje dostupným řešením datových jezer a datových skladů v prostředí Google Cloud. Kurz rovněž popisuje roli datového inženýra, přínosy úspěšného datového kanálu pro obchodní operace a zkoumá, proč by mělo být datové inženýrství prováděno v cloudovém prostředí.


Pro koho je kurz určen?

Tento kurz je určen vývojářům, kteří jsou zodpovědní za dotazování datových sad, vizualizaci výsledků dotazů a vytváření sestav.

Konkrétní pracovní pozice zahrnují:

  • Datový inženýr
  • Datový analytik
  • Správci databází
  • Architekti pro velká data (Big Data)


Certifikace

Tento kurz je součástí následujících certifikací:

  • Google Cloud Certified Professional Data Engineer


Předpoklady

Základní znalost běžného dotazovacího jazyka, jako je SQL.


Cíle

  • Rozlišovat mezi datovými jezery a datovými sklady.
  • Zkoumat případy použití pro každý typ úložiště a dostupná řešení datových jezer a datových skladů v prostředí Google Cloud.
  • Diskutovat o roli datového inženýra a přínosech úspěšného datového kanálu pro obchodní operace.
  • Zkoumat, proč by mělo být datové inženýrství prováděno v cloudovém prostředí.


Podrobná osnova kurzu

Modul 1 – Úvod do datového inženýrství

Témata:

  • Role datového inženýra
  • Výzvy datového inženýrství
  • Úvod do BigQuery
  • Datová jezera a datové sklady
  • Transakční databáze versus datové sklady
  • Efektivní spolupráce s ostatními datovými týmy
  • Správa přístupu k datům a řízení dat (governance)
  • Budování produkčně připravených datových kanálů
  • Případová studie zákazníka Google Cloud

Cíle:

  • Diskutovat o roli datového inženýra.
  • Diskutovat o přínosech provádění datového inženýrství v cloudu.
  • Diskutovat o výzvách praxe datového inženýrství a o tom, jak budování datových kanálů v cloudu pomáhá tyto výzvy řešit.
  • Přezkoumat a pochopit účel datového jezera oproti datovému skladu a kdy který použít.


Modul 2 – Budování datového jezera

Témata:

  • Úvod do datových jezer
  • Možnosti ukládání dat a ETL v prostředí Google Cloud
  • Budování datového jezera pomocí Cloud Storage
  • Zabezpečení Cloud Storage
  • Ukládání různých typů dat
  • Cloud SQL jako váš systém OLTP

Cíle:

  • Diskutovat o tom, proč je Cloud Storage skvělou volbou pro budování datového jezera v prostředí Google Cloud.
  • Vysvětlit, jak používat Cloud SQL pro relační datové jezero.


Modul 3 – Budování datového skladu

Témata:

  • Moderní datový sklad
  • Úvod do BigQuery
  • Začínáme s BigQuery
  • Načítání dat do BigQuery
  • Zkoumání schémat
  • Návrh schématu
  • Vnořená a opakující se pole
  • Optimalizace pomocí dělení (partitioning) a clusterování

Cíle:

  • Diskutovat o požadavcích na moderní datový sklad.
  • Vysvětlit, proč je BigQuery škálovatelným řešením pro datové sklady v prostředí Google Cloud.
  • Diskutovat o základních konceptech BigQuery a přezkoumat možnosti načítání dat do BigQuery.