Modernizing Data Lakes and Data Warehouses with Google Cloud (GC-MDLDWGC)
Dvě hlavní součásti každého datového kanálu jsou datová jezera a datové sklady. Tento kurz zdůrazňuje případy použití pro každý typ úložiště a podrobně se věnuje dostupným řešením datových jezer a datových skladů v prostředí Google Cloud. Kurz rovněž popisuje roli datového inženýra, přínosy úspěšného datového kanálu pro obchodní operace a zkoumá, proč by mělo být datové inženýrství prováděno v cloudovém prostředí.
Pro koho je kurz určen?
Tento kurz je určen vývojářům, kteří jsou zodpovědní za dotazování datových sad, vizualizaci výsledků dotazů a vytváření sestav.
Konkrétní pracovní pozice zahrnují:
- Datový inženýr
- Datový analytik
- Správci databází
- Architekti pro velká data (Big Data)
Certifikace
Tento kurz je součástí následujících certifikací:
- Google Cloud Certified Professional Data Engineer
Předpoklady
Základní znalost běžného dotazovacího jazyka, jako je SQL.
Cíle
- Rozlišovat mezi datovými jezery a datovými sklady.
- Zkoumat případy použití pro každý typ úložiště a dostupná řešení datových jezer a datových skladů v prostředí Google Cloud.
- Diskutovat o roli datového inženýra a přínosech úspěšného datového kanálu pro obchodní operace.
- Zkoumat, proč by mělo být datové inženýrství prováděno v cloudovém prostředí.
Podrobná osnova kurzu
Modul 1 – Úvod do datového inženýrství
Témata:
- Role datového inženýra
- Výzvy datového inženýrství
- Úvod do BigQuery
- Datová jezera a datové sklady
- Transakční databáze versus datové sklady
- Efektivní spolupráce s ostatními datovými týmy
- Správa přístupu k datům a řízení dat (governance)
- Budování produkčně připravených datových kanálů
- Případová studie zákazníka Google Cloud
Cíle:
- Diskutovat o roli datového inženýra.
- Diskutovat o přínosech provádění datového inženýrství v cloudu.
- Diskutovat o výzvách praxe datového inženýrství a o tom, jak budování datových kanálů v cloudu pomáhá tyto výzvy řešit.
- Přezkoumat a pochopit účel datového jezera oproti datovému skladu a kdy který použít.
Modul 2 – Budování datového jezera
Témata:
- Úvod do datových jezer
- Možnosti ukládání dat a ETL v prostředí Google Cloud
- Budování datového jezera pomocí Cloud Storage
- Zabezpečení Cloud Storage
- Ukládání různých typů dat
- Cloud SQL jako váš systém OLTP
Cíle:
- Diskutovat o tom, proč je Cloud Storage skvělou volbou pro budování datového jezera v prostředí Google Cloud.
- Vysvětlit, jak používat Cloud SQL pro relační datové jezero.
Modul 3 – Budování datového skladu
Témata:
- Moderní datový sklad
- Úvod do BigQuery
- Začínáme s BigQuery
- Načítání dat do BigQuery
- Zkoumání schémat
- Návrh schématu
- Vnořená a opakující se pole
- Optimalizace pomocí dělení (partitioning) a clusterování
Cíle:
- Diskutovat o požadavcích na moderní datový sklad.
- Vysvětlit, proč je BigQuery škálovatelným řešením pro datové sklady v prostředí Google Cloud.
- Diskutovat o základních konceptech BigQuery a přezkoumat možnosti načítání dat do BigQuery.
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud