Introduction to Data Engineering on Google Cloud (GC-IDEGC)
V tomto kurzu se seznámíte s datovým inženýrstvím na platformě Google Cloud, s rolemi a odpovědnostmi datových inženýrů a s tím, jak tyto role odpovídají nabídkám poskytovaným společností Google Cloud. Dozvíte se také o způsobech řešení výzev v oblasti datového inženýrství.
Komu je kurz určen?
- Datoví inženýři
- Správci databází
- Správci systémů
Certifikace
Tento kurz je součástí následujících certifikací:
- Google Cloud Associate Data Practitioner
Předpoklady
- Předchozí zkušenosti s Google Cloud na základní úrovni zahrnující práci s Cloud Shell a přístup k produktům prostřednictvím konzole Google Cloud.
- Základní znalost běžného dotazovacího jazyka, například SQL.
- Zkušenosti s datovým modelováním a činnostmi ETL (extrakce, transformace, načítání).
- Zkušenosti s vývojem aplikací v běžném programovacím jazyce, například Python.
Cíle
- Porozumět roli datového inženýra.
- Identifikovat úlohy datového inženýrství a základní komponenty používané na platformě Google Cloud.
- Porozumět způsobu vytváření a nasazování datových pipeline různých vzorů na platformě Google Cloud.
- Identifikovat a využívat různé techniky automatizace na platformě Google Cloud.
Navazující kurzy
- Building Batch Data Pipelines on Google Cloud (GC-BBDP)
- Building Resilient Streaming Analytics Systems on Google Cloud (GC-BRSASGC)
Podrobná osnova kurzu
Modul 1 – Úlohy a komponenty datového inženýrství
Témata:
- Role datového inženýra
- Datové zdroje versus datové cíle
- Datové formáty
- Možnosti úložišť na platformě Google Cloud
- Možnosti správy metadat na platformě Google Cloud
- Sdílení datových sad pomocí Analytics Hub
Cíle:
- Vysvětlit roli datového inženýra.
- Porozumět rozdílům mezi datovým zdrojem a datovým cílem.
- Vysvětlit různé typy datových formátů.
- Vysvětlit možnosti úložišť na platformě Google Cloud.
- Seznámit se s možnostmi správy metadat na platformě Google Cloud.
- Porozumět způsobu snadného sdílení datových sad pomocí Analytics Hub.
- Porozumět způsobu načítání dat do BigQuery prostřednictvím konzole Google Cloud nebo nástroje gcloud CLI.
Aktivity:
- Cvičení: Načítání dat do BigQuery
- Kvíz
Modul 2 – Replikace a migrace dat
Témata:
- Architektura replikace a migrace
- Nástroj příkazového řádku gcloud
- Přesun datových sad
- Datastream
Cíle:
- Vysvětlit základní architekturu replikace a migrace dat na platformě Google Cloud.
- Porozumět možnostem a případům použití nástroje příkazového řádku gcloud.
- Vysvětlit funkčnost a případy použití služby Storage Transfer Service.
- Vysvětlit funkčnost a případy použití zařízení Transfer Appliance.
- Porozumět funkcím a nasazení služby Datastream.
Aktivity:
- Cvičení: Datastream: Replikace PostgreSQL do BigQuery (volitelné pro ILT)
- Kvíz
Modul 3 – Vzor datové pipeline extrakce a načítání
Témata:
- Architektura extrakce a načítání
- Nástroj příkazového řádku bq
- BigQuery Data Transfer Service
- BigLake
Cíle:
- Vysvětlit základní diagram architektury extrakce a načítání.
- Porozumět možnostem nástroje příkazového řádku bq.
- Vysvětlit funkčnost a případy použití služby BigQuery Data Transfer Service.
- Vysvětlit funkčnost a případy použití BigLake jako vzoru bez extrakce a načítání.
Aktivity:
- Cvičení: BigLake: Qwik Start
- Kvíz
Modul 4 – Vzor datové pipeline extrakce, načítání a transformace
Témata:
- Architektura extrakce, načítání a transformace (ELT)
- Skriptování a plánování SQL pomocí BigQuery
- Dataform
Cíle:
- Vysvětlit základní diagram architektury extrakce, načítání a transformace.
- Porozumět běžné pipeline ELT na platformě Google Cloud.
- Seznámit se s možnostmi skriptování a plánování SQL v BigQuery.
- Vysvětlit funkčnost a případy použití služby Dataform.
Aktivity:
- Cvičení: Vytvoření a spuštění pracovního postupu SQL v Dataform
- Kvíz
Modul 5 – Vzor datové pipeline extrakce, transformace a načítání
Témata:
- Architektura extrakce, transformace a načítání (ETL)
- Nástroje s grafickým rozhraním Google Cloud pro datové pipeline ETL
- Dávkové zpracování dat pomocí Dataproc
- Možnosti zpracování streamovaných dat
- Bigtable a datové pipeline
Cíle:
- Vysvětlit základní diagram architektury extrakce, transformace a načítání.
- Seznámit se s nástroji s grafickým rozhraním na platformě Google Cloud používanými pro datové pipeline ETL.
- Vysvětlit dávkové zpracování dat pomocí Dataproc.
- Naučit se používat Dataproc Serverless for Spark pro ETL.
- Vysvětlit možnosti zpracování streamovaných dat.
- Vysvětlit roli Bigtable v datových pipeline.
Aktivity:
- Cvičení: Použití Dataproc Serverless for Spark pro načítání dat do BigQuery (volitelné pro ILT)
- Cvičení: Vytvoření pipeline pro zpracování streamovaných dat pro řídicí panel v reálném čase pomocí Dataflow
- Kvíz
Modul 6 – Techniky automatizace
Témata:
- Vzory a možnosti automatizace pro pipeline
- Cloud Scheduler a Workflows
- Cloud Composer
- Cloud Run Functions
- Eventarc
Cíle:
- Vysvětlit vzory a možnosti automatizace dostupné pro pipeline.
- Seznámit se se službami Cloud Scheduler a Workflows.
- Seznámit se se službou Cloud Composer.
- Seznámit se s funkcemi Cloud Run.
- Vysvětlit funkčnost a případy použití automatizace pomocí Eventarc.
Aktivity:
- Cvičení: Použití Cloud Run Functions pro načítání dat do BigQuery (volitelné pro ILT)
- Kvíz
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud