Data Warehousing for Partners (GC-DWP)
Tento hloubkový technický kurz poskytuje technické školení pro řešení Enterprise Data Warehouse (EDW) využívající BigQuery.
Kurz poskytuje pokyny a školení týkající se technických výzev, které mohou nastat při migraci stávajících EDW a ETL pipeline do Google Cloud. Účastníci získají praktické zkušenosti s reálnými migračními úlohami, jako je migrace dat, optimalizace schématu a konverze a optimalizace SQL dotazů.
Kurz se rovněž zabývá klíčovými aspekty migrace ETL pipeline do Dataproc a využitím služeb Pub/Sub, Dataflow a Cloud Data Fusion.
Pro koho je kurz určen?
Primární cílovou skupinou tohoto kurzu jsou partneři Google Cloud s následujícími relevantními pracovními rolemi:
- Inženýři nasazení datových skladů (Data Warehouse Deployment Engineers)
- Konzultanti datových skladů (Data Warehouse Consultants)
- Architekti datových skladů (Data Warehouse Architects)
Tyto role, přestože nejsou primární cílovou skupinou, mohou kurz shledat relevantním za předpokladu, že splňují stanovené požadavky:
- Techničtí vedoucí projektů (Technical Project Leads)
- Techničtí projektoví manažeři (Technical Project Managers)
- Datoví / obchodní analytici (Data / Business Analysts)
Předpoklady
Povinné:
- Absolvování školení Data Engineering on Google Cloud.
- Certifikace Google Cloud Certified Professional Data Engineer nebo rovnocenné odborné znalosti v oblasti datového inženýrství.
- Přístup ke Cloud Connect – Partners.
Doporučené:
- Zkušenosti s tvorbou pipeline pro zpracování dat.
- Zkušenosti s Apache Beam a Apache Hadoop.
- Odborné znalosti programování v jazyce Java nebo Python.
Organizační požadavky:
- Partnerská organizace Cloud musí mít předchozí zkušenosti s implementací alespoň jednoho řešení datového skladu na libovolné platformě datového skladu.
Cíle
- Diskutovat o klíčových prvcích portfolia a strategie řešení Google Data Warehouse.
- Mapovat koncepty a komponenty Enterprise Data Warehouse na BigQuery a datové služby Google.
- Identifikovat osvědčené postupy pro migraci datových skladů do BigQuery a demonstrovat klíčové dovednosti potřebné k úspěšnému provedení migrací.
- Implementovat pipeline pro načítání a transformaci dat pro datový sklad BigQuery s využitím služeb Google pro zpracování a integraci dat.
- Implementovat řešení pro streamingovou analytiku pomocí Pub/Sub, Dataflow a BigQuery.
- Využívat Looker a LookML ke generování reportů a získávání přehledů.
- Prozkoumat rozšíření BigQuery v oblasti GIS, vizualizace GIS a strojového učení.
Podrobná osnova kurzu
Modul 1 – Řešení datových skladů v Google Cloud
Témata:
- Implementace řešení pro velká data v Google Cloud
- Potřeby zákazníků
- Ukázkové architektury
- Strategie a plánování migrace
- Spolupráce s PSO
Cíle:
- Popsat portfolio Google služeb pro datové sklady a zpracování dat
- Identifikovat strategii Google pro produkty a služby datových skladů
- Vyhledat technické zdroje pro partnery v oblasti datových skladů
Modul 2 – BigQuery pro profesionály v oblasti datových skladů
Témata:
- Koncepty BigQuery
- Oprávnění a zabezpečení BigQuery
- Monitorování a auditování
- Návrh schématu
- Dělení (Partitioning) a clustering
- Zachytávání dat a úlohy načítání
- Zpracování změn a pomalu se měnících dimenzí (Slowly Changing Dimensions)
- Dotazování dat
- Správa pracovních zátěží a souběžnosti
- Analýza dat
- Dimenzování a správa nákladů
- Optimalizace dotazů
- Optimalizace úložiště
Cíle:
- Popsat klíčové komponenty úspěšné implementace datového skladu v BigQuery
- Identifikovat osvědčené postupy pro implementaci datového skladu s BigQuery
- Využívat konzoli Google Cloud pro přístup k veřejným datovým sadám
- Provádět dotazy pomocí konzole a analyzovat výsledky dotazů pomocí klientských knihoven
- Kombinovat datové sady elektronického obchodu za účelem vytváření rozšířených datových sad pomocí spojení (joins) a sjednocení (unions) v BigQuery
Modul 3 – Migrace do BigQuery
Témata:
- Fáze migrace
- Zabezpečení
- Architektura datového skladu Google Cloud
- Po migraci
- Adopce uživateli
Cíle:
- Posoudit stávající datový sklad a vypracovat strategii jeho migrace do BigQuery
- Popsat osvědčené postupy pro migraci stávajících datových skladů do BigQuery
- Identifikovat klíčové zdroje, nástroje a partnerské prostředky pro migraci do BigQuery
- Migrovat ukázková data z SQL Serveru do BigQuery pomocí nástroje Striim
- Identifikovat zdroje pro převod produktově specifických SQL dotazů do BigQuery Standard SQL
Modul 4 – ETL nástroje a jejich umístění
Témata:
- Dataproc
- Cloud Data Fusion
- Dataflow
Cíle:
- Popsat klíčové funkce Dataproc, Cloud Data Fusion a Dataflow
- Migrovat úlohy Apache Spark do Dataproc
- Identifikovat osvědčené postupy pro vytváření pracovních postupů Dataflow pomocí šablon Dataflow
- Nakonfigurovat Cloud Data Fusion pro vytvoření pipeline transformace dat spojující více zdrojů s BigQuery jako výstupním datovým jímkou (data sink)
- Vytvářet datové pipeline, které budou přijímat data z Cloud Storage do BigQuery pomocí Dataflow
Modul 5 – Streamingová analytika
Témata:
- Proč streamingová analytika?
- Služba Pub/Sub
- Okna (Windows) a spouštěče (Triggers) v Dataflow
- Zdroje (Sources) a jímky (Sinks) v Dataflow
- Výzvy migrace a adopce
Cíle:
- Identifikovat komponenty řešení streamingové analytiky v Google Cloud
- Vytvořit streamingovou IoT pipeline pomocí Pub/Sub a Kafka
- Prozkoumat návrhové vzory a aspekty optimalizace pro řešení streamingové analytiky
- Vytvořit a spustit streamingovou pipeline Dataflow, která přijímá data z Pub/Sub do BigQuery pomocí šablony Dataflow
Modul 6 – Úvod do Looker jako datové platformy
Témata:
- Přehled platformy Looker
- Architektura platformy Looker
- Změna paradigmatu: modelovací jazyk versus pevně zakódovaný SQL
- Základní analytické koncepty
Cíle:
- Orientovat se v platformě Looker
- Popsat architekturu platformy Looker
- Objevit výhody modelovacího jazyka Looker (LookML) oproti pevně zakódovanému SQL
- Popsat čtyři základní analytické koncepty v Looker
- Analyzovat a vizualizovat data pomocí funkce Explores v Looker
Modul 7 – Rozšířené možnosti BigQuery
Témata:
- BigQuery GIS
- BigQuery ML
Cíle:
- Popsat klíčové funkce BigQuery GIS a BigQuery ML
- Analyzovat data pomocí funkcí BigQuery GIS a vizualizovat výsledky pomocí BigQuery Geo Viz
- Trénovat a vyhodnocovat model ML pomocí BigQuery ML pro predikci jízdného v taxislužbě
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud