Data Warehousing for Partners (GC-DWP)

Jiné
Strojově přeloženo

Tento hloubkový technický kurz poskytuje technické školení pro řešení Enterprise Data Warehouse (EDW) využívající BigQuery.


Kurz poskytuje pokyny a školení týkající se technických výzev, které mohou nastat při migraci stávajících EDW a ETL pipeline do Google Cloud. Účastníci získají praktické zkušenosti s reálnými migračními úlohami, jako je migrace dat, optimalizace schématu a konverze a optimalizace SQL dotazů.


Kurz se rovněž zabývá klíčovými aspekty migrace ETL pipeline do Dataproc a využitím služeb Pub/Sub, Dataflow a Cloud Data Fusion.


Pro koho je kurz určen?

Primární cílovou skupinou tohoto kurzu jsou partneři Google Cloud s následujícími relevantními pracovními rolemi:

  • Inženýři nasazení datových skladů (Data Warehouse Deployment Engineers)
  • Konzultanti datových skladů (Data Warehouse Consultants)
  • Architekti datových skladů (Data Warehouse Architects)

Tyto role, přestože nejsou primární cílovou skupinou, mohou kurz shledat relevantním za předpokladu, že splňují stanovené požadavky:

  • Techničtí vedoucí projektů (Technical Project Leads)
  • Techničtí projektoví manažeři (Technical Project Managers)
  • Datoví / obchodní analytici (Data / Business Analysts)


Předpoklady

Povinné:

  • Absolvování školení Data Engineering on Google Cloud.
  • Certifikace Google Cloud Certified Professional Data Engineer nebo rovnocenné odborné znalosti v oblasti datového inženýrství.
  • Přístup ke Cloud Connect – Partners.

Doporučené:

  • Zkušenosti s tvorbou pipeline pro zpracování dat.
  • Zkušenosti s Apache Beam a Apache Hadoop.
  • Odborné znalosti programování v jazyce Java nebo Python.

Organizační požadavky:

  • Partnerská organizace Cloud musí mít předchozí zkušenosti s implementací alespoň jednoho řešení datového skladu na libovolné platformě datového skladu.


Cíle

  • Diskutovat o klíčových prvcích portfolia a strategie řešení Google Data Warehouse.
  • Mapovat koncepty a komponenty Enterprise Data Warehouse na BigQuery a datové služby Google.
  • Identifikovat osvědčené postupy pro migraci datových skladů do BigQuery a demonstrovat klíčové dovednosti potřebné k úspěšnému provedení migrací.
  • Implementovat pipeline pro načítání a transformaci dat pro datový sklad BigQuery s využitím služeb Google pro zpracování a integraci dat.
  • Implementovat řešení pro streamingovou analytiku pomocí Pub/Sub, Dataflow a BigQuery.
  • Využívat Looker a LookML ke generování reportů a získávání přehledů.
  • Prozkoumat rozšíření BigQuery v oblasti GIS, vizualizace GIS a strojového učení.


Podrobná osnova kurzu

Modul 1 – Řešení datových skladů v Google Cloud

Témata:

  • Implementace řešení pro velká data v Google Cloud
  • Potřeby zákazníků
  • Ukázkové architektury
  • Strategie a plánování migrace
  • Spolupráce s PSO

Cíle:

  • Popsat portfolio Google služeb pro datové sklady a zpracování dat
  • Identifikovat strategii Google pro produkty a služby datových skladů
  • Vyhledat technické zdroje pro partnery v oblasti datových skladů


Modul 2 – BigQuery pro profesionály v oblasti datových skladů

Témata:

  • Koncepty BigQuery
  • Oprávnění a zabezpečení BigQuery
  • Monitorování a auditování
  • Návrh schématu
  • Dělení (Partitioning) a clustering
  • Zachytávání dat a úlohy načítání
  • Zpracování změn a pomalu se měnících dimenzí (Slowly Changing Dimensions)
  • Dotazování dat
  • Správa pracovních zátěží a souběžnosti
  • Analýza dat
  • Dimenzování a správa nákladů
  • Optimalizace dotazů
  • Optimalizace úložiště

Cíle:

  • Popsat klíčové komponenty úspěšné implementace datového skladu v BigQuery
  • Identifikovat osvědčené postupy pro implementaci datového skladu s BigQuery
  • Využívat konzoli Google Cloud pro přístup k veřejným datovým sadám
  • Provádět dotazy pomocí konzole a analyzovat výsledky dotazů pomocí klientských knihoven
  • Kombinovat datové sady elektronického obchodu za účelem vytváření rozšířených datových sad pomocí spojení (joins) a sjednocení (unions) v BigQuery


Modul 3 – Migrace do BigQuery

Témata:

  • Fáze migrace
  • Zabezpečení
  • Architektura datového skladu Google Cloud
  • Po migraci
  • Adopce uživateli

Cíle:

  • Posoudit stávající datový sklad a vypracovat strategii jeho migrace do BigQuery
  • Popsat osvědčené postupy pro migraci stávajících datových skladů do BigQuery
  • Identifikovat klíčové zdroje, nástroje a partnerské prostředky pro migraci do BigQuery
  • Migrovat ukázková data z SQL Serveru do BigQuery pomocí nástroje Striim
  • Identifikovat zdroje pro převod produktově specifických SQL dotazů do BigQuery Standard SQL


Modul 4 – ETL nástroje a jejich umístění

Témata:

  • Dataproc
  • Cloud Data Fusion
  • Dataflow

Cíle:

  • Popsat klíčové funkce Dataproc, Cloud Data Fusion a Dataflow
  • Migrovat úlohy Apache Spark do Dataproc
  • Identifikovat osvědčené postupy pro vytváření pracovních postupů Dataflow pomocí šablon Dataflow
  • Nakonfigurovat Cloud Data Fusion pro vytvoření pipeline transformace dat spojující více zdrojů s BigQuery jako výstupním datovým jímkou (data sink)
  • Vytvářet datové pipeline, které budou přijímat data z Cloud Storage do BigQuery pomocí Dataflow


Modul 5 – Streamingová analytika

Témata:

  • Proč streamingová analytika?
  • Služba Pub/Sub
  • Okna (Windows) a spouštěče (Triggers) v Dataflow
  • Zdroje (Sources) a jímky (Sinks) v Dataflow
  • Výzvy migrace a adopce

Cíle:

  • Identifikovat komponenty řešení streamingové analytiky v Google Cloud
  • Vytvořit streamingovou IoT pipeline pomocí Pub/Sub a Kafka
  • Prozkoumat návrhové vzory a aspekty optimalizace pro řešení streamingové analytiky
  • Vytvořit a spustit streamingovou pipeline Dataflow, která přijímá data z Pub/Sub do BigQuery pomocí šablony Dataflow


Modul 6 – Úvod do Looker jako datové platformy

Témata:

  • Přehled platformy Looker
  • Architektura platformy Looker
  • Změna paradigmatu: modelovací jazyk versus pevně zakódovaný SQL
  • Základní analytické koncepty

Cíle:

  • Orientovat se v platformě Looker
  • Popsat architekturu platformy Looker
  • Objevit výhody modelovacího jazyka Looker (LookML) oproti pevně zakódovanému SQL
  • Popsat čtyři základní analytické koncepty v Looker
  • Analyzovat a vizualizovat data pomocí funkce Explores v Looker


Modul 7 – Rozšířené možnosti BigQuery

Témata:

  • BigQuery GIS
  • BigQuery ML

Cíle:

  • Popsat klíčové funkce BigQuery GIS a BigQuery ML
  • Analyzovat data pomocí funkcí BigQuery GIS a vizualizovat výsledky pomocí BigQuery Geo Viz
  • Trénovat a vyhodnocovat model ML pomocí BigQuery ML pro predikci jízdného v taxislužbě