Data Integration with Cloud Data Fusion (GC-DICDF)
Tento 2denní kurz seznamuje účastníky s možnostmi datové integrace v Google Cloud pomocí Cloud Data Fusion. V tomto kurzu se zabýváme výzvami datové integrace a potřebou platformy pro datovou integraci (middleware). Následně zkoumáme, jak může Cloud Data Fusion efektivně integrovat data z různých zdrojů a formátů a generovat přehledy. Zaměřujeme se na hlavní komponenty Cloud Data Fusion a jejich fungování, na zpracování dávkových a streamovaných dat v reálném čase pomocí vizuálního návrhu pipeline, na správu metadat a sledování datové linie a na nasazení datových pipeline na různých runtime enginech.
Komu je kurz určen
- Datový inženýr
- Datoví analytici
Předpoklady
Absolvování kurzu „Fundamentals of Big Data and Machine Learning."
Cíle kurzu
- Identifikovat potřebu datové integrace,
- Porozumět možnostem Cloud Data Fusion jako platformy pro datovou integraci,
- Identifikovat případy použití pro možnou implementaci s Cloud Data Fusion,
- Vyjmenovat hlavní komponenty Cloud Data Fusion,
- Navrhovat a spouštět pipeline pro dávkové a real-time zpracování dat,
- Pracovat s nástrojem Wrangler při vytváření datových transformací,
- Používat konektory pro integraci dat z různých zdrojů a formátů,
- Konfigurovat runtime prostředí; monitorovat a řešit problémy při provádění pipeline,
- Porozumět vztahu mezi metadaty a datovou linií
Podrobná osnova kurzu
Modul 00 – Úvod
Modul 01 – Úvod do datové integrace a Cloud Data Fusion
- Datová integrace: co, proč, výzvy
- Nástroje pro datovou integraci používané v průmyslu
- Uživatelské persony
- Úvod do cloudové datové fúze
- Klíčové možnosti datové integrace
- Komponenty uživatelského rozhraní Cloud Data Fusion
Modul 02 – Tvorba pipeline
- Architektura Cloud Data Fusion
- Základní koncepty
- Datové pipeline a orientované acyklické grafy (DAG)
- Životní cyklus pipeline
- Návrh pipeline v Pipeline Studio
Modul 03 – Návrh komplexních pipeline
- Větvení, sloučení a spojení
- Akce a notifikace
- Zpracování chyb a makra, konfigurace pipeline, plánování, import a export
Modul 04 – Prostředí pro spouštění pipeline
- Plánování a spouštěče
- Runtime prostředí: výpočetní profil a provisioners
- Monitorování pipeline
Modul 05 – Tvorba transformací a příprava dat pomocí nástroje Wrangler
- Wrangler
- Direktivy
- Uživatelsky definované direktivy
Modul 06 – Streamovací konektory a pipeline
- Porozumění architektuře datové integrace.
- Výčet různých konektorů.
- Použití rozhraní Cloud Data Loss Prevention (DLP) API.
- Porozumění referenční architektuře streamovací pipeline.
- Sestavení a spuštění streamovací pipeline
.
Modul 07 – Metadata a datová linie
- Metadata
- Datová linie
Modul 08 – Shrnutí
- Shrnutí kurzu
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud