Data Integration with Cloud Data Fusion (GC-DICDF)

Cloud
Strojově přeloženo

Tento 2denní kurz seznamuje účastníky s možnostmi datové integrace v Google Cloud pomocí Cloud Data Fusion. V tomto kurzu se zabýváme výzvami datové integrace a potřebou platformy pro datovou integraci (middleware). Následně zkoumáme, jak může Cloud Data Fusion efektivně integrovat data z různých zdrojů a formátů a generovat přehledy. Zaměřujeme se na hlavní komponenty Cloud Data Fusion a jejich fungování, na zpracování dávkových a streamovaných dat v reálném čase pomocí vizuálního návrhu pipeline, na správu metadat a sledování datové linie a na nasazení datových pipeline na různých runtime enginech.


Komu je kurz určen

  • Datový inženýr
  • Datoví analytici


Předpoklady

Absolvování kurzu „Fundamentals of Big Data and Machine Learning."


Cíle kurzu

  • Identifikovat potřebu datové integrace,
  • Porozumět možnostem Cloud Data Fusion jako platformy pro datovou integraci,
  • Identifikovat případy použití pro možnou implementaci s Cloud Data Fusion,
  • Vyjmenovat hlavní komponenty Cloud Data Fusion,
  • Navrhovat a spouštět pipeline pro dávkové a real-time zpracování dat,
  • Pracovat s nástrojem Wrangler při vytváření datových transformací,
  • Používat konektory pro integraci dat z různých zdrojů a formátů,
  • Konfigurovat runtime prostředí; monitorovat a řešit problémy při provádění pipeline,
  • Porozumět vztahu mezi metadaty a datovou linií


Podrobná osnova kurzu

Modul 00 – Úvod


Modul 01 – Úvod do datové integrace a Cloud Data Fusion

  • Datová integrace: co, proč, výzvy
  • Nástroje pro datovou integraci používané v průmyslu
  • Uživatelské persony
  • Úvod do cloudové datové fúze
  • Klíčové možnosti datové integrace
  • Komponenty uživatelského rozhraní Cloud Data Fusion


Modul 02 – Tvorba pipeline

  • Architektura Cloud Data Fusion
  • Základní koncepty
  • Datové pipeline a orientované acyklické grafy (DAG)
  • Životní cyklus pipeline
  • Návrh pipeline v Pipeline Studio


Modul 03 – Návrh komplexních pipeline

  • Větvení, sloučení a spojení
  • Akce a notifikace
  • Zpracování chyb a makra, konfigurace pipeline, plánování, import a export


Modul 04 – Prostředí pro spouštění pipeline

  • Plánování a spouštěče
  • Runtime prostředí: výpočetní profil a provisioners
  • Monitorování pipeline


Modul 05 – Tvorba transformací a příprava dat pomocí nástroje Wrangler

  • Wrangler
  • Direktivy
  • Uživatelsky definované direktivy


Modul 06 – Streamovací konektory a pipeline

  • Porozumění architektuře datové integrace.
  • Výčet různých konektorů.
  • Použití rozhraní Cloud Data Loss Prevention (DLP) API.
  • Porozumění referenční architektuře streamovací pipeline.
  • Sestavení a spuštění streamovací pipeline

.

Modul 07 – Metadata a datová linie

  • Metadata
  • Datová linie


Modul 08 – Shrnutí

  • Shrnutí kurzu