Orchestrate BigQuery Workloads with Dataform (GC-OBQWD)

Jiné
Strojově přeloženo

Dataform je služba určená datovým analytikům pro vývoj, testování, správu verzí a plánování komplexních SQL workflow pro transformaci dat v BigQuery. V tomto kurzu prozkoumáte komponenty jádra Dataform, naučíte se definovat tabulky a závislosti v SQLX, dokumentovat tabulky a pohledy BigQuery, porozumíte nastavení zabezpečení BigQuery a způsobu jejich správy pomocí Dataform, budete psát assertions, spouštět SQL workflow a prozkoumáte další pokročilé případy použití.


Předpoklady

Znalost analýzy dat v SQL a BigQuery v rozsahu probíraném v kurzu BigQuery for Data Analysis.


Cíle

  • Porozumět komponentám jádra Dataform.
  • Vytvářet tabulky a pohledy v BigQuery pomocí Dataform.
  • Dokumentovat tabulky a pohledy BigQuery.
  • Porozumět nastavení zabezpečení BigQuery pomocí Dataform.
  • Používat assertions k ověřování dat v workflow Dataform.
  • Spouštět SQL workflow Dataform automatizovaným způsobem.


Podrobná osnova kurzu

Modul 1 – Základní komponenty Dataform

Témata:

  • SQL workflow
  • Repozitáře a pracovní prostory
  • Výchozí soubory a složky
  • Kompilované grafy

Cíle:

  • Porozumět komponentám jádra Dataflow.


Modul 2 – Definice tabulek a závislosti

Témata:

  • Deklarace zdroje dat.
  • Vytvoření tabulky.
  • Vytvoření inkrementální tabulky.
  • Nastavení možností dělení a clusterování.
  • Vytvoření prázdné tabulky.
  • Vytvoření externí tabulky BigLake.
  • Vytvoření pohledů a materializovaných pohledů.
  • Definování závislostí.

Cíle:

  • Vytvářet tabulky a pohledy v BigQuery pomocí Dataform.


Modul 3 – Dokumentace tabulek a pohledů BigQuery

Témata:

  • Použití popisů sloupců.
  • Použití globálně definovaných konstant JavaScriptu.
  • Přidávání štítků.

Cíle:

  • Dokumentovat tabulky a pohledy BigQuery.

Aktivity:

  • Lab: Vytváření SQL workflow se závislostmi v Dataform


Modul 4 – Nastavení zabezpečení BigQuery

Témata:

  • Přístup k datovým sadám a tabulkám/pohledům prostřednictvím IAM
  • Zabezpečení na úrovni sloupců
  • Zabezpečení na úrovni řádků

Cíle:

  • Porozumět nastavení zabezpečení BigQuery pomocí Dataform.


Modul 5 – Assertions

Témata:

  • Použití vestavěných assertions.
  • Vytváření manuálních assertions.

Cíle:

  • Používat assertions k ověřování dat v workflow Dataform.

Aktivity:

  • Lab: Práce s assertions a nastavením zabezpečení BigQuery v Dataform.


Modul 6 – Spouštění SQL workflow

Témata:

  • Životní cyklus kódu Dataform.
  • Průběh kompilace.
  • Přizpůsobení a plánování výsledků kompilace.
  • Spouštění workflow (UI, Cloud Scheduler, Cloud Composer).
  • Protokolování a monitorování.

Cíle:

  • Spouštět SQL workflow Dataform automatizovaným způsobem.

Aktivity:

  • Lab: Automatizace a monitorování spouštění SQL workflow v Dataform


Modul 7 – Pokročilé případy použití

Témata:

  • Vytvoření tabulky BigLake po nahrání souboru pomocí Cloud Run functions.
  • Sestavení pipeline strojového učení s BigQuery ML.
  • Práce s pomalu se měnícími dimenzemi typu 2 (Slowly Changing Dimensions Type 2).

Cíle:

  • Prozkoumání dalších případů použití pro Dataform.

Aktivity:

  • Lab: Vytvoření tabulky BigLake pomocí Dataform s využitím Cloud Run Functions.