Orchestrate BigQuery Workloads with Dataform (GC-OBQWD)
Dataform je služba určená datovým analytikům pro vývoj, testování, správu verzí a plánování komplexních SQL workflow pro transformaci dat v BigQuery. V tomto kurzu prozkoumáte komponenty jádra Dataform, naučíte se definovat tabulky a závislosti v SQLX, dokumentovat tabulky a pohledy BigQuery, porozumíte nastavení zabezpečení BigQuery a způsobu jejich správy pomocí Dataform, budete psát assertions, spouštět SQL workflow a prozkoumáte další pokročilé případy použití.
Předpoklady
Znalost analýzy dat v SQL a BigQuery v rozsahu probíraném v kurzu BigQuery for Data Analysis.
Cíle
- Porozumět komponentám jádra Dataform.
- Vytvářet tabulky a pohledy v BigQuery pomocí Dataform.
- Dokumentovat tabulky a pohledy BigQuery.
- Porozumět nastavení zabezpečení BigQuery pomocí Dataform.
- Používat assertions k ověřování dat v workflow Dataform.
- Spouštět SQL workflow Dataform automatizovaným způsobem.
Podrobná osnova kurzu
Modul 1 – Základní komponenty Dataform
Témata:
- SQL workflow
- Repozitáře a pracovní prostory
- Výchozí soubory a složky
- Kompilované grafy
Cíle:
- Porozumět komponentám jádra Dataflow.
Modul 2 – Definice tabulek a závislosti
Témata:
- Deklarace zdroje dat.
- Vytvoření tabulky.
- Vytvoření inkrementální tabulky.
- Nastavení možností dělení a clusterování.
- Vytvoření prázdné tabulky.
- Vytvoření externí tabulky BigLake.
- Vytvoření pohledů a materializovaných pohledů.
- Definování závislostí.
Cíle:
- Vytvářet tabulky a pohledy v BigQuery pomocí Dataform.
Modul 3 – Dokumentace tabulek a pohledů BigQuery
Témata:
- Použití popisů sloupců.
- Použití globálně definovaných konstant JavaScriptu.
- Přidávání štítků.
Cíle:
- Dokumentovat tabulky a pohledy BigQuery.
Aktivity:
- Lab: Vytváření SQL workflow se závislostmi v Dataform
Modul 4 – Nastavení zabezpečení BigQuery
Témata:
- Přístup k datovým sadám a tabulkám/pohledům prostřednictvím IAM
- Zabezpečení na úrovni sloupců
- Zabezpečení na úrovni řádků
Cíle:
- Porozumět nastavení zabezpečení BigQuery pomocí Dataform.
Modul 5 – Assertions
Témata:
- Použití vestavěných assertions.
- Vytváření manuálních assertions.
Cíle:
- Používat assertions k ověřování dat v workflow Dataform.
Aktivity:
- Lab: Práce s assertions a nastavením zabezpečení BigQuery v Dataform.
Modul 6 – Spouštění SQL workflow
Témata:
- Životní cyklus kódu Dataform.
- Průběh kompilace.
- Přizpůsobení a plánování výsledků kompilace.
- Spouštění workflow (UI, Cloud Scheduler, Cloud Composer).
- Protokolování a monitorování.
Cíle:
- Spouštět SQL workflow Dataform automatizovaným způsobem.
Aktivity:
- Lab: Automatizace a monitorování spouštění SQL workflow v Dataform
Modul 7 – Pokročilé případy použití
Témata:
- Vytvoření tabulky BigLake po nahrání souboru pomocí Cloud Run functions.
- Sestavení pipeline strojového učení s BigQuery ML.
- Práce s pomalu se měnícími dimenzemi typu 2 (Slowly Changing Dimensions Type 2).
Cíle:
- Prozkoumání dalších případů použití pro Dataform.
Aktivity:
- Lab: Vytvoření tabulky BigLake pomocí Dataform s využitím Cloud Run Functions.
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud