Data Engineering on Google Cloud (GC-DEGC)

Cloud
Strojově přeloženo

Získejte praktické zkušenosti s návrhem a budováním systémů pro zpracování dat na Google Cloud. Tento kurz využívá přednášky, ukázky a praktická cvičení, aby vám ukázal, jak navrhovat systémy pro zpracování dat, budovat komplexní datové pipeline, analyzovat data a implementovat strojové učení. Kurz se zabývá strukturovanými, nestrukturovanými a streamovanými daty.


Školení bude realizováno ve spolupráci se společností PUE jako autorizovaným školicím partnerem Google Cloud

Témata kurzu

  • Data
  • Strojové učení

Předpoklady

Aby účastníci z tohoto kurzu vytěžili maximum, měli by:

  • Absolvovat kurz Google Cloud Fundamentals – Big Data and Machine Learning NEBO mít odpovídající zkušenosti.
  • Základní znalost běžného dotazovacího jazyka, jako je SQL, a zkušenosti s datovým modelováním a aktivitami extrakce, transformace a načítání dat.
  • Vyvíjet aplikace v běžném programovacím jazyce, jako je Python, a mít znalost základní statistiky

Cíle

  • Navrhovat a budovat systémy pro zpracování dat na Google Cloud Platform.
  • Využívat nestrukturovaná data pomocí Spark a ML API na Cloud Dataproc.
  • Zpracovávat dávková a streamovaná data implementací automaticky škálovaných datových pipeline na Cloud Dataflow.
  • Získávat obchodní přehledy z extrémně rozsáhlých datových sad pomocí Google BigQuery.
  • Trénovat, vyhodnocovat a predikovat pomocí modelů strojového učení s využitím TensorFlow a Cloud ML.
  • Umožnit okamžité přehledy ze streamovaných dat

Cílová skupina

Tento kurz je určen zkušeným vývojářům, kteří jsou zodpovědní za správu transformací velkých dat, včetně:

  • Extrakce, načítání, transformace, čištění a validace dat.
  • Návrh pipeline a architektur pro zpracování dat.
  • Vytváření a údržba modelů strojového učení a statistických modelů.
  • Dotazování datových sad, vizualizace výsledků dotazů a vytváření reportů

Osnova kurzu

Kurz zahrnuje prezentace, ukázky a praktická cvičení.

Modul 1: Úvod do datového inženýrství

  • Prozkoumání role datového inženýra.
  • Analýza výzev datového inženýrství.
  • Úvod do BigQuery.
  • Datová jezera a datové sklady.
  • Ukázka: Federované dotazy s BigQuery.
  • Transakční databáze vs. datové sklady.
  • Webová ukázka: Vyhledávání PII ve vaší datové sadě pomocí DLP API.
  • Efektivní spolupráce s ostatními datovými týmy.
  • Správa přístupu k datům a řízení dat.
  • Budování pipeline připravených pro produkční prostředí.
  • Přehled případové studie zákazníka GCP.
  • Cvičení: Analýza dat pomocí BigQuery.

Modul 2: Budování datového jezera

  • Úvod do datových jezer.
  • Možnosti ukládání dat a ETL na GCP.
  • Budování datového jezera pomocí Cloud Storage.
  • Volitelná ukázka: Optimalizace nákladů pomocí tříd úložiště Google Cloud Storage a Cloud Functions.
  • Zabezpečení Cloud Storage.
  • Ukládání různých typů dat.
  • Video ukázka: Spouštění federovaných dotazů na soubory Parquet a ORC v BigQuery.
  • Cloud SQL jako relační datové jezero.
  • Cvičení: Načítání dat o taxících do Cloud SQL.

Modul 3: Budování datového skladu

  • Moderní datový sklad.
  • Úvod do BigQuery.
  • Ukázka: Dotazování TB+ dat během sekund.
  • Začínáme.
  • Načítání dat.
  • Video ukázka: Dotazování Cloud SQL z BigQuery.
  • Cvičení: Načítání dat do BigQuery.
  • Zkoumání schémat.
  • Ukázka: Zkoumání veřejných datových sad BigQuery pomocí SQL s využitím INFORMATION_SCHEMA.
  • Návrh schématu.
  • Vnořená a opakující se pole.
  • Ukázka: Vnořená a opakující se pole v BigQuery.
  • Cvičení: Práce s daty JSON a poli v BigQuery.
  • Optimalizace pomocí dělení a clusterování.
  • Ukázka: Dělené a clusterované tabulky v BigQuery.
  • Náhled: Transformace dávkových a streamovaných dat.

Modul 4: Úvod do budování dávkových datových pipeline

  • EL, ELT, ETL.
  • Aspekty kvality.
  • Jak provádět operace v BigQuery.
  • Ukázka: ELT pro zlepšení kvality dat v BigQuery.
  • Nedostatky.
  • ETL pro řešení problémů s kvalitou dat.

Modul 5: Spouštění Spark na Cloud Dataproc

  • Ekosystém Hadoop.
  • Spouštění Hadoop na Cloud Dataproc.
  • GCS místo HDFS.
  • Optimalizace Dataproc.
  • Cvičení: Spouštění úloh Apache Spark na Cloud Dataproc.

Modul 6: Bezserverové zpracování dat s Cloud Dataflow

  • Cloud Dataflow.
  • Proč zákazníci oceňují Dataflow.
  • Pipeline Dataflow.
  • Cvičení: Jednoduchá pipeline Dataflow (Python/Java).
  • Cvičení: MapReduce v Dataflow (Python/Java).
  • Cvičení: Vedlejší vstupy (Python/Java).
  • Šablony Dataflow.
  • Dataflow SQL.

Modul 7: Správa datových pipeline s Cloud Data Fusion a Cloud Composer

  • Vizuální budování dávkových datových pipeline s Cloud Data Fusion.
  • Komponenty.
  • Přehled uživatelského rozhraní.
  • Budování pipeline.
  • Zkoumání dat pomocí Wrangler.
  • Cvičení: Budování a spouštění grafu pipeline v Cloud Data Fusion.
  • Orchestrace práce mezi službami GCP pomocí Cloud Composer.
  • Prostředí Apache Airflow.
  • DAG a operátory.
  • Plánování pracovních postupů.
  • Volitelná rozšířená ukázka: Načítání dat spouštěné událostmi pomocí Cloud Composer, Cloud Functions, Cloud Storage a BigQuery.
  • Monitorování a protokolování.
  • Cvičení: Úvod do Cloud Composer.

Modul 8: Úvod do zpracování streamovaných dat

  • Zpracování streamovaných dat.

Modul 9: Bezserverové zasílání zpráv s Cloud Pub/Sub

  • Cloud Pub/Sub.
  • Cvičení: Publikování streamovaných dat do Pub/Sub.

Modul 10: Funkce streamování Cloud Dataflow

  • Funkce streamování Cloud Dataflow.
  • Cvičení: Streamované datové pipeline.

Modul 11: Funkce streamování s vysokou propustností BigQuery a Bigtable

  • Funkce streamování BigQuery.
  • Cvičení: Streamovaná analytika a dashboardy.
  • Cloud Bigtable.
  • Cvičení: Streamování datových pipeline do Bigtable.

Modul 12: Pokročilé funkce a výkon BigQuery

  • Analytické okenní funkce.
  • Použití klauzulí WITH.
  • Funkce GIS.
  • Ukázka: Mapování nejrychleji rostoucích PSČ pomocí BigQuery GeoViz.
  • Aspekty výkonu.
  • Cvičení: Optimalizace dotazů BigQuery pro výkon.
  • Volitelné cvičení: Vytváření tabulek dělených podle data v BigQuery.

Modul 13: Úvod do analytiky a umělé inteligence

  • Co je umělá inteligence?
  • Od ad-hoc analýzy dat k rozhodování řízenému daty.
  • Možnosti modelů ML na GCP.

Modul 14: Předpřipravená API modelů ML pro nestrukturovaná data

  • Nestrukturovaná data jsou náročná.
  • ML API pro obohacování dat.
  • Cvičení: Použití Natural Language API pro klasifikaci nestrukturovaného textu.

Modul 15: Analytika velkých dat s Cloud AI Platform Notebooks

  • Co je notebook.
  • BigQuery Magic a vazby na Pandas.
  • Cvičení: BigQuery v Jupyter Labs na AI Platform.

Modul 16: Produkční ML pipeline s Kubeflow

  • Způsoby provádění ML na GCP.
  • Kubeflow.
  • AI Hub.
  • Cvičení: Spouštění modelů AI na Kubeflow.

Modul 17: Budování vlastních modelů pomocí SQL v BigQuery ML

  • BigQuery ML pro rychlé budování modelů.
  • Ukázka: Trénování modelu s BigQuery ML pro predikci jízdného taxíků v NYC.
  • Podporované modely.
  • Cvičení – varianta 1: Predikce doby jízdy na kole pomocí regresního modelu v BQML.
  • Cvičení – varianta 2: Doporučování filmů v BigQuery ML.

Modul 18: Budování vlastních modelů s Cloud AutoML

  • Proč Auto ML?
  • Auto ML Vision.
  • Auto ML NLP.
  • Auto ML Tables.