Data Engineering on Google Cloud (GC-DEGC)
Získejte praktické zkušenosti s návrhem a budováním systémů pro zpracování dat na Google Cloud. Tento kurz využívá přednášky, ukázky a praktická cvičení, aby vám ukázal, jak navrhovat systémy pro zpracování dat, budovat komplexní datové pipeline, analyzovat data a implementovat strojové učení. Kurz se zabývá strukturovanými, nestrukturovanými a streamovanými daty.
Školení bude realizováno ve spolupráci se společností PUE jako autorizovaným školicím partnerem Google Cloud
Témata kurzu
- Data
- Strojové učení
Předpoklady
Aby účastníci z tohoto kurzu vytěžili maximum, měli by:
- Absolvovat kurz Google Cloud Fundamentals – Big Data and Machine Learning NEBO mít odpovídající zkušenosti.
- Základní znalost běžného dotazovacího jazyka, jako je SQL, a zkušenosti s datovým modelováním a aktivitami extrakce, transformace a načítání dat.
- Vyvíjet aplikace v běžném programovacím jazyce, jako je Python, a mít znalost základní statistiky
Cíle
- Navrhovat a budovat systémy pro zpracování dat na Google Cloud Platform.
- Využívat nestrukturovaná data pomocí Spark a ML API na Cloud Dataproc.
- Zpracovávat dávková a streamovaná data implementací automaticky škálovaných datových pipeline na Cloud Dataflow.
- Získávat obchodní přehledy z extrémně rozsáhlých datových sad pomocí Google BigQuery.
- Trénovat, vyhodnocovat a predikovat pomocí modelů strojového učení s využitím TensorFlow a Cloud ML.
- Umožnit okamžité přehledy ze streamovaných dat
Cílová skupina
Tento kurz je určen zkušeným vývojářům, kteří jsou zodpovědní za správu transformací velkých dat, včetně:
- Extrakce, načítání, transformace, čištění a validace dat.
- Návrh pipeline a architektur pro zpracování dat.
- Vytváření a údržba modelů strojového učení a statistických modelů.
- Dotazování datových sad, vizualizace výsledků dotazů a vytváření reportů
Osnova kurzu
Kurz zahrnuje prezentace, ukázky a praktická cvičení.
Modul 1: Úvod do datového inženýrství
- Prozkoumání role datového inženýra.
- Analýza výzev datového inženýrství.
- Úvod do BigQuery.
- Datová jezera a datové sklady.
- Ukázka: Federované dotazy s BigQuery.
- Transakční databáze vs. datové sklady.
- Webová ukázka: Vyhledávání PII ve vaší datové sadě pomocí DLP API.
- Efektivní spolupráce s ostatními datovými týmy.
- Správa přístupu k datům a řízení dat.
- Budování pipeline připravených pro produkční prostředí.
- Přehled případové studie zákazníka GCP.
- Cvičení: Analýza dat pomocí BigQuery.
Modul 2: Budování datového jezera
- Úvod do datových jezer.
- Možnosti ukládání dat a ETL na GCP.
- Budování datového jezera pomocí Cloud Storage.
- Volitelná ukázka: Optimalizace nákladů pomocí tříd úložiště Google Cloud Storage a Cloud Functions.
- Zabezpečení Cloud Storage.
- Ukládání různých typů dat.
- Video ukázka: Spouštění federovaných dotazů na soubory Parquet a ORC v BigQuery.
- Cloud SQL jako relační datové jezero.
- Cvičení: Načítání dat o taxících do Cloud SQL.
Modul 3: Budování datového skladu
- Moderní datový sklad.
- Úvod do BigQuery.
- Ukázka: Dotazování TB+ dat během sekund.
- Začínáme.
- Načítání dat.
- Video ukázka: Dotazování Cloud SQL z BigQuery.
- Cvičení: Načítání dat do BigQuery.
- Zkoumání schémat.
- Ukázka: Zkoumání veřejných datových sad BigQuery pomocí SQL s využitím INFORMATION_SCHEMA.
- Návrh schématu.
- Vnořená a opakující se pole.
- Ukázka: Vnořená a opakující se pole v BigQuery.
- Cvičení: Práce s daty JSON a poli v BigQuery.
- Optimalizace pomocí dělení a clusterování.
- Ukázka: Dělené a clusterované tabulky v BigQuery.
- Náhled: Transformace dávkových a streamovaných dat.
Modul 4: Úvod do budování dávkových datových pipeline
- EL, ELT, ETL.
- Aspekty kvality.
- Jak provádět operace v BigQuery.
- Ukázka: ELT pro zlepšení kvality dat v BigQuery.
- Nedostatky.
- ETL pro řešení problémů s kvalitou dat.
Modul 5: Spouštění Spark na Cloud Dataproc
- Ekosystém Hadoop.
- Spouštění Hadoop na Cloud Dataproc.
- GCS místo HDFS.
- Optimalizace Dataproc.
- Cvičení: Spouštění úloh Apache Spark na Cloud Dataproc.
Modul 6: Bezserverové zpracování dat s Cloud Dataflow
- Cloud Dataflow.
- Proč zákazníci oceňují Dataflow.
- Pipeline Dataflow.
- Cvičení: Jednoduchá pipeline Dataflow (Python/Java).
- Cvičení: MapReduce v Dataflow (Python/Java).
- Cvičení: Vedlejší vstupy (Python/Java).
- Šablony Dataflow.
- Dataflow SQL.
Modul 7: Správa datových pipeline s Cloud Data Fusion a Cloud Composer
- Vizuální budování dávkových datových pipeline s Cloud Data Fusion.
- Komponenty.
- Přehled uživatelského rozhraní.
- Budování pipeline.
- Zkoumání dat pomocí Wrangler.
- Cvičení: Budování a spouštění grafu pipeline v Cloud Data Fusion.
- Orchestrace práce mezi službami GCP pomocí Cloud Composer.
- Prostředí Apache Airflow.
- DAG a operátory.
- Plánování pracovních postupů.
- Volitelná rozšířená ukázka: Načítání dat spouštěné událostmi pomocí Cloud Composer, Cloud Functions, Cloud Storage a BigQuery.
- Monitorování a protokolování.
- Cvičení: Úvod do Cloud Composer.
Modul 8: Úvod do zpracování streamovaných dat
- Zpracování streamovaných dat.
Modul 9: Bezserverové zasílání zpráv s Cloud Pub/Sub
- Cloud Pub/Sub.
- Cvičení: Publikování streamovaných dat do Pub/Sub.
Modul 10: Funkce streamování Cloud Dataflow
- Funkce streamování Cloud Dataflow.
- Cvičení: Streamované datové pipeline.
Modul 11: Funkce streamování s vysokou propustností BigQuery a Bigtable
- Funkce streamování BigQuery.
- Cvičení: Streamovaná analytika a dashboardy.
- Cloud Bigtable.
- Cvičení: Streamování datových pipeline do Bigtable.
Modul 12: Pokročilé funkce a výkon BigQuery
- Analytické okenní funkce.
- Použití klauzulí WITH.
- Funkce GIS.
- Ukázka: Mapování nejrychleji rostoucích PSČ pomocí BigQuery GeoViz.
- Aspekty výkonu.
- Cvičení: Optimalizace dotazů BigQuery pro výkon.
- Volitelné cvičení: Vytváření tabulek dělených podle data v BigQuery.
Modul 13: Úvod do analytiky a umělé inteligence
- Co je umělá inteligence?
- Od ad-hoc analýzy dat k rozhodování řízenému daty.
- Možnosti modelů ML na GCP.
Modul 14: Předpřipravená API modelů ML pro nestrukturovaná data
- Nestrukturovaná data jsou náročná.
- ML API pro obohacování dat.
- Cvičení: Použití Natural Language API pro klasifikaci nestrukturovaného textu.
Modul 15: Analytika velkých dat s Cloud AI Platform Notebooks
- Co je notebook.
- BigQuery Magic a vazby na Pandas.
- Cvičení: BigQuery v Jupyter Labs na AI Platform.
Modul 16: Produkční ML pipeline s Kubeflow
- Způsoby provádění ML na GCP.
- Kubeflow.
- AI Hub.
- Cvičení: Spouštění modelů AI na Kubeflow.
Modul 17: Budování vlastních modelů pomocí SQL v BigQuery ML
- BigQuery ML pro rychlé budování modelů.
- Ukázka: Trénování modelu s BigQuery ML pro predikci jízdného taxíků v NYC.
- Podporované modely.
- Cvičení – varianta 1: Predikce doby jízdy na kole pomocí regresního modelu v BQML.
- Cvičení – varianta 2: Doporučování filmů v BigQuery ML.
Modul 18: Budování vlastních modelů s Cloud AutoML
- Proč Auto ML?
- Auto ML Vision.
- Auto ML NLP.
- Auto ML Tables.
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud