Building Resilient Streaming Analytics Systems on Google Cloud (GC-BRSASGC)
Zpracování streamovaných dat je stále populárnější, protože streaming umožňuje podnikům získávat metriky obchodních operací v reálném čase. Tento kurz se zabývá tím, jak vytvářet datové pipeline pro streaming na Google Cloud. Služba Pub/Sub je popsána v kontextu zpracování příchozích streamovaných dat. Kurz také pokrývá způsoby aplikace agregací a transformací na streamovaná data pomocí Dataflow a způsoby ukládání zpracovaných záznamů do BigQuery nebo Cloud Bigtable pro účely analýzy. Účastníci získají praktické zkušenosti s budováním komponent datových pipeline pro streaming na Google Cloud prostřednictvím platformy QwikLabs.
Pro koho je kurz určen?
Tento kurz je určen datovým analytikům, datovým vědcům a programátorům, kteří chtějí navrhovat řešení pro náročné scénáře, jako jsou vysoká dostupnost, odolnost proti chybám, vysoká propustnost a analytika streamování v reálném čase na Google Cloud.
Certifikace
Tento kurz je součástí následujících certifikací:
- Google Cloud Certified Professional Data Engineer
Předpoklady
- Zkušenosti s analýzou a vizualizací velkých dat, implementací cloudových řešení pro velká data a transformací/zpracováním datových sad.
- Google Cloud Big Data and Machine Learning Fundamentals (nebo ekvivalentní zkušenosti).
- Základní znalost jazyka Java
Cíle
- Interpretovat případy použití pro analytiku streamování v reálném čase
- Spravovat datové události pomocí asynchronní zprávcovské služby Pub/Sub
- Psát streamovací pipeline a v případě potřeby provádět transformace
- Zajistit vzájemnou spolupráci služeb Dataflow, BigQuery a Pub/Sub pro streamování a analýzu v reálném čase
Podrobná osnova kurzu
Modul 1 – Úvod do zpracování streamovaných dat
Témata:
- Úvod do zpracování streamovaných dat
Cíle:
- Vysvětlit zpracování streamovaných dat.
- Popsat výzvy spojené se streamovanými daty.
- Identifikovat produkty a nástroje Google Cloud, které mohou pomoci řešit výzvy spojené se streamovanými daty.
Modul 2 – Bezserverové zasílání zpráv pomocí Pub/Sub
Témata:
- Úvod do Pub/Sub
- Pub/Sub push versus pull
- Publikování pomocí kódu Pub/Sub
Cíle:
- Popsat službu Pub/Sub.
- Vysvětlit, jak Pub/Sub funguje.
- Simulovat streamování dat ze senzorů v reálném čase pomocí Pub/Sub
Modul 3 – Funkce Dataflow pro streaming
Témata:
- Výzvy spojené se streamováním dat
- Windowing v Dataflow
Cíle:
- Popsat službu Dataflow.
- Sestavit pipeline pro zpracování streamů pro data o živém provozu.
- Demonstrovat způsob zpracování opožděných dat pomocí vodoznaků (watermarks), triggerů a akumulace.
Modul 4 – Funkce BigQuery a Bigtable pro vysokopropustnostní streaming
Témata:
- Streamování do BigQuery a vizualizace výsledků
- Vysokopropustnostní streaming s Bigtable
- Optimalizace výkonu Bigtable
Cíle:
- Popsat způsob provádění ad hoc analýzy streamovaných dat pomocí BigQuery a dashboardů.
- Probrat Cloud Bigtable jako řešení s nízkou latencí.
- Popsat způsob návrhu architektury pro Bigtable a způsob ingestování dat do Bigtable.
- Zdůraznit aspekty výkonu relevantních služeb.
Modul 5 – Pokročilé funkce a výkon BigQuery
Témata:
- Analytické okenní funkce
- Funkce geografického informačního systému (GIS)
- Aspekty výkonu
Cíle:
- Přehled pokročilých analytických možností BigQuery.
- Probrat způsoby zlepšení výkonu dotazů.
Více od Google
Advanced Solutions Lab | Cloud
Analyzing and Visualizing Data in Looker | Cloud
Application Development with Cloud Run | Cloud
Application Development with LLMs on Google Cloud | Jiné
Architecting Hybrid Cloud Infrastructure with Anthos | Cloud
Architecting with Google Cloud Platform: Design and Process | Cloud