Building Resilient Streaming Analytics Systems on Google Cloud (GC-BRSASGC)

Jiné
Strojově přeloženo

Zpracování streamovaných dat je stále populárnější, protože streaming umožňuje podnikům získávat metriky obchodních operací v reálném čase. Tento kurz se zabývá tím, jak vytvářet datové pipeline pro streaming na Google Cloud. Služba Pub/Sub je popsána v kontextu zpracování příchozích streamovaných dat. Kurz také pokrývá způsoby aplikace agregací a transformací na streamovaná data pomocí Dataflow a způsoby ukládání zpracovaných záznamů do BigQuery nebo Cloud Bigtable pro účely analýzy. Účastníci získají praktické zkušenosti s budováním komponent datových pipeline pro streaming na Google Cloud prostřednictvím platformy QwikLabs.


Pro koho je kurz určen?

Tento kurz je určen datovým analytikům, datovým vědcům a programátorům, kteří chtějí navrhovat řešení pro náročné scénáře, jako jsou vysoká dostupnost, odolnost proti chybám, vysoká propustnost a analytika streamování v reálném čase na Google Cloud.


Certifikace

Tento kurz je součástí následujících certifikací:

  • Google Cloud Certified Professional Data Engineer


Předpoklady

  • Zkušenosti s analýzou a vizualizací velkých dat, implementací cloudových řešení pro velká data a transformací/zpracováním datových sad.
  • Google Cloud Big Data and Machine Learning Fundamentals (nebo ekvivalentní zkušenosti).
  • Základní znalost jazyka Java


Cíle

  • Interpretovat případy použití pro analytiku streamování v reálném čase
  • Spravovat datové události pomocí asynchronní zprávcovské služby Pub/Sub
  • Psát streamovací pipeline a v případě potřeby provádět transformace
  • Zajistit vzájemnou spolupráci služeb Dataflow, BigQuery a Pub/Sub pro streamování a analýzu v reálném čase


Podrobná osnova kurzu

Modul 1 – Úvod do zpracování streamovaných dat

Témata:

  • Úvod do zpracování streamovaných dat

Cíle:

  • Vysvětlit zpracování streamovaných dat.
  • Popsat výzvy spojené se streamovanými daty.
  • Identifikovat produkty a nástroje Google Cloud, které mohou pomoci řešit výzvy spojené se streamovanými daty.


Modul 2 – Bezserverové zasílání zpráv pomocí Pub/Sub

Témata:

  • Úvod do Pub/Sub
  • Pub/Sub push versus pull
  • Publikování pomocí kódu Pub/Sub

Cíle:

  • Popsat službu Pub/Sub.
  • Vysvětlit, jak Pub/Sub funguje.
  • Simulovat streamování dat ze senzorů v reálném čase pomocí Pub/Sub


Modul 3 – Funkce Dataflow pro streaming

Témata:

  • Výzvy spojené se streamováním dat
  • Windowing v Dataflow

Cíle:

  • Popsat službu Dataflow.
  • Sestavit pipeline pro zpracování streamů pro data o živém provozu.
  • Demonstrovat způsob zpracování opožděných dat pomocí vodoznaků (watermarks), triggerů a akumulace.


Modul 4 – Funkce BigQuery a Bigtable pro vysokopropustnostní streaming

Témata:

  • Streamování do BigQuery a vizualizace výsledků
  • Vysokopropustnostní streaming s Bigtable
  • Optimalizace výkonu Bigtable

Cíle:

  • Popsat způsob provádění ad hoc analýzy streamovaných dat pomocí BigQuery a dashboardů.
  • Probrat Cloud Bigtable jako řešení s nízkou latencí.
  • Popsat způsob návrhu architektury pro Bigtable a způsob ingestování dat do Bigtable.
  • Zdůraznit aspekty výkonu relevantních služeb.


Modul 5 – Pokročilé funkce a výkon BigQuery

Témata:

  • Analytické okenní funkce
  • Funkce geografického informačního systému (GIS)
  • Aspekty výkonu

Cíle:

  • Přehled pokročilých analytických možností BigQuery.
  • Probrat způsoby zlepšení výkonu dotazů.