Building Batch Data Analytics Solutions on AWS (DABATC)

Cloud
Strojově přeloženo

V tomto kurzu se naučíte vytvářet řešení pro dávkovou datovou analytiku pomocí služby Amazon EMR, spravované podnikové služby Apache Spark a Apache Hadoop. Dozvíte se, jak se Amazon EMR integruje s open-source projekty, jako jsou Apache Hive, Hue a HBase, a se službami AWS, jako jsou AWS Glue a AWS Lake Formation. Kurz se zabývá komponentami sběru dat, ingestování, katalogizace, ukládání a zpracování v kontextu Spark a Hadoop. Naučíte se používat EMR Notebooks pro podporu analytických i strojově učících se pracovních zátěží. Dále se naučíte uplatňovat osvědčené postupy v oblasti zabezpečení, výkonu a správy nákladů při provozu služby Amazon EMR.

  • Úroveň kurzu: Středně pokročilý
  • Délka trvání: 1 den


Komu je kurz určen

Tento kurz je určen pro:

  • Inženýry datových platforem
  • Architekty a operátory, kteří budují a spravují datové analytické pipeline


Certifikace

Tento kurz je součástí následujících certifikací:

  • AWS Certified Data Analytics – Specialty


Předpoklady

Z tohoto kurzu budou mít prospěch studenti s minimálně jednoletou praxí ve správě open-source datových frameworků, jako jsou Apache Spark nebo Apache Hadoop.


Cíle kurzu

V tomto kurzu se naučíte:

  • Porovnávat funkce a výhody datových skladů, datových jezer a moderních datových architektur
  • Navrhovat a implementovat řešení pro dávkovou datovou analytiku
  • Identifikovat a uplatňovat vhodné techniky, včetně komprese, pro optimalizaci ukládání dat
  • Vybírat a nasazovat vhodné možnosti pro ingestování, transformaci a ukládání dat
  • Volit vhodné typy instancí a uzlů, clustery, automatické škálování a síťovou topologii pro konkrétní obchodní případ použití
  • Porozumět tomu, jak ukládání a zpracování dat ovlivňuje mechanismy analýzy a vizualizace potřebné k získání prakticky využitelných obchodních poznatků
  • Zabezpečovat data v klidovém stavu i při přenosu
  • Monitorovat analytické pracovní zátěže za účelem identifikace a nápravy problémů
  • Uplatňovat osvědčené postupy správy nákladů


Obsah kurzu

Modul A: Přehled datové analytiky a datového pipeline

  • Případy použití datové analytiky
  • Využití datového pipeline pro analytiku

Modul 1: Úvod do Amazon EMR

  • Využití Amazon EMR v analytických řešeních
  • Architektura clusteru Amazon EMR
  • Interaktivní ukázka 1: Spuštění clusteru Amazon EMR
  • Strategie správy nákladů

Modul 2: Datový analytický pipeline pomocí Amazon EMR: Ingestování a ukládání

  • Optimalizace úložiště pomocí Amazon EMR
  • Techniky ingestování dat

Modul 3: Vysoce výkonná dávková datová analytika pomocí Apache Spark na Amazon EMR

  • Případy použití Apache Spark na Amazon EMR
  • Proč Apache Spark na Amazon EMR
  • Koncepty Spark
  • Interaktivní ukázka 2: Připojení ke clusteru EMR a provádění příkazů Scala pomocí Spark shellu
  • Transformace, zpracování a analytika
  • Používání notebooků s Amazon EMR
  • Praktická laboratoř 1: Datová analytika s nízkou latencí pomocí Apache Spark na Amazon EMR

Modul 4: Zpracování a analýza dávkových dat pomocí Amazon EMR a Apache Hive

  • Použití Amazon EMR s Hive pro zpracování dávkových dat
  • Transformace, zpracování a analytika
  • Praktická laboratoř 2: Zpracování dávkových dat pomocí Amazon EMR s Hive
  • Úvod do Apache HBase na Amazon EMR

Modul 5: Bezserverové zpracování dat

  • Bezserverové zpracování, transformace a analytika dat
  • Použití AWS Glue s pracovními zátěžemi Amazon EMR
  • Praktická laboratoř 3: Orchestrace zpracování dat ve Sparku pomocí AWS Step Functions

Modul 6: Zabezpečení a monitorování clusterů Amazon EMR

  • Zabezpečení clusterů EMR
  • Interaktivní ukázka 3: Šifrování na straně klienta pomocí EMRFS
  • Monitorování a odstraňování problémů clusterů Amazon EMR
  • Ukázka: Prohlížení historie clusteru Apache Spark

Modul 7: Návrh řešení pro dávkovou datovou analytiku

  • Případy použití dávkové datové analytiky
  • Aktivita: Návrh pracovního postupu dávkové datové analytiky

Modul B: Vývoj moderních datových architektur na AWS

  • Moderní datové architektury