Building Streaming Data Analytics Solutions on AWS (DASTRM)

Cloud
Strojově přeloženo

V tomto kurzu se naučíte vytvářet řešení pro analýzu streamovaných dat pomocí služeb AWS, včetně Amazon Kinesis a Amazon Managed Streaming for Apache Kafka (Amazon MSK). Amazon Kinesis je masivně škálovatelná a odolná služba pro streamování dat v reálném čase. Amazon MSK nabízí zabezpečenou, plně spravovanou a vysoce dostupnou službu Apache Kafka. Dozvíte se, jak se Amazon Kinesis a Amazon MSK integrují se službami AWS, jako jsou AWS Glue a AWS Lambda. Kurz se zabývá komponentami příjmu streamovaných dat, úložiště streamů a zpracování streamů v rámci datového analytického kanálu. Naučíte se také uplatňovat osvědčené postupy v oblasti zabezpečení, výkonu a správy nákladů při provozu služeb Kinesis a Amazon MSK.

  • Úroveň kurzu: Středně pokročilá
  • Délka trvání: 1 den


Aktivity

Tento kurz zahrnuje prezentace, praktická cvičení, diskuse a třídní cvičení.


Cíle kurzu

V tomto kurzu se naučíte:

  • Porozumět funkcím a přínosům moderní datové architektury. Zjistit, jak streamovací služby AWS zapadají do moderní datové architektury.
  • Navrhovat a implementovat řešení pro analýzu streamovaných dat
  • Identifikovat a uplatňovat vhodné techniky, jako je komprese, sharding a dělení (partitioning), za účelem optimalizace ukládání dat
  • Vybírat a nasazovat vhodné možnosti pro příjem, transformaci a ukládání dat v reálném čase a téměř v reálném čase
  • Volit vhodné streamy, clustery, témata, přístup ke škálování a síťovou topologii pro konkrétní obchodní případ použití
  • Porozumět tomu, jak ukládání a zpracování dat ovlivňuje mechanismy analýzy a vizualizace potřebné k získání prakticky využitelných obchodních poznatků
  • Zabezpečovat streamovaná data v klidovém stavu i při přenosu
  • Monitorovat analytické úlohy za účelem identifikace a nápravy problémů
  • Uplatňovat osvědčené postupy správy nákladů


Cílová skupina

Tento kurz je určen pro:

  • Datové inženýry a architekty
  • Vývojáře, kteří chtějí vytvářet a spravovat aplikace v reálném čase a řešení pro analýzu streamovaných dat


Předpoklady

Doporučujeme, aby účastníci tohoto kurzu měli:

  • Alespoň jeden rok zkušeností s datovou analytikou nebo přímé zkušenosti s vývojem aplikací v reálném čase nebo řešení pro analýzu streamů. Pro ty, kteří potřebují osvěžit znalosti konceptů streamování, doporučujeme dokument Streaming Data Solutions on AWS.
  • Absolvovaný kurz Architecting on AWS nebo Data Analytics Fundamentals
  • Absolvovaný kurz Building Data Lakes on AWS


Osnova kurzu

Modul A: Přehled datové analytiky a datového kanálu

  • Případy použití datové analytiky
  • Využití datového kanálu pro analytiku

Modul 1: Využití streamovacích služeb v datovém analytickém kanálu

  • Důležitost analýzy streamovaných dat
  • Analytický kanál pro streamovaná data
  • Koncepty streamování

Modul 2: Úvod do streamovacích služeb AWS

  • Služby pro streamování dat v AWS
  • Amazon Kinesis v analytických řešeních
  • Demonstrace: Prozkoumání Amazon Kinesis Data Streams
  • Praktické cvičení: Nastavení kanálu pro streamované doručování dat pomocí Amazon Kinesis
  • Využití Amazon Kinesis Data Analytics
  • Úvod do Amazon MSK
  • Přehled Spark Streaming

Modul 3: Využití Amazon Kinesis pro analýzu dat v reálném čase

  • Prozkoumání Amazon Kinesis pomocí úlohy clickstream
  • Vytváření datových streamů a doručovacích streamů Kinesis
  • Demonstrace: Porozumění producentům a konzumentům
  • Vytváření producentů streamů
  • Vytváření konzumentů streamů
  • Vytváření a nasazování aplikací Flink v Kinesis Data Analytics
  • Demonstrace: Prozkoumání notebooků Zeppelin pro Kinesis Data Analytics
  • Praktické cvičení: Analýza streamů pomocí Amazon Kinesis Data Analytics a Apache Flink

Modul 4: Zabezpečení, monitorování a optimalizace Amazon Kinesis

  • Optimalizace Amazon Kinesis pro získání prakticky využitelných obchodních poznatků
  • Osvědčené postupy zabezpečení a monitorování

Modul 5: Využití Amazon MSK v řešeních pro analýzu streamovaných dat

  • Případy použití Amazon MSK
  • Vytváření clusterů MSK
  • Demonstrace: Zřizování clusteru MSK
  • Příjem dat do Amazon MSK
  • Praktické cvičení: Úvod do řízení přístupu pomocí Amazon MSK
  • Transformace a zpracování v Amazon MSK

Modul 6: Zabezpečení, monitorování a optimalizace Amazon MSK

  • Optimalizace Amazon MSK
  • Demonstrace: Škálování úložiště Amazon MSK
  • Praktické cvičení: Streamovací kanál Amazon MSK a nasazení aplikace
  • Zabezpečení a monitorování
  • Demonstrace: Monitorování clusteru MSK

Modul 7: Navrhování řešení pro analýzu streamovaných dat

  • Přehled případů použití
  • Třídní cvičení: Návrh pracovního postupu pro analýzu streamovaných dat

Modul B: Vývoj moderních datových architektur na AWS

  • Moderní datové architektury