Building Batch Data Analytics Solutions on AWS (DABATC)
V tomto kurzu se naučíte vytvářet řešení pro dávkovou datovou analytiku pomocí služby Amazon EMR, spravované podnikové služby Apache Spark a Apache Hadoop. Dozvíte se, jak se Amazon EMR integruje s open-source projekty, jako jsou Apache Hive, Hue a HBase, a se službami AWS, jako jsou AWS Glue a AWS Lake Formation. Kurz se zabývá komponentami sběru dat, ingestování, katalogizace, ukládání a zpracování v kontextu Spark a Hadoop. Naučíte se používat EMR Notebooks pro podporu analytických i strojově učících se pracovních zátěží. Dále se naučíte uplatňovat osvědčené postupy v oblasti zabezpečení, výkonu a správy nákladů při provozu služby Amazon EMR.
- Úroveň kurzu: Středně pokročilý
- Délka trvání: 1 den
Komu je kurz určen
Tento kurz je určen pro:
- Inženýry datových platforem
- Architekty a operátory, kteří budují a spravují datové analytické pipeline
Certifikace
Tento kurz je součástí následujících certifikací:
- AWS Certified Data Analytics – Specialty
Předpoklady
Z tohoto kurzu budou mít prospěch studenti s minimálně jednoletou praxí ve správě open-source datových frameworků, jako jsou Apache Spark nebo Apache Hadoop.
Cíle kurzu
V tomto kurzu se naučíte:
- Porovnávat funkce a výhody datových skladů, datových jezer a moderních datových architektur
- Navrhovat a implementovat řešení pro dávkovou datovou analytiku
- Identifikovat a uplatňovat vhodné techniky, včetně komprese, pro optimalizaci ukládání dat
- Vybírat a nasazovat vhodné možnosti pro ingestování, transformaci a ukládání dat
- Volit vhodné typy instancí a uzlů, clustery, automatické škálování a síťovou topologii pro konkrétní obchodní případ použití
- Porozumět tomu, jak ukládání a zpracování dat ovlivňuje mechanismy analýzy a vizualizace potřebné k získání prakticky využitelných obchodních poznatků
- Zabezpečovat data v klidovém stavu i při přenosu
- Monitorovat analytické pracovní zátěže za účelem identifikace a nápravy problémů
- Uplatňovat osvědčené postupy správy nákladů
Obsah kurzu
Modul A: Přehled datové analytiky a datového pipeline
- Případy použití datové analytiky
- Využití datového pipeline pro analytiku
Modul 1: Úvod do Amazon EMR
- Využití Amazon EMR v analytických řešeních
- Architektura clusteru Amazon EMR
- Interaktivní ukázka 1: Spuštění clusteru Amazon EMR
- Strategie správy nákladů
Modul 2: Datový analytický pipeline pomocí Amazon EMR: Ingestování a ukládání
- Optimalizace úložiště pomocí Amazon EMR
- Techniky ingestování dat
Modul 3: Vysoce výkonná dávková datová analytika pomocí Apache Spark na Amazon EMR
- Případy použití Apache Spark na Amazon EMR
- Proč Apache Spark na Amazon EMR
- Koncepty Spark
- Interaktivní ukázka 2: Připojení ke clusteru EMR a provádění příkazů Scala pomocí Spark shellu
- Transformace, zpracování a analytika
- Používání notebooků s Amazon EMR
- Praktická laboratoř 1: Datová analytika s nízkou latencí pomocí Apache Spark na Amazon EMR
Modul 4: Zpracování a analýza dávkových dat pomocí Amazon EMR a Apache Hive
- Použití Amazon EMR s Hive pro zpracování dávkových dat
- Transformace, zpracování a analytika
- Praktická laboratoř 2: Zpracování dávkových dat pomocí Amazon EMR s Hive
- Úvod do Apache HBase na Amazon EMR
Modul 5: Bezserverové zpracování dat
- Bezserverové zpracování, transformace a analytika dat
- Použití AWS Glue s pracovními zátěžemi Amazon EMR
- Praktická laboratoř 3: Orchestrace zpracování dat ve Sparku pomocí AWS Step Functions
Modul 6: Zabezpečení a monitorování clusterů Amazon EMR
- Zabezpečení clusterů EMR
- Interaktivní ukázka 3: Šifrování na straně klienta pomocí EMRFS
- Monitorování a odstraňování problémů clusterů Amazon EMR
- Ukázka: Prohlížení historie clusteru Apache Spark
Modul 7: Návrh řešení pro dávkovou datovou analytiku
- Případy použití dávkové datové analytiky
- Aktivita: Návrh pracovního postupu dávkové datové analytiky
Modul B: Vývoj moderních datových architektur na AWS
- Moderní datové architektury
Více od Amazon Web Services (AWS)
Advanced Architecting on AWS | Cloud
Advanced Architecting on AWS Jam Day | Cloud
Advanced Architecting on AWS with AWS Jam | Cloud
Advanced AWS Well-Architected Best Practices | Cloud
Advanced Generative AI Development on AWS | Cloud
Agentic AI Foundations | Cloud