Data Engineering on AWS (ANDEAR)

Cloud
Strojově přeloženo

Data Engineering on AWS je 3denní kurz pro středně pokročilé, určený odborníkům, kteří chtějí získat hluboké znalosti v oblasti datového inženýrství a příslušných řešení na platformě AWS. Prostřednictvím vyváženého spojení teorie, praktických cvičení a aktivit se účastníci naučí navrhovat, budovat, optimalizovat a zabezpečovat řešení datového inženýrství s využitím služeb AWS. Od základních konceptů až po praktickou implementaci datových jezer, datových skladů a dávkových i streamovacích datových pipeline tento kurz vybavuje datové odborníky dovednostmi potřebnými k navrhování a správě moderních datových řešení ve velkém měřítku.

  • Úroveň kurzu: Středně pokročilá
  • Délka trvání: 3 dny


Aktivity

Tento kurz zahrnuje prezentace, demonstrace, praktická cvičení a skupinové úkoly.


Cíle

V tomto kurzu se naučíte:

  • Porozumět základním rolím a klíčovým konceptům datového inženýrství, včetně datových person, datové discovery a příslušných služeb AWS.
  • Identifikovat a vysvětlit různé nástroje a služby AWS zásadní pro datové inženýrství, zahrnující orchestraci, zabezpečení, monitoring, CI/CD, IaC, síťování a optimalizaci nákladů.
  • Navrhovat a implementovat řešení datového jezera na platformě AWS, včetně úložiště, ingestion dat, transformace a zpřístupnění dat ke spotřebě.
  • Optimalizovat a zabezpečovat řešení datového jezera implementací otevřených formátů tabulek, bezpečnostních opatření a odstraňováním běžných problémů.
  • Navrhovat a nastavovat datový sklad pomocí Amazon Redshift Serverless, porozumět jeho architektuře, ingestion dat, zpracování a možnostem zpřístupnění dat.
  • Aplikovat techniky optimalizace výkonu na datové sklady v Amazon Redshift, včetně monitoringu, optimalizace dat, optimalizace dotazů a orchestrace.
  • Spravovat zabezpečení a řízení přístupu pro datové sklady v Amazon Redshift, porozumět autentizaci, zabezpečení dat, auditování a souladu s předpisy.
  • Navrhovat efektivní dávkové datové pipeline s využitím vhodných služeb AWS pro zpracování a transformaci dat.
  • Implementovat komplexní strategie pro dávkové datové pipeline zahrnující zpracování dat, transformaci, integraci, katalogizaci a zpřístupnění dat ke spotřebě.
  • Optimalizovat, orchestrovat a zabezpečovat dávkové datové pipeline a prokazovat pokročilé dovednosti v oblasti automatizace zpracování dat a zabezpečení.
  • Navrhovat architekturu streamovacích datových pipeline, porozumět různým případům použití, ingestion, úložišti, zpracování a analýze s využitím služeb AWS.
  • Optimalizovat a zabezpečovat streamovací datová řešení, včetně aspektů souladu s předpisy a řízení přístupu.


Cílová skupina

Tento kurz je určen odborníkům, kteří mají zájem o navrhování, budování, optimalizaci a zabezpečování řešení datového inženýrství s využitím služeb AWS.


Předpoklady

Doporučujeme, aby účastníci tohoto kurzu měli:

  • Znalost základních konceptů strojového učení, jako je učení s učitelem a bez učitele, regrese, klasifikace a shlukovací algoritmy.
  • Pracovní znalost programovacího jazyka Python a běžných knihoven pro datovou vědu, jako jsou NumPy, Pandas a Scikit-learn.
  • Základní znalost konceptů cloud computingu a orientaci v platformě AWS.
  • Znalost jazyka SQL a relačních databází je doporučena, nikoli však povinná.
  • Zkušenosti se systémy pro správu verzí, jako je Git, jsou výhodou, nikoli však podmínkou.


Osnova kurzu

Den 1

Modul 1: Role a klíčové koncepty datového inženýrství

  • Role datového inženýra
  • Klíčové funkce datového inženýra
  • Datové persony
  • Datová discovery
  • Datové služby AWS

Modul 2: Nástroje a služby AWS pro datové inženýrství

  • Orchestrace a automatizace
  • Zabezpečení datového inženýrství
  • Monitoring
  • Kontinuální integrace a kontinuální doručování
  • Infrastruktura jako kód
  • AWS Serverless Application Model
  • Aspekty síťování
  • Nástroje pro optimalizaci nákladů

Modul 3: Navrhování a implementace datových jezer

  • Úvod do datových jezer
  • Úložiště datového jezera
  • Ingestion dat do datového jezera
  • Katalogizace dat
  • Transformace dat
  • Zpřístupnění dat ke spotřebě
  • Praktické cvičení: Nastavení datového jezera na platformě AWS

Modul 4: Optimalizace a zabezpečení řešení datového jezera

  • Otevřené formáty tabulek
  • Zabezpečení pomocí AWS Lake Formation
  • Nastavení oprávnění pomocí Lake Formation
  • Zabezpečení a správa dat
  • Odstraňování problémů
  • Praktické cvičení: Automatizace vytváření datového jezera pomocí AWS Lake Formation Blueprints


Den 2

Modul 5: Architektura datového skladu a principy návrhu

  • Úvod do datových skladů
  • Přehled Amazon Redshift
  • Ingestion dat do Redshift
  • Zpracování dat
  • Zpřístupnění dat ke spotřebě
  • Praktické cvičení: Nastavení datového skladu pomocí Amazon Redshift Serverless

Modul 6: Techniky optimalizace výkonu datových skladů

  • Možnosti monitoringu a optimalizace
  • Optimalizace dat v Amazon Redshift
  • Optimalizace dotazů v Amazon Redshift
  • Možnosti orchestrace

Modul 7: Zabezpečení a řízení přístupu pro datové sklady

  • Autentizace a řízení přístupu v Amazon Redshift
  • Zabezpečení dat v Amazon Redshift
  • Auditování a soulad s předpisy v Amazon Redshift
  • Praktické cvičení: Správa řízení přístupu v Redshift

Modul 8: Navrhování dávkových datových pipeline

  • Úvod do dávkových datových pipeline
  • Navrhování dávkové datové pipeline
  • Služby AWS pro dávkové zpracování dat

Modul 9: Implementace strategií pro dávkové datové pipeline

  • Prvky dávkové datové pipeline
  • Zpracování a transformace dat
  • Integrace a katalogizace dat
  • Zpřístupnění dat ke spotřebě
  • Praktické cvičení: Den v životě datového inženýra


Den 3

Modul 10: Optimalizace, orchestrace a zabezpečení dávkových datových pipeline

  • Optimalizace dávkové datové pipeline
  • Orchestrace dávkové datové pipeline
  • Zabezpečení dávkové datové pipeline
  • Praktické cvičení: Orchestrace zpracování dat ve Sparku pomocí AWS Step Functions

Modul 11: Architektonické vzory streamovacích dat

  • Úvod do streamovacích datových pipeline
  • Ingestion dat ze streamovacích zdrojů
  • Služby pro ingestion streamovacích dat
  • Ukládání streamovacích dat
  • Zpracování streamovacích dat
  • Analýza streamovacích dat pomocí služeb AWS
  • Praktické cvičení: Streamovací analytika s Amazon Managed Service for Apache Flink

Modul 12: Optimalizace a zabezpečení streamovacích řešení

  • Optimalizace streamovacího datového řešení
  • Zabezpečení streamovací datové pipeline
  • Aspekty souladu s předpisy
  • Praktické cvičení: Řízení přístupu s Amazon Managed Streaming for Apache Kafka