Data Engineering on AWS (ANDEAR)
Data Engineering on AWS je 3denní kurz pro středně pokročilé, určený odborníkům, kteří chtějí získat hluboké znalosti v oblasti datového inženýrství a příslušných řešení na platformě AWS. Prostřednictvím vyváženého spojení teorie, praktických cvičení a aktivit se účastníci naučí navrhovat, budovat, optimalizovat a zabezpečovat řešení datového inženýrství s využitím služeb AWS. Od základních konceptů až po praktickou implementaci datových jezer, datových skladů a dávkových i streamovacích datových pipeline tento kurz vybavuje datové odborníky dovednostmi potřebnými k navrhování a správě moderních datových řešení ve velkém měřítku.
- Úroveň kurzu: Středně pokročilá
- Délka trvání: 3 dny
Aktivity
Tento kurz zahrnuje prezentace, demonstrace, praktická cvičení a skupinové úkoly.
Cíle
V tomto kurzu se naučíte:
- Porozumět základním rolím a klíčovým konceptům datového inženýrství, včetně datových person, datové discovery a příslušných služeb AWS.
- Identifikovat a vysvětlit různé nástroje a služby AWS zásadní pro datové inženýrství, zahrnující orchestraci, zabezpečení, monitoring, CI/CD, IaC, síťování a optimalizaci nákladů.
- Navrhovat a implementovat řešení datového jezera na platformě AWS, včetně úložiště, ingestion dat, transformace a zpřístupnění dat ke spotřebě.
- Optimalizovat a zabezpečovat řešení datového jezera implementací otevřených formátů tabulek, bezpečnostních opatření a odstraňováním běžných problémů.
- Navrhovat a nastavovat datový sklad pomocí Amazon Redshift Serverless, porozumět jeho architektuře, ingestion dat, zpracování a možnostem zpřístupnění dat.
- Aplikovat techniky optimalizace výkonu na datové sklady v Amazon Redshift, včetně monitoringu, optimalizace dat, optimalizace dotazů a orchestrace.
- Spravovat zabezpečení a řízení přístupu pro datové sklady v Amazon Redshift, porozumět autentizaci, zabezpečení dat, auditování a souladu s předpisy.
- Navrhovat efektivní dávkové datové pipeline s využitím vhodných služeb AWS pro zpracování a transformaci dat.
- Implementovat komplexní strategie pro dávkové datové pipeline zahrnující zpracování dat, transformaci, integraci, katalogizaci a zpřístupnění dat ke spotřebě.
- Optimalizovat, orchestrovat a zabezpečovat dávkové datové pipeline a prokazovat pokročilé dovednosti v oblasti automatizace zpracování dat a zabezpečení.
- Navrhovat architekturu streamovacích datových pipeline, porozumět různým případům použití, ingestion, úložišti, zpracování a analýze s využitím služeb AWS.
- Optimalizovat a zabezpečovat streamovací datová řešení, včetně aspektů souladu s předpisy a řízení přístupu.
Cílová skupina
Tento kurz je určen odborníkům, kteří mají zájem o navrhování, budování, optimalizaci a zabezpečování řešení datového inženýrství s využitím služeb AWS.
Předpoklady
Doporučujeme, aby účastníci tohoto kurzu měli:
- Znalost základních konceptů strojového učení, jako je učení s učitelem a bez učitele, regrese, klasifikace a shlukovací algoritmy.
- Pracovní znalost programovacího jazyka Python a běžných knihoven pro datovou vědu, jako jsou NumPy, Pandas a Scikit-learn.
- Základní znalost konceptů cloud computingu a orientaci v platformě AWS.
- Znalost jazyka SQL a relačních databází je doporučena, nikoli však povinná.
- Zkušenosti se systémy pro správu verzí, jako je Git, jsou výhodou, nikoli však podmínkou.
Osnova kurzu
Den 1
Modul 1: Role a klíčové koncepty datového inženýrství
- Role datového inženýra
- Klíčové funkce datového inženýra
- Datové persony
- Datová discovery
- Datové služby AWS
Modul 2: Nástroje a služby AWS pro datové inženýrství
- Orchestrace a automatizace
- Zabezpečení datového inženýrství
- Monitoring
- Kontinuální integrace a kontinuální doručování
- Infrastruktura jako kód
- AWS Serverless Application Model
- Aspekty síťování
- Nástroje pro optimalizaci nákladů
Modul 3: Navrhování a implementace datových jezer
- Úvod do datových jezer
- Úložiště datového jezera
- Ingestion dat do datového jezera
- Katalogizace dat
- Transformace dat
- Zpřístupnění dat ke spotřebě
- Praktické cvičení: Nastavení datového jezera na platformě AWS
Modul 4: Optimalizace a zabezpečení řešení datového jezera
- Otevřené formáty tabulek
- Zabezpečení pomocí AWS Lake Formation
- Nastavení oprávnění pomocí Lake Formation
- Zabezpečení a správa dat
- Odstraňování problémů
- Praktické cvičení: Automatizace vytváření datového jezera pomocí AWS Lake Formation Blueprints
Den 2
Modul 5: Architektura datového skladu a principy návrhu
- Úvod do datových skladů
- Přehled Amazon Redshift
- Ingestion dat do Redshift
- Zpracování dat
- Zpřístupnění dat ke spotřebě
- Praktické cvičení: Nastavení datového skladu pomocí Amazon Redshift Serverless
Modul 6: Techniky optimalizace výkonu datových skladů
- Možnosti monitoringu a optimalizace
- Optimalizace dat v Amazon Redshift
- Optimalizace dotazů v Amazon Redshift
- Možnosti orchestrace
Modul 7: Zabezpečení a řízení přístupu pro datové sklady
- Autentizace a řízení přístupu v Amazon Redshift
- Zabezpečení dat v Amazon Redshift
- Auditování a soulad s předpisy v Amazon Redshift
- Praktické cvičení: Správa řízení přístupu v Redshift
Modul 8: Navrhování dávkových datových pipeline
- Úvod do dávkových datových pipeline
- Navrhování dávkové datové pipeline
- Služby AWS pro dávkové zpracování dat
Modul 9: Implementace strategií pro dávkové datové pipeline
- Prvky dávkové datové pipeline
- Zpracování a transformace dat
- Integrace a katalogizace dat
- Zpřístupnění dat ke spotřebě
- Praktické cvičení: Den v životě datového inženýra
Den 3
Modul 10: Optimalizace, orchestrace a zabezpečení dávkových datových pipeline
- Optimalizace dávkové datové pipeline
- Orchestrace dávkové datové pipeline
- Zabezpečení dávkové datové pipeline
- Praktické cvičení: Orchestrace zpracování dat ve Sparku pomocí AWS Step Functions
Modul 11: Architektonické vzory streamovacích dat
- Úvod do streamovacích datových pipeline
- Ingestion dat ze streamovacích zdrojů
- Služby pro ingestion streamovacích dat
- Ukládání streamovacích dat
- Zpracování streamovacích dat
- Analýza streamovacích dat pomocí služeb AWS
- Praktické cvičení: Streamovací analytika s Amazon Managed Service for Apache Flink
Modul 12: Optimalizace a zabezpečení streamovacích řešení
- Optimalizace streamovacího datového řešení
- Zabezpečení streamovací datové pipeline
- Aspekty souladu s předpisy
- Praktické cvičení: Řízení přístupu s Amazon Managed Streaming for Apache Kafka
Více od Amazon Web Services (AWS)
Advanced Architecting on AWS | Cloud
Advanced Architecting on AWS Jam Day | Cloud
Advanced Architecting on AWS with AWS Jam | Cloud
Advanced AWS Well-Architected Best Practices | Cloud
Advanced Generative AI Development on AWS | Cloud
Agentic AI Foundations | Cloud