Apache Kafka Administration by Confluent (ADMINKAFKAG)
Přehled
Získejte praktické znalosti Apache Kafka a platformy Confluent Platform. Naučte se nasazovat, zabezpečovat a optimalizovat clustery pomocí osvědčených průmyslových standardů a budujte bezproblémové datové pipeline s Kafka Connect prostřednictvím praktických cvičení založených na reálných scénářích.
Cílová skupina
Tento kurz je určen pro správce systémů a provozní pracovníky zodpovědné za budování, správu, monitorování a ladění clusterů Kafka a komponent platformy Confluent Platform. Vítáni jsou také architekti a pracovníci DevOps, kteří chtějí získat přehled o fungování centrálních služeb (Kafka, KRaft, Schema Connect, Registry atd.).
Předpoklady
Účastníci by měli mít praktické znalosti architektury Kafka. Důležitá je také dobrá znalost prostředí Linux/Unix a pochopení základních konceptů síťování TCP/IP. Znalost prostředí Java Virtual Machine (JVM) je výhodou. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.
Cíle
Cíle kurzu
V průběhu tohoto praktického kurzu se naučíte:
- Jak fungují Kafka a platforma Confluent a jak jejich hlavní subsystémy vzájemně spolupracují
- Jak nastavit, spravovat, monitorovat a ladit váš cluster
- Jak využívat osvědčené postupy vyvinuté předními světovými odborníky na Apache Kafka
Praktický výcvik
V průběhu celého kurzu praktická cvičení prohlubují probíraná témata. Cvičení zahrnují:
- Používání nástrojů příkazového řádku Kafka
- Prozkoumávání konfigurace
- Používání administrativních nástrojů Kafka
- Ladění výkonu producenta (Producer) a konzumenta (Consumer)
- Zabezpečení clusteru
- Budování datových pipeline s Kafka Connect
Osnova kurzu
Přechod od základů
- Opakování základů
- Opakování replikace
Replikace dat: hlubší pohled
- Které zprávy lze konzumovat?
- Správa umístění replik
- Sledování vedení partition
- Odezva následovníků partition (Partition Follower)
Spolehlivá produkce zpráv
- Potvrzení produkce zpráv
- Řešení duplicit v rámci stejné relace u producentů
- Transakční produkce zpráv
Zajištění trvanlivosti jinými způsoby
- Jak Kafka organizuje datové soubory partition v lokálním úložišti
- Nad rámec lokálního úložiště (vrstvené úložiště – Tiered Storage)
- Perzistence offsetů konzumentů
Konfigurace clusteru Kafka
- Statická konfigurace serveru Kafka
- Dynamická konfigurace serveru
- Dynamické přepisy konfigurace topiku
Správa clusteru Kafka
- Poznámky k instalaci a aktualizaci
- Role serverů Kafka: řadiče (Controllers) a brokery (Brokers) (KRaft)
- Základy monitorování Kafka
- Zásady uchovávání zpráv
- Správa zátěže replik (Self-Balancing Cluster)
- Elastický cluster: přidávání a odebírání brokerů
Vyvažování zátěže pomocí skupin konzumentů
- Jak se škálují partition a konzumenti
- Jak Kafka spravuje skupiny konzumentů
Úvod do optimalizace výkonu
- Odesílání více zpráv v jednom požadavku (dávkování – Batching)
- Anatomie brokeru pro požadavky Produce a Fetch
- Metriky a konfigurace související s anatomií brokeru
- Kvóty klientů
- Výkonnostní testy
Zabezpečení clusteru Kafka
- Bezpečnostní koncepty aplikovatelné na Kafka
- Možnosti zabezpečení nasazení Kafka/Confluent
- Autorizace (seznamy řízení přístupu – ACL)
Kafka Connect
- Koncepty související s Kafka Connect
- Konfigurace pracovníků Connect (Connect Workers) a konektorů
- Vyhledávání a nasazování konektorů
Nasazení Kafka v produkčním prostředí
- Referenční architektura pro Apache Kafka a platformu Confluent Platform
- Plánování kapacity
Více od IBM
Administration of IBM DataPower Gateway 10 | Podnikové systémy
Advanced Administering Environments with IBM Instana Observability | Podnikové systémy
Advanced Assembler Language Coding Workshop | Podnikové systémy
Advanced HCP Terraform | Podnikové systémy
Advanced Parallel Sysplex Operations and Recovery Workshop | Podnikové systémy
Advanced System Operator Workshop for IBM i | Podnikové systémy