Apache Kafka Administration by Confluent (ADMINKAFKAG)

Jiné
Strojově přeloženo

Přehled

Získejte praktické znalosti Apache Kafka a platformy Confluent Platform. Naučte se nasazovat, zabezpečovat a optimalizovat clustery pomocí osvědčených průmyslových standardů a budujte bezproblémové datové pipeline s Kafka Connect prostřednictvím praktických cvičení založených na reálných scénářích.

Cílová skupina

Tento kurz je určen pro správce systémů a provozní pracovníky zodpovědné za budování, správu, monitorování a ladění clusterů Kafka a komponent platformy Confluent Platform. Vítáni jsou také architekti a pracovníci DevOps, kteří chtějí získat přehled o fungování centrálních služeb (Kafka, KRaft, Schema Connect, Registry atd.).

Předpoklady

Účastníci by měli mít praktické znalosti architektury Kafka. Důležitá je také dobrá znalost prostředí Linux/Unix a pochopení základních konceptů síťování TCP/IP. Znalost prostředí Java Virtual Machine (JVM) je výhodou. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky. 

Cíle

Cíle kurzu

V průběhu tohoto praktického kurzu se naučíte:

  • Jak fungují Kafka a platforma Confluent a jak jejich hlavní subsystémy vzájemně spolupracují 
  • Jak nastavit, spravovat, monitorovat a ladit váš cluster 
  • Jak využívat osvědčené postupy vyvinuté předními světovými odborníky na Apache Kafka

Praktický výcvik 

V průběhu celého kurzu praktická cvičení prohlubují probíraná témata. Cvičení zahrnují:

  • Používání nástrojů příkazového řádku Kafka
  • Prozkoumávání konfigurace
  • Používání administrativních nástrojů Kafka
  • Ladění výkonu producenta (Producer) a konzumenta (Consumer)
  • Zabezpečení clusteru 
  • Budování datových pipeline s Kafka Connect

Osnova kurzu

Přechod od základů

  • Opakování základů
  • Opakování replikace

Replikace dat: hlubší pohled

  • Které zprávy lze konzumovat?
  • Správa umístění replik
  • Sledování vedení partition
  • Odezva následovníků partition (Partition Follower)

Spolehlivá produkce zpráv

  • Potvrzení produkce zpráv
  • Řešení duplicit v rámci stejné relace u producentů
  • Transakční produkce zpráv

Zajištění trvanlivosti jinými způsoby

  • Jak Kafka organizuje datové soubory partition v lokálním úložišti
  • Nad rámec lokálního úložiště (vrstvené úložiště – Tiered Storage)
  • Perzistence offsetů konzumentů

Konfigurace clusteru Kafka

  • Statická konfigurace serveru Kafka
  • Dynamická konfigurace serveru
  • Dynamické přepisy konfigurace topiku

Správa clusteru Kafka

  • Poznámky k instalaci a aktualizaci
  • Role serverů Kafka: řadiče (Controllers) a brokery (Brokers) (KRaft)
  • Základy monitorování Kafka
  • Zásady uchovávání zpráv
  • Správa zátěže replik (Self-Balancing Cluster)
  • Elastický cluster: přidávání a odebírání brokerů

Vyvažování zátěže pomocí skupin konzumentů

  • Jak se škálují partition a konzumenti
  • Jak Kafka spravuje skupiny konzumentů

Úvod do optimalizace výkonu

  • Odesílání více zpráv v jednom požadavku (dávkování – Batching)
  • Anatomie brokeru pro požadavky Produce a Fetch
  • Metriky a konfigurace související s anatomií brokeru
  • Kvóty klientů
  • Výkonnostní testy

Zabezpečení clusteru Kafka

  • Bezpečnostní koncepty aplikovatelné na Kafka
  • Možnosti zabezpečení nasazení Kafka/Confluent
  • Autorizace (seznamy řízení přístupu – ACL)

Kafka Connect

  • Koncepty související s Kafka Connect
  • Konfigurace pracovníků Connect (Connect Workers) a konektorů
  • Vyhledávání a nasazování konektorů

Nasazení Kafka v produkčním prostředí

  • Referenční architektura pro Apache Kafka a platformu Confluent Platform
  • Plánování kapacity