Confluent Developer Skills for Building Apache Kafka (DEVKAFKAG)

Jiné
Strojově přeloženo

Přehled

Vytvářejte, integrujte a navrhujte architekturu aplikací pro streamování v reálném čase pomocí Apache Kafka a Confluent. Prostřednictvím interaktivních lekcí a praktických cvičení z reálného prostředí získáte komplexní odborné znalosti pokrývající celý streamovací pipeline, včetně vývoje klientských aplikací, zpracování streamů a správy podnikových dat.

Cílová skupina

Vývojáři aplikací a architekti, kteří chtějí psát aplikace komunikující s Apache Kafka. Kurz považuje Javu za primární jazyk, avšak studenti získají přínos i v případě, že Java není jejich hlavním programovacím jazykem. Klienti v jazycích C# a Python budou rovněž využiti v některých variantách laboratorních cvičení.

Předpoklady

Účastníci by měli mít zkušenosti s vývojem profesionálních aplikací v jazyce Java (preferováno), C# nebo Python. Dále je pro tento kurz vyžadována praktická znalost architektury Apache Kafka. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.

Cíle

Cíle kurzu

Lekce a aktivity v tomto kurzu umožňují účastníkům rozvíjet dovednosti potřebné k:

  • Psaní Producerů a Consumerů pro odesílání dat do Kafka a jejich čtení z Kafka
  • Vytváření schémat, popisu evoluce schémat a integraci s Confluent Schema Registry
  • Integraci Kafka s externími systémy pomocí Kafka Connect
  • Psaní streamovacích aplikací s Kafka Streams
  • Rozhodování o návrhu týkajícím se acks, klíčů, oddílů, dávkování, replikace a zásad uchovávání dat

Praktický výcvik

Několik praktických laboratorních cvičení v tomto kurzu sleduje příběh vytváření a rozšiřování aplikace pro sledování polohy řidiče. V průběhu celého kurzu jsou koncepty aplikovány přímo na funkční aplikaci. Cvičení jsou dostupná v jazycích Java, C# a Python. Cvičení zahrnují:

  • Práci s nástroji příkazového řádku Kafka
  • Odesílání dat o poloze řidiče do Kafka a jejich konzumaci v reálném čase
  • Refaktoring aplikace pro použití Avro a Schema Registry
  • Načítání dat o řidiči do aplikace Kafka Streams za účelem jejich obohacení
  • Extrakci tabulky z externí databáze do Kafka pomocí Kafka Connect
  • Experimentování se sémantickým dělením na oddíly

Osnova kurzu

Úvodní koncepty

  • Konfigurace aplikací Kafka pro připojení ke clusteru Kafka
  • Rozlišení mezi lídry a následovníky a práce s replikami
  • Vysvětlení pojmu segment a prozkoumání uchovávání dat
  • Použití CLI pro práci s tématy, producery a consumery

Práce s Producery

  • Popis činnosti producera a základních komponent potřebných k produkci zpráv 
  • Vytváření producerů a specifikace konfiguračních vlastností
  • Vysvětlení konfigurace producerů pro ověření příjmu zpráv systémem Kafka
  • Podrobné prozkoumání fungování dávkování a konfigurace dávkování
  • Prozkoumání reakcí na neúspěšné doručení a ladění producerů pomocí časových limitů
  • Použití API pro Java, C#/.NET nebo Python k vytvoření Producera

Consumeři, skupiny a oddíly

  • Vytváření a správa consumerů a jejich konfiguračních souborů
  • Ilustrace toho, jak skupiny consumerů a oddíly zajišťují škálovatelnost a odolnost proti chybám
  • Prozkoumání správy offsetů consumerů
  • Ladění požadavků na načítání dat
  • Vysvětlení způsobu správy skupin consumerů a jejich výhod
  • Porovnání strategií správy skupin a situací, kdy je vhodné každou z nich použít
  • Použití API pro Java, C#/.NET nebo Python k vytvoření Consumera

Schémata a Confluent Schema Registry

  • Popis schémat Kafka a jejich fungování
  • Psaní schématu kompatibilního s Avro a prozkoumání použití schémat Protobuf a JSON
  • Psaní schémat umožňujících evoluci
  • Zápis a čtení zpráv pomocí klientských aplikací Kafka s podporou schémat
  • Vytvoření Avro Kafka producera nebo consumera v jazyce Python, Java nebo C# s využitím Confluent Schema Registry

Streamování s Kafka Streams a Flink

  • Pochopení přínosu streamovacích aplikací pro praktické využití v zaměstnání
  • Popis Kafka Streams a prozkoumání vlastností streamů a topologií
  • Porovnání streamů a tabulek a vztah událostí ve streamech k záznamům/zprávám v tématech
  • Psaní aplikace Kafka Streams pomocí Streams DSL (Domain-Specific Language)
  • Popis klíčových schopností a API Apache Flink s identifikací jejich cílových případů použití

Kafka Connect

  • Výčet komponent Kafka Connect a popis jejich vzájemných vztahů
  • Nastavení konfigurací pro komponenty Kafka Connect
  • Popis integrace Connect a způsobu toku dat mezi aplikacemi a Kafka
  • Prozkoumání případů použití, kde Kafka Connect zvyšuje efektivitu vývoje
  • Použití Kafka Connect ve spojení s dalšími nástroji pro co nejefektivnější zpracování dat v pohybu
  • Vytvoření konektoru a import dat z databáze do clusteru Kafka

Rozhodnutí a úvahy o návrhu

  • Podrobné prozkoumání vlivu kompakce na offsety consumerů
  • Prozkoumání práce consumerů s offsety ve scénářích mimo standardní chování při zpracování
  • Pochopení způsobu manipulace s offsety při řešení anomálií
  • Vyhodnocení rozhodnutí o počtech consumerů a oddílů a jejich vzájemných vztazích
  • Řešení rozhodnutí vyplývajících z výchozího dělení na oddíly na základě klíčů a zvážení alternativních strategií dělení
  • Konfigurace producerů pro doručování zpráv bez duplicit a se zárukami pořadí
  • Výčet způsobů správy velkých velikostí zpráv 
  • Popis práce se zprávami v transakcích a způsobu, jakým Kafka transakce umožňuje