Confluent Developer Skills for Building Apache Kafka (DEVKAFKAG)
Přehled
Vytvářejte, integrujte a navrhujte architekturu aplikací pro streamování v reálném čase pomocí Apache Kafka a Confluent. Prostřednictvím interaktivních lekcí a praktických cvičení z reálného prostředí získáte komplexní odborné znalosti pokrývající celý streamovací pipeline, včetně vývoje klientských aplikací, zpracování streamů a správy podnikových dat.
Cílová skupina
Vývojáři aplikací a architekti, kteří chtějí psát aplikace komunikující s Apache Kafka. Kurz považuje Javu za primární jazyk, avšak studenti získají přínos i v případě, že Java není jejich hlavním programovacím jazykem. Klienti v jazycích C# a Python budou rovněž využiti v některých variantách laboratorních cvičení.
Předpoklady
Účastníci by měli mít zkušenosti s vývojem profesionálních aplikací v jazyce Java (preferováno), C# nebo Python. Dále je pro tento kurz vyžadována praktická znalost architektury Apache Kafka. Účastníci jsou povinni přinést si vlastní přenosný počítač s neomezeným přístupem k internetu, aby se mohli plně zapojit do výuky.
Cíle
Cíle kurzu
Lekce a aktivity v tomto kurzu umožňují účastníkům rozvíjet dovednosti potřebné k:
- Psaní Producerů a Consumerů pro odesílání dat do Kafka a jejich čtení z Kafka
- Vytváření schémat, popisu evoluce schémat a integraci s Confluent Schema Registry
- Integraci Kafka s externími systémy pomocí Kafka Connect
- Psaní streamovacích aplikací s Kafka Streams
- Rozhodování o návrhu týkajícím se acks, klíčů, oddílů, dávkování, replikace a zásad uchovávání dat
Praktický výcvik
Několik praktických laboratorních cvičení v tomto kurzu sleduje příběh vytváření a rozšiřování aplikace pro sledování polohy řidiče. V průběhu celého kurzu jsou koncepty aplikovány přímo na funkční aplikaci. Cvičení jsou dostupná v jazycích Java, C# a Python. Cvičení zahrnují:
- Práci s nástroji příkazového řádku Kafka
- Odesílání dat o poloze řidiče do Kafka a jejich konzumaci v reálném čase
- Refaktoring aplikace pro použití Avro a Schema Registry
- Načítání dat o řidiči do aplikace Kafka Streams za účelem jejich obohacení
- Extrakci tabulky z externí databáze do Kafka pomocí Kafka Connect
- Experimentování se sémantickým dělením na oddíly
Osnova kurzu
Úvodní koncepty
- Konfigurace aplikací Kafka pro připojení ke clusteru Kafka
- Rozlišení mezi lídry a následovníky a práce s replikami
- Vysvětlení pojmu segment a prozkoumání uchovávání dat
- Použití CLI pro práci s tématy, producery a consumery
Práce s Producery
- Popis činnosti producera a základních komponent potřebných k produkci zpráv
- Vytváření producerů a specifikace konfiguračních vlastností
- Vysvětlení konfigurace producerů pro ověření příjmu zpráv systémem Kafka
- Podrobné prozkoumání fungování dávkování a konfigurace dávkování
- Prozkoumání reakcí na neúspěšné doručení a ladění producerů pomocí časových limitů
- Použití API pro Java, C#/.NET nebo Python k vytvoření Producera
Consumeři, skupiny a oddíly
- Vytváření a správa consumerů a jejich konfiguračních souborů
- Ilustrace toho, jak skupiny consumerů a oddíly zajišťují škálovatelnost a odolnost proti chybám
- Prozkoumání správy offsetů consumerů
- Ladění požadavků na načítání dat
- Vysvětlení způsobu správy skupin consumerů a jejich výhod
- Porovnání strategií správy skupin a situací, kdy je vhodné každou z nich použít
- Použití API pro Java, C#/.NET nebo Python k vytvoření Consumera
Schémata a Confluent Schema Registry
- Popis schémat Kafka a jejich fungování
- Psaní schématu kompatibilního s Avro a prozkoumání použití schémat Protobuf a JSON
- Psaní schémat umožňujících evoluci
- Zápis a čtení zpráv pomocí klientských aplikací Kafka s podporou schémat
- Vytvoření Avro Kafka producera nebo consumera v jazyce Python, Java nebo C# s využitím Confluent Schema Registry
Streamování s Kafka Streams a Flink
- Pochopení přínosu streamovacích aplikací pro praktické využití v zaměstnání
- Popis Kafka Streams a prozkoumání vlastností streamů a topologií
- Porovnání streamů a tabulek a vztah událostí ve streamech k záznamům/zprávám v tématech
- Psaní aplikace Kafka Streams pomocí Streams DSL (Domain-Specific Language)
- Popis klíčových schopností a API Apache Flink s identifikací jejich cílových případů použití
Kafka Connect
- Výčet komponent Kafka Connect a popis jejich vzájemných vztahů
- Nastavení konfigurací pro komponenty Kafka Connect
- Popis integrace Connect a způsobu toku dat mezi aplikacemi a Kafka
- Prozkoumání případů použití, kde Kafka Connect zvyšuje efektivitu vývoje
- Použití Kafka Connect ve spojení s dalšími nástroji pro co nejefektivnější zpracování dat v pohybu
- Vytvoření konektoru a import dat z databáze do clusteru Kafka
Rozhodnutí a úvahy o návrhu
- Podrobné prozkoumání vlivu kompakce na offsety consumerů
- Prozkoumání práce consumerů s offsety ve scénářích mimo standardní chování při zpracování
- Pochopení způsobu manipulace s offsety při řešení anomálií
- Vyhodnocení rozhodnutí o počtech consumerů a oddílů a jejich vzájemných vztazích
- Řešení rozhodnutí vyplývajících z výchozího dělení na oddíly na základě klíčů a zvážení alternativních strategií dělení
- Konfigurace producerů pro doručování zpráv bez duplicit a se zárukami pořadí
- Výčet způsobů správy velkých velikostí zpráv
- Popis práce se zprávami v transakcích a způsobu, jakým Kafka transakce umožňuje
Více od IBM
Administration of IBM DataPower Gateway 10 | Podnikové systémy
Advanced Administering Environments with IBM Instana Observability | Podnikové systémy
Advanced Assembler Language Coding Workshop | Podnikové systémy
Advanced HCP Terraform | Podnikové systémy
Advanced Parallel Sysplex Operations and Recovery Workshop | Podnikové systémy
Advanced System Operator Workshop for IBM i | Podnikové systémy