Build machine learning solutions using Azure Databricks (DP-3014)

Business Intelligence
Strojově přeloženo

Azure Databricks je plně spravovaná cloudová platforma pro analýzu dat, která umožňuje vývojářům urychlovat vývoj umělé inteligence a inovace zjednodušením procesu tvorby podnikových datových aplikací. Azure Databricks, vyvinutý ve spolupráci společnosti Microsoft a týmu, který stál u zrodu Apache Spark, poskytuje týmům datových vědců, inženýrů a analytiků jednotnou platformu pro zpracování velkých dat a strojové učení. V tomto kurzu se naučíte, jak používat Azure Databricks k trénování a nasazování modelů strojového učení.


Profil cílové skupiny

Tento kurz je určen začínajícím datovým vědcům a inženýrům v oblasti umělé inteligence, kteří potřebují trénovat a spravovat modely strojového učení pomocí Azure Databricks.


Předpoklady

Toto vzdělávání předpokládá, že máte zkušenosti s používáním jazyka Python pro průzkum dat a trénování modelů strojového učení s využitím běžných open source frameworků, jako jsou Scikit-Learn, PyTorch a TensorFlow. Před zahájením tohoto kurzu zvažte absolvování kurzu Vytváření modelů strojového učení.


Osnova kurzu

Seznámení s Azure Databricks

Azure Databricks je cloudová služba, která poskytuje škálovatelnou platformu pro analýzu dat pomocí Apache Spark.

  • Úvod
  • Začínáme s Azure Databricks
  • Identifikace úloh Azure Databricks
  • Pochopení klíčových konceptů
  • Správa dat pomocí Unity Catalog a Microsoft Purview
  • Cvičení – Seznámení s Azure Databricks
  • Hodnocení modulu
  • Shrnutí


Použití Apache Spark v Azure Databricks

Azure Databricks je postaven na Apache Spark a umožňuje datovým inženýrům a analytikům spouštět úlohy Spark pro transformaci, analýzu a vizualizaci dat ve velkém měřítku.

  • Úvod
  • Seznámení se Sparkem
  • Vytvoření clusteru Spark
  • Použití Sparku v poznámkových blocích
  • Použití Sparku pro práci s datovými soubory
  • Vizualizace dat
  • Cvičení – Použití Sparku v Azure Databricks
  • Hodnocení modulu
  • Shrnutí


Trénování modelu strojového učení v Azure Databricks

Strojové učení zahrnuje využití dat k trénování prediktivního modelu. Azure Databricks podporuje několik běžně používaných frameworků strojového učení, které lze využít k trénování modelů.

  • Úvod
  • Pochopení principů strojového učení
  • Strojové učení v Azure Databricks
  • Příprava dat pro strojové učení
  • Trénování modelu strojového učení
  • Vyhodnocení modelu strojového učení
  • Cvičení – Trénování modelu strojového učení v Azure Databricks
  • Hodnocení modulu
  • Shrnutí


Použití MLflow v Azure Databricks

MLflow je open source platforma pro správu životního cyklu strojového učení, která je nativně podporována v Azure Databricks.

  • Úvod
  • Možnosti MLflow
  • Spouštění experimentů s MLflow
  • Registrace a nasazování modelů pomocí MLflow
  • Cvičení – Použití MLflow v Azure Databricks
  • Hodnocení modulu
  • Shrnutí


Ladění hyperparametrů v Azure Databricks

Ladění hyperparametrů je nezbytnou součástí strojového učení. V Azure Databricks lze k automatické optimalizaci hyperparametrů použít knihovnu Optuna.

  • Úvod
  • Optimalizace hyperparametrů pomocí Optuna
  • Přehled pokusů
  • Škálování optimalizace hyperparametrů
  • Cvičení – Optimalizace hyperparametrů pro strojové učení v Azure Databricks
  • Hodnocení modulu
  • Shrnutí


Použití AutoML v Azure Databricks

AutoML v Azure Databricks zjednodušuje proces tvorby efektivního modelu strojového učení pro vaše data.

  • Úvod
  • Co je AutoML?
  • Použití AutoML v uživatelském rozhraní Azure Databricks
  • Použití kódu ke spuštění experimentu AutoML
  • Cvičení – Použití AutoML v Azure Databricks
  • Hodnocení modulu
  • Shrnutí


Trénování modelů hlubokého učení v Azure Databricks

Hluboké učení využívá neuronové sítě k trénování vysoce efektivních modelů strojového učení pro komplexní předpovídání, počítačové vidění, zpracování přirozeného jazyka a další úlohy umělé inteligence.

  • Úvod
  • Pochopení konceptů hlubokého učení
  • Trénování modelů pomocí PyTorch
  • Distribuované trénování PyTorch pomocí TorchDistributor
  • Cvičení – Trénování modelů hlubokého učení v Azure Databricks
  • Hodnocení modulu
  • Shrnutí


Správa strojového učení v produkčním prostředí pomocí Azure Databricks

Strojové učení umožňuje rozhodování na základě dat a automatizaci, avšak nasazení modelů do produkčního prostředí pro získávání přehledů v reálném čase představuje náročný úkol. Azure Databricks tento proces zjednodušuje tím, že poskytuje jednotnou platformu pro tvorbu, trénování a nasazování modelů strojového učení ve velkém měřítku a podporuje spolupráci mezi datovými vědci a inženýry.

  • Úvod
  • Automatizace datových transformací
  • Průzkum vývoje modelů
  • Průzkum strategií nasazení modelů
  • Průzkum správy verzí modelů a jejich životního cyklu
  • Cvičení – Správa modelu strojového učení
  • Hodnocení modulu
  • Shrnutí