Generative AI in Production (GC-GAIP)

Cloud
Strojově přeloženo

Tradiční MLOps je soubor postupů pro nasazení tradičních systémů strojového učení do produkčního prostředí pro podnikové aplikace. Generativní AI přináší nové výzvy v oblasti správy a produkčního nasazení aplikací ve velkém měřítku. Oblast operací generativní AI se snaží tyto nové výzvy řešit. V tomto kurzu se seznámíte s výzvami, které vznikají při nasazování a produkčním provozování aplikací využívajících generativní AI. Naučíte se, jak zabezpečit aplikace využívající generativní AI. Závěrem se budete věnovat osvědčeným postupům pro protokolování a monitorování aplikací využívajících generativní AI v produkčním prostředí.


Co se naučíte

  • Porozumět výzvám při produkčním nasazení aplikací využívajících generativní AI
  • Spravovat experimentování a vyhodnocování pro aplikace využívající LLM
  • Nasadit aplikace využívající LLM do produkčního prostředí
  • Zabezpečit aplikace generativní AI
  • Implementovat protokolování a monitorování pro aplikace využívající LLM


Cílová skupina

  • Vývojáři, inženýři DevOps a inženýři strojového učení, kteří chtějí operacionalizovat aplikace založené na GenAI


Předpoklady

  • Absolvování kurzu „Application Development with LLMs on Google Cloud" nebo rovnocenné znalosti.


Produkty

  • Vertex AI


Moduly

Modul 01: Úvod do generativní AI v produkčním prostředí

Témata

  • Operace generativní AI
  • Tradiční MLOps vs. GenAIOps
  • Komponenty systému LLM
  • Architektura RAG/ReAct

Cíle

  • Porozumět operacím generativní AI
  • Porovnat tradiční MLOps a GenAIOps
  • Analyzovat komponenty systému LLM
  • Definovat a porovnat RAG a ReAct


Modul 02: Nasazení aplikací generativní AI

Témata

  • Možnosti nasazení aplikací
  • Nasazení, balíčkování a verzování

Cíle

  • Vyhodnotit možnosti nasazení aplikací
  • Nasadit, zabalit a verzovat aplikace

Aktivity

  • Lab: Nasazení agentní aplikace na Cloud Run


Modul 03: Produkční nasazení generativní AI

Témata

  • Údržba a aktualizace
  • Testování a vyhodnocování
  • CI/CD pipeline pro aplikace využívající generativní AI

Cíle

  • Udržovat a aktualizovat modely LLM
  • Testovat a vyhodnocovat aplikace využívající generativní AI
  • Nasadit CI/CD pipeline pro aplikace využívající generativní AI

Aktivity

  • Lab: Sledování verzí aplikací generativní AI


Modul 04: Zabezpečení aplikací generativní AI

Témata

  • Bezpečnostní výzvy
  • Zabezpečení promptů
  • Ochrana citlivých dat a DLP API
  • Model Armor

Cíle

  • Identifikovat bezpečnostní výzvy pro aplikace generativní AI
  • Porozumět problémům zabezpečení promptů
  • Aplikovat ochranu citlivých dat a DLP API
  • Implementovat Model Armor

Aktivity

  • Lab: Zabezpečení aplikací využívajících generativní AI