LLMOps, ewaluacja jakości, monitoring i utrzymanie systemów AI

Przedmiot przygotowuje uczestników do projektowania architektury LLMOps — czyli tego, co otacza model językowy w środowisku produkcyjnym. Zajęcia pokazują, gdzie w pipeline systemowym siedzi LLM, co musi go otaczać (warstwy pośredniczące, proxy, sanitizacja, kontrola dostępu, logi, monitoring) i jak wygląda wdrożenie modelu na produkcję. Omawiana jest fundamentalna różnica między MLOps a LLMOps, infrastruktura dla modeli lokalnych (model servers, autoskalowanie, wymagania sprzętowe), oraz zarządzanie zmianą modelu w działającym systemie. Przedmiot jest prowadzony przez projektowanie i analizę architektur — uczestnicy rysują diagramy i podejmują decyzje projektowe, nie konfigurują narzędzi.

Wymagania wstępne: Architektura aplikacji GenAI (przedmiot 02) Rozumienie komponentów systemu AI który będzie wdrażany i utrzymywany Ewaluacja jakości i kosztów (przedmiot 05) Znajomość metryk jakości systemów AI

Wykład: Zaliczenie na podstawie projektu: architektura LLMOps dla wybranego systemu AI — komponenty, warstwy pośredniczące, monitoring, zarządzanie zmianą modelu.

Warsztaty: Ocena aktywności projektowych: trafność decyzji architektonicznych, kompletność diagramów i uzasadnienie wyborów.