LLMOps, ewaluacja jakości, monitoring i utrzymanie systemów AI
LLMOps, Quality Evaluation, Monitoring and AI System Maintenance
O przedmiocie
Przedmiot przygotowuje uczestników do projektowania architektury LLMOps — czyli tego, co otacza model językowy w środowisku produkcyjnym. Zajęcia pokazują, gdzie w pipeline systemowym siedzi LLM, co musi go otaczać (warstwy pośredniczące, proxy, sanitizacja, kontrola dostępu, logi, monitoring) i jak wygląda wdrożenie modelu na produkcję. Omawiana jest fundamentalna różnica między MLOps a LLMOps, infrastruktura dla modeli lokalnych (model servers, autoskalowanie, wymagania sprzętowe), oraz zarządzanie zmianą modelu w działającym systemie. Przedmiot jest prowadzony przez projektowanie i analizę architektur — uczestnicy rysują diagramy i podejmują decyzje projektowe, nie konfigurują narzędzi.
Wymagania wstępne: Architektura aplikacji GenAI (przedmiot 02) Rozumienie komponentów systemu AI który będzie wdrażany i utrzymywany Ewaluacja jakości i kosztów (przedmiot 05) Znajomość metryk jakości systemów AI
Wykłady i materiały
Wykłady i materiały są dostępne po zalogowaniu — tylko dla słuchaczy i prowadzących.
Zaloguj sięPlan zajęć
Kryteria zaliczenia
Wykład: Semestr 1:
* Warunek podejścia do testu: frekwencja 80%
* Test
Warsztaty: Ocena aktywności projektowych: trafność decyzji architektonicznych, kompletność diagramów i uzasadnienie wyborów.