Przedmiot 07 ASAI-OPS07

LLMOps, ewaluacja jakości, monitoring i utrzymanie systemów AI

LLMOps, Quality Evaluation, Monitoring and AI System Maintenance

Semestr1 i 2
ECTS4
Wykład8 h
Warsztaty12 h
Zaliczeniez oceną
01Opis

O przedmiocie

Przedmiot przygotowuje uczestników do projektowania architektury LLMOps — czyli tego, co otacza model językowy w środowisku produkcyjnym. Zajęcia pokazują, gdzie w pipeline systemowym siedzi LLM, co musi go otaczać (warstwy pośredniczące, proxy, sanitizacja, kontrola dostępu, logi, monitoring) i jak wygląda wdrożenie modelu na produkcję. Omawiana jest fundamentalna różnica między MLOps a LLMOps, infrastruktura dla modeli lokalnych (model servers, autoskalowanie, wymagania sprzętowe), oraz zarządzanie zmianą modelu w działającym systemie. Przedmiot jest prowadzony przez projektowanie i analizę architektur — uczestnicy rysują diagramy i podejmują decyzje projektowe, nie konfigurują narzędzi.

Wymagania wstępne: Architektura aplikacji GenAI (przedmiot 02) Rozumienie komponentów systemu AI który będzie wdrażany i utrzymywany Ewaluacja jakości i kosztów (przedmiot 05) Znajomość metryk jakości systemów AI

02Wykłady

Wykłady i materiały

Wykłady i materiały są dostępne po zalogowaniu — tylko dla słuchaczy i prowadzących.

Zaloguj się
03Program zajęć

Plan zajęć

1
Zjazd 1: Wprowadzenie do LLMOps
2
Zjazd 2: Wybór modeli i dostępu do nich / Prompt management
3
Zjazd 3: Monitorowanie i obserwowalność
4
Zjazd 4: Ewaluacja promptów cz. 1
5
Zjazd 5: Ewaluacja promptów cz. 2
6
Zjazd 6: Kontrola i optymalizacja kosztów
7
Zjazd 7: Bezpieczeństwo LLM
8
Zjazd 8: Nadzór i zarządzanie
9
Zjazd 9: Wdrażanie i CI/CD cz.1
10
Zjazd 10: Wdrażanie i CI/CD cz.2
04Zaliczenie

Kryteria zaliczenia

Wykład: Semestr 1:
* Warunek podejścia do testu: frekwencja 80%
* Test

Warsztaty: Ocena aktywności projektowych: trafność decyzji architektonicznych, kompletność diagramów i uzasadnienie wyborów.

← Wszystkie przedmioty