Ewaluacja jakości i kosztów rozwiązań AI: dane do decyzji technicznych

Przedmiot uczy, jak ocenić rozwiązanie AI z perspektywy architekta lub team leada: czy działa wystarczająco dobrze dla danego zastosowania, ile kosztuje przy realistycznym obciążeniu i co się zmienia, gdy wybierzemy inny wariant architektoniczny. Analogia jest prosta: solution architect projektujący system na AWS musi rozumieć cennik i jego wpływ na architekturę - nie dlatego, że pisze biznesplany, ale dlatego, że nieświadomy wybór usługi może zepsuć rozwiązanie technicznie albo wygenerować nieakceptowalne koszty operacyjne. Punktem wyjścia przedmiotu są systemy agentowe jako dominujący wzorzec wdrożeń: ewaluacja skuteczności wykonania zadań (task completion), poprawności wywołań narzędzi i jakości trajektorii, uzupełniona metrykami komponentowymi dla retrievalu i generacji (frameworki RAGAS, TruLens, DeepEval, technika G-Eval oraz ograniczenia podejścia LLM-as-judge). Zajęcia obejmują budowę zestawów testowych (zadania end-to-end i dane komponentowe), modelowanie kosztów dla różnych wzorców użycia (SaaS API, dedykowane wdrożenie chmurowe, modele lokalne) z uwzględnieniem ekonomii modeli rozumujących i obciążeń agentowych, kalkulację kosztu na jednostkę rezultatu biznesowego oraz techniczną analizę kompromisów: jakość odpowiedzi, latencja, koszt, skalowalność, zależność od dostawcy. Kryteria akceptacji obejmują także audytowalność, odtwarzalność decyzji i pochodzenie danych, wymagania szczególnie istotne w branżach regulowanych. Szczególne miejsce zajmuje temat modeli lokalnych: kiedy faktycznie mają sens, a kiedy czas wdrożenia, koszty infrastruktury i utrzymania sprawiają, że obiecana oszczędność lub niezależność jest iluzoryczna. Przedmiot nie zastępuje LLMOps - skupia się na decyzjach przed wdrożeniem produkcyjnym i na ciągłej ocenie jakości w trakcie projektu.

Wymagania wstępne: Fundamenty LLM dla architektów IT (przedmiot 01) Rozumienie ograniczeń modeli, wzorców użycia API, kosztów inference Architektura aplikacji GenAI (przedmiot 02) Znajomość komponentów systemów agentowych (tool use, orkiestracja) i RAG, na których prowadzona jest ewaluacja

Wykład: Projekt: analiza techniczna wdrożenia AI obejmująca ocenę jakości (metryki, wyniki testów), porównanie kosztów wariantów architektonicznych i uzasadnioną decyzję projektową.

Warsztaty: Ocena działającego środowiska ewaluacyjnego: co najmniej dwie metryki jakości skonfigurowane dla dostarczonego systemu AI, kalkulacja kosztów dla zadanego obciążenia, interpretacja wyników.