Przedmiot 05 ASAI-EVAL05

Ewaluacja jakości i kosztów rozwiązań AI: dane do decyzji technicznych

Evaluating AI Solution Quality and Costs: Data for Technical Decisions

Semestr1 i 2
ECTS4
Wykład8 h
Warsztaty12 h
Prowadzi Sewer Orłow
Zaliczeniez oceną
01Opis

O przedmiocie

Ocena jakości, wiarygodności i wartości systemów AI. Organizacje coraz częściej wdrażają AI, zanim ustalą, co chcą w ten sposób poprawić. Ten przedmiot pokazuje, jak przełożyć takie polecenie na rozwiązanie, które przynosi wartość i sprawdza się w praktyce. Uczestnicy analizują cały system AI, a nie tylko model. Określają, co oznaczają sukces i porażka, porównują rozwiązanie z najlepszą opcją bez AI, obliczają koszt błędów i koszt pojedynczego udanego wyniku, a także sprawdzają raporty i deklaracje dostawców. Pracują nad rzeczywistymi zadaniami wdrożeniowymi w swoich organizacjach i przez cały semestr opracowują jedną kartę oceny systemu. Na koniec przygotowują rekomendację dla zespołu decyzyjnego, określając zakres, warunki i poziom autonomii wdrożenia oraz stopień pewności tej oceny. Przedmiot opiera się na aktualnych metodach NIST (TEVV-Athlon, ARIA, AI RMF), ale przede wszystkim uczy zadawania pytań, które będą potrzebne także wtedy, gdy zmienią się frameworki.

Wymagania wstępne: Podstawowa wiedza o tym, czym są systemy AI i modele językowe, oraz świadomość, że ich wyniki opierają się na prawdopodobieństwie. Trzeba być gotowym do pracy na przykładzie własnej organizacji. Programowanie nie jest potrzebne.

02Wykłady

Wykłady i materiały

Wykłady i materiały są dostępne po zalogowaniu — tylko dla słuchaczy i prowadzących.

Zaloguj się
03Program zajęć

Plan zajęć

1
Jak zamienić polecenie wdrożenia na hipotezę wartości? Zamierzone przeznaczenie, pytanie decyzyjne, definicja sukcesu i porażki przed pomiarem. Pierwsza wersja karty i kanwy.
2
Co oznacza „dobra jakość” systemu AI? Modele jakości (ISO/IEC 25059, 25019) jako język pytań. Podstawowe miary i specyfikacja kluczowych metryk.
3
Czy AI rzeczywiście coś poprawiło? Drzewo wartości, stan wyjściowy i najlepsza alternatywa bez AI. Pewność i horyzont korzyści.
4
Który błąd powinien zmienić warunki prowadzenia systemu? Klasy błędów, koszt błędu, koszt nadzoru człowieka, progi akceptacji.
5
Jak zaprojektować ocenę systemu AI? TEVV-Athlon, specyfikacja zachowania, ocena proporcjonalna do ryzyka. Przegląd kanwy w połowie kursu.
6
Jaki dowód odpowiada na jakie pytanie? Rodzaje dowodów od testu modelu przez testy z użytkownikami po pilotażu (ARIA). Plan dowodowy.
7
Czy możemy ufać wynikowi? Jakość dowodów, wiarygodność oceniającego, w tym oceniającego inny model. Krytyka raportu dostawcy.
8
Czy to się opłaca? Koszt jednego udanego rezultatu, koszty jednorazowe i bieżące, trzy scenariusze i wyzwalacze decyzji.
9
Kiedy system wymaga ponownej oceny? Autonomia jako regulator, minimalny sukces pilotażu, etapy wdrożenia, plan wycofania, wyzwalacze ponownej oceny.
10
Jak sterować wdrożeniem, żeby przyniosło wartość? Przegląd planu sterowania wdrożeniem przed komitetem. Rekomendacja z poziomem pewności.
04Zaliczenie

Kryteria zaliczenia

Wykład: Forma zajęć: konwersatorium. Każde zajęcia zaczynają się od krótkiego wprowadzenia, które nie podlega osobnej ocenie. Większość czasu to praca w grupach nad kartą oceny systemu AI.

Warsztaty: W każdym semestrze warunkiem zaliczenia jest obecność na co najmniej 4 z 5 zjazdów.
Semestr 1 (zjazdy 1–5): zaliczenie bez oceny. Drugim warunkiem są prace domowe po zjazdach 1–4: uzupełnianie karty oceny i kanwy, oddane w terminie i spełniające minimum z listy kontrolnej. Częścią każdej pracy jest wkład osobisty każdej osoby.
Semestr 2 (zjazdy 6–10): pozostała forma zaliczenia zostanie ustalona później z kadrą studiów. Możliwy jest wspólny projekt, do którego karta będzie wkładem, albo zaliczenie na podstawie samej karty, jak w semestrze 1.
Oceniamy rzetelność dowodów i uzasadnienia, nie kierunek rekomendacji. Brak danych, jasno wskazany, nie jest błędem.

← Wszystkie przedmioty