Ewaluacja jakości i kosztów rozwiązań AI: dane do decyzji technicznych
Evaluating AI Solution Quality and Costs: Data for Technical Decisions
O przedmiocie
Ocena jakości, wiarygodności i wartości systemów AI. Organizacje coraz częściej wdrażają AI, zanim ustalą, co chcą w ten sposób poprawić. Ten przedmiot pokazuje, jak przełożyć takie polecenie na rozwiązanie, które przynosi wartość i sprawdza się w praktyce. Uczestnicy analizują cały system AI, a nie tylko model. Określają, co oznaczają sukces i porażka, porównują rozwiązanie z najlepszą opcją bez AI, obliczają koszt błędów i koszt pojedynczego udanego wyniku, a także sprawdzają raporty i deklaracje dostawców. Pracują nad rzeczywistymi zadaniami wdrożeniowymi w swoich organizacjach i przez cały semestr opracowują jedną kartę oceny systemu. Na koniec przygotowują rekomendację dla zespołu decyzyjnego, określając zakres, warunki i poziom autonomii wdrożenia oraz stopień pewności tej oceny. Przedmiot opiera się na aktualnych metodach NIST (TEVV-Athlon, ARIA, AI RMF), ale przede wszystkim uczy zadawania pytań, które będą potrzebne także wtedy, gdy zmienią się frameworki.
Wymagania wstępne: Podstawowa wiedza o tym, czym są systemy AI i modele językowe, oraz świadomość, że ich wyniki opierają się na prawdopodobieństwie. Trzeba być gotowym do pracy na przykładzie własnej organizacji. Programowanie nie jest potrzebne.
Wykłady i materiały
Wykłady i materiały są dostępne po zalogowaniu — tylko dla słuchaczy i prowadzących.
Zaloguj sięPlan zajęć
Kryteria zaliczenia
Wykład: Forma zajęć: konwersatorium. Każde zajęcia zaczynają się od krótkiego wprowadzenia, które nie podlega osobnej ocenie. Większość czasu to praca w grupach nad kartą oceny systemu AI.
Warsztaty: W każdym semestrze warunkiem zaliczenia jest obecność na co najmniej 4 z 5 zjazdów.
Semestr 1 (zjazdy 1–5): zaliczenie bez oceny. Drugim warunkiem są prace domowe po zjazdach 1–4: uzupełnianie karty oceny i kanwy, oddane w terminie i spełniające minimum z listy kontrolnej. Częścią każdej pracy jest wkład osobisty każdej osoby.
Semestr 2 (zjazdy 6–10): pozostała forma zaliczenia zostanie ustalona później z kadrą studiów. Możliwy jest wspólny projekt, do którego karta będzie wkładem, albo zaliczenie na podstawie samej karty, jak w semestrze 1.
Oceniamy rzetelność dowodów i uzasadnienia, nie kierunek rekomendacji. Brak danych, jasno wskazany, nie jest błędem.