Przedmiot 08 ASAI-SEC08

Security, AI governance i EU AI Act jako wymagania dla IT

Security, AI Governance and EU AI Act as Requirements for IT Systems

Semestr1 i 2
ECTS4
Wykład8 h
Warsztaty12 h
Zaliczeniez oceną
01Opis

O przedmiocie

Przedmiot traktuje bezpieczeństwo, governance i regulacje jako konkretne wymagania dla architektury i procesów IT. Jest przeznaczony dla osoby, która ma poprowadzić wdrożenie AI — kierownika projektu, architekta, analityka, product ownera albo menedżera IT — bez samodzielnego implementowania zabezpieczeń.

Uczestnicy poznają zagrożenia specyficzne dla rozwiązań opartych na dużych modelach językowych: prompt injection bezpośredni i pośredni, ujawnienie danych wrażliwych, nadmierne uprawnienia agentów, ryzyka łańcucha dostaw AI i shadow AI. EU AI Act omawiamy jako zestaw realnych obowiązków, z aktualnym harmonogramem po Digital Omnibus i polską ustawą o systemach AI, a RODO od strony przepływu danych w systemie AI. Governance jest obecne od pierwszych zajęć: właściciel i rejestr systemu, role i bramki decyzyjne, akceptacja ryzyka, polityka użycia AI, zarządzanie zmianą i reagowanie na incydenty.

Każde zajęcia łączą blok pojęć z rozbiorem rzeczywistego, publicznie udokumentowanego przypadku, a potem z ćwiczeniem na projekcie grupy. Z zajęć na zajęcia grupa buduje teczkę: mapę ryzyk, katalog kontrolek i minimalny model governance dla wybranego systemu AI, z uwzględnieniem EU AI Act i RODO. Uczestnicy uczą się rozpoznawać ryzyko, dobierać klasę zabezpieczenia, trafnie eskalować do IOD, prawnika, zespołu bezpieczeństwa lub zakupów i zostawiać ślad decyzji. Nie wykonują testów penetracyjnych ani nie implementują zabezpieczeń. Przedmiot trwa dwa semestry, po 5 zajęć.

Wymagania wstępne: Architektura aplikacji GenAI (przedmiot 02) — rozumienie architektury systemów AI podlegających ocenie: RAG, agenci, tool use.

Integracja systemów AI z architekturą enterprise (przedmiot 03) — kontekst organizacyjny i governance inicjatyw AI.

Oba przedmioty biegną równolegle; potrzebne pojęcia przypominamy na zajęciach w skrócie. Wiedza prawnicza ani doświadczenie w bezpieczeństwie nie są wymagane.

02Wykłady

Wykłady i materiały

Wykłady i materiały są dostępne po zalogowaniu — tylko dla słuchaczy i prowadzących.

Zaloguj się
03Program zajęć

Plan zajęć

1
Od „wdrażamy AI" do przypadku użycia, który ma właściciela: typy rozwiązań AI, governance w trzech pytaniach (kto jest właścicielem, kto mówi „start" i „stop", jaki ślad zostaje), rejestr systemów AI, rola organizacji wg AI Act.
Warsztat: Przypadek: chatbot MyCity w Nowym Jorku (2023–2026). Wiersz rejestru i kryterium wyłączenia dla przypadku przewodniego; podział na grupy i start projektu — rdzeń karty przypadku użycia.
2
Minimalny model governance: trzy linie, role, bramki decyzyjne od zgłoszenia do wycofania, akceptacja ryzyka; ISO/IEC 42001 i NIST AI RMF jako rusztowanie.
Warsztat: Przypadek: FTC v. Rite Aid — rozpoznawanie twarzy bez bramki dopuszczenia do produkcji. RACI i katalog kontrolek bramki go-live dla projektu grupy.
3
Mapa ryzyk I: architektura rozwiązania LLM jako przepływ informacji, granice zaufania, prompt injection bezpośredni i pośredni; dlaczego filtry nie usuwają ryzyka.
Warsztat: Przypadek: EchoLeak w Microsoft 365 Copilot (CVE-2025-32711). Diagram projektu grupy z granicami zaufania i pierwsze pozycje mapy ryzyk.
4
Mapa ryzyk II: agenci i ich uprawnienia, wynik modelu jako dane niezaufane, tożsamości nieosobowe (tokeny, klucze, konta serwisowe), wyjątki od zabezpieczeń.
Warsztat: Przypadek: OpenAI / Hugging Face (2026) — jak weszli oraz kto i kiedy wiedział. Katalog uprawnień agenta i rejestr wyjątków.
5
Dostawcy i łańcuch dostaw AI: modele, biblioteki, konektory, serwery MCP; integracja jako tożsamość; pytania do dostawcy i zapisy w umowie.
Warsztat: Przypadek: Salesloft Drift (2025) — dane z Salesforce klientów bez podatności w Salesforce. AI-BOM, rejestr integracji i lista wymagań wobec dostawcy dla zakupów i prawnika.
6
EU AI Act jako źródło wymagań: role w łańcuchu, klasy ryzyka, art. 50, harmonogram po Digital Omnibus, polska ustawa o systemach AI i KRiBSI.
Warsztat: Przypadek: profilowanie bezrobotnych w Polsce i wyrok TK K 53/16. Wstępna klasyfikacja projektu grupy i briefing dla prawnika.
7
RODO w systemach AI: przepływ danych, podstawa prawna, art. 22, DPIA i ocena skutków dla praw podstawowych; nadzór człowieka, który naprawdę działa.
Warsztat: Przypadek: holenderska „czarna lista" FSV i afera zasiłkowa. Przesiew DPIA, mapa przepływu danych i szkic retencji logów.
8
Polityka użycia AI, shadow AI i kompetencje personelu (art. 4 AI Act).
Warsztat: Przypadek: raport Deloitte dla rządu Australii (2025) z treściami zmyślonymi przez AI. Jednostronicowa polityka użycia AI, kontrolka weryfikacji treści z AI i plan kompetencji.
9
Cykl życia i zmiana: system zmienia się bez zmiany kodu — model, prompt, korpus, narzędzia; klasy zmian, przegląd okresowy i wycofanie.
Warsztat: Przypadek: nieautoryzowana zmiana promptu Groka (xAI, 2025). Procedura zmiany dla projektu grupy: klasa, kto zatwierdza, jaki test, jaki ślad.
10
Incydent, dowody i przegląd: kwalifikacja zdarzenia, kto kogo zawiadamia i w jakim terminie, kto może wyłączyć system; dashboard governance.
Warsztat: Ćwiczenie sztabowe na projekcie własnej grupy — pierwsza godzina po incydencie, obrona teczki. Karta klasyfikacji incydentu i dashboard zamykający teczkę.
04Zaliczenie

Kryteria zaliczenia

Wykład: Zaliczenie z oceną, wspólne dla wykładu i warsztatów, liczone osobno w każdym semestrze (5 zajęć). Warunek: obecność na co najmniej 80% zajęć, czyli na 4 z 5. Punkty: 1 pkt za każde zajęcia, na których uczestnik był, i 1 pkt za każdą pracę domową oddaną do następnych zajęć — maksymalnie 10 pkt. Ocena: 5 pkt — dostateczna, 6 — dostateczna plus, 7 — dobra, 8 — dobra plus, 9 — bardzo dobra. Praca domowa to uzupełnienie kolejnego punktu teczki na projekcie grupy. Teczka, czyli mapa ryzyk, katalog kontrolek i model governance dla wybranego systemu AI, jest sumą prac domowych. Po zaj. 1 pracą domową jest zgłoszenie projektu, do 19.11.2026. Pracę z ostatnich zajęć semestru oddaje się w terminie zamknięcia teczki. Praca domowa jest pracą grupy, więc punkt dostaje każdy członek grupy, która oddała ją w terminie. Formularze są na architekturaai.pl, prace oddaje się na kanale przedmiot-8-security-ai-governance-i-eu-ai-act serwera Discord „Architektura AI” (zaproszenie na architekturaai.pl). Rozbiory przypadków, mini-ćwiczenia i ćwiczenie sztabowe nie są punktowane.

Warsztaty: Te same zasady co dla wykładu — jedno zaliczenie z oceną, wspólne dla wykładu i warsztatów

← Wszystkie przedmioty