Fundamenty LLM dla architektów IT

Przedmiot buduje rozumienie tego, jak działają duże modele językowe — od podstaw sieci neuronowych, przez mechanizm uwagi i przestrzeń embeddingową, do pełnego przepływu generowania tekstu. Uczestnicy poznają, czym różni się LLM od prostych modeli warstwowych, jak działa tokenizacja i attention, oraz co naprawdę dzieje się w modelu, gdy generuje kolejny token. Zjawiska takie jak halucynacje i niepewność są omawiane jako właściwości przestrzeni embeddingowej — nie jako losowe błędy. Część zajęć poświęcona jest promptowaniu rozumianemu mechanistycznie: dlaczego dobór słów i struktura instrukcji wpływają na wynik i jak to powiązać z tym, czego model szuka w przestrzeni reprezentacji. Przedmiot obejmuje też porównanie modeli lokalnych i zdalnych — różnice w rozmiarze, jakości odpowiedzi i zachowaniu, które uczestnicy obserwują bezpośrednio.

Wymagania wstępne: Brak wymagań wstępnych formalnych Praktyczna znajomość przynajmniej jednego języka programowania (Python zalecany), podstawowa wiedza o systemach IT.

Wykład: Zaliczenie na podstawie projektu: analiza wybranego przypadku użycia LLM z perspektywy mechanizmów omawianych na kursie — embedding, attention, promptowanie.

Warsztaty: Ocena warsztatów: udokumentowane eksperymenty z promptowaniem i porównaniem modeli wraz z interpretacją wyników.