Sprachmodelle ohne unnötige Worte

Das Buch ist ein prägnantes und gleichzeitig umfassendes Handbuch zum Aufbau von Sprachmodellen. Es behandelt die mathematischen Grundlagen des maschinellen Lernens, vektorielle Darstellungen und die Funktionsweise neuronaler Netzwerke. Die Prinzipien der Sprachmodellierung werden erläutert: von Bag-of-Words und Embeddings bis hin zu rekurrenten Netzwerken und der Architektur von Transformatoren. Vollständige Implementierungen der beschriebenen Modelle und Methoden in Python unter Verwendung des PyTorch-Frameworks werden bereitgestellt, einschließlich Beispiele in Form von Jupyter-Notebooks. Es werden Methoden zum Training, Feinabstimmung und zur Optimierung großer Sprachmodelle beschrieben: LoRA, Prompt Engineering, Qualitätsbewertung sowie Fragen des Urheberrechts und der Ethik. Im abschließenden Kapitel werden Richtungen für weiteres Studium gegeben: Expertenmix, Modells Compression, Präferenzbasiertes Alignment, multimodale Modelle.