Lineare Algebra und Optimierung für maschinelles Lernen: Teil 3.

In den Kapiteln 7 und 8 des Springer ebooks "Linear Algebra and Optimization for Machine Learning" geht es primär um die Singulärwertzerlegung (SVD) und allgemeinere Formen der Matrixfaktorisierung, die als zentrale Werkzeuge für die Datenkompression und das maschinelle Lernen dienen. Kapitel 7: Singular Value Decomposition. Dieses Kapitel behandelt die SVD als eine Verallgemeinerung der Diagonalisierung auf beliebige, auch nicht-quadratische Matrizen. Kapitel 8: Matrix Factorization. Dieses Kapitel erweitert den Begriff der Faktorisierung auf flexiblere, optimierungsbasierte Modelle, die spezifische Eigenschaften oder Randbedingungen erzwingen. Nicht-negative Matrixfaktorisierung (NMF): Zerlegung in rein positive Faktoren, was besonders bei Textdaten (Themenmodellierung) oder Frequenzzählungen zu hochgradig interpretierbaren „Sum-of-Parts“-Ergebnissen führt. Empfehlungssysteme (Recommender Systems): Nutzung der Faktorisierung zur Vorhersage fehlender Einträge in dünn besetzten Bewertungsmatrizen (Collaborative Filtering). Gewichtete Matrixfaktorisierung: Einführung von Gewichten, um die Wichtigkeit einzelner Einträge (z. B. beobachtete vs. fehlende Ratings) zu steuern. Nichtlineare Modelle: Logistische Matrixfaktorisierung: Ein probabilistisches Modell für binäre Daten. Maximum Margin Matrix Factorization: Übertragung des SVM-Prinzips auf die Matrixfaktorisierung. Spezialisierte Modelle: Generalized Low-Rank Models (GLRM): Faktorisierung von Tabellen mit heterogenen Datentypen (numerisch, kategorisch, ordinal). Shared Matrix Factorization: Gleichzeitige Zerlegung mehrerer Matrizen, die eine gemeinsame Dimension (z. B. Nutzer oder Dokumente) teilen. Factorization Machines (FM): Ein Regressionsmodell, das Interaktionen zwischen Merkmalen durch latente Faktoren darstellt und besonders effektiv bei sehr dünn besetzten Daten ist. #algebra #ai #ml