Eigenwerte und Eigenvektoren verstehen: Ein praktischer Leitfaden zur linearen Algebra für Machine Learning

Einführung: Warum Eigenwerte und Eigenvektoren wichtig sind

In der linearen Algebra, die das Rückgrat des Machine Learning bildet, spielen Eigenwerte und Eigenvektoren eine zentrale Rolle. Sie helfen uns, Matrizen zu verstehen, Daten zu komprimieren und Muster zu erkennen. Stell dir vor, du analysierst die Beliebtheit von Social-Media-Beiträgen – ähnlich wie TikTok im Mai 2026 Trends setzt, können Eigenvektoren die Hauptrichtungen in Daten aufzeigen. In diesem Tutorial lernst du die wichtigsten Eigenschaften und Beweise, die in COMP3670 behandelt werden, mit praktischen Beispielen.

Grundlagen: Was sind Eigenwerte und Eigenvektoren?

Eine quadratische Matrix A hat einen Eigenvektor x (ungleich Null) und einen zugehörigen Eigenwert λ, wenn gilt: A·x = λ·x. Der Vektor wird also nur gestreckt oder gestaucht, nicht gedreht. Das ist nützlich, um stabile Zustände in Systemen zu finden – wie die Hauptkomponenten in der PCA (Principal Component Analysis), die in modernen KI-Anwendungen wie Gesichtserkennung oder Empfehlungssystemen verwendet wird.

Eigenschaft 1: Eigenwerte einer invertierbaren Matrix sind nicht Null

Sei A invertierbar. Angenommen, λ = 0 wäre ein Eigenwert. Dann gibt es einen Vektor x ≠ 0 mit A·x = 0. Das würde bedeuten, dass x im Nullraum von A liegt, also A nicht vollen Rang hat – ein Widerspruch zur Invertierbarkeit. Daher sind alle Eigenwerte von A ungleich Null. Beispiel: In der Finanzmodellierung (z.B. für Aktienportfolios) sind invertierbare Kovarianzmatrizen essenziell; Null-Eigenwerte würden auf redundante Informationen hinweisen.

Eigenschaft 2: Eigenwerte der Inversen

Ist λ ein Eigenwert von A mit Eigenvektor x, dann gilt A·x = λ·x. Multiplizieren mit A⁻¹ von links ergibt x = λ·A⁻¹·x, also A⁻¹·x = (1/λ)·x. Somit ist 1/λ ein Eigenwert von A⁻¹ mit demselben Eigenvektor. Das ist nützlich, um die Inverse effizient zu berechnen – ähnlich wie bei der schnellen Berechnung von inversen Matrizen in Echtzeit-KI-Systemen.

Eigenwerte von Potenzen einer Matrix

Sei x ein Eigenvektor von B zum Eigenwert λ. Für n = 1 ist die Aussage trivial. Angenommen, sie gilt für n: Bⁿ·x = λⁿ·x. Dann: Bⁿ⁺¹·x = B·(Bⁿ·x) = B·(λⁿ·x) = λⁿ·(B·x) = λⁿ·λ·x = λⁿ⁺¹·x. Per Induktion gilt die Aussage für alle n ≥ 1. Anwendung: In der PageRank-Algorithmus (Googles Suchmaschine) werden Potenzen der Übergangsmatrix verwendet, um die stationäre Verteilung zu finden – ein Paradebeispiel für Eigenvektoren in der Praxis.

Lineare Unabhängigkeit bei verschiedenen Eigenwerten

Sei A eine n×n-Matrix mit n verschiedenen Eigenwerten λ₁,…,λₙ und zugehörigen Eigenvektoren x₁,…,xₙ. Angenommen, die Vektoren sind linear abhängig. Dann gibt es nach dem Hinweis ein p mit xₚ₊₁ ∈ span{x₁,…,xₚ}. Schreibe xₚ₊₁ = ∑_{i=1}^{p} c_i xᵢ. Multipliziere mit A: λₚ₊₁ xₚ₊₁ = ∑ c_i λᵢ xᵢ. Andererseits: λₚ₊₁ xₚ₊₁ = ∑ c_i λₚ₊₁ xᵢ. Subtraktion ergibt ∑ c_i (λᵢ – λₚ₊₁) xᵢ = 0. Da die ersten p Vektoren linear unabhängig sind, folgt c_i (λᵢ – λₚ₊₁) = 0. Weil λᵢ ≠ λₚ₊₁, sind alle c_i = 0, also xₚ₊₁ = 0 – Widerspruch. Somit sind die Vektoren linear unabhängig. Daraus folgt, dass eine n×n-Matrix höchstens n verschiedene Eigenwerte haben kann, da sonst mehr als n linear unabhängige Vektoren im n-dimensionalen Raum existieren müssten.

Determinanten und Symmetrische Matrizen

Determinante der Transponierten und der Identität

Die Determinante einer Matrix und ihrer Transponierten sind gleich: det(Aᵀ) = det(A). Dies folgt aus der Leibniz-Formel oder der Tatsache, dass die Determinante invariant unter Transposition ist. Die Identitätsmatrix Iₙ hat Determinante 1, da sie das Volumen des Einheitswürfels darstellt – eine grundlegende Eigenschaft, die in der Wahrscheinlichkeitstheorie und Statistik (z.B. bei multivariaten Normalverteilungen) verwendet wird.

Orthogonalität von Eigenvektoren symmetrischer Matrizen

Sei A symmetrisch (A = Aᵀ). Seien v₁, v₂ Eigenvektoren zu verschiedenen Eigenwerten λ₁ ≠ λ₂. Dann gilt: λ₁ v₁ᵀ v₂ = (λ₁ v₁)ᵀ v₂ = (A v₁)ᵀ v₂ = v₁ᵀ Aᵀ v₂ = v₁ᵀ A v₂ = v₁ᵀ (λ₂ v₂) = λ₂ v₁ᵀ v₂. Also (λ₁ – λ₂) v₁ᵀ v₂ = 0. Da λ₁ ≠ λ₂, folgt v₁ᵀ v₂ = 0, d.h. die Vektoren sind orthogonal. Diese Eigenschaft ist die Grundlage der Hauptkomponentenanalyse (PCA), die in der Bildkompression und in KI-Modellen wie neuronalen Netzen zur Dimensionsreduktion eingesetzt wird.

Praktische Berechnung: Ein vollständiges Beispiel

Gegeben sei die Matrix A = [[-1, 2], [3, 4]].

1. Eigenwerte berechnen

Das charakteristische Polynom ist det(A – λI) = (-1-λ)(4-λ) – 2·3 = λ² – 3λ – 4 – 6 = λ² – 3λ – 10 = 0. Die Lösungen sind λ₁ = 5 und λ₂ = -2.

2. Eigenräume bestimmen

Für λ = 5: (A – 5I) = [[-6, 2], [3, -1]]. Das System führt auf -6x + 2y = 0 => y = 3x. Der Eigenraum ist span{[1, 3]ᵀ}. Für λ = -2: (A + 2I) = [[1, 2], [3, 6]]. Das System x + 2y = 0 => x = -2y. Der Eigenraum ist span{[-2, 1]ᵀ}.

3. Spannen die Eigenvektoren den ℝ² auf?

Die Vektoren [1, 3] und [-2, 1] sind linear unabhängig (da nicht kollinear), also spannen sie den ℝ² auf.

4. Diagonalisierung

Setze P = [[1, -2], [3, 1]] (Eigenvektoren als Spalten) und D = diag(5, -2). Dann gilt A = P D P⁻¹.

5. Formel für Aⁿ

Da Aⁿ = P Dⁿ P⁻¹, berechnen wir Dⁿ = diag(5ⁿ, (-2)ⁿ). Die Inverse von P ist (1/7)[[1, 2], [-3, 1]]. Also: Aⁿ = (1/7) [[1, -2], [3, 1]] [[5ⁿ, 0], [0, (-2)ⁿ]] [[1, 2], [-3, 1]] = (1/7) [[5ⁿ + 6·(-2)ⁿ, 2·5ⁿ – 2·(-2)ⁿ], [3·5ⁿ – 3·(-2)ⁿ, 6·5ⁿ + (-2)ⁿ]]. Diese geschlossene Formel erlaubt die effiziente Berechnung hoher Potenzen, z.B. für die Simulation dynamischer Systeme oder die Berechnung von PageRank-Vektoren.

Verbindung zu aktuellen Trends

Im Mai 2026 nutzen KI-Assistenten wie ChatGPT oder Claude lineare Algebra, um Text- und Bilddaten zu verarbeiten. Die Diagonalisierung von Matrizen wird in der Quantencomputing-Forschung verwendet, um Zustände zu manipulieren. Auch in der Finanztechnologie (FinTech) werden Eigenwerte zur Risikoanalyse von Portfolios eingesetzt – ähnlich wie bei der Bewertung von Kryptowährungen. Das Verständnis dieser Konzepte ist daher nicht nur für die Klausur in COMP3670 wichtig, sondern auch für die Praxis in datengetriebenen Berufen.

Zusammenfassung

In diesem Tutorial hast du die wichtigsten Eigenschaften von Eigenwerten und Eigenvektoren kennengelernt: von der Invertierbarkeit über die lineare Unabhängigkeit bis zur Diagonalisierung. Mit den Beweisen und Rechnungen bist du gut gerüstet für die theoretischen Fragen in COMP3670. Übe die Konzepte an weiteren Beispielen, um ein tieferes Verständnis zu entwickeln – und denk daran: In der Welt der KI sind Eigenwerte der Schlüssel zur Datenanalyse!