Evolutionäre Optimierung von neuronalen Netzen ohne Backpropagation: Das GENREG-Projekt

Key Takeaway

GENREG zeigt, dass neuronale Netze ohne Gradienten und Backpropagation durch evolutionäre Selektion – mit Vertrauen als Fitness‑Signal – kompakte und leistungsfähige Modelle für visuelle Aufgaben wie MNIST und Alphabet Recognition erzeugen können.

Summary

• Projektbeschreibung: GENREG (Genetic Regulatory Networks) nutzt evolutionäre Selektionsmechanismen, um neuronale Netze zu optimieren. Statt Gradientenabstieg erzeugt die Methode eine Population von Genomen, bewertet deren Leistung und reproduziert hohe‑Vertrauens‑Genome mit Mutationen.
• Trainingseigenschaften:
  • Keine Lernrate, kein Optimierer, keine Gradientenberechnung.
  • Population basiert auf Trust‑Accumulation und Mutation (Basis‑ und Kind‑Mutation).
  • Mutationen können mittelfristig im Verlauf des Trainings verändert werden.
• Benchmark‑Ergebnisse:
  • MNIST: Architektur 784 → 64 → 10 (≈50 890 Parameter), Test‑Genauigkeit 81,47 % nach 600 Generationen (~40 min). Digit‑spezifische Genauigkeiten liegen zwischen 70,9 % (Digit 5) und 94,5 % (Digit 1).
  • Alphabet: Architektur 10 000 → 128 → 26, 100 % Genauigkeit nach ~1 800 Generationen.
• Kernfindungen:
  • Stabile Fitness‑Signal: Erhöhung der Bilder pro Klasse von 1 auf 20 reduziert Fitness‑Varianz und ermöglicht Fortschritt.
  • Kind‑Mutation als Hauptexplorationsmechanismus: Ohne Kindesmutation bleibt das Training still.
  • Kapazitätsbeschränkungen bewirken Effizienz: Ein Modell mit nur 32 Neuronen erreicht 72,52 % Genauigkeit und demonstriert Kapazitäts‑Bündelung.
  • Embedding‑Analyse: UMAP‑Projektionen zeigen, dass höhere Kapazität sauberere Klassenkluster erzeugt; bei Kapazitätsmangel verschmelzen ähnliche Klassen.
• Trainingseinstellungen (MNIST Beispiel): Population: 200, Base‑Mutation: 0.08, Child‑Mutation: 0.07. Survival‑Cutoff: 20 %, Trust‑Decay: 0.8. Images per Digit: 20, Digits per Episode: 10.
• Vergleich zu Gradienten‑Baseline: GENREG erreicht ~83 % der Präzision eines klassischen MLP (97–98 %) mit ~25 % der Parameter. Gradient‑Basiertes Training konvergiert schneller, aber kann überparametrisiert sein.
• Evolutionäre Dynamik: Frühphase (Gen 0–100): schneller Lernanstieg, hohe Varianz. Mittlere Phase (Gen 100–400): Konvergenz, Varianz sinkt. Späte Phase (Gen 400+): Verfeinerung, Trade‑offs in Kapazitätsverteilung.
• Aktuelle Forschungsfragen: Erreichen von über 90 % Accuracy bei MNIST? Minimal notwendige Kapazität für Digit‑Erkennung? Wie vergleicht sich die Evolutionäre Embedding‑Darstellung mit CNN‑Embeddings?
• Praktische Nutzung: Code‑Snippets zum Laden von Checkpoints und Evaluieren mit <code>genreg_genome</code> und <code>genreg_controller</code>. Repository enthält <code>README.md</code>, Beispielskripte (<code>alphabet_inference.py</code>, <code>mnist_eval.py</code>) und Modelle im Ordner <code>best_genomes</code>.

Quelle: GitHub Repository