Google Titans: Neuartiges Langzeit‑Speicher‑Netzwerk für KI

Google Titans bietet eine neue Architektur für Langzeit‑Speicher, die ein tiefes neuronales Netzwerk als lernbares Gedächtnis verwendet, um die Begrenzungen von Transformern und kontextbasierten Modellen zu überwinden und damit AI‑Systeme intelligenter und kontextsensitiver zu machen.

Problemstellung

Moderne Sprachmodelle (Transformers) sind grundsätzlich zustandslos und können nur Informationen aus dem derzeitigen Kontextfenster verarbeiten. Selbst bei großen Fenstern treten Kosten‑ und Leistungsprobleme („context rot“) auf, sodass Modelle nicht zuverlässig lange Historien nutzen können.

Kontextfenster

Größere Fenster kosten quadratisch mehr Rechenleistung und Energie; auch bei technischen Grenzen bleibt die Nutzung verlässlich.

Lösung: Google Titans

• Kombiniert Attention als Kurzzeit‑Memory mit einem zusätzlichen neuronalen Long‑Term‑Memory‑Modul (Multi‑Layer‑Perceptron).
• Das Netzwerk speichert und komprimiert historische Daten in seinen Gewichten, anstatt sie in einen linearen Bottleneck zu zwingen.
• Ein Surprise‑Metric (Gradienten‑Messung) entscheidet, was gespeichert wird: hohe Überraschung bedeutet, dass die Eingabe stark von der aktuellen Modellvorhersage abweicht und daher im Speicher abgelegt wird.
• Zusätzlich wird ein Momentum‑Term genutzt, um auch nach überraschenden Ereignissen relevante Nachfolgeinformationen zu behalten.
• Ein lehrender Forget‑Gate (Gewichtsdecay) entfernt alte, nicht mehr relevante Informationen.

Architekturvarianten

1. MAC (Memory as Context) – nutzt vor der Attention gespeicherte Informationen als Kontext.
2. Varianten mit persistenten Parametern, um Basiswissen zu codieren.

Leistung

• Auf dem Benchmark BABILong beatete Titans GPT‑4 und RAG‑augmented Modelle trotz deutlich weniger Parametern.
• Titan kann Kontexte über 2 Mio. Tokens hinweg verarbeiten und gleichzeitig höhere Genauigkeit bei „needle‑in‑haystack“‑Aufgaben erzielen.
• Update‑Operationen sind parallel‑fähige Matrix‑Operationen, wodurch Training nicht sequenziell wird.

Vergleich zu bestehenden Speicheransätzen

• RAG speichert Texte in einer Datenbank, verwendet Embeddings und bringt sie einmalig ein. Es gibt keine dauerhafte Lernphase aus dem Retrieval.
• Titans speichert Informationen verteilt im Netzwerkgewicht, sodass Wissen über Iterationen hinweg akkumuliert wird.

Speicher in aktuellen Produkten

1. Kontextfenster (Kurzzeit‑Memory).
2. Persistente Profile (strukturierte Textdaten).
3. RAG‑Systeme (externes Dokumenten‑Retrieval).

Diese Ansätze sind flach und replizieren nicht die komplexen Lernpfade des menschlichen Gehirns.

Futuristische Perspektive

• Titan‑Modul kann als „neuralized“ Langzeit‑Speicher für Agenten dienen, die kontinuierlich lernen, ohne auf feste Index‑Wörterbücher angewiesen zu sein.
• Potenzielle Anwendung in personalisierten Agenten ohne zusätzliche Kosten für Kontext‑Engineering.

Quellen

• Forschungsabschnitt „Titans“ (Arxiv 2501.00663).
• MIRAS‑Framework (Google‑Blog).
• Benchmark BABILong (Arxiv 2406.10149).
• Verweis auf RAG‑Literatur, Chroma‑Context‑Rot, Pandas‑Token‑Budget etc.

Quelle: https://j.cv/google-titan/