CORE: Ein digitales Gehirn mit zeit- und provenance-fähiger KI‑Speicherschicht
Key Takeaway
CORE demonstriert, dass für eine menschenähnliche KI‑Speicherschicht eine Kombination aus zeit‑und provenance‑fähigen Reifikations‑Tripeln, einer getrennten Vektor‑ und Graph‑Speicherung und einer hybriden Suche unerlässlich ist – Einzelkomponenten reichen daraus nicht. Das Projekt CORE fungiert als digitales Gehirn, das sämtliche Nutzereingaben speichert, normalisiert und kontextuell abrufbar macht. Weiter
Summary
- Projektziel: CORE soll ein digitaler „Gehirn“, der alles was ein Nutzer ihm mitteilt, speichert und kontextuell abrufbar macht.
- Herausforderung: Fakten ändern sich – Speicher‑Daten benötigen Zeit‑und provenance‑Tracking, was herkömmliche Vektor‑DBs nicht leisten.
- Reifikation: Fakten werden als eigene Entitäten mit Metadaten (validAt, invalidAt, source) gespeichert, wodurch Historie und Mehrdeutigkeiten behandelt werden.
- Datenpipeline (5 Stufen): 1. Sofortiges Speichern der Episode, bevor sie verarbeitet wird. 2. Inhalt‑Normalisierung unter Einbeziehung von Session‑ und semantischem Kontext. 3. Entity‑Extraktion – ohne strenge Typen, um Fehlkategorisierungen zu vermeiden. 4. Statement‑Extraktion – jedes Statement wird zu einem Knoten mit Zeit‑ und Embedding‑Metadaten. 5. Asynchrone Graph‑Auflösung (30‑120 s) mit dreistufiger Duplikat‑Detektion (Entity, Statement, und LLM‑Wertung).
- Datenpipeline (5 Stufen): 1. Sofortiges Speichern der Episode, bevor sie verarbeitet wird. 2. Inhalt‑Normalisierung unter Einbeziehung von Session‑ und semantischem Kontext. 3. Entity‑Extraktion – ohne strenge Typen, um Fehlkategorisierungen zu vermeiden. 4. Statement‑Extraktion – jedes Statement wird zu einem Knoten mit Zeit‑und Embedding‑Metadaten. 5. Asynchrone Graph‑Auflösung (30‑120 s) mit dreistufiger Duplikat‑Detektion (Entity, Statement, und LLM‑Wertung).
- Suchmechanismen (parallel ausgeführt): BM25 Fulltext, Vektor‑Similarity, BFS Traversal, Episode Vector, Episode Graph – Ergebnismerging mit Gewichtungen und Multiplikatoren.
- Wesentliche Probleme bei 10 M+ Knoten: Query‑Variabilität, Statische Gewichte, Leistungsprobleme (3‑9 s Gesamtlatenz) – Ursache fehlende Indexe, unoptimierte Cosinus‑Berechnung, BFS‑Explosion, Speicher‑Engpässe.
- Umstellung: Trennung von Vektor‑Store (pgvector) und Graph‑Store (Neo4j). Nutzung von HNSW, Quantisierung, horizontale Skalierung für Vektoren. Koordinationsebene für hybride Suche. Erreichte P95‑Leistung: 1‑2 s statt 6‑9 s.
- Erfolge: Reified triples, sparse LLM-Ausgabe (95 % Token‑Sparung), asynchrone Auflösung, hybride Suche, type‑freie Entities. LoCoMo‑Benchmark: 88,24 % Genauigkeit – SOTA bei lange‑Kontext‑Speichersystemen.
- Offene Herausforderungen: Query‑Variabilität durch LLM‑generierte Suchbegriffe, Statische Gewichte, BFS‑Skalierung.
- Schlüsselbotschaft: Keine Datenbank allein genügt – nur die Kombination aus zeit‑und provenance‑fähigem Graph, effizienter Vektor‑Suche und hybrider Suche schafft menschenähnlichen Speicher.
Related queries
Wie funktioniert die Reifikation von Fakten in CORE? Welche Skalierungsprobleme traten bei Neo4j auf und wie wurden sie adressiert? Wie werden LLM-Ausgaben in CORE sparsifiziert, um Token zu sparen?