Generatives Caching für LLM‑basierte Workflows: \ourmethod steigert Cache‑Hit‑Rate um 20 %

Key Takeaway

\ourmethod präsentiert ein generatives Caching-System, das strukturell ähnliche Prompts erkennt und maßgeschneiderte Antworten generiert, wodurch die Cache‑Hit‑Rate um ca. 20 % steigt und die Gesamtausführungszeit um ~34 % reduziert wird.

Summary

• Anwendungsbereich: LLM‑basierte Workflows und agentische Systeme, in denen Prompts oft mit kleinen Variationen wiederverwendet werden.
• Problem: Exact‑Matching fällt bei strukturell ähnlichen Prompts fehl, semantisches Caching kann kritische Unterschiede ignorieren.
• Lösung: \ourmethod als generativer Cache, der Muster in Antwortstrukturen erkennt und für neue, ähnliche Prompts individuell generierte Antworten liefert.
• Leistung: Erreicht 83 % Cache‑Hit‑Rate auf Datensätzen mit Prompt‑Wiederholungen.
• Fehleranfälligkeit: Minimale falsche Treffer bei Datensätzen ohne Prompt‑Wiederholung.
• Effizienz: In agentischen Workflows steigert \ourmethod die Cache‑Hit‑Rate um ca. 20 % und reduziert die End-to-End‑Latenz um ca. 34 % gegenüber herkömmlichem Prompt‑Matching.
• Veröffentlichung: arXiv‑Artikel 2511.17565, 14 Nov 2025, Autoren: Sarthak Chakraborty, Suman Nath, Xuchao Zhang, Chetan Bansal, Indranil Gupta.

Related queries:

“`markdown

Wie hoch ist die Cache‑Hit‑Rate von \ourmethod?

“`

Welche Vorteile bietet generatives Caching gegenüber Standard‑Prompt‑Matching?

Wie reduziert \ourmethod die Ausführungszeit in agentischen Workflows?

Quelle: https://arxiv.org/abs/2511.17565