Semantic‑Relevance: Signal‑Erkennung für Tech‑Feeds

Key Takeaway

Semantic‑relevance ermöglicht es, aus riesigen Content‑Feeds nur jene relevanten, neuen und erklärbaren Signale herauszufiltern, indem lokale Embeddings, Decay‑basierte Neuheit und Klassifikationen kombiniert werden.

Summary

• Problemstellung
• Tech‑Feeds wie GitHub Trending, Hacker News, Reddit und Lobsters enthalten ~95 % Rauschen.
• Popularität bedeutet nicht unbedingt persönliche Relevanz; die gleichen Artikel erscheinen wiederholt.
• Lösungsansatz
• Ein „Signal“ ist die Schnittmenge aus:
  1. Relevanz – semantische Ähnlichkeit zum persönlichen Kontext (lokale Embeddings).
  2. Neuheit – items verlieren über die Zeit an Neuheit (Decay‑Tracking).
  3. Klassifikation – Signaltypen: competitive, opportunity, technical, trend, thesis‑challenging.
• Alles, was Relevanz oder Neuheit nicht erfüllt, gilt als Rauschen.
• Technische Kernelemente
• Lokale Embeddings: @xenova/transformers (all‑MiniLM‑L6‑v2, ~23 MB). Keine API‑Kosten.
• Semantisches Matching: Erfasst Themen, auch ohne exakte Schlüsselwörter.
• Decay‑basierte Neuheit: Halbwertzeit konfigurierbar; alte Einträge werden weniger relevant.
• Signal‑Klassifikation: Erklärbare Etiketten mit passenden Schlüsselwörtern.
• Composite‑Scoring: Relevanz 45 %, Recency 35 %, Engagement 20 %. Score 0‑100.
• Pluggable Storage
• In‑Memory, Datei, localStorage, eigene Adapter (z. B. Redis).
• Umgebung
• Browser & Node.js gleichermaßen unterstützt.

Installation & Nutzung

npm install semantic-relevance

Beispielcode (filterItems) zeigt Integration mit Markdown‑Kontext, Feed‑Items und Optionen (Relevanz‑Threshold, Debugging).

Novelty Tracking

• NoveltyTracker speichert „gesehen“-Metriken und berechnet neuheitsbasierte Scores.
• Beispiel für Node.js: FileStorageAdapter; für Browser: LocalStorageAdapter.

Browser‑Spezifische Features

• Vorladen von Embedding‑Modellen mit Fortschritts‑Callback (EmbeddingContext).
• Nutzung von LocalStorageAdapter für Persistenz.

Quell‑Fetch‑Adapter

• Eingebaute Adapter für GitHub, Hacker News, Reddit, Lobsters und RSS.
• Filterungsoptionen: Keywords, Mindeststars, Sub‑reddits, Feed‑Typ.
• Beispiel für Multisource‑Aggregation und anschließende Signal‑Filtration.

Custom Storage Adapter

• Interface‑Ableitungen ermöglicht Integration mit Datenbanken (z. B. Redis).
• Beispielimplementierung (RedisStorageAdapter) mit TTL‑Wert.

User‑Keywords & Signaltypen

• Possibilität, explizite Schlüsselwörter für globale, Competitive, Technical usw. zu definieren.
• Signaltypen helfen dabei, Erkenntnisse schnell einzuordnen.

API‑Referenz

• filterItems(items, context, options) – Hauptfunktion.
• Optionen: relevanceThreshold, noveltyThreshold, concurrency, userKeywords, noveltyTracker, embeddingContext, verbose.
• Rückgabe: Array von Signals mit score, scoreDetails, scoreDetails, scoreDetails, scoreDetails, scoreDetails, scoreDetails, scoreDetails, scoreDetails?

Quelle

Quelle: https://www.example.com