Cordon: Semantische Anomalie-Erkennung in Log-Dateien

Key Takeaway

Cordon identifiziert semantisch ungewöhnliche Logabschnitte, indem es wiederkehrende (auch kritische) Muster als „normal“ behandelt und anhand von Transformer‑Einbettungen sowie k‑NN‑Dichteschätzer auffällige Ereignisse hervorhebt.

Summary

• Projekt: GitHub‑Repository calebevans/cordon – ein Open‑Source‑Tool zur semantischen Anomalie‑Erkennung in Log‑Dateien.
• Methodik:
  • Eingaben werden mittels Transformer‑Modellen in Einbettungs‑Vektoren umgewandelt.
  • k‑Nearest‑Neighbors‑Dichteschätzung identifiziert Punkte mit geringer Nachbarschaftspräis.
  • Wiederholte Muster (z. B. gleichbleibende Fehler) gelten als „normaler Hintergrund“ und werden ausgeblendet.
• Schlüsselfunktionen:
  • Semantische Analyse statt reiner Schlüsselwort‑Suche.
  • Multibackend‑Support: standardmäßig sentence-transformers, optional llama.cpp für Container‑GPU‑Beschleunigung.
  • GPU‑Beschleunigung (optionale NVIDIA‑CUDA‑Unterstützung) mit erstellbaren Batch‑Größen.
  • Flexibles CLI‑Interface: einzelne oder mehrere Dateien, Anpassung von Fenstergröße, Nachbarn, Anomalie‑Prozentile, Batch‑Größen usw.
  • Ausgabemöglichkeiten als XML oder reine Textfenster mit Score‑Angaben.
• Installation:
  • PyPI‑Installation über uv oder pip.
  • Source‑Build via Git‑Clone, optional dev‑Abhängigkeiten und llama‑cpp.
  • Container‑Build mittels make container-build mit GPU‑Anweisungen im Container‑Guide.
• Verwendung:
  • CLI-Beispiel: cordon system.log --device cuda --batch-size 64 --output anomalies.xml.
  • Python‑API: SemanticLogAnalyzer mit AnalysisConfig für erweiterte Einstellungen; Methoden analyze_file und analyze_file_detailed.
• Beispielausgabe:
  • Der Parser extrahiert „Block‑Linien“ mit Scores (z. B. 0.1746) und gruppiert ähnliche Muster.
  • Das Beispiel aus einer Apache‑Log‑Datei zeigt, dass ein Cluster von Directory index forbidden‑Fehlern als anomales Muster erkannt wird, während redundante Initialisierungs‑Logs als normal gelten.
• Dokumentation & Ressourcen:
  • Detaillierte Artikel auf Red Hat Developer (Semantic anomaly detection with Cordon).
  • README enthält komplette Befehls‑Liste, Beispielpfade, Konfigurationsparameter.
• Gesamtziel: Reduzierung massiver Log‑Dateien auf die wichtigsten, seltenen Ereignisse, sodass Analysten sofort die kritischsten Abschnitte prüfen können.

Related queries:

Wie nutzt man Cordon GPU‑Beschleunigung im Docker‑Container?

Welche Kommando‑Zeilen‑Optionen steuern die Anomalie‑Schwelle von Cordon?

Wo liegen die Voraussetzungen für die Verwendung des llama‑cpp‑Backends?

Quelle: https://github.com/calebevans/cordon