TorchStream: Echtzeit-Streaming von PyTorch-Modellen ohne Retraining
TorchStream ist eine Open‑Source‑Bibliothek, die es ermöglicht, bestehende PyTorch‑Modelle ohne Retraining oder Code‑Änderungen in streaming‑fähig zu verwandeln. Dadurch kann die Latenz reduziert und Live‑Anwendungen unterstützt werden.
Die Installation erfolgt über pip install torchstream-lib und kann optional CUDA nutzen. Für die Nutzung von Live‑Beispielen klonen Sie das Repository https://github.com/CorentinJ/TorchStream und starten die Demo mit uv run --group demos streamlit run examples --extra cuda (CPU‑Installation: --extra cpu).
Ein Beispiel zeigt die Streaming‑Inference von BigVGAN, einem modernen Neural‑Vocoder. Der Code lädt das Modell, entfernt die Gewichtungsnormierung, erzeugt ein Mel‑Spectrogramm, definiert die Eingabe‑ und Ausgabespezifikationen mit SeqSpec und berechnet die Sliding‑Window‑Parameter über find_sliding_window_params. Das Streaming erfolgt anschließend über SlidingWindowStream und gibt Audio‑Chunks im Iterativmodus aus.
Weitere Details finden Sie im GitHub‑Repo, das Verzeichnisse wie examples, dev_tools und tests enthält. Die Live‑Demo-Website ist unter https://torchstream.koyeb.app erreichbar. Das Projekt ist unter der MIT‑Lizenz lizenziert und hat 52 Sterne.