SHARP: Photorealistische 3D‑Modelle aus einem Bild in Echtzeit
SHARP (Apple ML‑Sharp) ermöglicht die Erzeugung photorealistischer 3‑D‑Darstellungen aus nur einem einzigen Bild in weniger als einer Sekunde. Dabei wird ein 3‑D‑Gauss‑Splat‑Modell (3DGS) erzeugt, das auf jeder GPU in Echtzeit gerendert werden kann.
Key Takeaway
SHARP erzeugt photorealistische Ansichten aus einer einzigen Bild in weniger als einer Sekunde, indem es ein 3‑D‑Gauss‑Splat‑Modell erzeugt, das auf jeder GPU in Echtzeit gerendert werden kann.
Summary
- Projektname & Ziel
Repository: apple/ml-sharp
Ziel: Ein einzelnes Foto nutzen, um hochwertige, metrische 3‑D‑Darstellungen zu erzeugen, die in Echtzeit gerendert werden können. - Technologie
3‑D‑Gauss‑Splat‑Modell (3DGS) als Darstellung
Ein Feedforward‑Neural‑Network schätzt die Parameter in < 1 Sekunde auf Standard‑GPU
Maßstabsbehaftet (metrisch), ermöglicht metrische Kamerabewegungen. - Leistung
State‑of‑the‑Art bei mehreren Datensätzen:
• LPIPS um 25 – 34 % reduziert
• DISTS um 21 – 43 % reduziert
Synthesezeit um drei Größenordnungen schneller als vorherige Modelle. - Software‑Erstellung
Python‑Umgebung empfohlen:conda create -n sharp python=3.13
Installation:pip install -r requirements.txt
CLI‑Werkzeuge (sharp predict,sharp render) für Vorhersage und Rendering verfügbar. - Modelldatei
Automatischer Download des Checkpoints bei erster Ausführung
Manuell verfügbar unter: https://ml-site.cdn-apple.com/models/sharp/sharp_2572gikvuh.pt - Rendering
CPU, CUDA, MPS unterstützen Vorhersage; Video‑Rendering (--render) benötigt CUDA GPU
GSplat‑Renderer initialisiert bei erstem Aufruf. - Ausgabe
3D‑Gaussian‑Splat‑Dateien im PLY‑Format, kompatibel zu öffentlichen Renderern
Koordinatensystem: OpenCV‑Standard (x → Rechts, y → Unten, z → Vorne). - Evaluation & Vergleich
Qualitative Beispiele unter https://apple.github.io/ml-sharp/
Quantitative Ergebnisse im zugehörigen Paper (arXiv 2512.10685). - Lizenz & Verweise
Code lizenzfrei gemäß LICENSE
Modelle unter LICENSE_MODEL
Referenz: @inproceedings{Sharp2025:arxiv, …} - Beitrag
Zwei Hauptmitarbeiter: Amél Delaunoy, Wei Dong
4.2 k Stars, 251 Forks, 16 Issues, 9 Pull‑Requests. - Unterstützung
Code of Conduct, Contributing Guides, Security & Pre‑Commit Konfigurationen verfügbar.
Related queries
- Wie funktioniert die 3D‑Gauss‑Splat‑Erzeugung von SHARP im Detail?
- Welches ist das empfohlene Python‑Konsortium für die Nutzung der SHARP-CLI?
- Wo kann ich die erstellten PLY‑Dateien in gängige 3D‑Render‑Engines importieren?