Hardwaregetriebenes Sampling und thermodynamische Prozesse: Die nächste KI‑Revolution
Die nächste KI‑Revolution
Die nächste KI‑Revolution wird durch hardwaregetriebenes Sampling und thermodynamische Prozesse angetrieben, die Energy‑Based‑Models und ähnliche Modellklassen endlich praktikabel machen.
Computing als physikalische Tendenz
Probleme lösen sich selbst, sobald sie als Ausfallzustände physikalisch modelliert werden.
Digitale Berechnung
Durch harte Diskretisierung (Transistor‑Zustände 0/1) wurde das digitale Paradigma zum Vorherrschenden.
GPU‑Lottery
GPUs machten lineare Algebra – und damit Dense‑Matrix‑Multiplikationen – extrem günstig. Das führte zu einem dominanten Deep‑Learning‑Paradigma, während Modelle, die Sampling oder wiederholte Probabilistik erfordern, schwer zu skalieren waren.
Hardware‑Lottery vs. Post‑GPU
Heutige Hardware‑Startups zielen darauf ab, die Grundoperation „Sampling“ zu einem nativen „Primitive“ zu machen (z. B. Thermodynamik, Analog, Neuromorphik, In‑Memory‑Analog).
Bekannte Projekte
- Extropic – thermodynamische/probabilistische Hardware, Open‑Source‑Bibliothek thrml, Fokus auf Block‑Gibbs‑Sampling.
- Normal Computing – analog‑freundliche Stochastik‑Primitive für Diffusion & Simulation.
- BrainChip – neuromorphische Chips, Event‑getrieben.
- Mythic – Analog‑In‑Memory‑Computing für kontinuierliche Physik in Speicherzellen.
EBM‑Paradigma
Modelle bilden ein Energie‑Landscape (Hügel/Valleys). Generierung = Sampling auf dieser Landschaft. Lernen = Landsgestaltung durch Energiesenkung von Daten‑Like‑Konfigurationen.
Sampling‑Herausforderung auf digitalem Holz
Digitaler Determinismus erfordert PRNGs, was iterative MCMC und Sampling teuer und langsam macht.
Thermodynamische Hardware als Lösung
Natürliche Fluktuationen und Relaxation führen zu kosten‑effizientem Sampling, ideal für EBMs.
Extropic‑Details
2022 gegründet von Verdon und McCourt, 14,1 M USD Seed, große Investoren. thrml ermöglicht sofortiges Prototyping von Energy‑Based‑ und Thermodynamic‑Algorithmen.
Block‑Gibbs bei Extropic
Funktioniert sauber bei bipartiten bzw. bedingt separablen Graphen; ermöglicht paralleles Zusammensetzen und Abschließen von Block‑Updates.
Bedeutung für Investoren
Hardware‑und‑Algorithmus‑Koinzidenz kann zu einem „Flywheel“ führen, das neue Modellklassen vorantreibt und alte Architekturen obsolet macht.
Möglicher Ausbruch
Hardware‑Startups können sich entweder durch Akquisition von Marktführern (z. B. NVIDIA) oder durch komplette Paradigmenwechsel durchsetzen.
Related queries
Wie konkret wird Block Gibbs Sampling von Extropic implementiert?
Welche Vorteile bieten thermodynamische Chips gegenüber GPUs für Energy‑Based‑Models?
Welche anderen Hardware‑Startups verfolgen ähnliche Ziele wie Extropic und welche Techniken nutzen sie?
Quelle: https://www.vishalv.com/notes/bets-on-post-GPU-compute