Hardware‑Evolution: Von Core‑Vermehrung bis KI‑Architektur – Die Herausforderungen der Speicher‑ und Latenzwall

Key Takeaway
Hardware hat sich in den letzten Jahren massiv vervielfacht und spezialisierter, jedoch liegen Ausreizen bei Latenz und Speicherbandbreite, was umfangreiche Softwareanpassungen für effiziente Nutzung zwingt.

Summary

• CPU‑Entwicklung: AMD Zen‑EPYC Serien haben in 8 Jahren die Kernanzahl von 32 auf 128 bzw. 192 (Zen 5c) vervielfacht, im gleichen Zeitraum die Anzahl der DDR‑Kanäle verdoppelte sich.
• Rechenleistung pro Kern: Die Rechen‑Einheiten wurden nicht schneller, jedoch stark erweitert (32‑Bit → 512‑Bit) und mehrere 512‑Bit Operationen pro Takt ermöglichen hohe Rechenaufträge im Cache.
• Speicher‑ und Netzwerkbandbreite: DDR5‑Kanäle, Ethernet (z. B. 800 Gb/s 2024) und PCIe‑Verbindungen steigen exponentiell.
• Latenzprobleme: Trotz höherer Durchsatzraten bleibt die Latenz unverändert hoch; Software muss deshalb tiefere Warteschlangen und asynchronen I/O nutzen.
• GPU‑Entwicklung: GPUs nutzen zunehmend GDDR/HBM, breitere Busse und spezialisierte Tensor‑Kerne (4‑bit, 16‑mal schneller). Sie sind auf massiv parallele, branch‑arme Arbeiten optimiert, etwa Matrix‑Multiplizierungen bei KI.
• KI‑Hardware: Server‑Architekturen kombinieren 2 CPUs + 8 GPUs, hochleistungsfähige Netzwerkkarten (800 Gb/s) und stark skalierbare Inferenz-Workloads.
• Wirtschaftlicher Kontext: TSMCs Chipproduktion verteilt sich ähnlich auf Mobile, CPU, GPU; Serverinvestitionen sind stark durch KI getrieben.
• Software‑Grenzen: Single‑Thread‑Performance ist stagnierend, die sogenannte Memory‑Wall seit den 1990‑er Jahren besteht, und Latenz ist bei CPU–GPU‑Übergängen kritisch. Kombinationen von CPU/GPU auf dem gleichen Chip sind zwar im Aufschwung, bringen aber geringere Bandbreite. Codeerstellung für diese Architekturen ist komplex.
• Ausblick: Die Hardware‑Transformation wurde durch Generative‑AI beschleunigt; gleichzeitig muss die Software die neue Leistungspraxis nachvollziehen.

Related queries:

Wie viel schneller können aktuelle GPUs bei 4‑bit Tensoroperationen im Vergleich zu 64‑bit Float rechnen?

Welche Software-Optimierungen sind nötig, um die steigende Latenz bei Cloud‑Netzwerken zu kompilieren?

Wie beeinflussen 200‑GB‑Flash‑Storage und PCIe5‑x4 Schnittstellen die Speicher‑Bandwidth im Vergleich zu klassischen HDDs?

Quelle: https://buttondown.com/ignore-previous-directions-5-hardware-has-changed/