Forschungsbericht: NVIDIA-Datenzentren und die Zukunft der KI-Architekturen

In den letzten Jahren hat sich die Architektur moderner KI-Rechenzentren fundamental gewandelt, und NVIDIA spielt dabei eine zentrale Rolle. Die DGX SuperPOD-Plattform, die auf Mellanox-Hochgeschwindigkeitsverbindungen basiert, hat sich als modulare Referenzarchitektur etabliert. Ein typisches SuperPOD mit 96 Knoten hat eine Kostenbasis von etwa 41,76 Millionen US-Dollar. Die Blackwell-Generation, die die Leistung im Vergleich zur Hopper-Generation um das Dreifache für Training und das Fünfzehnfache für Inferenz steigert, setzt NVLink Gen5, Chiplet-Designs und gestapelten HBM-Speicher ein. Micron ist dabei ein wichtiger Partner.

Die MLPerf Inference Tests zeigen, dass die GB300-Architektur Rekorde bei Sprachmodellen setzt, dank NVFP4 und FP8-Caches, die den Durchsatz pro GPU um 1,4 Mal erhöhen. Das CUDA-Ökosystem ermöglicht die Integration von Hardwarebeschleunigung und paralleler Datenverarbeitung.

Die physische Infrastruktur erfordert flüssigkeitsgekühlte Rack-Skalen, wie bei DeepL in Schweden, um die Übersetzung des gesamten Webs zu beschleunigen. Eli Lilly nutzt den LillyPod mit 1.016 GPUs für pharmazeutische Simulationen. Telekom plant 10.000 GPUs in München. Zur Kühlung wird Direct-to-Chip-Flüssigkühlung mit geschlossenen Kreisläufen eingesetzt, was den Wasserverbrauch reduziert. Allerdings bleibt der Strombedarf ein Problem, da fossile Energie weiterhin einen großen Prozentsatz des Stromverbrauchs deckt.

Geopolitisch sind Sorgen wegen US-Exportkontrollen gegen China vorhanden, die den Verkauf fortschrittlicher KI-Chips einschränken. Fälle wie der Schmuggel bei Super Micro Computer zeigen, wie Server über Südostasien nach China geschmuggelt werden. NVIDIA entwickelt Software für geografische Lokalisierung via Latenzmessung, ohne Fernabschaltungsfunktionen zu verwenden. Die Kapazität von TSMC ist ein weiterer Flaschenhals.

Sicherheitsvorfälle wie die Lapsus$-Attacke 2022, bei der proprietäre Daten gestohlen wurden, inklusive Code-Signing-Zertifikate, die für Malware verwendet wurden, sind ein Problem. NVIDIA bestreitet Ransomware-Motive, aber es gibt rechtliche Konflikte wegen des Scrapings von YouTube-Inhalten für KI-Modelle, mit Behauptungen der fair use. Die rechtliche Grauzone ist offengeblieben.

Marktdynamik wird von Wettbewerbern wie Meta und AMD geprägt. Meta entwickelt ASICs, die bei bestimmten Workloads effizienter sind, und AMD hat die ROCm-Plattform. Trotzdem kontrolliert NVIDIA dennoch den größten Marktanteil. Kritiker wie Kate Crawford pointieren die ökologischen und sozialen Kosten der KI-Infrastruktur.

Offene Fragen betreffen die Durchsetzbarkeit von Software-Lokalisierungstools, die Skalierbarkeit der Kühlung in tropischen Klimazonen und die rechtliche Einordnung von massiver Datensammlung. Es ist auch unklar, ob der gestiegene Strombedarf bis 2030 durch erneuerbare Energien gedeckt werden kann.

Zusammenfassend bietet Nvidias Datacenter-Ökosystem die technisch überlegenste und am schnellsten skalierbare Plattform für KI-Workloads. Die Blackwell-Architektur und das SuperPOD-Modell setzen messbare Benchmarks, während Partnerschaften in Pharma, Medizin und Telekommunikation reale Anwendungen zeigen. Dennoch müssen geopolitische, sicherheits- und ökologische Herausforderungen ernsthaft bewertet werden, um eine nachhaltige und ethisch vertretbare Entwicklung der KI-Infrastruktur zu gewährleisten.

— Twight Sterling, Sigil & Spark