PC & Internet Inflection AI baut mit Nvidia milliardenteuren KI-Supercomputer

Das erst 2022 im Silicon Valley gegründete Startup-Unternehmen Inflection AI hat weitere 1,3 Milliarden US-Dollar Risikokapital eingeworben. Damit baut es zusammen mit Partnern einen KI-Supercomputer mit rund 22.000 Rechenbeschleunigern vom Typ Nvidia H100 (Hopper) auf. Inflection AI will damit unter anderem die KI des Chatbots „Pi“ trainieren, den man unter

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

ausprobieren kann.

Der KI-Superrechner soll bei der Verarbeitung von Gleitkommawerten im FP16-Datenformat 22 Exaflops (EFlops) Rechenleistung erreichen; bei FP64-Werten würde das System, wenn es heute schon liefe, nach Einschätzung des Unternehmens Platz 2 auf der Top500-Liste der Supercomputer erreichen.

Inflection AI hat bereits mehrere hundert Millionen US-Dollar Startkapital gesammelt und betreibt einen Cluster mit über 3000 H100-Beschleunigern. Für diesen konnte das Unternehmen vor wenigen Tagen

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

melden. Auch das Large Language Model (LLM) Inflection-1 rechnet laut Inflection AI besonders effizient.

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

Rechenbeschleunigerr Nvidia H100 in Modulbauform (SXM5)
(Bild: Nvidia)

Riesige KI-Maschinen​

Inflection AI kooperiert mit Microsoft (beziehungsweise Microsoft Azure), Nvidia und dem US-Clouddienstleister CoreWeave. Letzterer betreibt in den USA an den Standorten Chicago, Las Vegas und New Jersey Rechenzentren, in denen KI-Beschleuniger laufen, vorwiegend von Nvidia. Microsoft und Nvidia sind wiederum auch Partner von CoreWeave.

Laut den

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

nutzt Inflection AI Nvidia-Systeme vom Typ HGX H100, die CoreWeave betreibt, und zwar im Verbund mit Intel-Prozessoren vom Typ Xeon Platinum 8462Y+. Ein Clusterknoten kombiniert dabei typischerweise acht H100-Module (SXM5, je 80 GByte RAM) mit zwei CPUs.

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

und packt je vier davon in ein 42- oder 48-HE-Rack, also 32 H100-Beschleuniger in einen Schrank. Für 22.000 H100 wären demnach 688 Schränke nötig.
Laut Supermicro liegt die maximale Leistungsaufnahme bei 45.000 Watt (45 kW) pro Rack, der gesamte Superrechner mit 22.000 H100 könnte dann bis zu 31 MW schlucken. Das ist deutlich mehr als die 22,7 MW, die der erste EFlops-Supercomputer Frontier laut Green500-Liste benötigt.

Listenpreis bei über 1 Milliarde US-Dollar​

Würde Inflection AI Listenpreise zahlen, könnte ein Superrechner aus 22.000 H100 über 1 Milliarde US-Dollar kosten. Ein deutscher Distributor nennt für eine

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

, die etwas anders aufgebaut ist als ein Server mit HGX H100, einen Listenpreis von 431.600 Euro (mit 8x H100). Universitäten bekommen demnach 30 Prozent Rabatt.

Auch Nvidia selbst baut seit 2022 einen sehr großen KI-Superrechner auf: Nvidia Eos ist ebenfalls mit H100-Beschleunigern bestückt.

Der

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

, weil zahlreiche KI-Superrechner mit H100-Karten geplant oder im Bau sind. So bauen derzeit

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

und

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

enorm aus.

Prominente Partner​

Chef von

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

, der 2010 zu den Gründern der 2014 von Google gekauften Firma DeepMind Technologies gehörte. Die Milliardäre Bill Gates, Eric Schmidt (ehemaliger Google-Chairman) und Reid Hoffman (LinkedIn-Mitgründer) haben in Inflection AI ebenso investiert wie US-Rapper will.i.am.
Quelle:c‘t