Hardware & Software VMware und Nvidia schnüren KI-Tool-Paket für alle mit Datenschutzbedenken

VMware und Nvidia schnüren KI-Tool-Paket für alle mit Datenschutzbedenken​

25.08.2023 12:52 Uhr Bruno Stoemer

(Bild: VMware Global Communications)

Das Entwicklungspaket Private AI Foundation von VMware und Nvidia soll den Firmen ein Angebot machen, die generative KI wegen Bedenken bislang nicht einsetzen.

Auf seiner Hausmesse in Las Vegas hat VMware eine vertiefte Zusammenarbeit mit Nvidia bekannt gegeben und dabei mit der VMware Private AI Foundation ein umfassendes Workflow-Produkt für KI-Entwickler angekündigt. Das neue Angebot soll die Komplexität beim Aufbau generativer Modelle reduzieren und auch in kleinen Umgebungen eingesetzt werden können.

KI für Unternehmen​

Die

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

eine Antwort auf das wachsende Interesse von Unternehmen, die generative KI-Anwendungen in ihre Firmenabläufe integrieren wollen, jedoch dabei ernsthafte Sicherheitsbedenken bezüglich ihrer Daten haben. Mit dem neuen Produktpaket soll der Aufbau eigener generativer KI-Systeme auf Basis von Open-Source-Modellen, wie Llama 2 oder Falcon, nahe an den eigenen Daten möglich sein, um angemessenen Datenschutz zu gewährleisten. VMware Private AI Foundation baut auf dem Software-defined-Datacenter-Dienst VMware Cloud Foundation auf und greift zum Training der integrierten Modelle auf Funktionen des Nvidia-NeMo-Frameworks zurück – ein Open-Source-Toolkit, das Teil von Nvidia AI Enterprise ist und für das Erstellen, Trainieren und Optimieren von Sprach- und Audiomodellen entwickelt wurde. NeMo bietet eine Auswahl verschiedener Anpassungstechniken und ist optimiert für das Inferencing von Modellen im großen Maßstab mit Multi-GPU- und Multi-Node-Konfigurationen.

VMware Private AI Foundation wird voraussichtlich alle verfügbaren Nvidia AI Enterprise Container unterstützen. Ferner kommt das Produkt mit Deep Learning VM-Images, die bereits für GPUs mit dem erforderlichen Treiber-Support vorkonfiguriert sind, und PostgreSQL-Vektordatenbanken, die bei der Handhabung von dynamischen Daten unterstützen sollen. Die Kunden erhalten auch direkten Zugriff auf Nvidias AI Workbench, mit der sie vortrainierte KI-Modelle testen und anpassen können.

Das KI-Modell und die Größe des Deployments bestimmen die Mindestanzahl der benötigten GPUs. Die Referenzkonfiguration, die VMware veröffentlicht hat, unterstützt 2-, 4-, und 8-GPU-Umgebungen. Je nach Anforderungen können die Workloads entsprechend aufgeteilt werden, um die erforderliche Leistung zu erhalten. Abhängig von der Parametergröße variieren laut VMware Llama-2-Modelle zwischen 13 und 140 GByte. Ein durchschnittliches Modell mit 70 GByte passe also bequem in den GPU-Speicher.

Verbindungen per NVLink und NVSwitch​

Für die Verbindungswege zwischen den GPUs integrieren die Hersteller Nvidia NVLink und Nvidia NVSwitch in die VM. Dabei bietet NVLink eine direkte Verbindung zwischen zwei GPU-Systemen, während NVSwitch die Verbindung von größeren Umgebungen ermöglicht. Für die Verbindung zwischen GPU und dem Hochleistungsspeicher vSAN verwendet VMware Nvidia GPUDirect Storage, um bei der Datenübertragung nicht die x86-CPU zu beanspruchen.

Auf der Hardwareseite soll VMware Private AI Foundation die Grafikeinheiten Nvidia L40s GPU, H100 und L100 unterstützen. Nvidias L40s-GPU ist dabei die leistungsstärkste universelle Datecenter-GPU, die der Hersteller derzeit im Sortiment hat. Laut Nvidia liefert sie die 1,2-fache Leistung bei der Interferenz und die 1,7-fache Leistung in Bezug auf das Modell-Training im Vergleich zur vorhergehenden Generation von A100-GPUs. Die L40s sollen außerdem mit Optionen für die Bluefield-3 Datenverarbeitungseinheit ausgestattet werden, um die Kommunikation im Rechenzentrum zu optimieren.

Als Vertriebspartner für das neue Produkt verkündet VMware eine Reihe von Partnerschaften mit großen Namen wie Dell, HPE und Lenovo. Die Unternehmen werden das System direkt als vorkonfigurierte, einsatzbereite Lösung anbieten. Kunden bleibt es laut VMware aber selbst überlassen, ob sie das komplette Paket oder nur die Software erwerben, um letztere dann auf eigenen Systemen einzusetzen. Hinsichtlich der Preisgestaltung hat VMware noch keine Details veröffentlicht, deutete jedoch an, dass sich die Kosten an der Anzahl der verwendeten Grafikeinheiten orientieren werden. Die vollständig integrierte Version von VMware Private AI Foundation soll Anfang 2024 öffentlich erhältlich sein.
(jvo [4])

---

URL dieses Artikels:

Du musst dich Anmelden oder Registrieren um diesen link zusehen!