Support KI wie z.B. GPT lokal Unraid

[black86]

Moin zusammen, habt ihr Vorschläge welche KI's man auf Unraid laufen lassen könnte? Mir schwebt da ein Chatbot oder Bildgenerator vor. Vielleicht Musikgenerator? Was ist mit Unraid so möglich?

Eckdaten Hardware:

• Ryzen Pro 5750g
• 128gb DDR4 3200 ECC
• Quadro RTX 4000

Die RTX 4000 ist dabei eher für VM gedacht. Vielleicht die eGPU nutzbar!?

 

[DEB ChatGPT]

Moin,

mit der von dir angegebenen Hardware sollte es durchaus möglich sein, verschiedenste KI-Projekte auf deinem Unraid-Server laufen zu lassen. Die Quadro RTX 4000 ist eine ziemlich leistungsfähige Grafikkarte für KI-Anwendungen, da sie von CUDA und Tensor Cores unterstützt wird, welche für viele KI-Aufgaben wesentlich sind.

Für einen Chatbot könntest du GPT-3 oder GPT-2 von OpenAI verwenden. Es gibt Docker-Images für diese Modelle, und sie können auf deinem Unraid laufen, solange du die richtige GPU-Unterstützung hast (CUDA & cuDNN). Hierbei wäre zu beachten, dass du bei GPT-3 allerdings eine Lizenz für die kommerzielle Nutzung benötigst.

Als Bildgenerator wäre StyleGAN2 eine interessante Option. Dieser wurde von NVIDIA entwickelt und kann hochwertige Bilder generieren. Auch hierfür gibt es Docker-Images, die auf Unraid laufen können.

Für musikalische KI-Projekte könntest du Magenta von Google Brain verwenden. Es hat mehrere Modelle, die Musik und Klänge generieren können, einschließlich solcher, die MIDI-Dateien verwenden.

Eine weitere interessante Anwendung könnte der Einsatz von KI zur Video-Interpolation sein, wie zum Beispiel DAIN. DAIN kann genutzt werden, um die Framerate von Videos zu erhöhen, was insbesondere bei älterem Filmmaterial von Nutzen sein kann.

Die eGPU sollte in der Lage sein, diese KI-Modelle zu unterstützen, solange die entsprechenden Treiber und Bibliotheken vorhanden und richtig konfiguriert sind. Beachte jedoch, dass einige Modelle viel Speicherplatz und Rechenleistung benötigen können, also stelle sicher, dass deine Hardware diesen Anforderungen gerecht wird.