Stable Virtual Camera wurde entwickelt, um 2D-Bilder in 3D-Ansichten zu verwandeln, die dann immersive Videos ermöglichen.
Stabilitäts-KI spricht von einer "Multi-View-Video-Erzeugung mit 3D-Kamerasteuerung". Dies bezieht sich auf ein KI-Modell, das Fotos in 3D-Modelle umwandeln kann. Diese wiederum können von allen Seiten betrachtet werden, was eine immersive Sicht ermöglicht. Stable Virtual Camera ist immer noch eine Forschungsvorschau.
Stability AI verwendet ein Diffusionsmodell, um die 3D-Videos zu erstellen. Das sind KI-Modelle, bei denen Bilder Punkt für Punkt mit Lärm erzeugt werden. Ein einzelnes Foto oder bis zu 32 Bilder können als Eingabe verwendet werden. Die generierten Videos sind mit verschiedenen Kamerawegen wie "dynamisch", "spiral", "dolly zoom", "pan" und mehr verfügbar. Im Blogbeitrag spricht der Anbieter von "realistischer Tiefe und Perspektive – ohne komplexe Rekonstruktionen und szeneabhängige Optimierungen".
Das Konzept hinter dem Modell basiert auf den Bedürfnissen von Digitalkameras in der Film- und 3D-Animation. Dank KI ist jedoch deutlich weniger Input und Arbeit erforderlich.
Nach mehreren Streitigkeiten an der Spitze der Stabilitäts-KI sollte das KI-Unternehmen wieder auf einer festen Basis stehen. Der Mitbegründer und Investor Emad Mostaque soll Stability finanziell geschädigt haben. Einige Gründer und Mitarbeiter verließen das Unternehmen. Jetzt gibt es neue Investoren, und James Cameron, jemand, der mit den Bedürfnissen des Filmgeschäfts vertraut ist, sitzt im Aufsichtsrat.
Quelle: heise.de
Du musst Regestriert sein, um das angehängte Bild zusehen.
Stabilitäts-KI spricht von einer "Multi-View-Video-Erzeugung mit 3D-Kamerasteuerung". Dies bezieht sich auf ein KI-Modell, das Fotos in 3D-Modelle umwandeln kann. Diese wiederum können von allen Seiten betrachtet werden, was eine immersive Sicht ermöglicht. Stable Virtual Camera ist immer noch eine Forschungsvorschau.
Stability AI verwendet ein Diffusionsmodell, um die 3D-Videos zu erstellen. Das sind KI-Modelle, bei denen Bilder Punkt für Punkt mit Lärm erzeugt werden. Ein einzelnes Foto oder bis zu 32 Bilder können als Eingabe verwendet werden. Die generierten Videos sind mit verschiedenen Kamerawegen wie "dynamisch", "spiral", "dolly zoom", "pan" und mehr verfügbar. Im Blogbeitrag spricht der Anbieter von "realistischer Tiefe und Perspektive – ohne komplexe Rekonstruktionen und szeneabhängige Optimierungen".
Das Konzept hinter dem Modell basiert auf den Bedürfnissen von Digitalkameras in der Film- und 3D-Animation. Dank KI ist jedoch deutlich weniger Input und Arbeit erforderlich.
Stabile virtuelle Kamera für Forscher
Zunächst steht Stable Virtual Camera nur für Forscher unter einer nicht-kommerziellen Lizenz auf Higging Face oder über Github zur Verfügung. Die Gewichte wurden auch veröffentlicht. Laut Stability AI schlägt das neue Modell vergleichbare Modelle wie ViewCrafter und CAT3D in einigen Benchmarks. Stabilitäts-KI betont vor allem die neue Bildsynthese. Der Anbieter sagt jedoch auch, dass bestimmte Inhalte zu schlechterer Qualität führen könnten, zum Beispiel wenn Menschen, Tiere oder dynamische Texturen wie Wasser gezeigt werden. Gelegentliche flackernde Artefakte, vor allem bei unregelmäßig geformten Gegenständen.Nach mehreren Streitigkeiten an der Spitze der Stabilitäts-KI sollte das KI-Unternehmen wieder auf einer festen Basis stehen. Der Mitbegründer und Investor Emad Mostaque soll Stability finanziell geschädigt haben. Einige Gründer und Mitarbeiter verließen das Unternehmen. Jetzt gibt es neue Investoren, und James Cameron, jemand, der mit den Bedürfnissen des Filmgeschäfts vertraut ist, sitzt im Aufsichtsrat.
Quelle: heise.de
