Snapdragon-Smartphones lernen nativ LLaMA 2
27.07.2023 13:45 Uhr Mark Mantel
Du musst angemeldet sein, um Bilder zu sehen.
(Bild: c't)
Geräte mit Snapdragon-Prozessoren von Qualcomm können künftig LLaMA-2-Apps lokal ausführen. Für die KI braucht es dann keine Internetverbindung.
Die KI-Koprozessoren in bestimmten Snapdragon-Chips bekommen ab dem Jahr 2024 einen neuen Anwendungszweck: High-End-Geräte können da Apps lokal ausführen, die Metas Large Language Model (LLM) LLaMA 2 verwenden. Die Berechnungen laufen komplett über den Prozessor; Hilfe aus der Cloud wird nicht benötigt.
Sprachassistenten oder Übersetzungshilfen funktionieren dann zum Beispiel auch im Flugzeugmodus ohne Internetverbindung – und folglich mit potenziell besserem Datenschutz. In der Ankündigung schreiben Qualcomm und Meta [1], dass LLaMA-2-Apps auf "Flaggschiff-Smartphones und -PCs", aber auch auf VR-Brillen und in Fahrzeugen mit Qualcomm-Infotainment-System laufen sollen.
Meta hat LLaMA 2 zusammen mit Microsoft erst kürzlich vorgestellt [2]. App-Entwickler können das Sprachmodell kostenlos verwenden – entsprechende Apps dürften in den kommenden Monaten erscheinen.
Zunächst fürs High-End
Im Falle von Smartphones bezeichnen Hersteller Modelle als Flaggschiff, die Prozessoren aus der Snapdragon-8-Familie [3] verwenden. Ende 2023 stellt Qualcomm voraussichtlichen den Snapdragon 8 Gen 3 vor, Ende 2024 dürfte der Gen-4-Nachfolger erscheinen.ARM-Notebooks mit Qualcomm-Hardware sind bislang rar gesät. Die schnellsten Modelle verwenden derzeit den Snapdragon 8cx Gen 2. Im Jahr 2024 soll allerdings der erste Qualcomm-Prozessor mit selbstentwickelten ARM-Kernen [4] der zugekauften Firma Nuvia verfügbar sein. Qualcomm will damit Apple angreifen, der mit der M-Serie die schnellsten ARM-Notebook-Prozessoren auflegt.
Alle aktuellen Snapdragon-CPUs integrieren eine "Artificial Intelligence Engine", von Qualcomm auch Hexagon-Prozessor genannt. Je nach Leistungsklasse integrieren sie unterschiedlich viele KI-Rechenwerke, die Matrixmultiplikationen berechnen und aufaddieren (Multiply-Accumulate, MAC). Die Rechenleistung genügt, um fertig trainierte neuronale Netze lokal auszuführen.
URL dieses Artikels:
Snapdragon-Smartphones lernen nativ LLaMA 2
Geräte mit Snapdragon-Prozessoren von Qualcomm können künftig LLaMA-2-Apps lokal ausführen. Für die KI braucht es dann keine Internetverbindung.