Dies ist eine mobil optimierte Seite, die schnell lädt. Wenn Sie die Seite ohne Optimierung laden möchten, dann klicken Sie auf diesen Text.

Handy - Navigation Snapdragon-Smartphones lernen nativ LLaMA 2

    Nobody is reading this thread right now.

Snapdragon-Smartphones lernen nativ LLaMA 2​

27.07.2023 13:45 Uhr Mark Mantel
Du musst angemeldet sein, um Bilder zu sehen.

(Bild: c't)

Geräte mit Snapdragon-Prozessoren von Qualcomm können künftig LLaMA-2-Apps lokal ausführen. Für die KI braucht es dann keine Internetverbindung.

Die KI-Koprozessoren in bestimmten Snapdragon-Chips bekommen ab dem Jahr 2024 einen neuen Anwendungszweck: High-End-Geräte können da Apps lokal ausführen, die Metas Large Language Model (LLM) LLaMA 2 verwenden. Die Berechnungen laufen komplett über den Prozessor; Hilfe aus der Cloud wird nicht benötigt.

Sprachassistenten oder Übersetzungshilfen funktionieren dann zum Beispiel auch im Flugzeugmodus ohne Internetverbindung – und folglich mit potenziell besserem Datenschutz. In der Ankündigung schreiben Qualcomm und Meta [1], dass LLaMA-2-Apps auf "Flaggschiff-Smartphones und -PCs", aber auch auf VR-Brillen und in Fahrzeugen mit Qualcomm-Infotainment-System laufen sollen.

Meta hat LLaMA 2 zusammen mit Microsoft erst kürzlich vorgestellt [2]. App-Entwickler können das Sprachmodell kostenlos verwenden – entsprechende Apps dürften in den kommenden Monaten erscheinen.

Zunächst fürs High-End​

Im Falle von Smartphones bezeichnen Hersteller Modelle als Flaggschiff, die Prozessoren aus der Snapdragon-8-Familie [3] verwenden. Ende 2023 stellt Qualcomm voraussichtlichen den Snapdragon 8 Gen 3 vor, Ende 2024 dürfte der Gen-4-Nachfolger erscheinen.

ARM-Notebooks mit Qualcomm-Hardware sind bislang rar gesät. Die schnellsten Modelle verwenden derzeit den Snapdragon 8cx Gen 2. Im Jahr 2024 soll allerdings der erste Qualcomm-Prozessor mit selbstentwickelten ARM-Kernen [4] der zugekauften Firma Nuvia verfügbar sein. Qualcomm will damit Apple angreifen, der mit der M-Serie die schnellsten ARM-Notebook-Prozessoren auflegt.

Alle aktuellen Snapdragon-CPUs integrieren eine "Artificial Intelligence Engine", von Qualcomm auch Hexagon-Prozessor genannt. Je nach Leistungsklasse integrieren sie unterschiedlich viele KI-Rechenwerke, die Matrixmultiplikationen berechnen und aufaddieren (Multiply-Accumulate, MAC). Die Rechenleistung genügt, um fertig trainierte neuronale Netze lokal auszuführen.

URL dieses Artikels:
 
Für die Nutzung dieser Website sind Cookies erforderlich. Du musst diese akzeptieren, um die Website weiter nutzen zu können. Erfahre mehr…