Snapdragon-Smartphones lernen nativ LLaMA 2
27.07.2023 13:45 Uhr Mark Mantel
(Bild: c't)
Geräte mit Snapdragon-Prozessoren von Qualcomm können künftig LLaMA-2-Apps lokal ausführen. Für die KI braucht es dann keine Internetverbindung.
Die KI-Koprozessoren in bestimmten Snapdragon-Chips bekommen ab dem Jahr 2024 einen neuen Anwendungszweck: High-End-Geräte können da Apps lokal ausführen, die Metas Large Language Model (LLM) LLaMA 2 verwenden. Die Berechnungen laufen komplett über den Prozessor; Hilfe aus der Cloud wird nicht benötigt.
Sprachassistenten oder Übersetzungshilfen funktionieren dann zum Beispiel auch im Flugzeugmodus ohne Internetverbindung – und folglich mit potenziell besserem Datenschutz.
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
, dass LLaMA-2-Apps auf "Flaggschiff-Smartphones und -PCs", aber auch auf VR-Brillen und in Fahrzeugen mit Qualcomm-Infotainment-System laufen sollen.Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
. App-Entwickler können das Sprachmodell kostenlos verwenden – entsprechende Apps dürften in den kommenden Monaten erscheinen.Zunächst fürs High-End
Im Falle von Smartphones bezeichnen Hersteller Modelle als Flaggschiff, dieDu musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
verwenden. Ende 2023 stellt Qualcomm voraussichtlichen den Snapdragon 8 Gen 3 vor, Ende 2024 dürfte der Gen-4-Nachfolger erscheinen.ARM-Notebooks mit Qualcomm-Hardware sind bislang rar gesät. Die schnellsten Modelle verwenden derzeit den Snapdragon 8cx Gen 2. Im Jahr 2024 soll allerdings der
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
der zugekauften Firma Nuvia verfügbar sein. Qualcomm will damit Apple angreifen, der mit der M-Serie die schnellsten ARM-Notebook-Prozessoren auflegt.Alle aktuellen Snapdragon-CPUs integrieren eine "Artificial Intelligence Engine", von Qualcomm auch Hexagon-Prozessor genannt. Je nach Leistungsklasse integrieren sie unterschiedlich viele KI-Rechenwerke, die Matrixmultiplikationen berechnen und aufaddieren (Multiply-Accumulate, MAC). Die Rechenleistung genügt, um fertig trainierte neuronale Netze lokal auszuführen.
URL dieses Artikels:
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
