Edge AI: TinyML und TensorFlow Lite – Teil 2
24.08.2023 08:00 Uhr Dr. Michael Stal
Edge AI ist die Zukunft
(Bild: generiert mit DALL-E)
Mit dem KI-Framework TensorFlow Lite beziehungsweise TensorFlow Lite for Microcontrollers lassen sich KNN-Inferenzmodelle auch auf Kleinstgeräten ausführen.
Aufbauend auf den
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
diskutierten KI-Grundlagen widmet sich der vorliegende Beitrag der praktischen Arbeit mit Künstlichen Neuronalen Netzen (KNNs) im Embedded-Umfeld und den dafür geeigneten Werkzeugen wie TinyML und TensorFlow Lite.TinyML
Während das Training von KNNs überwiegend auf schnellen Servern oder Desktops passiert, lässt sich durch zahlreiche Kniffe ein KNN-Inferenzmodell selbst auf Kleinstgeräten mit minimalen Ressourcen ausführen. Unter Kleinstgeräten sind zum Beispiel Mikrocontroller-Boards mit Leistungen im mW-Bereich, Stromstärken von wenigen mA, Speichergrößen oft weit unter 1 MByte sowie Taktfrequenzen von wenigen Dutzend bis einigen Hundert MHz zu verstehen, die auch batteriegetrieben arbeiten können.MEHR ZU KI AUF EMBEDDED SYSTEMEN
-
Du musst dich Anmelden oder Registrieren um diesen link zusehen!
-
Du musst dich Anmelden oder Registrieren um diesen link zusehen!
-
Du musst dich Anmelden oder Registrieren um diesen link zusehen!
-
Du musst dich Anmelden oder Registrieren um diesen link zusehen!
-
Du musst dich Anmelden oder Registrieren um diesen link zusehen!
-
Du musst dich Anmelden oder Registrieren um diesen link zusehen!
Dafür ist es nötig, das KNN möglichst kompakt abzulegen und für ausreichend Effizienz zu sorgen. Ein gangbarer Weg ist beispielsweise, speicherhungrige Datentypen wie Gleitkommazahlen so zu quantisieren, dass stattdessen Ganzzahlen an ihre Stelle treten. Durch diese und weitere Optimierungsmaßnahmen lassen sich zum einen Inferenzmodelle äußerst kompakt abspeichern und zum anderen Inferenzen selbst auf Mikrocontrollern performant durchführen. Genau dazu dient
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
. Beispiele für TinyML-Anwendungen sind unter anderem das KI-Framework
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
/
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
und das Online-MLOps-Werkzeug
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!
. Selbst auf Arduino-Boards lassen sich KNNs mit wenigen KByte Speicherbedarf abarbeiten, die zudem oft nur wenige Millisekunden für Vorhersagen benötigen. Im Folgenden betrachten wir dazu exemplarisch TensorFlow und Edge Impulse in Fallstudien.URL dieses Artikels:
Du musst dich
Anmelden
oder
Registrieren
um diesen link zusehen!