Edge AI: TinyML und TensorFlow Lite – Teil 2
24.08.2023 08:00 Uhr Dr. Michael Stal
Du musst angemeldet sein, um Bilder zu sehen.
Edge AI ist die Zukunft
(Bild: generiert mit DALL-E)
Mit dem KI-Framework TensorFlow Lite beziehungsweise TensorFlow Lite for Microcontrollers lassen sich KNN-Inferenzmodelle auch auf Kleinstgeräten ausführen.
Aufbauend auf den im ersten Teil der Artikelserie [1] [1] diskutierten KI-Grundlagen widmet sich der vorliegende Beitrag der praktischen Arbeit mit Künstlichen Neuronalen Netzen (KNNs) im Embedded-Umfeld und den dafür geeigneten Werkzeugen wie TinyML und TensorFlow Lite.
TinyML
Während das Training von KNNs überwiegend auf schnellen Servern oder Desktops passiert, lässt sich durch zahlreiche Kniffe ein KNN-Inferenzmodell selbst auf Kleinstgeräten mit minimalen Ressourcen ausführen. Unter Kleinstgeräten sind zum Beispiel Mikrocontroller-Boards mit Leistungen im mW-Bereich, Stromstärken von wenigen mA, Speichergrößen oft weit unter 1 MByte sowie Taktfrequenzen von wenigen Dutzend bis einigen Hundert MHz zu verstehen, die auch batteriegetrieben arbeiten können.MEHR ZU KI AUF EMBEDDED SYSTEMEN
- Edge AI: KI auf eingebetteten Systemen – Teil 1 [2] [2]
- Edge AI: TinyML und TensorFlow Lite – Teil 2 [3] [3]
- Programmiersprache Rust für Embedded-Systeme einsetzen [4] [4]
- Programmieren: Rust und .NET parallel einsetzen [5] [5]
- Machine Learning: MLOps für AI auf eingebetteten Systemen [6] [6]
- Teachable Machine: Eigenes KI-Modell trainieren mit Tools von Google [7] [7]
Du musst angemeldet sein, um Bilder zu sehen.
Dafür ist es nötig, das KNN möglichst kompakt abzulegen und für ausreichend Effizienz zu sorgen. Ein gangbarer Weg ist beispielsweise, speicherhungrige Datentypen wie Gleitkommazahlen so zu quantisieren, dass stattdessen Ganzzahlen an ihre Stelle treten. Durch diese und weitere Optimierungsmaßnahmen lassen sich zum einen Inferenzmodelle äußerst kompakt abspeichern und zum anderen Inferenzen selbst auf Mikrocontrollern performant durchführen. Genau dazu dient TinyML [8] [8]. Beispiele für TinyML-Anwendungen sind unter anderem das KI-Framework TensorFlow Lite [9] [9] / TensorFlow Lite for Microcontrollers [10] [10] und das Online-MLOps-Werkzeug Edge Impulse [11] [11]. Selbst auf Arduino-Boards lassen sich KNNs mit wenigen KByte Speicherbedarf abarbeiten, die zudem oft nur wenige Millisekunden für Vorhersagen benötigen. Im Folgenden betrachten wir dazu exemplarisch TensorFlow und Edge Impulse in Fallstudien.
URL dieses Artikels:
Edge AI: TinyML und TensorFlow Lite – Teil 2
Mit dem KI-Framework TensorFlow Lite beziehungsweise TensorFlow Lite for Microcontrollers lassen sich KNN-Inferenzmodelle auch auf Kleinstgeräten ausführen.
