05.02.2021
| Forschung |
Aktuelle Forschung am DSC: Auswahl der richtigen KI-Hardware
Mehr Effizienz im Betriebsablauf: Mit Hilfe von neuronalen Netzen bereits während der Programmierung die richtige Hardware finden.
Mit dem Paper
„Pick the Right Edge Device: Towards Power and Performance Estimation of CUDA-based CNNs on GPGPUs“ hat unser Mitarbeiter Christopher Metz, in Kooperation mit Mehran Goli (DFKI), einen neuen Ansatz geliefert mit dessen Hilfe es möglich ist den Stromverbrauch und die Performance für verschiedene Grafikkarten Modellen (
GPGPUs) für die Ausführung von Convolutional Neural Networks (
CNNs) zu bestimmen.
Es wird möglich sein, diese Schätzungen für neue CNNs durchzuführen ohne diese vorab auf realer Hardware auszuführen. Das ist insbesondere für Systeme im Edge oder im Embedded Computing Bereich Hilfreich, da so weniger Prototypen getestet werden müssen. Auch kann diese Schätzung dazu beitragen, dass günstigere GPGPU Modelle gewählt werden und hat damit direkten Einfluss auf den Endpreis eines Produktes. Der Ansatz sieht ein Neuronales Netz für die Schätzung vor. Dieses erhält als Input ein
Instruction Profil für das jeweilige CNN und die Hardware Zusammensetzung einer GPGPU. Das Instruction Profil wird aus dem Quellcode des CNN generiert und enthält die Berechnungsinstruktionen für die Grafikkarte. Diese sind in unterschiedliche Klassen unterteilt. Mit den Informationen wird das Neuronale Netz anschließend die Schätzung durchführen. Es notwendig, dass das Netz für jede zu schätzende GPGPU ausgeführt werden muss. Anschließend muss (noch) die beste GPGPU herausgesucht werden.
Bisherige Ansätze setzen auf sogenannte Performance Counter für die Schätzung und Vorhersage. Der Nachteil an Performance Counter ist, dass Sie erst zur Ausführungszeit zur Verfügung stehen. Somit muss ein neues Model zunächst einmal auf einer realen Hardware ausgeführt werden, um die dazu gehörigen Performance Counter zu ermitteln. Anschließend lässt sich mit den bestehenden Ansätzen ebenfalls eine Schätzung durchführen. Der neue Ansatz kommt ohne eine einmalige Ausführung aus, dadurch ist es möglich deutlich früher, bereits während der Programmierung, die geeignete Hardware zu ermitteln.
Die Arbeit ist in Kooperation mit der Arbeitsgruppe
Cyber-Physical Systems des DFKI am Standort Bremen entstanden und wurde auf dem Workshop
System-level Design Methods for Deep Learning on Heterogeneous Architectures (SLOHA) eingereicht und vorgestellt. Weitere Autoren sind Dr.-Ing. Mehran Goli (DFKI/Uni Bremen) und Prof. Rolf Drechsler (Uni Bremen/DFKI). Derzeit wird der notwendige Trainingsdatensatz generiert und gesammelt auf deren Basis anschließend das Neuronales Netz trainiert wird. Die Ergebnisse der Experimente werden in einer zukünftigen Arbeit veröffentlicht.
Aktualisiert von: Christopher Metz
« zurück
05.02.2021 | Forschung
Aktuelle Forschung am DSC: Auswahl der richtigen KI-Hardware
Mehr Effizienz im Betriebsablauf: Mit Hilfe von neuronalen Netzen bereits während der Programmierung die richtige Hardware finden.
Mit dem Paper
„Pick the Right Edge Device: Towards Power and Performance Estimation of CUDA-based CNNs on GPGPUs“ hat unser Mitarbeiter Christopher Metz, in Kooperation mit Mehran Goli (DFKI), einen neuen Ansatz geliefert mit dessen Hilfe es möglich ist den Stromverbrauch und die Performance für verschiedene Grafikkarten Modellen (
GPGPUs) für die Ausführung von Convolutional Neural Networks (
CNNs) zu bestimmen.
Es wird möglich sein, diese Schätzungen für neue CNNs durchzuführen ohne diese vorab auf realer Hardware auszuführen. Das ist insbesondere für Systeme im Edge oder im Embedded Computing Bereich Hilfreich, da so weniger Prototypen getestet werden müssen. Auch kann diese Schätzung dazu beitragen, dass günstigere GPGPU Modelle gewählt werden und hat damit direkten Einfluss auf den Endpreis eines Produktes. Der Ansatz sieht ein Neuronales Netz für die Schätzung vor. Dieses erhält als Input ein
Instruction Profil für das jeweilige CNN und die Hardware Zusammensetzung einer GPGPU. Das Instruction Profil wird aus dem Quellcode des CNN generiert und enthält die Berechnungsinstruktionen für die Grafikkarte. Diese sind in unterschiedliche Klassen unterteilt. Mit den Informationen wird das Neuronale Netz anschließend die Schätzung durchführen. Es notwendig, dass das Netz für jede zu schätzende GPGPU ausgeführt werden muss. Anschließend muss (noch) die beste GPGPU herausgesucht werden.
Bisherige Ansätze setzen auf sogenannte Performance Counter für die Schätzung und Vorhersage. Der Nachteil an Performance Counter ist, dass Sie erst zur Ausführungszeit zur Verfügung stehen. Somit muss ein neues Model zunächst einmal auf einer realen Hardware ausgeführt werden, um die dazu gehörigen Performance Counter zu ermitteln. Anschließend lässt sich mit den bestehenden Ansätzen ebenfalls eine Schätzung durchführen. Der neue Ansatz kommt ohne eine einmalige Ausführung aus, dadurch ist es möglich deutlich früher, bereits während der Programmierung, die geeignete Hardware zu ermitteln.
Die Arbeit ist in Kooperation mit der Arbeitsgruppe
Cyber-Physical Systems des DFKI am Standort Bremen entstanden und wurde auf dem Workshop
System-level Design Methods for Deep Learning on Heterogeneous Architectures (SLOHA) eingereicht und vorgestellt. Weitere Autoren sind Dr.-Ing. Mehran Goli (DFKI/Uni Bremen) und Prof. Rolf Drechsler (Uni Bremen/DFKI). Derzeit wird der notwendige Trainingsdatensatz generiert und gesammelt auf deren Basis anschließend das Neuronales Netz trainiert wird. Die Ergebnisse der Experimente werden in einer zukünftigen Arbeit veröffentlicht.
Autor*in: Christopher Metz
Fragen beantwortet:
Christopher Metz
Wissenschaftlicher Mitarbeiter
+49 (421) 218 - 63942
cmetz@uni-bremen.de
« zurück