12.09.2022
| Forschung |
Auf der Suche nach dem richtigen ML-Beschleuniger
Der Einsatz von Deep Learning in IoT und Edge Computing Geräten schafft neue Herausforderungen. Wie können strikte Anforderungen an Stromverbrauch und Leistung bereits im Design berücksichtigt werden? Mithilfe eines weiterentwickelten ML-Verfahren lässt sich der Stromverbrauch von Grafikkarten während der Entwicklung bestimmen.
In dem Paper „Towards Neural Hardware Search: Power Estimation of CNNs for GPGPUs with Dynamic Frequency Scaling“ hat unser wissenschaftlicher Mitarbeiter Christopher Metz in Kooperation mit Mehran Goli (DKFI) und unter Leitung von Rolf Drechsler einen Ansatz weiterentwickelt, um den Stromverbrauch von GPGPUs, bei der Ausführung von Convolutional Neural Networks (CNNs) in frühen Phasen der Entwicklung noch besser zu bestimmen.
Die Arbeit greift frühere Ansätze der Autoren auf (DDECS wir berichten
»hier, CODES+ISSS wir berichten
»hier, DATA Friday Workshop SLOHA wir berichten
»hier) und erweitert diese in Bezug auf das dynamische Skalieren der Frequenz einer Grafikkarte. Mit der Absenkung der Frequenz von Recheneinheiten lässt sich der Stromverbrauch i.d.R. senken. Mit dem Ansatz dieser Arbeit lässt sich für alle Frequenzen der zu erwartende Stromverbrauch vorab schätzen. Dabei wird ein Fehler von nur 5,03% erreicht.
Der Stromverbrauch von Grafikkarten hat sich in den letzten Jahren immer weiter erhöht. So hat die Nvidia P100 noch 200 Watt (W) benötigt, während aktuelle Modelle wie die V100 und A100 250W bzw. 350W benötigen. Dieser Trend entwickelt sich fortlaufend weiter, so soll die kommende Nvidia H100 bis zu 700W Leistungsaufnahme haben. Angesichts des Einsatzes von maschinellem Lernen (insbesondere Deep Learning) in IoT und Edge Computing spielt limitierte Stromversorgung eine große Herausforderung beim Design dieser Systeme. Um den Design Prozess zukünftig zu automatisieren, stellen die Autoren zusätzlich erstmals das Konzept des „Neural Hardware Search“ (NHS) vor. Dabei handelt es sich um die Suche nach der besten Hardware für Neuronale Netze. Im Gegensatz zu bestehenden Ansätzen des Software/Hardware-Co-Designs wird beim Neural Hardware Search keine neue Hardware designt, sondern aus einem Set an existierenden ML-Beschleunigern (z.B. Grafikkarten) jene ausgewählt, die die Rahmenbedingungen am kostengünstigsten erfüllt. Der Ansatz zur Stromverbrauchsabschätzung wird zusammen mit anderen Vorhersagemodellen (z.B. für Leistung, Speicher, etc.) kombiniert, umso die verschiedenen Grafikkartenkonfigurationen zu testen ohne eine Großzahl an Prototypen bauen zu müssen.
Ferner kann der Ansatz auch genutzt werden, um den Stromverbrauch bei Cloud Providern geschickt zu reduzieren. Hierzu wird der Stromverbrauch für ein CNN bei verschiedenen Frequenzen geschätzt, um die Frequenz für den niedrigsten Stromverbrauch bei der Ausführung zu bestimmen. Anschließend kann für alle Ausführungen des CNNs in der Cloud die zuvor ermittelte Frequenz eingestellt werden.
Die Arbeit ist in Kooperation mit der Arbeitsgruppe Cyber-Physical Systems des DFKI am Standort Bremen entstanden und wurde auf dem 4. ACM/IEEE Workshop on Machine Learning for CAD vom 12.-13.09. in Snowbird Utah vorgestellt.
Über den MLCAD Workshop:
Der Workshop konzentrierte sich auf maschinelles Lernen (ML) für alle Aspekte des CAD und des Designs elektronischer Systeme. Der Workshop wurde sowohl von der ACM Special Interest Group on Design Automation (SIGDA) als auch vom IEEE Council on Electronic Design Automation (CEDA) gesponsert. Das Workshop-Programm umfasste neben technischen Präsentationen auch Keynote-Beiträge.
« zurück
12.09.2022 | Forschung
Auf der Suche nach dem richtigen ML-Beschleuniger
Der Einsatz von Deep Learning in IoT und Edge Computing Geräten schafft neue Herausforderungen. Wie können strikte Anforderungen an Stromverbrauch und Leistung bereits im Design berücksichtigt werden? Mithilfe eines weiterentwickelten ML-Verfahren lässt sich der Stromverbrauch von Grafikkarten während der Entwicklung bestimmen.
In dem Paper „Towards Neural Hardware Search: Power Estimation of CNNs for GPGPUs with Dynamic Frequency Scaling“ hat unser wissenschaftlicher Mitarbeiter Christopher Metz in Kooperation mit Mehran Goli (DKFI) und unter Leitung von Rolf Drechsler einen Ansatz weiterentwickelt, um den Stromverbrauch von GPGPUs, bei der Ausführung von Convolutional Neural Networks (CNNs) in frühen Phasen der Entwicklung noch besser zu bestimmen.
Die Arbeit greift frühere Ansätze der Autoren auf (DDECS wir berichten
»hier, CODES+ISSS wir berichten
»hier, DATA Friday Workshop SLOHA wir berichten
»hier) und erweitert diese in Bezug auf das dynamische Skalieren der Frequenz einer Grafikkarte. Mit der Absenkung der Frequenz von Recheneinheiten lässt sich der Stromverbrauch i.d.R. senken. Mit dem Ansatz dieser Arbeit lässt sich für alle Frequenzen der zu erwartende Stromverbrauch vorab schätzen. Dabei wird ein Fehler von nur 5,03% erreicht.
Der Stromverbrauch von Grafikkarten hat sich in den letzten Jahren immer weiter erhöht. So hat die Nvidia P100 noch 200 Watt (W) benötigt, während aktuelle Modelle wie die V100 und A100 250W bzw. 350W benötigen. Dieser Trend entwickelt sich fortlaufend weiter, so soll die kommende Nvidia H100 bis zu 700W Leistungsaufnahme haben. Angesichts des Einsatzes von maschinellem Lernen (insbesondere Deep Learning) in IoT und Edge Computing spielt limitierte Stromversorgung eine große Herausforderung beim Design dieser Systeme. Um den Design Prozess zukünftig zu automatisieren, stellen die Autoren zusätzlich erstmals das Konzept des „Neural Hardware Search“ (NHS) vor. Dabei handelt es sich um die Suche nach der besten Hardware für Neuronale Netze. Im Gegensatz zu bestehenden Ansätzen des Software/Hardware-Co-Designs wird beim Neural Hardware Search keine neue Hardware designt, sondern aus einem Set an existierenden ML-Beschleunigern (z.B. Grafikkarten) jene ausgewählt, die die Rahmenbedingungen am kostengünstigsten erfüllt. Der Ansatz zur Stromverbrauchsabschätzung wird zusammen mit anderen Vorhersagemodellen (z.B. für Leistung, Speicher, etc.) kombiniert, umso die verschiedenen Grafikkartenkonfigurationen zu testen ohne eine Großzahl an Prototypen bauen zu müssen.
Ferner kann der Ansatz auch genutzt werden, um den Stromverbrauch bei Cloud Providern geschickt zu reduzieren. Hierzu wird der Stromverbrauch für ein CNN bei verschiedenen Frequenzen geschätzt, um die Frequenz für den niedrigsten Stromverbrauch bei der Ausführung zu bestimmen. Anschließend kann für alle Ausführungen des CNNs in der Cloud die zuvor ermittelte Frequenz eingestellt werden.
Die Arbeit ist in Kooperation mit der Arbeitsgruppe Cyber-Physical Systems des DFKI am Standort Bremen entstanden und wurde auf dem 4. ACM/IEEE Workshop on Machine Learning for CAD vom 12.-13.09. in Snowbird Utah vorgestellt.
Über den MLCAD Workshop:
Der Workshop konzentrierte sich auf maschinelles Lernen (ML) für alle Aspekte des CAD und des Designs elektronischer Systeme. Der Workshop wurde sowohl von der ACM Special Interest Group on Design Automation (SIGDA) als auch vom IEEE Council on Electronic Design Automation (CEDA) gesponsert. Das Workshop-Programm umfasste neben technischen Präsentationen auch Keynote-Beiträge.
Fragen beantwortet:
Christopher Metz
Wissenschaftlicher Mitarbeiter
+49 (421) 218 - 63942
cmetz@uni-bremen.de
« zurück