Nutzung verschiedener Methoden des maschinellen Lernens zur Regelung von Fahrzeugsystemen
Die Steuerung fahrzeugtechnischer und nicht-fahrzeugtechnischer Systeme wird mit zunehmender Vernetzung und Digitalisierung in ihrer Komplexität weiter zunehmen. Die an vielen Stellen manuelle Parametrierung dieser Systeme stößt dabei zunehmend bezüglich Zeit und Kosten an ihre Grenzen. Seit 2010, als der Grafikkartenhersteller NVIDIA mit dem CUDA Toolkit eine Möglichkeit erschuf, Matrixrechenopperationen schnell und effizient auf Graphic Processing Units (GPUs) durchführen zu können, erhielt das maschinelle Lernen (konkreter - Deep Learnings) neue Möglichkeiten sich zu entwickeln. Seitdem hat sich die Nutzung künstlicher neuronaler Netze als Funktionsapproximator für verschiedene Bereiche der Wissenschaft und Technik enorm weiterentwickelt. Dabei wird es möglich real gemessene Daten zu verwenden, um Systemabbildungen (Simulationen) zu erzeugen, ohne den Umweg über eine analytische und/oder numerische Methode gehen zu müssen (welche nach Modellbildung immer mit realen Messwerten validiert werden muss). Ziel ist es ein System ohne Zuhilfenahme menschlicher Arbeitskraft vollautomatisch Regeln zu können. So soll es möglich sein, neu entwickelte und produzierte Maschinen schnell und effizient mithilfe von Aktuatoren und elektronischen Steuerelementen nach spezifischen Vorgaben einsatzfähig zu bekommen. Die vorliegende Arbeit beschreibt eine Methodik, durch überwachtes Lernen (Supervised Learning) datenbasierte Modelle, sogenannte digitale Zwillinge zu entwickeln. Mithilfe künstlicher neuronaler Netze werden stationäre und instationäre Modelle entwickelt und es werden statistischen Methoden zur Datenaufbereitung erläutert. Digitale Zwillinge sind nötig, da reale Umgebungen wie Prüfstände oder Maschinen teuer im Betrieb und langsam bei der Zustandsraumdurchschreitung sind. Nach erfolgreicher Generierung eines digitalen Zwillings wird bestärkendes Lernen (Reinforcement Learning) genutzt, autonom komplexe und mehrdimensionale Zustandsräume zu untersuchen und selbstständig Regelstrategien zu entwickeln. In Summe werden also digitale Zwillinge des Supervised Learnings auf Basis real gemessener Daten als Simulationsumgebungen genutzt, um mithilfe der Algorithmen des Reinforcement Learnings, selbstständig arbeitende Agenten zu trainieren. Drei Systeme werden dabei abgebildet. Ein Rohrsystem, ein semiaktiver Stoßdämpfer und ein Abgasturbolader. Am Beispiel des Abgasturboladers wird gezeigt, wie gut Reinforcement Learning im Vergleich zum klassischen PID Regler performt, dass die Methodik prinzipiell funktioniert, es aber noch weiterer Entwicklung bedarf, um tatsächlich direkt Verwendbare Regelalgorithmen zu erhalten, die denen klassischer Vorgehensweisen von heute ebenbürtig (oder gar überlegen) sind.
The control of vehicle and non-vehicle systems will continue to increase in complexity with increasing networking and digitization. The manual parameterization of these systems in many places is increasingly reaching its limits in terms of time and costs. Since 2010, when the graphics card manufacturer NVIDIA created the CUDA Toolkit, a way to perform matrix computing operations quickly and efficiently on graphic processing units (GPUs), machine learning (more concretely - deep learning) has been given new opportunities to develop. Since then, the use of artificial neural networks as function approximators for various fields of science and technology has evolved tremendously. Thereby it becomes possible to use real measured data to generate system representations (simulations) without having to go the detour via an analytical and/or numerical method (which always has to be validated with real measured values after model building). The goal is to be able to control a system fully automatically without the aid of human labor. Thus it should be possible to get newly developed and produced machines quickly and efficiently operational with the help of actuators and electronic control elements according to specific specifications. This thesis describes a methodology to develop data-based models, so-called digital twins, through supervised learning. Stationary and transient models are developed using artificial neural networks and statistical methods for data processing are explained. Digital twins are necessary because real-world environments such as test benches or machines are expensive to operate and slow to traverse state space. After successful generation of a digital twin, reinforcement learning is used to autonomously investigate complex and multi-dimensional state spaces and to independently develop control strategies. In sum, digital twins of supervised learning based on real measured data are used as simulation environments to train autonomously working agents with the help of reinforcement learning algorithms. Three systems are represented. A pipe system, a semi-active shock absorber and an exhaust gas turbocharger. Using the example of the exhaust gas turbocharger, it is shown how well reinforcement learning performs in comparison to the classical PID controller, that the methodology works in principle, but that further development is required to actually obtain directly usable control algorithms that are on par with (or even superior to) the classical approaches of today.
Preview
Cite
Rights
Use and reproduction:
