Solutions to the SEP and position control problems using FBSDEs and simulation of super-linear MV-SDEs

Engelhardt, Stefan GND

We solve the Skorokhod embedding problem for a class of stochastic processes satisfying an inhomogeneous stochastic differential equation (SDE) of the form At = µ(t,At)dt + σ(t,At)dWt. We provide sufficient conditions guaranteeing that for a given probability measure ν on the real numbers there exists a bounded stopping time τ and a real a such that the solution (At) of the SDE with initial value a satisfies Aτ ~ ν. We hereby distinguish the cases where (At) is a solution of the SDE in a weak or strong sense. Our construction of embedding stopping times is based on the solution of a fully coupled forward-backward stochastic differential equation (FBSDE). We use the so-called method of decoupling fields to verify that the FBSDE has a unique solution. Finally, we sketch an algorithm for putting our theoretical construction into practice and illustrate it with a numerical experiment.

We also provide two sets of sufficient conditions for the existence of a solution to one-dimensional, time inhomogeneous position targeting problems, where the drift of the state process can be controlled and derive optimal controls.

For the special case of linear-quadratic control problems we derive the optimal linear feedback control and value function, for the finite time horizon and in the ergodic version. Our method is based on Pontryagin's maximum principle transforming the control problem into a fully coupled FBSDE, whose existence and uniqueness we verify with the method of decoupling fields.

Furthermore, we present two fully probabilistic Euler schemes, one explicit and one implicit, for the simulation of McKean-Vlasov Stochastic Differential Equations (MV-SDEs) with drifts of super-linear growth and random initial condition. We provide a pathwise propagation of chaos result and show strong convergence for both schemes on the consequent particle system. The explicit scheme attains the standard 1/2 rate in stepsize. For the implicit scheme we successfully use stopping times in combination to the particle system. Numerical tests recover the theoretical convergence rates and illustrate a computational complexity advantage of the explicit over the implicit scheme. Comparative analysis is carried out on a  stylized non Lipschitz MV-SDE from Gomes et al. 2019 and the neuron network model proposed in Baladron et al. 2012. We provide numerical tests illustrating a particle corruption effect where one single diverging particle can "corrupt" the whole particle system. Moreover, the more particles in the system the more likely this divergence is to occur.

Wir lösen das Skorokhod-Einbettungsproblem für eine Klasse von stochastischen Prozessen, die eine inhomogene stochastische Differentialgleichung (SDE) der Form At = µ(t,At)dt + σ(t,At)dWt erfüllen.

Wir leiten hinreichende Bedingungen her, die garantieren, dass für ein gegebenes Wahrscheinlichkeitsmaß ν auf den reellen Zahlen eine Stoppzeit τ und eine reelle Zahl a existieren, sodass die Lösung (At) der SDE mit Startwert A0=a die Bedingung Aτ ~ ν erfüllt.

Dabei unterscheiden wir die Fälle, in denen (At)die Lösung der SDE im schwachen oder im starken Sinn ist.

Unsere Konstruktion der einbettenden Stoppzeit basiert auf der Lösung einer voll gekoppelten Vorwärts-Rückwärts-Differentialgleichung (FBSDE).

Wir benutzen die sogenannte ,,Method of Decoupling Fields'', um zu verifizieren, dass die FBSDE eine eindeutige Lösung hat.

Schließlich stellen wir einen Algorithmus vor, der unsere theoretischen Ergebnisse in die Praxis umsetzt und illustrieren ihn mit einem numerischen Experiment.

Außerdem untersuchen wir eindimensionale, zeitlich inhomogene Positionskontrollprobleme, deren Drift-Term kontrolliert wird. Wir stellen zwei hinreichende Mengen von Bedingungen bereit, sodass hier Lösungen existieren und geben jeweils eine optimale Kontrolle an. Im Spezialfall der linear-quadratischen Kontrollprobleme leiten wir die optimale Feedback-Kontrolle und die Wertfunktion für sowohl den endlichen Zeithorizont als auch für den ergodischen Fall her.

Unsere Methode basiert auf Pontryagins Maximumsprinzip, das das Kontrollproblem in eine voll gekoppelte FBSDE überführt, deren Existenz und Eindeutigkeit wir mit Hilfe der ,,Method of Decoupling Fields'' verifizieren.

Des Weiteren präsentieren wir zwei stochastische Euler-Schemata, ein explizites und ein implizites, für die Simulation von stochastischen McKean-Vlasov Differentialgleichungen (MV-SDEs) mit einer zufälligen Startbedingung und einem Drift, der stärker als linear wachsen kann. Wir zeigen ein pfadweises Resultat für das sogenannte ,,Propagation of Chaos'' und zeigen die starke Konvergenz beider Schemata für die resultierenden Partikelsysteme.

Das explizite Schema konvergiert mit der Standardrate von 1/2 in der Schrittlänge. Für das implizite Schema verwenden wir erfolgreich Stoppzeitargumente zusammen mit einem Partikelsystem.

In numerischen Tests weisen wir die theoretischen Konvergenzraten nach und illustrieren den Rechenzeitvorteil des expliziten Schemas gegenüber dem impliziten.

Wir wenden unseren Algorithmus auf eine nicht Lipschitz MV-SDE aus Gomes et al. 2019  und auf das Modell eines neuronalen Netzes aus Baladron et al. 2012 an und vergleichen unsere Resultate mit den dortigen. Wir weisen numerisch den Effekt der ,,Particle Corruption'' nach, bei dem ein einziger Partikel divergiert und so das gesamte System korrumpiert.

Cite

Citation style:
Could not load citation form.

Rights

Use and reproduction:
All rights reserved

Export