This thesis deals with the possible application of image based camera tracking algorithmsin the field of stereoscopic, virtual television production. Today, the technological developmentin the broadcast domain regarding camera technology, image processing algorithmsand computer technology allows for the implementation of high precision image basedtracking systems.Unlike existing tracking systems the proposed method works without specialized pedestalequipment and without the use of external patterns, emitters and sensors. Thusa quick, straightforward initiation of the system independent of the shooting location ismade possible. This way virtual productions are no longer bound to purpose built studios.Rather the virtual technology flexibly adapts itself to the production environment. Such afully functioning stereoscopic tracking system is being designed, implemented and evaluated.This is how this dissertation contributes to the assessment of image based trackingalgorithms with respect to their opportunities and drawbacks within stereoscopic virtualtelevision production.Starting from a global view on the requirements of the camera tracking system withinthe broadcast production workflow a comparable error measure for the quantification oftracking errors is developed by analysing the causes and effects for even those. This enablesthe significant evaluation of image based tracking systems. Further, a complete workflowbased on practical work is defined and implemented. First of all, the specification of thisworkflow requrires the definition of the complete production system. Furthermore, theprocedure of camera calibration ist explained including its integration into the productionworkflow. The design and implementation of the tracking framework called MaSterBiTis based on existing approaches in the context of structure from motion algorithms to allowfor a reliable estimate of structure and motion parameters from stereoscopic videosequences based on sparse feature correspondence analysis. Algorithms for outlier eliminationand robust estimation are employed to keep the tracking errors small. The statictracking approach developed so far is then extended by means of camera tracking withindynamic scenes. Eventually, the demonstration of the developed system within the realproduction environment marks the closure of the implementation of the tracking framework.Finally, the proposed system is being evaluated on the basis of the error measure definedbefore. For the purpose of realization sets of synthetic and real ground truth dataare generated. The evaluation proves that the developed methods work well within thespecified limits in the virtual television production.
Die vorliegende Dissertation beschäftigt sich mit der Einsatzmöglichkeit bildbasierter Kameratrackingalgorithmenim Anwendungsbereich der stereoskopischen, virtuellen Fernsehproduktion.Die technologische Weiterentwicklung hinsichtlich der im Broadcastbereichverwendeten Kameratechnik, der Algorithmen der Bildverarbeitung und nicht zuletzt derRechnertechnik ermöglichen heutzutage die Umsetzung bildbasierter Trackingsysteme mithoher Präzision.In Abgrenzung zu existierenden Trackinglösungen kommt der vorgeschlagene Ansatzohne spezielle Stative und ohne die Installation externer Muster, Emitter und Sensorenaus. Dadurch wird eine schnelle, unkomplizierte, ortsunabhängige Inbetriebnahmeermöglicht, so dass die Durchführung virtueller Produktionen nicht mehr an speziell dafürkonzipierte Studios gebunden ist, sondern sich die virtuelle Technologie flexibel denBedürfnissen der Produktionsumgebung anpasst. Ein solches vollständig funktionsfähiges,stereoskopisches Trackingsystem wird konzipiert, umgesetzt und evaluiert. Damit leistetdie vorliegende Arbeit einen Beitrag zur Einschätzung bildbasierter Trackingalgorithmenhinsichtlich ihrer Möglichkeiten und Grenzen innerhalb der stereoskopischen, virtuellenFernsehproduktion.Ausgehend von einer gesamtheitlichen Betrachtung der Anforderungen an das Kameratrackinginnerhalb der Fernsehproduktionskette wird durch Analyse der Ursachenund Auswirkungen von Trackingfehlern ein vergleichbares Maß zur Quantifizierung desTrackingfehlers entwickelt, durch das die aussagekräftige Evaluation von bildbasiertenTrackingsystemen ermöglicht wird. In Anknüpfung an diese Spezifikationen wird ein vollständiger,praxisorientierter Workflow definiert und umgesetzt. Ausgehend von einer umfassendenSystemdefinition wird der Vorgang der Kamerakalibrierung erläutert und dieIntegration in den Produktionsworkflow beschrieben. Entwurf und Implementierung desTrackingframeworks MaSterBiT orientieren sich an bestehenden Ansätzen im Kontextvon Structure from Motion, um auf Basis spärlicher Merkmalskorrespondenzanalyse dieStruktur und Bewegungsparameter innerhalb der stereoskopischen Videosequenzen zuverlässigzu bestimmen. Um den Trackingfehler so gering wie möglich zu halten, werdenumfassende Methoden zur Ausreißereliminierung sowie zur robusten und globalen Schätzungkonzipiert und umgesetzt. Der soweit vorgestellte statische Ansatz wird um eineMethode zum Tracking innerhalb dynamischer Szenen erweitert und anschließend wirddie Arbeitsweise des Systems im realen Produktionsumfeld demonstriert.Zur Bewertung der Genauigkeit der Implementierung, werden synthetische und realeGround-Truth-Datensätze erstellt anhand derer das System unter Anwendung des entworfenenFehlermaßes evaluiert wird. Diese belegt die Funktionsfähigkeit der entworfenenMethoden innerhalb der spezifizierten Grenzen im Rahmen der virtuellen Fernsehproduktion.