TOF-Kamera

TOF-Kameras sind 3D-Kamerasysteme, die mit dem Laufzeitverfahren (englisch: time of flight, TOF, auch ToF) Distanzen messen. Sie werden nach dem verwendeten PMD-Sensor auch PMD-Kameras genannt. Dazu wird die Szene mittels eines Lichtpulses ausgeleuchtet, und die Kamera misst für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht. Die benötigte Zeit ist direkt proportional zur Distanz. Die Kamera liefert somit für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Das Prinzip entspricht dem Laserscanning mit dem Vorteil, dass eine ganze Szene auf einmal aufgenommen wird und nicht abgetastet werden muss.

TOF-Kameras sind im Gegensatz zu anderen Methoden eine relativ neue Entwicklung. Die Systeme können im Entfernungsbereich von einigen Dezimetern bis ca. 40 m eingesetzt werden. Die Distanzauflösung beträgt dabei etwa 1 cm, die lateralen Auflösungen erreichen etwa 200 × 200 Pixel. Ein Vorteil dieser Kameras ist die hohe Bildwiederholrate von bis zu 512 Bildern pro Sekunde.

• Beispiele für TOF-Kameras
• 

  CamCube von PMD mit 204 × 204 Pixeln und SBI

• 

  SwissRanger 4000 von MESA Imaging mit 176 × 144 Pixeln

• 

  TOF-Kamera aus dem europäischen ARTTS-Projekt mit 176 × 144 Pixeln und Stromversorgung über USB

Aufbau

Eine TOF-Kamera besteht mindestens aus folgenden Komponenten:

• Beleuchtungseinheit: Mit ihr wird die Szene beleuchtet. Hier werden entweder LEDs oder Laserdioden verwendet, die genügend schnell moduliert werden können, damit der Sensor einwandfrei die Laufzeit messen kann. Die Pulsdauer bewegt sich dabei im Nanosekundenbereich. Die Beleuchtung sendet meist im nahen Infrarot, damit die Umgebung nicht durch die Kamera gestört wird.
• Optik: Eine Optik sammelt das von der Umgebung reflektierte Licht wieder ein und bildet die Szene auf dem Sensor ab. Ein optischer Bandpassfilter lässt nur die Wellenlänge durch, mit der auch die Beleuchtung arbeitet. Somit wird ein großer Teil des störenden Hintergrundlichtes eliminiert.
• Sensor: Das Herzstück der TOF-Kamera ist der Sensor, der die Laufzeit für jeden Bildpunkt separat misst. Der Bildsensor ähnelt dabei anderen Chips für Digitalkameras mit dem Unterschied, dass ein Pixel um einiges komplizierter aufgebaut ist: Es muss nicht einfach das einfallende Licht sammeln können, sondern die Laufzeit messen. Durch den komplizierteren Aufbau sind die Pixel im Vergleich zu Digitalkameras groß, sie erreichen Seitenlängen bis 100 µm. Die bisher höchste Auflösung von ToF-Sensoren beträgt 204 × 204 Pixel bei einer Kantenlänge von 45 µm.
• Ansteuerelektronik: Die Beleuchtung und der Sensor müssen mit einer aufwendigen Elektronik angesteuert werden, um eine möglichst hohe Genauigkeit zu erzielen. Verschieben sich die Ansteuersignale zwischen Beleuchtung und Sensor nur um 10 ps, so ändert sich die gemessene Distanz schon um 1,5 mm.
• Auswertung/Interface: Direkt im Kamerasystem geschieht meist auch die Berechnung der Distanz aus den gemessenen Werten. Dazu werden auch Kalibrierwerte im System abgespeichert. Als Schnittstelle kommt unter anderen USB oder Ethernet zum Einsatz.

Funktionsweise

Prinzip von TOF-Kameras

Die einfachste Form von TOF-Kameras arbeitet mit Lichtpulsen: Die Beleuchtung wird für einen kurzen Moment eingeschaltet, der Lichtpuls beleuchtet die Szene und wird an den Objekten reflektiert. Das Objektiv der Kamera sammelt dieses Licht und bildet die Szene auf dem Sensor ab. Abhängig von der Distanz erfährt das auf die einzelnen Pixel auftreffende Licht eine Verzögerung. Da sich das Licht mit Lichtgeschwindigkeit (in der Luft ca. 299.710 Kilometer pro Sekunde) ausbreitet, sind diese Zeiten sehr klein: Die Laufzeit des Lichts von der Kamera zu einem 2,5 m entfernten Gegenstand und zurück zur Kamera beträgt:

$t_{\mathrm {D} }=2\,{\frac {D}{c_{\mathrm {luft} }}}=2\,{\frac {2{,}5\,\mathrm {m} }{299.710\,\mathrm {km} \,\mathrm {s} ^{-1}}}\approx 16{,}7\,\mathrm {ns}$

Aufgrund des Auswertungsprinzips (s. u.) bestimmt die Pulslänge der Beleuchtung t₀ den maximalen Distanzbereich, den die Kamera abdecken kann. Mit einer Pulslänge von 50 ns können Distanzen bis zu

$D_{\mathrm {max} }={\frac {c_{\mathrm {luft} }\,t_{0}}{2}}={\frac {299.710\,\mathrm {km} \,\mathrm {s} ^{-1}\cdot 50\,\mathrm {ns} }{2}}\approx 7{,}5\,\mathrm {m}$

gemessen werden. Diese kurzen Zeiten zeigen, dass die Beleuchtung ein kritischer Teil des Systems ist. Nur mit ausgesuchten LEDs oder mit aufwendiger anzusteuernden Lasern ist es möglich, solch kurze Pulse zu erzeugen.

Die einzelnen Pixel bestehen aus einem fotoempfindlichen Element (z. B. Fotodiode), es wandelt das Licht in einen Strom um. An die Fotodiode sind einer oder mehrere schnelle Verschlüsse oder Schalter angebracht, welche nur für einen ganz bestimmten Zeitraum das elektrische Signal durchlassen. Ein nachgeschaltetes Speicherelement summiert das Signal auf.

In der Beispielskizze arbeitet das Pixel mit 2 Schaltern (G₁ und G₂) und Speicherelementen (S₁ und S₂). Die Schalter werden mit einem Pulssignal mit der gleichen Länge wie der Lichtpuls angesteuert, wobei das Steuersignal für G₂ um eine Pulslänge verschoben ist. Trifft nun das reflektierte Licht verzögert auf das Pixel auf, so gelangt nur ein Teil des Signals in das Speicherelement S₁, der andere Teil wird in S₂ gesammelt. Je nach Distanz verändert sich also das Verhältnis von S₁ und S₂, wie es in der zweiten Grafik dargestellt ist. Da innerhalb von 50 ns nur sehr wenig Licht gesammelt werden kann, wird nicht nur ein Puls, sondern mehrere Tausend mit einer Repetitionsrate von (t_R-1) ausgesandt und gesammelt, was die Signalstärke erhöht.

Nach der Aufnahme werden die Pixel ausgelesen, und die nachfolgende Stufe misst die Signale S₁ und S₂. Da die Länge des Lichtpulses bekannt ist, kann die Distanz wie folgt berechnet werden:

$D={\frac {c_{\mathrm {luft} }\,t_{0}}{2}}\cdot {\frac {S_{2}}{S_{1}+S_{2}}}$

Im Beispiel sind S₁ = 0,66 und S₂ = 0,33. Die Entfernung ist somit

$D\approx 7{,}5\,\mathrm {m} \cdot {\frac {0{,}33}{0{,}66+0{,}33}}=2{,}5\,\mathrm {m}$

Hintergrundlicht ergibt auf den beiden Speicherelementen einen zusätzlichen Signalanteil. Um diesen zu eliminieren, kann die Aufnahme noch einmal mit inaktiver Beleuchtung durchgeführt werden und diese Werte von den Signalen mit Beleuchtung abgezogen werden. Sind die Objekte weiter als der Distanzbereich entfernt, so ergeben sich mit der obigen Formel falsche Distanzwerte. Das kann auch mit einer zweiten Messung, bei der die Schaltsignale nochmals um t₀ verschoben werden, unterdrückt werden. Andere Systeme arbeiten anstelle der Pulse mit einer Sinusmodulation, bei der die Anforderungen an die Flankensteilheit der Beleuchtung kleiner sind.

Vor- und Nachteile

Vorteile

• Einfacher Aufbau: Im Gegensatz zu Laserscanner beinhaltet die Kamera keine beweglichen Teile. Da die Beleuchtung und das Objektiv nahe beieinander liegen, ist auch der Platzbedarf gegenüber Stereo- und Triangulationssystemen kleiner, und Abschattungen sind ausgeschlossen.
• Effiziente Datenauswertung: Mit den Distanzinformationen der TOF-Kameras ist es einfach, nur die interessanten Bereiche aus einem Bild zu extrahieren: Es wird ein Distanzschwellwert gesetzt, und nur die Pixel, die nähere Distanzen liefern, werden beachtet.
• Geschwindigkeit: Die TOF-Kameras bilden die gesamte Szenerie mit einer Aufnahme ab. Die Bildraten erreichen bis zu 160 Bilder pro Sekunde und ermöglichen somit Echtzeitanwendungen.
• Musterunabhängigkeit: Im Gegensatz zu Stereosystemen, die Schwierigkeiten mit wiederholenden Mustern oder uniformen Flächen bekommen können, funktionieren TOF-Kameras mit allen diffus reflektierenden Materialien.

Nachteile

• Hintergrundlicht: Obwohl der größte Teil des Hintergrundlichtes durch den optischen Filter unterdrückt wird, muss das Pixel dennoch mit einer sehr großen Dynamik zurechtkommen, muss die dadurch entstehende Ladung doch auch gespeichert oder abgeführt werden können. Zum Vergleich: Die derzeit ökonomisch möglichen Beleuchtungsstärken bewegen sich im Bereich von einem Watt. Die Sonne leistet in dem gefilterten Wellenlängenbereich immer noch 50 Watt pro Quadratmeter. Beträgt die beleuchtete Szene ein Quadratmeter, so ist die Sonne 50-mal so stark wie das Nutzsignal.
  Die Hersteller haben unterschiedliche Strategien für ihre Sensoren entwickelt, um dieses Hintergrundsignal zu einem guten Teil unterdrücken zu können (siehe zum Beispiel SBI des PMD-Sensors, der bis 150 klx arbeitet).
• Gegenseitige Störung: Sind mehrere Systeme in Betrieb, kann es sein, dass sich die verschiedenen Kameras gegenseitig stören und somit der Distanzwert verfälscht wird. Hierzu gibt es mehrere Möglichkeiten, dies zu umgehen:
  • Zeitmultiplex: Eine übergeordnete Steuerung startet die Messung der einzelnen Kameras nacheinander, so dass immer nur eine Beleuchtung in Betrieb ist.
  • Unterschiedliche Frequenzen: Arbeiten die Kameras mit leicht unterschiedlichen Modulationsfrequenzen, so wird das Licht der einen Kamera in der anderen nur als Hintergrundanteil demoduliert und verfälscht die Messung nicht.
• Mehrfachreflexion: Da im Gegensatz zu den Laserscanningsystemen eine ganze Szenerie und nicht nur ein einzelner Punkt beleuchtet wird, ist es möglich, dass mehrfach reflektiertes Licht von einem Gegenstand zurück auf den Sensor gelangt. Die gemessene Distanz kann in diesem Fall größer als die tatsächliche sein.

Anwendungsgebiete

Distanzbild aufgenommen mit TOF-Kamera zur Gestensteuerung

Automobile Anwendungen

TOF-Kameras werden als Fahrerassistenz- und Sicherheitssensoren im Automobilbereich eingesetzt. Dazu zählen Anwendungen wie der aktive Fußgängerschutz, Notbremsassistent, aber auch im Innenraum, wie die Überprüfung auf korrekte Fahrposition.

Mensch-Maschinen-Schnittstellen / Gaming

Durch die Echtzeitfähigkeit der TOF-Kameras können die Bewegungen eines Menschen verfolgt werden. Daher eröffnen sich neue Interaktionsmöglichkeiten mit den Geräten. Neben der Steuerung von z. B. Fernsehern ist die Anwendung der TOF-Kameras an Spielkonsolen ein interessantes Thema.

Messtechnik / Industrielle Bildverarbeitung

Vermessung von Objekten mit Hilfe von 3D-TOF-Bildern

Durch die dritte Dimension lassen sich Messaufgaben wie die Bestimmung von Füllhöhen in Silos oder die Volumenermittlung von Stückgütern einfach bewerkstelligen. In der industriellen Bildverarbeitung profitieren zum Beispiel Roboter, die Gegenstände von einem Förderband aufnehmen müssen, von der zusätzlichen Höhenangabe. Türsteuerungen können mit Hilfe der Höhe einfach zwischen Tieren und Menschen unterscheiden.

Robotik

Ein weiteres Einsatzgebiet sind mobile Roboter: Mit dem Umgebungsbild in Echtzeit können fahrbare Roboter ihre Umgebung schnell überblicken, Hindernissen ausweichen oder zum Beispiel einer Person folgen. Mit Hilfe einer TOF-Kamera kann aus vielen einzelnen Aufnahmen eine Karte der Umgebung erstellt werden.

Medizin

Datei:Patpos.png

Patientenpositionierung mit Hilfe von 3D-TOF-Bildern

TOF-Kameras können auch als zusätzliche bildgebende Modalität in der Medizintechnik eingesetzt werden. Beispiele für diese Anwendungen werden im Folgenden kurz aufgezeigt:

• Atemdetektion: Mit Hilfe von TOF-Kameras ist es möglich, ein multidimensionales Atemsignal zu berechnen. Es ist somit möglich, berührungslos und ohne Marker an mehreren Stellen (z. B. Thorax, Abdomen) unabhängige Atemsignale zu messen. Dies ist v. a. wichtig bei der Bestrahlung von Tumoren im Oberkörperbereich oder für die Reduktion von Artefakten, z. B. bei der Magnetresonanz- (MRT) oder Positronen-Emissions-Tomographie (PET).
• Patientenpositionierung: TOF-Kameras ermöglichen auch die exakte Positionierung von Patienten im klinischen Umfeld. Hierfür werden die 3D-Punktwolken eines Referenz TOF-Bildes mit einer weiteren Punktwolke registriert. Ergebnis dieser Registrierung ist die Translation und Rotation, die auf den Patienten angewendet werden muss, dass dieser exakt gleich liegt wie bei der Aufnahme des Referenzbildes. Anwendungen hierfür sind ebenfalls in der Bestrahlungstherapie zu finden. Hier wird an einer initialen CT-Messung die Bestrahlung geplant. Dieser Plan muss bei sämtlichen folgenden Bestrahlungssitzungen valide sein. Dies kann durch eine Registrierung von TOF-Bildern erfolgen.
• Messung von Körpergröße und Körpergewicht: In Kombination mit einem maschinellen Lernalgorithmus kann mittels TOF-Kamera mit hoher Präzision die Körpergröße und das Gewicht eines Patienten in liegender Position vorhergesagt werden. Dies kann in Notfallsituationen helfen, beispielsweise um bei bewusstlosen Patienten eine gewichtsadaptierte Dosierung für Notfallmedikamente abzuschätzen.

Mobiltelefone

In Mobiltelefonen werden TOF-Kameras verwendet, um fotografische Effekte wie eine geringe Schärfentiefe per Software nach der Aufnahme zu simulieren. Auch Augmented-Reality-Anwendungen profitieren von der Technologie. Einfache 3D-Scans sind zwar grundsätzlich mit TOF-Kameras möglich, aufgrund der beschränkten räumlichen Auflösung jedoch nur als Ergänzung zu photogrammetrischen Verfahren sinnvoll. Grundsätzlich lässt sich mit TOF-Kameras in gewissem Umfang auch die Funktion eines aktiven Nachtsichtgeräts simulieren, das basiert aber im Wesentlichen auf der eingesetzten Infrarotbeleuchtung.

Siehe auch

• LIDAR

Literatur

• Pia Breuer: Entwicklung einer prototypischen Gestenerkennung in Echtzeit unter Verwendung einer IR Tiefenkamera. 2005 (Universität Koblenz Landau; Diplomarbeit; PDF-Datei; 2,80 MB; Gestenerkennung mit TOF-Kameras)
• Martin Profittlich: Minority Report -Futuristische Interface-Technologien durch 3D-Bildverarbeitung. In: Inspect. Nr. 2, 2009 (HTML-Version, abgerufen am 30. September 2009).
• Christian Schaller, Jochen Penne, Joachim Hornegger: Time-of-flight sensor for respiratory motion gating. In: Medical Physics. Band 35, Nr. 7, 2008, S. 3090–3093, doi:10.1118/1.2938521 (PDF-Datei; 214 kB – Atemdetektion mit TOF-Kameras, TOF-Forschungsgruppe des Lehrstuhl für Mustererkennung Universität Erlangen-Nürnberg). 
• Technological overview of Time-of-Flight cameras. Beschreibung der Technologie und Vergleich zu anderen Echtzeit 3-D Erfassungssystemen, Metrilus.de, abgerufen am 13. Juli 2011.

Weblinks

• Stefan Fuchs, Stefan May: Calibration and Registration for Precise Surface Reconstruction with TOF Cameras. (Kalibrierung von TOF-Kameras; englisch; PDF-Datei; 2,49 MB).
• Gesturespace, Arbeit an der Zürcher Hochschule der Künste (Memento vom 26. März 2012 im Internet Archive)
• Website des europäischen Forschungsprojekt ARTTS über den Einsatz von TOF-Kameras
• Project Tango