Der Dienst ermöglicht die präzise Registrierung von Fotos innerhalb eines Gebäudes mittels einer KI-basierten 6D-Kamerapositionsschätzung. Dabei wird die genaue Orientierung und Position der Kamera in einer Gebäudeetage ermittelt.
Für die Registrierung wird ein semantisches 3D-Modell genutzt, das zuvor durch die Analyse von Plänen oder Punktwolken erstellt wurde. Dabei werden die semantische Merkmale wie Decke, Boden, Wand, Tür und Fenster verwendet, um eine präzise Zuordnung des Fotos zum 3D-Modell zu ermöglichen. Ein detailliertes BIM-Modell ist nicht erforderlich.
Der Dienst kann bei Bedarf die 1 bis n wahrscheinlichsten Kameraposen für ein Foto zurückgeben, um Mehrdeutigkeiten aufzulösen. Durch Filter und Vorwissen, z.B. dass alle Bilder aus demselben Raum stammen, kann das Ergebnis weiter präzisiert werden. Die Kenntnis der Etage ist dabei mindestens erforderlich.
Durch die exakte Überlagerung des Fotos mit dem Modell ergeben sich semantische Informationen für das Foto. Objekte, die von anderen Diensten im Bild erkannt werden, können anschließend wiederum in das Modell übertragen werden.
Daten
- Qualität: Tainingsdaten synthetisch erstellt, Testbilder müssen Raumkanten oder andere geometrische Merkmale, die sich mit dem semantischen Modell abgleichen lassen aufweisen.
- Eingabedatenformat:
- 2D-RGB Bild (PNG, JPG)
- Minimale 3D Beschreibung (Wände, Fenster, Türen) im JSON Austauschformat. Das Austauschformat wird zur internen Weiterverarbeitung in das Structured3D Format umgewandelt.
- Optional: Vorwissen (z.B. Raum)
- Ausgabedatenformat: Kamerapose als JSON
Literatur
Niklas Gard, Aleixo Cambeiro Barreiro. Towards automated digital building model generation from floorplans and on-site images. 34. Forum Bauinformatik. 2023. [PDF]
Ansprechpartner:
Niklas Gard, Fraunhofer Heinrich-Hertz-Institut (HHI)