DIDYMOS-XR
DIgital, DYnaMische und verantwortungsvolle Zwillinge für XR

Das Ziel von DIDYMOS-XR ist es, realistische und dynamische XR-Anwendungen mithilfe von KI zu ermöglichen. Das Projekt konzentriert sich daher auf die Weiterentwicklung von Technologien zur Erstellung groß angelegter digitaler Zwillinge, die mit der realen Welt synchronisiert sind. DIDYMOS-XR erforscht und entwickelt Methoden zur Rekonstruktion und Kartierung aus heterogenen Eingaben, einschließlich statischer und mobiler Sensoren, KI-gestützter Datenfusion, Szenenverständnis und Rendering.
- Förderer Europäische Union
- Förderprogramm HORIZON-Aktionszuschuss auf Budgetbasis
- Fördersumme 5,92 Millionen Euro
- Laufzeit 2023 - 12/2025
Förderung
Partner








- Neàpolis




Team
- Prof. Dr.-Ing. Jan-Niklas Voigt-Antons
Projektleiter - Francesco Vona, PhD
Wissenschaftlicher Mitarbeiter - Miladin Ceranic
Wissenschaftlicher Mitarbeiter
DIDYMOS-XR: Dynamische und verantwortungsvolle Digitale Zwillinge für XR
DIDYMOS-XR ist ein europäisches Forschungsprojekt, das sich auf die Weiterentwicklung der Erstellung und Nutzung von Digitalen Zwillingen konzentriert – hochpräzisen digitalen Repräsentationen realer Umgebungen, Maschinen und Prozesse. Das Projekt reagiert auf den wachsenden Bedarf an dynamischen und kontinuierlich aktualisierten 3D-Modellen, die als Grundlage für fortschrittliche Extended-Reality-(XR)-Anwendungen in städtischen, industriellen und kollaborativen Szenarien dienen. Durch die Kombination von Computer Vision, Sensorfusion und Künstlicher Intelligenz (KI) zielt DIDYMOS-XR darauf ab, statische 3D-Scans in lebendige, semantisch angereicherte Digitale Zwillinge zu verwandeln, die sich kontinuierlich mit der realen Welt verändern.
Um diese Vision zu verwirklichen, entwickelt DIDYMOS-XR robuste und skalierbare Methoden zur 3D-Szenenrekonstruktion aus heterogenen Datenquellen wie LiDAR, RGB-Kameras, Drohnen und IoT-Sensoren. Diese Methoden ermöglichen die Integration von multitemporalen und multimodalen Daten – erfasst unter unterschiedlichen Umweltbedingungen – zu kohärenten, präzisen Abbildungen realer Umgebungen. Eine KI-basierte semantische Analyse erlaubt es dem System, Objekte automatisch zu erkennen und zu aktualisieren, wodurch Sensordaten mit realen Funktionen verknüpft werden. Das daraus entstehende Framework unterstützt XR-Anwendungen, die ein hohes Maß an Realismus, Präzision und Synchronität erfordern, wie etwa industrielle Instandhaltung, Stadtplanung, Sicherheitsschulungen und kollaboratives Design.
Über die technologische Innovation hinaus verfolgt DIDYMOS-XR einen nutzerzentrierten und ethisch verantwortungsvollen Ansatz. Das Projekt integriert Privacy-by-Design- und Ethics-by-Design-Prinzipien, um sicherzustellen, dass sensible Daten während der Erfassung, Verarbeitung und Nutzung geschützt bleiben. Die Validierung erfolgt anhand von fünf realen Anwendungsfällen, bei denen die Technologien gemeinsam mit Endnutzern entwickelt und getestet werden, um Benutzerfreundlichkeit, Transparenz und gesellschaftlichen Nutzen zu gewährleisten. Durch diesen interdisziplinären Ansatz trägt DIDYMOS-XR zur europäischen Führungsrolle im Bereich ethischer, KI-gestützter XR-Technologien bei und ebnet den Weg für skalierbare, vertrauenswürdige Ökosysteme Digitaler Zwillinge.
Arbeitspakete (Work Packages)
- WP1 – Projektmanagement
Gewährleistet den technischen, organisatorischen und finanziellen Erfolg des Projekts. Etabliert Kommunikations- und Berichtstrukturen, koordiniert wissenschaftliche Aktivitäten, stellt Qualitätskontrolle sicher, verwaltet Forschungsdaten und überwacht die fristgerechte Lieferung der Projektergebnisse gemäß dem Grant Agreement.
- WP2 – Nutzerzentrierte Entwicklung
Definiert Benchmarks und Bewertungskriterien für XR-Anwendungen. Überwacht die Einhaltung ethischer Standards und der DSGVO, implementiert Privacy- und Ethics-by-Design-Prinzipien in allen Entwicklungsphasen und arbeitet mit dem Ethics Advisory Board zusammen, um verantwortungsvolle Innovation und Nutzervertrauen sicherzustellen.
- WP3 – Welterfassung und Synchronisation
Entwickelt Methoden zur Integration von Daten aus stationären und mobilen Sensoren, kombiniert hoch- und niedrigauflösende Eingaben für eine großskalige 3D-Rekonstruktion, untersucht semantisches und dynamisches Szenenverständnis und implementiert eine automatische Synchronisation zwischen physischer Umgebung und digitalem Zwilling.
- WP4 – Lokalisierung, Kartierung und Rendering
Entwickelt hochpräzise Lokalisierungsalgorithmen unter Verwendung eines Multi-Sensor-Ansatzes. Erforschung von Verfahren zur automatischen Kartenaktualisierung sowie adaptivem Rendering, das die visuelle Qualität und Performance auf unterschiedlichen Geräten und Anzeigeumgebungen optimiert.
- WP5 – XR-Anwendungen und Validierung
Integriert die in WP3 und WP4 entwickelten Technologien in XR-Demonstratoren in den Bereichen Smart City und Industrieproduktion. Führt nutzerzentrierte Validierungsexperimente durch, um technische Leistung, Benutzerfreundlichkeit, Quality of Experience (QoE) und Praxistauglichkeit zu bewerten.
- WP6 – Verbreitung und Kommunikation
Steigert das Bewusstsein relevanter Stakeholder und Interessengruppen, unterstützt die Verwertungs- und Innovationsstrategie und setzt den Kommunikations- und Verbreitungsplan des Projekts um. Fördert die Einbindung von Industrie- und Forschungspartnern und unterstützt die Standardisierung und Sichtbarkeit der DIDYMOS-XR-Ergebnisse.
Anwendungsfälle (Use Cases)
Zur Demonstration der Skalierbarkeit und Vielseitigkeit der DIDYMOS-XR-Technologien entwickelt und validiert das Projekt fünf komplementäre Anwendungsfälle, die Virtual und Augmented Reality in unterschiedlichen Kontexten kombinieren:
- Digital-Twin-Erstellung
Aufbau des zentralen Digitalen Zwillings durch Aggregation von Daten aus städtischen Sensoren (Ampeln, Luftqualität, Wetter, Kameras) und mobilen Plattformen (Fahrzeuge, Drohnen). Ziel ist die Erstellung eines präzisen, kontinuierlich aktualisierten virtuellen Modells als Grundlage für alle weiteren Anwendungen.
- Tourismus
Bietet immersive Tourismus-Erlebnisse durch VR und AR. Nutzer können virtuelle Städte erkunden, Informationen zu Menschenmengen, Verkehr und Umweltbedingungen abrufen oder vor Ort in Vilanova (Spanien) und Etteln (Deutschland) mithilfe von AR-Overlays kulturelle und praktische Informationen einsehen.
- Stadtinstandhaltung
Nutzt Sensordaten und XR-Schnittstellen zur Verbesserung der städtischen Infrastrukturverwaltung. Anwendungen umfassen die automatische Erkennung von Vandalismus, Müll, invasiven Pflanzen oder beschädigten öffentlichen Einrichtungen. Stadtverwaltungen und Bürger erhalten Benachrichtigungen und können Wartungsaufgaben effizient planen.
- Stadtplanung
Ermöglicht es Planern, den Digitalen Zwilling zu verändern und zukünftige urbane Szenarien zu simulieren – etwa neue Verkehrsführungen, Bauprojekte oder Änderungen der Gebäudeanordnung. Die Simulationen helfen, Auswirkungen auf Verkehr, Zugänglichkeit und Lebensqualität zu bewerten.
- Industrie
Unterstützt industrielle Digital-Twin-Workflows, bei denen Menschen und autonome Roboter zusammenarbeiten. Mit AR-Brillen oder mobilen Geräten können Arbeiter Scanfehler erkennen, 3D-Modelle der Fabrikumgebung aktualisieren oder Points of Interest (POI) hinzufügen, um Wartungs- und Navigationsaufgaben zu verbessern.
Im Blog
Zwei Innovationen aus dem DIDYMOS-XR-Projekt wurden vom Innovation Radar der Europäischen Kommission analysiert: eine Validierungsmethodik für XR-Digital-Twin-Anwendungen und eine nutzerzentrierte Designmethodik für XR-Digital-Twin-Lösungen. Die Hochschule Hamm-Lippstadt wurde dabei gemeinsam mit der TU Berlin als Key Innovator benannt. Mehr dazu in unserem Blogbeitrag.
Publikationen
- Exploring the Effect of Heights and User Stance on User Experience in Extended Reality Climbing
Kojic, T., Kirchner, N., Vergari, M., Warsinke, M., Möller, S., Voigt-Antons, J.-N. (2025, September). Exploring the Effect of Heights and User Stance on User Experience in Extended Reality Climbing. Poster presented at the 17th International Conference on Quality of Multimedia Experience (QoMEX 2025), Madrid, Spain. - Influence of Interactivity in Shaping User Experience and Social Acceptability of Mobile Augmented Reality
Kojic, T., Vergari, M., Warsinke, M., Möller, S., Voigt-Antons, J.-N. (2025, March). Influence of Interactivity in Shaping User Experience and Social Acceptability of Mobile Augmented Reality. Paper presented at the workshop Social Interaction and Collaboration in eXtended Reality (SIC-XR 2025), Saint-Malo, France. - Digital Eyes: Social Implications of XR EyeSight
Vergari, M., Kojic, T., Wardah, W., Warsinke, M., Voigt-Antons, J.-N., Möller, S. & Spang, R. (2024, October). Digital Eyes: Social Implications of XR EyeSight. Paper presented at the 30th ACM Symposium on Virtual Reality Software and Technology (VRST 2024), Trier, Germany. https://doi.org/10.1145/3641825.3689526
