MIA-PROM
Multimodaler Interaktiver Assistent (MIA) - Patientenberichtete Ergebnisparameter (PROMs)

Die Erhebung von Patientenfeedback ist entscheidend für die Bewertung medizinischer Behandlungen. Ein wertvolles Instrument hierfür sind sogenannte Patient Reported Outcome Measures (PROMs), Fragebögen, die die Erfahrungen der Patienten vor und nach der Behandlung erfassen. Sprachbarrieren, Leseschwierigkeiten oder mangelnde Motivation können jedoch dazu führen, dass viele – insbesondere benachteiligte Gruppen – diese Fragebögen nicht ausfüllen. Das Projekt MIA-PROM begegnet diesem Problem mit einem Multimodalen Interaktiven Assistenten (MIA), der sowohl als virtueller als auch physischer Assistent verfügbar ist. Dieser führt die Patienten durch die PROM-Fragebögen, erklärt Fachbegriffe, beantwortet Fragen und motiviert zum Abschluss – auf eine zugängliche und ansprechende Weise. Das Projekt ist eine Zusammenarbeit von vier akademischen, industriellen und klinischen Partnern und hat eine Laufzeit von 40 Monaten. Unser Beitrag bestand vor allem in der Entwicklung und Integration des virtuellen Avatar-Assistenten in das System, der UX-Evaluierung und der Datenanalyse.
- Förderer Bundesministerium für Bildung und Forschung
- Förderprogramm KI-basierte Assistenzsysteme für prozessbegleitende Gesundheitsanwendungen (KIAS)
- Fördersumme 2,13 Millionen Euro
- Laufzeit 2022–2025
Förderung
Partner
Team
- Prof. Dr.-Ing. Jan-Niklas Voigt-Antons
Projektleitung - Navid Ashrafi
Wissenschaftlicher Mitarbeiter
MIA-PROM ist ein gemeinsames Forschungsprojekt, das vom Bundesministerium für Bildung und Forschung (BMBF) gefördert wird und akademische, industrielle und klinische Partner vereint – darunter die Charité – Universitätsmedizin Berlin, die Hochschule München, die Technische Universität Berlin, die Hochschule Hamm-Lippstadt, Dexter Health GmbH, Acalta GmbH, das ZAR Rehazentrum Berlin und das Rehazentrum Seehof Berlin. Das Projekt läuft von 2022 bis 2025 mit einem Fördervolumen von 2,13 Millionen Euro. Die zentralen Beiträge der Forschungsteams umfassen die Entwicklung und Integration des virtuellen Avatar-Assistenten, umfassende Nutzererfahrungsanalysen (User Experience) sowie eine robuste Datenanalyse. Durch den Fokus auf patientenzentrierte Kommunikation und technologische Innovation zielt MIA-PROM darauf ab, neue Standards für die digitale Erhebung von Gesundheitsdaten zu setzen und die medizinische Versorgung verschiedener Bevölkerungsgruppen zu verbessern.
Das Projekt MIA-PROM wurde entwickelt, um die Erfassung von Patientenfeedback in klinischen Umgebungen mithilfe fortschrittlicher, KI-gestützter Assistenzsysteme zu revolutionieren. Traditionell werden sogenannte Patient Reported Outcome Measures (PROMs) verwendet, um detaillierte Informationen zu Behandlungserfahrungen und -ergebnissen zu erfassen. Dieser Prozess ist jedoch häufig durch Barrieren wie Sprachschwierigkeiten, mangelndes Verständnis medizinischer Fachbegriffe und geringe Motivation zur Teilnahme erschwert – insbesondere bei benachteiligten Gruppen. Das MIA-PROM-Projekt begegnet diesen Herausforderungen durch die Einführung eines Multimodalen Interaktiven Assistenten (MIA), der Patientinnen und Patienten auf ansprechende und zugängliche Weise durch den PROM-Prozess führt. Dieser Assistent tritt sowohl als virtueller Avatar als auch als physischer Agent (Furhat-Roboter) auf, erklärt Fachbegriffe, beantwortet Fragen und motiviert die Teilnehmenden zur vollständigen Beantwortung der Fragebögen, wodurch die Qualität und Inklusivität der erhobenen Daten verbessert wird.
Eine der zentralen Innovationen von MIA-PROM liegt im Fokus auf Barrierefreiheit und sozialer Inklusion. Der Assistent ist so konzipiert, dass er Fragen vorliest, medizinische Begriffe in einfache Sprache übersetzt und Unterstützung bietet, die individuell auf die Bedürfnisse der Patientinnen und Patienten zugeschnitten ist. Zudem verfolgt das Projektteam einen partizipativen Designansatz, bei dem ein Patientenbeirat während der gesamten Entwicklungsphase eingebunden ist, um sicherzustellen, dass zentrale Designentscheidungen die tatsächlichen Perspektiven der Betroffenen widerspiegeln. In Workshops wird Feedback eingeholt und diskutiert, ob die Unterstützung bevorzugt durch einen kleinen robotischen Agenten mit physischer Präsenz oder durch einen virtuellen Avatar auf dem Bildschirm erfolgen sollte. Ziel ist es, herauszufinden, welches Format die Teilnahmebereitschaft und Datenqualität am effektivsten fördert. Darüber hinaus wird das Sprachmodul des Systems von Künstlicher Intelligenz gesteuert, die aus realen Interaktionen lernt und sich kontinuierlich verbessert.
Publikationen
- Shaping the Metaverse: policy engagement with immersive technologies in the UK
McWilliams, G., Phillips, D., McEvoy, B., Phillips, E., Lydon, D., Chang, J. R., Voigt-Antons, J.-N., ... & Crooks, N. (2023). Shaping the Metaverse: policy engagement with immersive technologies in the UK. - What importance does outpatient care have for mobility in rural areas? Results from a GPS study among persons aged 75 and older
Haeger, C., Mümken, S., Spang, R. P., Brauer, M., Voigt-Antons, J.N. & Gellert, P. (2024, September). What importance does outpatient care have for mobility in rural areas? Results from a GPS study among persons aged 75 and older. Paper presented at the 23. Deutscher Kongress für Versorgungsforschung 2024. Potsdam, Germany. - Working with Mixed Reality in Public: Effects of Virtual Display Layouts on Productivity, Feeling of Safety, and Social Acceptability
Kaeder, J., Vergari, M., Biener, V., Kojic, T., Grubert, J., Möller, S. & Voigt-Antons, J.-N. (2024, October). Working with Mixed Reality in Public: Effects of Virtual Display Layouts on Productivity, Feeling of Safety, and Social Acceptability. Paper presented at the 23rd IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2024), Greater Seattle Area, USA. - Multimodal User Experience in Extended Reality: Exploring Hand Tracking, Voice, and Passthrough Interactions
Kojic, T., Vergari, M., Warsinke, M., Ali, D., Möller, S. & Voigt-Antons, J.-N. (2025, March). Multimodal User Experience in Extended Reality: Exploring Hand Tracking, Voice, and Passthrough Interactions. Paper presented at the international workshop on IMmersive Mixed and Virtual Environment Systems (MMVE 2025), Stellenbosch, South Africa. - Investigating the impact of virtual element misalignment in collaborative Augmented Reality experiences
Vona, F., Hinzmann, S. L., Stern, M., Ćeranić, M., Grieshammer, D. K. & Voigt-Antons, J.-N. (2024, June). Investigating the impact of virtual element misalignment in collaborative Augmented Reality experiences. Paper presented at the 16th International Conference on Quality of Multimedia Experience (QoMEX 2024), Karlshamn, Sweden. https://doi.org/10.1109/QoMEX61742.2024.10598298 - Size Matters: The Impact of Avatar Size on User Experience in Healthcare Applications
Ashrafi, N., Vona, F., Hinzmann, S. L., Henning, J., Vergari, M., Warsinke, M., Moreira, C. P. & Voigt-Antons, J.-N. (2025, September). Size Matters: The Impact of Avatar Size on User Experience in Healthcare Applications. Paper presented at the 17th International Conference on Quality of Multimedia Experience (QoMEX 2025), Madrid, Spain. - Enabling Sustainable Everyday Mobility: The Role of E-Cargo Bikes in Urban and Rural Contexts
Voigt-Antons, J.-N, Ceranic, M. & Vona, F. (2025, June). Enabling Sustainable Everyday Mobility: The Role of E-Cargo Bikes in Urban and Rural Contexts. Poster presented at the International Conference on Human-Computer Interaction (HCII 2025). Gothenburg, Sweden.








