Evaluation

Wie XR2ACH die Lernumgebung bewertet – Zweck, Instrumente, Gestaltung der Fragebögen und die verwendeten Skalen mit Quellen.

Wozu wir evaluieren

Die Evaluation in XR2ACH ist formativ: Sie soll zeigen, was an der Lernumgebung funktioniert und was verbessert werden muss – bei Bedienung, Wohlbefinden, Zusammenarbeit und fachlichem Inhalt. Die Erprobungen finden mit kleinen Gruppen in einzelnen Sitzungen statt. Aussagen über die Lernwirksamkeit verlangen ein eigenes Studiendesign mit Vergleichsgruppe und unabhängigen Leistungsdaten; dort, wo wir das haben, sagen wir es dazu.

Auszubildender mit VR-Brille vor einem Bildschirm, der seine Sicht zeigt, während einer Erprobung

Die Instrumente

ZeitraumErprobungInstrument
November 2025DKV-TagungRückmeldebogen zur ersten Fassung der Lernumgebung
Februar–April 2026Großgruppentests, Bundesfachschule LeonbergFragebogen auf Grundlage des Cognitive Affective Model of Immersive Learning (Makransky & Petersen, 2021), mit VR- und Vergleichsgruppe; ausgewertet von der Hochschule Neu-Ulm
September 2026Multiplayer-Erprobung, LeonbergFragebogen zu Bedienung, Zusammenarbeit, Wohlbefinden und Fachinhalt
September 2026Train-the-Trainer-Workshop, MaintalFragebogen für Ausbildende in drei Teilen: vorher, nach den Stationen, nach freiem Erproben
ab Herbst 2026weitere ErprobungenFragebogen mit validierten Skalen (siehe unten)

Die Antworten werden über eine Teilnehmerkennung mit den pseudonymisierten Lerndaten der Anwendung verknüpft (xAPI). So lassen sich Selbsteinschätzung und tatsächliches Vorgehen im Szenario nebeneinanderlegen.

Wie die Fragebögen gestaltet sind

  • WOHLBEFINDEN VORHER UND NACHHER Beschwerden wie Kopfschmerz oder Schwindel werden vor und nach der Sitzung erfragt. Wer nur nachher fragt, unterstellt, dass vorher alle beschwerdefrei waren. Diese Annahme hält empirisch nicht. Brown, Spronck & Powell (2022); Bimberg, Weissker & Kulik (2020)

  • PRÄSENZ IST NICHT EINE GRÖSSE Räumliche Präsenz, Einbindung und soziale Präsenz werden getrennt betrachtet. Eigene Fragen werden nicht als Präsenzwert ausgegeben. Bareišytė et al. (2024); Usoh et al. (2000); Degenhard et al. (2025)

  • BEDIENBARKEIT BRAUCHT AUFGABEN Ein Fragebogen misst die Zufriedenheit mit der Bedienung. Bedienbarkeit selbst zeigt sich bei konkreten Aufgaben, die wir beobachten. Balzerkiewitz & Stechert (2024); Webster & Dues (2017)

  • EINDEUTIG FORMULIERTE FRAGEN In eigenen Fragen verzichten wir auf umgekehrt gepolte Aussagen, weil sie in kleinen Gruppen zu widersprüchlichen Antworten geführt haben.

  • FREITEXT NEBEN JEDEM BLOCK Nicht nur am Ende.

  • EIGENE FRAGEN NUR, WO ES KEINE SKALA GIBT Für Lecksuche oder CAD-Visualisierung gibt es keine veröffentlichten Instrumente. Hier sind eigene Fragen die richtige Wahl.

Validierte Skalen ab den nächsten Erprobungen

Die bisherigen Sitzungsfragebögen bestanden überwiegend aus eigenen Fragen. Ab den nächsten Erprobungen bilden validierte Skalen den Kern, damit Ergebnisse mit veröffentlichten Vergleichswerten und zwischen den Erprobungen vergleichbar werden:

Was gemessen wirdSkalaQuelle
Beschwerden (vorher und nachher)Simulator Sickness Questionnaire (SSQ)Kennedy et al. (1993)
BedienbarkeitSystem Usability Scale (SUS)Brooke (1996); Lewis (2018)
NutzungserlebnisUser Experience Questionnaire, Kurzfassung (UEQ-S)Schrepp, Hinderks & Thomaschewski (2017)
Beanspruchung bei einer AufgabeNASA Task Load Index, ungewichtete FassungHart & Staveland (1988); Hart (2006)
Präsenz (in Forschungssitzungen)igroup Presence Questionnaire (IPQ)Schubert, Friedmann & Regenbrecht (2001)

Fachliche Fragen zu CAD-Visualisierung und Lecksuche bleiben eigene Fragen.

Ergebnisse

Ergebnisse veröffentlichen wir, sobald sie ausgewertet und mit den beteiligten.

Neuigkeiten und Erprobungsberichte ansehen

Literatur

  • Balzerkiewitz, H.-P., & Stechert, C. (2024). How to assess the usability of virtual reality (VR) systems for implementation in product development processes. Procedia CIRP, 128, 460–465. doi.org/10.1016/j.procir.2024.03.027
  • Bareišytė, L., Slatman, S., Austin, J., Rosema, M., van Sintemaartensdijk, I., Watson, S., & Bode, C. (2024). Questionnaires for evaluating virtual reality: A systematic scoping review. Computers in Human Behavior Reports, 16, 100505. doi.org/10.1016/j.chbr.2024.100505
  • Bimberg, P., Weissker, T., & Kulik, A. (2020). On the usage of the Simulator Sickness Questionnaire for virtual reality research. In 2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW). IEEE.
  • Brooke, J. (1996). SUS: A “quick and dirty” usability scale. In P. W. Jordan, B. Thomas, B. A. Weerdmeester & I. L. McClelland (Hrsg.), Usability Evaluation in Industry (S. 189–194). Taylor & Francis.
  • Brown, P., Spronck, P., & Powell, W. (2022). The simulator sickness questionnaire, and the erroneous zero baseline assumption. Frontiers in Virtual Reality, 3, 945800. doi.org/10.3389/frvir.2022.945800
  • Degenhard, A., Askari, A., Rietzler, M., & Rukzio, E. (2025). When do we feel present in a virtual reality? Towards sensitivity and user acceptance of presence questionnaires. In CHI ‘25. ACM. doi.org/10.1145/3706598.3714204
  • Hart, S. G. (2006). NASA-Task Load Index (NASA-TLX); 20 years later. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 50(9), 904–908.
  • Hart, S. G., & Staveland, L. E. (1988). Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research. Advances in Psychology, 52, 139–183.
  • Kennedy, R. S., Lane, N. E., Berbaum, K. S., & Lilienthal, M. G. (1993). Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness. The International Journal of Aviation Psychology, 3(3), 203–220. doi.org/10.1207/s15327108ijap0303_3
  • Lewis, J. R. (2018). The System Usability Scale: Past, present, and future. International Journal of Human–Computer Interaction, 34(7), 577–590.
  • Makransky, G., & Petersen, G. B. (2021). The Cognitive Affective Model of Immersive Learning (CAMIL): A theoretical research-based model of learning in immersive virtual reality. Educational Psychology Review, 33, 937–958. doi.org/10.1007/s10648-020-09586-2
  • Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017). Design and evaluation of a short version of the User Experience Questionnaire (UEQ-S). International Journal of Interactive Multimedia and Artificial Intelligence, 4(6), 103–108.
  • Schubert, T., Friedmann, F., & Regenbrecht, H. (2001). The experience of presence: Factor analytic insights. Presence: Teleoperators and Virtual Environments, 10(3), 266–281. doi.org/10.1162/105474601300343603
  • Usoh, M., Catena, E., Arman, S., & Slater, M. (2000). Using presence questionnaires in reality. Presence: Teleoperators and Virtual Environments, 9(5), 497–503. doi.org/10.1162/105474600566989
  • Webster, R., & Dues, J. F. (2017). System Usability Scale (SUS): Oculus Rift DK2 and Samsung Gear VR. Purdue University. docs.lib.purdue.edu/soetfp/24