Projekte | IKIM MML

3D-Sammlung chirurgischer Instrumente

Mon, 01 Jan 0001 00:00:00 +0000

Mit unseren Structured-Light-3D-Scannern Artec Leo und AutoScan Inspec haben wir über 100 Instrumente aus der klinischen Routine gescannt. Die Sammlung dient mehreren Zwecken: der allgemeinen Instrumentenerkennung und -verfolgung im Operationssaal ebenso wie medizinischen Simulations- und Trainingsszenarien in Virtual und Mixed Reality. Die Oberflächenmodelle lassen sich mit Shadern gängiger Game-Engines wie Unity3D oder mit 3D-Modellierungssoftware wie Blender realistisch aufbereiten.

Luijten G, Gsaxner C, Li J, Pepe A, Ambigapathy N, Kim M, et al. 3D surgical instrument collection for computer vision and extended reality. Scientific Data. 2023 Nov 11;10(1):796. Artikel

Sammlung auf YouTube ansehen — 3D-COSI, die 3D Collection of Surgical Instruments.

3D-Visualisierung von CT-Daten und segmentierten Modellen

Mon, 01 Jan 0001 00:00:00 +0000

Diese AR-Technik macht CT-Daten und Modelle direkt im Patienten sichtbar. Sie erleichtert den Übergang von 2D-CT-Schichten zu einer 3D-Darstellung und verbessert so Diagnostik und Therapieplanung.

Gsaxner C, Pepe A, Li J, Ibrahimpasic U, Wallner J, Schmalstieg D, et al. Augmented Reality for Head and Neck Carcinoma Imaging: Description and Feasibility of an Instant Calibration, Markerless Approach. Computer Methods and Programs in Biomedicine 200, 105854 (2021). Artikel

Demonstration auf YouTube ansehen — CT-Modelle, die mit der HoloLens 2 über eine markerlose Registrierung auf einem 3D-Druck dargestellt werden.

DREAMING Challenge

Mon, 01 Jan 0001 00:00:00 +0000

Wir erforschen das Potenzial von Diminished Reality (DR) in der Medizin — einer Modalität, die reale Objekte aus der Umgebung entfernt, indem sie virtuell durch ihren Hintergrund ersetzt werden. DR hat großes Potenzial für medizinische Anwendungen: Sie gibt Chirurginnen und Chirurgen den freien Blick auf das Operationsfeld, wenn beengte Verhältnisse oder störende Instrumente die Sicht behindern.

Wir haben die DREAMING Challenge — Diminished Reality for Emerging Applications in Medicine through Inpainting — als angenommene Challenge der ISBI 2024 ausgerichtet. Die Challenge ist bei Zenodo registriert, der Datensatz ist dort ebenfalls veröffentlicht, und die Challenge-Website enthält alle Einzelheiten.

Beispiel auf YouTube ansehen — Beispielanwendung des Datensatzes. Siegerlösung auf YouTube ansehen.

Baseline-Paper: van Meegdenburg T, Luijten G, Kleesiek J, Puladi B, Ferreira A, Egger J, et al. A Baseline Solution for the ISBI 2024 DREAMING Challenge. In: Proceedings of the IEEE International Symposium on Biomedical Imaging (ISBI) 2024.

Siegermethode: Wu ZJ, Seshimo R, Saito H, Isogawa M. Divide and Conquer: Video Inpainting for Diminished Reality in Low-Resource Settings. In: Proceedings of the IEEE International Symposium on Biomedical Imaging (ISBI) 2024.

HINTS-Eye-Tracking

Mon, 01 Jan 0001 00:00:00 +0000

Schwindel ist ein häufiges Symptom in der klinischen Praxis. Die Ursachen reichen von gutartigen vestibulären Störungen bis zu lebensbedrohlichen zentralen Ursachen, insbesondere dem Schlaganfall. Die rasche Klärung der zugrunde liegenden Ursache ist entscheidend für eine rechtzeitige Behandlung.

Mit dem integrierten Eye-Tracker der HoloLens 2 versuchen wir, die Ursache mit klassischen und Machine-Learning-Verfahren zu bestimmen. Das Projekt kann eine objektive und sehr gute Diagnostik liefern und damit die heutige HINTS-Untersuchung verbessern oder sogar ersetzen. Künftige Arbeiten zielen darauf, das Verfahren aus der Klinik heraus und in die Hosentasche der Patientinnen und Patienten zu bringen, damit eine schnelle Einschätzung jederzeit und überall möglich ist.

Projektvideo auf YouTube ansehen — ein Film des Zentrums für virtuelle und erweiterte Realität in der Medizin (ZvRM).

Instrumententracking

Mon, 01 Jan 0001 00:00:00 +0000

Mit den Sensoren der HoloLens 2 und infrarotreflektierenden Markern erreichen wir ein hochgenaues Instrumententracking. In Kombination mit unseren vorherigen Arbeiten ergibt sich daraus eine sofort einsetzbare Lösung für die chirurgische Navigation, die ohne zusätzliche teure Geräte auskommt. Eine interessante Weiterentwicklung wäre die weniger genaue, aber nicht minder spannende Freiform-Segmentierung und -Verfolgung, also ein Tracking ohne infrarotreflektierende Marker.

Augmented-Reality-Instrumententracking mit der HoloLens 2

Gsaxner C, Li J, Pepe A, Schmalstieg D, Egger J. Inside-Out Instrument Tracking for Surgical Navigation in Augmented Reality. In: Proceedings of the 27th ACM Symposium on Virtual Reality Software and Technology. Osaka, Japan: ACM; 2021. S. 1–11. Artikel

Markerlose Patientenregistrierung

Mon, 01 Jan 0001 00:00:00 +0000

Wir haben ein automatisiertes markerloses Registrierungsverfahren entwickelt, das CT-Daten und segmentierte Modelle nahtlos in den Patienten einblendet. Das Verfahren löst das Problem des ständigen Blickwechsels, liefert eine direkte 2D-zu-3D-Zuordnung der CT-Daten und ermöglicht eine kostengünstige chirurgische Navigation.

Gsaxner C, Pepe A, Wallner J, Schmalstieg D, Egger J. Markerless Image-to-Face Registration for Untethered Augmented Reality in Head and Neck Surgery. In: Medical Image Computing and Computer Assisted Intervention — MICCAI 2019. S. 236–44. Artikel

Demonstration auf YouTube ansehen — markerlose Patientenregistrierung mit den Tiefensensoren der HoloLens 2.

Multi-User-Lernumgebungen

Mon, 01 Jan 0001 00:00:00 +0000

Kollaboratives Lernen steht im Mittelpunkt dieses Forschungsstrangs: Wir entwickeln immersive Mehrbenutzer-Anwendungen für die interaktive Aus- und Weiterbildung von Medizinstudierenden. Ebenso lassen sie sich nutzen, damit interdisziplinäre Teams den Behandlungsplan einer Patientin oder eines Patienten besprechen können, ohne im selben Raum zu sein.

Demonstration auf YouTube ansehen — MultiAR, eine geräteübergreifende Mehrbenutzer-Plattform für Augmented Reality in der biomedizinischen Lehre.