smartXR Lab

Mon, 01 Jan 0001 00:00:00 +0000

Mit modernster Ausstattung ermöglicht unser smartXR Lab einzigartige und innovative Forschung für die Patientenversorgung. Wir verfügen über folgende Geräte:

Structured-Light-3D-Scanner (Artec Leo und AutoScan Inspec)
3D-Drucker (Creality-SLA-Drucker)
Mixed-/Augmented-Reality-Brillen (HTC VIVE Pro 1 & 2, Varjo XR-3, Meta Quest 3, Microsoft HoloLens 2 und Apple Vision Pro)
Elektromagnetische Trackingsysteme (NDI Aurora und NDI 3D Guidance trakSTAR)
Optische Trackingsysteme (OptiTrack mit PrimeX41-Kameras und NDI Polaris Vega)
Ultraschallgerät (GE Healthcare Logiq E10)
Phantome (Karstadt-Modelle und kraniomaxillofaziales Operationsphantom)

Das Labor wurde beim Symposium des Zentrums für virtuelle und erweiterte Realität in der Medizin (ZvRM) vorgestellt — Vorstellung auf YouTube ansehen.

Structured-Light-3D-Scanner

Unsere hochmoderne 3D-Scantechnik: Artec Leo und AutoScan Inspec. Der Artec Leo ist ein Handscanner, bekannt für seine einfache Bedienung und Echtzeitfähigkeit, mit dem sich detaillierte 3D-Modelle schnell und hochpräzise erfassen lassen. Er eignet sich hervorragend zum Scannen großer Objekte wie Gliedmaßen oder ganzer Räume.

Der AutoScan Inspec ist dagegen ein Tischscanner für industrielle Qualitätskontrolle und Inspektion. Mit seiner hochpräzisen Scantechnik ermöglicht er genaue Vermessung und Analyse komplexer und kleiner chirurgischer Instrumente wie Pinzetten, Scheren oder Klingen.

Beide Scanner arbeiten mit Structured-Light-Technologie und sind dadurch sicher am Menschen einsetzbar. Zusätzlich steht 3D-Scanspray für stark reflektierende und glänzende Objekte bereit, um die Qualität der Oberflächenscans zu optimieren.

Von links nach rechts: AutoScan Inspec, Artec Leo und 3D-Scanspray von AESUB

3D-Drucker

Der SLA-Resin-Drucker von Creality: Mit fortschrittlicher Stereolithografie-Drucktechnik (SLA) liefert dieser Drucker außergewöhnliche Präzision und Detailtreue bei der Herstellung hochwertiger 3D-Modelle.

Stereolithografie ist ein additives Fertigungsverfahren, das Resin mit UV-Licht selektiv Schicht für Schicht aushärtet und Teile mit kleinen Strukturen, engen Toleranzen und glatten Oberflächen drucken kann. Mit diesem Drucker fertigen wir Repliken unserer per Structured-Light-Scan digitalisierten Objekte, CTA/MRT-basierte Oberflächenmodelle, manuell erstellte Schnittführungen oder KI-generierte patientenspezifische Implantate. So setzen wir unsere Ideen präzise und innerhalb weniger Tage um. Für noch schnelleres Prototyping planen wir zusätzlich die dauerhafte Installation eines FDM-Druckers.

Creality-3D-Drucker, sein Becken und die Druckplatte

Mixed- und Augmented-Reality-Brillen

Unser smartXR Lab bietet eine breite Palette modernster Mixed-Reality-Geräte für Multi-User-Anwendungen. Jedes Gerät bringt eigene Fähigkeiten mit. Mixed Reality verschmilzt reale und virtuelle Welt über zwei Ansätze: immersives Optical-Pass-Through (Mixed Reality) und Optical-See-Through (Augmented Reality). Durch die nahtlose Kombination realer und virtueller Elemente geht Mixed Reality über die Möglichkeiten von Virtual Reality hinaus.

Unser Labor verfügt über mehrere HTC VIVE Pro 1 und 2, die Basisstationen mit Infrarotscannern zum Nutzertracking verwenden, während das Head-Mounted Display (HMD) die Umgebung erfasst. Diese Geräte erlauben es, die gefilmte und registrierte Realität in die virtuelle Welt einzublenden. Für ein noch immersiveres Erlebnis steht das High-End-Mixed-Reality-Gerät Varjo XR-3 bereit. Anders als andere Geräte benötigt das XR-3 keine Basisstation und bringt zudem Handtracking mit — eine unvergleichliche Verschmelzung beider Realitäten.

Neben den HTC VIVE haben wir 16 Meta-Quest-3-Mixed-Reality-Headsets angeschafft — vielseitig, kabellos und mit hervorragendem Preis-Leistungs-Verhältnis ideal für Entwicklung und Forschung im klinischen Umfeld.

Zusätzlich besitzen wir 10 HoloLens 2 (HL2) mit Optical-See-Through-Funktion. Mit der HL2 erleben Nutzerinnen und Nutzer kaum das für Mixed-Reality-Geräte typische Unwohlsein, da die reale Welt weiterhin mit den eigenen Augen wahrnehmbar bleibt. Die kabellosen Geräte bieten Handtracking, Simultaneous Localization and Mapping und einen Onboard-Computer für eine nahtlose Integration beider Welten.

Unsere neueste Anschaffung sind zwei Apple Vision Pro, mit denen wir an den aktuellsten Entwicklungen dranbleiben. Damit entwickeln wir für Android-, Microsoft- und Apple-basierte Geräte.

Von links nach rechts: eine HL2, die das Innere des Patienten visualisiert, die HL2, HTC VIVE Pro 2 und die Varjo XR-3

Elektromagnetische Trackingsysteme (EMT)

Unser smartXR Lab bietet die Systeme NDI Aurora und 3D Guidance trakSTAR, die ein elektromagnetisches Feld erzeugen und Veränderungen in diesem Feld messen — und darüber 3D-Tracking von Geräten ermöglichen. Diese Trackinglösungen sollen die Echtzeit-Verfolgung und -Visualisierung medizinischer Instrumente grundlegend verändern. Aurora und 3D Guidance trakSTAR verfolgen nahtlos und in Echtzeit Mikrosensoren, die in eine Vielzahl medizinischer Instrumente eingebettet sind — Ultraschallsonden, Endoskope, Katheter, Führungsdrähte, bis hin zur Nadelspitze — und ermöglichen so präzises Instrumententracking durch komplexe anatomische Strukturen. In Bildgeführte-Chirurgie- oder Interventionssysteme von Herstellern integriert, bildet die Aurora das Bindeglied zwischen Patientenbilddaten und dem 3D-Raum: Sie lokalisiert unmittelbar die relativen Positionen und Orientierungen der Instrumente im Operationsfeld. Wir planen, die Geräte mit unseren Mixed- und Augmented-Reality-Geräten zu kombinieren, sie regelmäßig zur Bewertung eigenständiger Trackingsysteme einzusetzen und unsere Forschung eng mit aktuellen Klinikstandards zu verzahnen.

Beide NDI-EMT-Systeme und eine Übersicht trackbarer Sonden für die Forschung

Optische Trackingsysteme (OTS)

Für fortgeschrittenes Motion Capture in Mixed Reality nutzen wir die NDI Polaris Vega und ein OptiTrack-System mit den neuesten PrimeX41-Kameras. Diese Systeme verfolgen sphärische, infrarotreflektierende Marker per Triangulation zwischen mindestens zwei Kameras. Die NDI Polaris Vega, ein portables System bekannt für seine hohe Genauigkeit, liefert nahtloses Echtzeit-Bewegungstracking. Ergänzend steht das OptiTrack-System mit PrimeX41-Kameras für außergewöhnliche Leistung und Zuverlässigkeit beim Live-Motion-Capture. Die Kameras erfassen Bewegungen live in unserem smartXR Lab mit Submillimeter-Genauigkeit. Mit dem OptiTrack-System wird jede noch so feine Bewegung detailgetreu erfasst — reale Bewegung fließt nahtlos in Mixed-Reality-Projekte ein. Ob medizinische Simulationen oder interaktive Anwendungen: Die OTS bieten ein leistungsfähiges Werkzeug für Bewegungsanalysen und erlauben es, Bewegungen mit bemerkenswertem Realismus zu erfassen und zu visualisieren.

OptiTrack-System links, rechts ein trackbares chirurgisches Instrument und die NDI Polaris Vega

Ultraschallgerät

Der GE Healthcare Ultraschallscanner Logiq E10 ist ein hochmodernes Gerät, das die medizinische Bildgebung neu definieren soll. Seine API wird die Integration mit unseren KI- und Mixed-Reality-Lösungen sowie unseren fortschrittlichen Trackingsystemen ermöglichen. Diese Integration eröffnet neue Dimensionen interaktiver Visualisierung, diagnostischer Genauigkeit und Echtzeitführung. Mit einem elektromagnetischen Trackingsystem für die Ultraschallsonde ausgestattet, liefert der Logiq E10 präzise und genaue Bildgebung während der Eingriffe. Seine begrenzten 3D-Scan- und CT/MRT-Fusionsfähigkeiten bilden ein solides Fundament, das wir in kommenden Projekten erweitern wollen. Darüber hinaus warten Nadeltracking und zahlreiche weitere Funktionen auf ihre Erkundung — Türöffner für innovative Anwendungen und eine bessere Patientenversorgung. Mit dem GE Healthcare Logiq E10 wollen wir an der Spitze der Zukunft der Ultraschalltechnologie stehen.

Links der Logiq E10 mit Farbdoppler zur Visualisierung des Blutflusses in der Pfortader, rechts oben der elektromagnetische Feldgenerator und unten eine Übersicht der Ultraschallsonden

Übungsphantome

Projekte werden mit Hilfe unserer Phantome lebendig. Diese Modelle bilden die Grundlage, um unsere Innovationen zu entwickeln, zu trainieren und zu präsentieren. Mit unseren 3D-Druckern können wir (Miniatur-)Modelle für unsere Forschung herstellen. Häufig nutzen wir jedoch unsere großformatigen Karstadt-Modelle Ms. und Mr. White sowie unser High-End-Phantom für kraniomaxillofaziale Chirurgie von GTSimulators. Diese Phantome sind eine unschätzbare Plattform, um unsere medizinische Mixed Reality zu entwickeln und zu demonstrieren.

Um unsere Forschung weiter voranzubringen, wurden sowohl Mr. White als auch unser Operationsphantom hochdosierten CT-Scans unterzogen — so erhält unsere Mixed Reality eine medizinische Komponente. Perspektivisch wollen wir unser Phantom-Repertoire erweitern, insbesondere für Ultraschallanwendungen. Durch die Integration dieser genauen Phantome mit unseren Mixed-Reality-Geräten und Trackingsystemen erschließen wir neue Dimensionen interaktiver Erkundung, verbesserter Visualisierung und innovativer medizinischer Lösungen.

Links unser chirurgisches Simulationsphantom, in der Mitte Mr. White mit der HL2, rechts ein AR-erweiterter Mr. White

AI-guided Therapies | IKIM MML