Situational Awareness System

Entwicklung eines Situational Awareness Systems zum Einsatz im Perioperativen Umfeld und in der Intensivmedizin

Durch die technische Entwicklung der letzten Jahre ist es möglich geworden, durch den Einsatz von Computer Vision Technologie und Machine-Learning mittels automatisierter Systeme Rückschlüsse auf menschliche Verhaltensmuster zu ziehen und menschliche Mimik zu bewerten. Auf Basis dieser Faktoren, zusammen mit den Daten aus konventionellem Monitoring, können durch komplexe Integrationsverfahren automatisiert patientenseitige Stressreaktionen, Schmerzexpression, sowie Agitation/Confusion erfasst werden. Dadurch ist es möglich geworden das Konzept eines Situational Awareness Systems zur Beurteilung der klinischen Gesamtsituation des Patienten umzusetzen.

Für spezialisierte Varianten von Situational Awareness Systemen sind zahlreiche Einsatzmöglichkeiten in verschiedenen Bereichen des Gesundheitssystems vorstellbar, unter anderem im Bereich der perioperativen Medizin, sowie der Intensivmedizin, aber auch beispielsweise im Bereich der Geriatrie, oder außerklinisch im Bereich der Pflegeversorgung.

Das hier vorgestellte System wurde ursprünglich mit Blick auf die Intensivmedizin zur automatisierten, kontinuierlichen Einschätzung der Sedierungstiefe, sowie zur Feststellung von Anzeichen von Schmerz- und Stressreaktionen konzipiert.
Allerdings erfolgte das Training der zugrundeliegenden Machine-Learning-Modelle vor allem aufgrund von organisatorischen Rahmenbedingungen, nach geringfügiger Anpassung, bislang schwerpunktmäßig an an geriatrischen Patienten. Diese wurden sowohl im postoperativen Verlauf, als auch bei akuten internistischen Erkrankungen untersucht, unter der Perspektive einer qualitativen Einschätzung der Schmerzexpression im Tagesverlauf, einer Delirfrüherkennung, sowie zur automatisierten Analyse von Bewegungsabläufen zur Beurteilung der Gangsicherheit und der resultierenden Sturzgefährdung.

Hierdurch konnten nach der ersten Trainingsphase des Systems mit Erhebung von insgesamt etwa 500 Stunden an Trainingsdaten, sowie durch zusätzliche Verwendung externer Datensätze zur Augmentation der Trainingsdaten, bereits erste vielversprechende Ergebnisse erzielt werden. Insbesondere die Beurteilung der Gangsicherheit, aber auch die Einschätzung der Schmerzexpression, korrelieren sehr gut mit der direkten menschlichen Beobachtung. Auch hyperaktive delirierte Symptomatik wird relativ zuverlässig detektiert. Dabei besteht die realistische Möglichkeit, dass durch die Verwendung eines größeren Trainingsdatensatzes auch bereits die Erkennung von Prodromi eines Delirs möglich wird. Eine zweite Trainingsphase mit weiteren 200 Stunden Trainingsdaten führte zu einer weiteren Verbesserung des Modells.

Das System ist modular aus mehreren Einzelmodellen stufenweise aufgebaut und setzt bei den Einzelkomponenten einerseits stark auf Transfer-Learning, sowie andererseits auf Dimensionsreduktion um trotz der umfangreichen und hoch komplexen Eingangsdaten adäquate Trainierbarkeit zu erreichen. Hardwareseitig erfolgt die Erfassung von Mimik und Bewegung und Interaktion durch ein Stereokamerasystem, zudem werden, sofern zur Verfügung stehend Herzfrequenz , Blutdruck und Atemfrequenz erfasst. Hierbei werden lokal nur die relevanten Parameter extrahiert und zur Auswertung an ein weiteres System mit leistungsfähigen GPUs weitergeleitet.

Aktuell befindet sich die Entwicklung von Situational Awareness Systemen noch im Anfangsstadium. Allerdings sind in Zukunft, wenn die entsprechenden Systeme eine ausreichende Stabilität erreicht haben, um auch als Medizinprodukte eingesetzt werden zu können, zahlreiche konkrete Anwendungsmöglichkeiten vorstellbar.
Insbesondere für die Verwendung im Bereich des postoperativen Monitorings, sowie in der Intensivmedizin könnten Situational Awareness Systeme einen tatsächlichen Mehrwert für die Patientenversorgung bieten, vor allem da hier in der Regel auch noch Daten aus klassischem Monitoring zur Verfügung stehen, sodass durch Datenintegration eine noch bessere Einschätzung der tatsächlichen Situation ermöglicht wird.

Letztendlich wird es dadurch möglich ein kontinuierliches und automatisiertes Monitoring von patientenseitigem „Discomfort“ umzusetzen, eine Dimension die bislang in der klinischen Routine nur der subjektiven menschlichen Beobachtung zugänglich ist.
Auch im Hinblick auf die Intensivmedizin stellen zuverlässig funktionierende Situational Awareness Systeme perspektivisch weit mehr als nur ein akademisch interessantes technisches Konzept dar. Insbesondere unter Einbeziehung der parallel erhobenen Echtzeitdaten aus konventionellem Monitoring, sowie eventuell zusätzlichen Beatmungsdaten, könnten diese hypothetisch eine Komponente in teilautomatisierten kontinuierliche Weaning-Strategien darstellen oder beispielsweise als Komponenten im Rahmen von Closed-Loop Steuerung der Sedierungstiefe eingesetzt werden.
Um anfängliche Skepsis seitens des Pflegepersonals mit Transparenz zu begegnen und diese zu zerstreuen, wurde zusätzlich ein Informationsflyer im Frage-Antwort-Stil erstellt.

Prädiktionsmodell für die Notfallversorgung in Mittelfranken

Entwicklung eines Machine Learning gestützten Prädiktionsmodells zur Vorhersage des Patientenaufkommens

Vor dem Hintergrund wachsender Personalprobleme und Kapazitätsengpässe in verschiedenen Bereichen des Gesundheitswesens zeigt sich unter anderem im Bereich der Versorgung von Notfallpatienten eine zunehmende Verschärfung der Situation.

Dieser komplexen, multifaktoriellen Problemlage wird notwendigerweise auf verschiedenen Ebenen mit diversen ineinandergreifenden Maßnahmen begegnet, wobei eine grundsätzliche Maßnahme die bestmögliche, effiziente Nutzung der vorhandenen Kapazitäten ist. Ein Ansatz hierzu ist eine verbesserte Steuerung von Patientenzuweisungen.

Das Projekt zielte darauf ab zu demonstrieren, dass auf Basis von Machine Learning gestützten Prädiktionsmodellen eine effizientere Patientenverteilung durch den Rettungsdienst und somit eine Reduktion von Emergency department overcrowding ohne zusätzlichen Resourceneinsatz erreicht werden könnte.

Bedauerlicherweise wurden seitens des Zweckverbands für Rettungsdienst und Feuerwehralarmierung Nürnberg die Herausforderungen, alle Partikularinteressen der relevanten Kliniken bezüglich der Datennutzung der jeweiligen Zuweisungen zu vereinen, als zu umfangreich eingeschätzt, sodass dieses Projekt trotz vielversprechenden ersten Ergebnissen nicht weitergeführt wurde.

Weitere ausführliche Informationen, sowie den letzten Stand dieses Projektes finden Sie im der Projektbeschreibung.

Prädiktionsmodell Intensivkapazität

Entwicklung eines Machine Learning gestützten Prädiktionsmodells zur Vorhersage verfügbarer Intensivbetten

Die Anzahl der verfügbaren freien Intensivbetten ist für die Planung und den effizienten Ablauf des täglichen OP-Programms von zentraler Bedeutung. Bei kurzfristig nicht verfügbaren Kapazitäten besteht aufgrund kurzfristig notwendiger Anpassungen des OP-Programms ein erhebliches Risiko für Verzögerungen und unzureichende Ausnutzung der zur Verfügung stehenden OP-Kapazitäten.

Um das OP-Management, insbesondere im Hinblick auf die Planung elektiver OPs mit der Notwendigkeit einer anschließenden intensivmedizinischen Behandlung, im Sinne von Data-driven Decision-making zu unterstützen, wurde auf Basis eines Machine Learning Modells eine Planungsunterstützungswerkzeug entwickelt. Da sich aufgrund der vorhandenen Daten vor allem die Wahrscheinlichkeit für die zeitnahe Verlegungsfähigkeit von Intensivpatienten vorhersagen lässt, konnte auf Basis der vorhandenen Daten der letzten 10 Jahre ein entsprechendes Prädiktionsmodell trainiert werden, womit Wahrscheinlichkeitsdichtefunktionen für die Anzahl der innerhalb der nächsten 12 bzw. 24 Stunden verlegbaren Intensivpatienten abgeleitet werden konnten.

Bedauerlicherweise kam dieses Modell trotz guter Vorhersagevalidität und bereits abgeschlossener UI-Entwicklung aufgrund der Ausgliederung des OP-Managements aus dem Verantwortungsbereich der Anästhesiologischen Klinik nicht in der Praxis zum Einsatz.

Nichtsdestotrotz liefert der initiale Projektvorschlag an die Klinikdirektion einen interessanten Überblick über die Hintergründe und die Projektentwicklung.

Echtzeitdatenerfassung aus Beatmungsgeräten über Dräger Medibus

Entwicklung eines Programms zur Aufzeichnung und Analyse von Echtzeit-Biosignaldaten

Für die Entwicklung von Machine-Leraning Algorithmen zur Analyse der Beatmungssituation bei ARDS-Patienten ist zum Training dieser Algorithmen eine umfangreiche Datengrundlage erforderlich. Um diese Echtzeit-Biosignaldaten parallel aus den verwendeten Beatmungsgeräten mit der höchstmöglichen Abtastrate automatisiert zu erfassen wurde das folgende Programm entwickelt, welches diese Daten über Dräger-Medibus aus einem kompletten Gerätecluster ausliest, komprimiert und speichert. Den Programm-Code und weitere Informationen finden Sie auf GitHub.

Pharmakokinetik und Pharmakodynamik von Rocuronium

Simulation der Pharmakokinetik und Pharmakodynamik von Rocuronium für Ausbildung und Lehre

Zur anschaulichen Darstellung pharmakokinetischer Modelle am Beispiel von Rocuronium wurde insbesondere für die Lehre diese einfach zu bedienende Simulationswerkzeug auf Basis eines 3-Kompartiment-Modells entwickelt.
Eine Demo-Version finden Sie hier.

Programmbibliothek zum Auslesen von Philips IntelliVue Patientenmonitoren

Entwicklung einer Programmbibliothek zum Auslesen von Philips IntelliVue Patientenmonitoren über die Netzwerkschnittstelle

Die Patientenmonitore der Firma Philips verwenden ein proprietäres Protokoll um über die Netzwerkschnitstelle mit einem zentralen Server zu kommunizieren und Daten auszutauschen. Um die Vitalparameter von Patienten zur Voruntersuchung für den Einschluss in Studien automatisch zu archivieren, ohne dabei auf Software von Philips zurückgreifen zu müssen, wurde das Kommunikationsprotokoll entschlüsselt und eine Programmbibliothek zur Kommunikation entwickelt. Den Programm-Code und weitere Informationen finden Sie auf GitHub

3D-Druck komplexer Frakturen

Rekonstruktion und 3D-Druck komplexer Frakturen aus Schnittbild-Daten

In allen operativen medizinischen Disziplinen sind exakte Kenntnisse der Anatomie, sowie ein gutes räumliches Vorstellungsvermögen essentiell. Gerade in der Unfallchirurgie treten oft komplexe Fraktursituationen auf, bei welchen zur präoperativen Planung eine Schnittbildgebung durchgeführt wird. Zur besseren Visualisierung des Befundes kann zusätzlich eine dreidimensionale Rekonstruktion der Fraktur erfolgen, welche am Bildschirm betrachtet werden kann. Um diese Rekonstruktion noch realitätsnäher und auch haptisch erfassbar zu machen Erfolgt der 3D-Ausdruck der Fraktur. Die so erstellten Modelle könne bei der OP-Planung, sowie im Rahmen der Lehre, der ärztlichen Weiterbildung und der Patientenaufklärung eingesetzt werden.

Da der 3D-Druck komplexer Frakturen in der unfallchirurgischen Abteilung des Universitätsklinikums Erlagen bisher noch nicht etabliert war, erfolgte die Zusammenstellung und Optimierung einer geeigneten Software-Toolchain. Dazu wurde als Basis die Software 3DSlicer verwendet um zunächst ein dreidimensionales Modell aus den vorliegenden Schnittbilddaten in DICOM-Format zu erstellen. Zur Filterung der Daten und um insbesondere dislozierte Fragmente der Fraktur mit abbilden zu können wurden mehrere Python-Scripte entwickelt. Hierbei wurden unter anderem automatisch Stützbrücken für einzelne Fragmente generiert. Nach der automatischen Optimierung des 3D-Modells für den Druck wurde unter Zuhilfenahme der CuraEngine(Command line) der G-Code für den FDM-Druck erstellt.
Dadurch war es möglich die 3D-Drucke sehr kosteneffizient und schnell anzufertigen. Die hier gezeigten Handyfotos einiger Drucke waren ursprünglich nicht als Showpieces gedacht, weshalb sie die Qualität der Ausdrucke leider nur unzureichend wiedergeben.

Biomechanische Messungen

Entwurf und Aufbau einer Anlage zur Durchführung biomechanischer Messungen

Die Verwendung geeigneter Osteosyntheseverfahren für die jeweils entsprechende Fraktursituation ist eines der zentralen Aufgabengebiete der Unfallchirurgie. Insbesondere im Bereich der Alterstraumatologie stellten Frailty-Syndrom und eine in der Regel deutlich verminderte Knochenqualität zusätzliche Herausforderungen dar. Um verschiedene Osteosyntheseverfahren, insbesondere bei osteoporotischem Konchen, im Hinblick auf Belastungsstabilität und Auslockerungstendenz zu vergleichen ist es notwendig die Stabilität unter zyklischer Belastung zu untersuchen.

Hierfür wurde ein Messaufbau entwickelt, bei dem mittels eines Linearmotors in Verbindung mit einem Kraftsensor über einen geschlossenen Regelkreis beliebige Kraftkurven bis zu einer maximalen Kraft von 1500N programmiert und abgefahren werden konnten.
Die Frakturdislokation wurde in Echtzeit über ein selbst entwickeltes Stereokammera-System mittels beidseits der Frakturstelle angebrachten ArUco-Markern analysiert und aufgezeichnet, wobei eine Messgenauigkeit von bis zu 0,1mm erreicht werden konnte.

Die unten gezeigte Kraftkurve stellt die Simulation eines Einbeinstandes mit 700N Gewichtskraft und einer Plateauphase von 5 Sekunden dar. Diese wurde im Rahmen einer Messserie automatisch 2000 mal wiederholt.

Digitale Schockraum-Dokumentation

Entwicklung und Etablierung einer Softwarelösung zur Tablet-Computer basierten Dokumentation der Schockraumbehandlung

Die Behandlung von Polytraumapatienten ist ein wichtiges Aufgabenfeld der Unfallchirurgie. Gerade bei diesen kritischen Patienten ist eine sorgfältige Dokumentation der Behandlung aus medizinischen ebenso wie aus medikolegalen Gründen unbedingt notwendig. Diese Dokumentation erfolgte in der Unfallchirurgischen Abteilung noch immer in Papierform.

Um hier eine digitale Lösung zu schaffen wurde zuerst die notwendigen Anforderungen und die Bedürfnisse der Anwender ermittelt. Auf dieser Basis wurden verschiedene Layouts der Benutzeroberfläche entwickelt und getestet um um die optimale Anordnung der einzelnen Items zu bestimmen.
Aufgrund der unterschiedlichen eingesetzten Endgeräte wurde zugunsten der Plattformunabhängigkeit eine browserbasierte Version der Anwendung entwickelt. Hier wurde besonderer Wert auf die Vermeidung von unnötigem Overhead gelegt, um eine hohe Responsivität zu erreichen. Nach Einweisung der Anwender konnte das Systems als Tablet-Computer basierte Dokumentationslösung eingeführt werden.

Automatisierte Auswertung SF-36

Entwicklung eines Systems zur automatischen Auswertung von SF-36 Fragebögen

Der Short Form 36 Gesundheitsfragebogen (SF-36) ist ein krankheitsunspezifisches Messinstrument zur Erhebung der gesundheitsbezogenen Lebensqualität. Er wird in zahlreichen Studien zur Therapiekontrolle oder Verlaufsmessung eingesetzt. Die Auswertung der Fragebögen erfolgt meist manuell durch den Untersucher (oder eine studentische Hilfskraft).

Um die Auswertung zu vereinfachen ohne dabei Lizenzkosten für ein kommerzielles Auswertungsprogramm bezahlen zu müssen wurde ein eigenes Auswertungsprogramm entwickelt. Die Fragebögen wurden hierzu mit aufgedruckten Positionsmarkern versehen, um die Antwortkästchen zuverlässig identifizieren zu können. Zur Erfassung der Daten wurden die Papierfragebögen gescannt und anschließend durch ein speziell entwickeltes Python-Programm ausgewertet. Die berechneten Summenscores wurden im CSV-Dateiformat gespeichert um eine schnelle und bequeme Auswertung der Fragebögen zu ermöglichen.

Intelligente Formularsoftware

Entwicklung einer modularen und voll Scripting-fähigen Formularsoftware für Sprechstunden- und Studiendokumantation

Der Dokumentationsaufwand, insbesondere im Bereich der Studiendokumentation und im Rahmen hoch frequentierter Patientensprechstunden, stellt vor allem zeitlich eine zunehmende Herausforderung dar. Dieser kann mit intelligenten Formularen begegnet werden. Allerdings stellt der Formularbaukasten vieler klinischer Arbeitsplatzsysteme zur zufriedenstellenden Lösung dieser komplexen Aufgaben oft nur unzureichende Mittel zur Verfügung.

Hier setzt die entwickelte Formularsoftware an. Sie bietet die Möglichkeit jederzeit voll Scripting-fähige Formulare auf Basis von Javascript zu erstellen und im laufenden Betrieb zu editieren. Dabei entfallen die Kosten und die mangelnde Flexibilität die oftmals mit der Änderung von Formularen in klinischen Arbeitsplatzsystemen verbunden sind. Zudem können verschiedene Module zur Eingabeunterstützung des Benutzers in die Formulare eingebunden werden. Auch ist durch Scripting die Implementierung einer intelligenten Ablaufsteuerung ohne weiteres möglich. Dadurch kann z.B. im Rahmen einer Sprechstunde ein Befund mit wenigen Klicks vollständig und umfassend in kürzester Zeit dokumentiert werden. Der Export erfolgt als PDF/A Dokument mit digitaler Signatur.

Die Vorteile der entwickelten Software liegen im Bereich ihrer hohen Flexibilität und der Möglichkeit beliebig komplexe Formulare einfach zu erstellen.

Queue Management System

Entwicklung eines ressourcenschonenden und einfach zu implementierenden Queue Management Systems.

Kommerzielle Anbieter stellen zahlreiche verschiedene Warteschlangenmanagementsysteme zur Steuerung des Kundenverkehrs zur Verfügung. Allerdings können solche Systeme gerade für konkrete Anwendungsfälle auch problemlos selbst entwickelt werden und stellen damit durch den Wegfall von Lizenzgebühren die denkbar günstigste Alternative dar. Unter diesem Gesichtspunkt entstand auch das hier gezeigte System. Den Programm-Code und weitere Informationen finden Sie auf GitHub.

ICD-10 Verschlüsselung

Entwicklung eines kompakten Moduls zur ICD-10 Diagnoseverschlüsselung

Das entwickelte Python Modul gleicht Texteingaben mit ICD-10 Diagnosen ab und gibt mögliche ICD-10 Codes zurück. Den Programm-Code und weitere Informationen finden Sie auf GitHub.

Secure Data Bridge

Entwicklung einer USB-Brücke zum sicheren Einlesen von Bilddaten von Massenspeichergeräten.

Die Verwendung von USB-Speichern ist im Arbeitsumfeld oftmals aus Sicherheitsgründen blockiert. Um Bilddateien z.B. von Kameras oder medizinischen Stand-alone Systemen mit USB Schnitstelle mithilfe von USB-Massenspeichergeräten sicher und kontrolliert importieren zu können wurde eine USB-Datenbrücke entwickelt. Eine ausführliche Projektbeschreibung finden Sie hier.

Laparoscopic lens fogging - Messung

Entwicklung eines Programms zur objektiven Quantifizireung von Laparoscopic lens fogging in OP-Videos

Um verschiedene Setups für laparoskopische OPs in Hinblick auf Ihre Fähigkeit ein Beschlagen der Optik zu vermeiden zu untersuchen wurde ein Programm entwickelt, welches Laparoscopic lens fogging in OP-Videos genau bestimmen kann. Dieses ersetzt hierfür verwendete, in der Literatur beschriebene ungenauere Methoden. Den Programm-Code und weitere Informationen finden Sie auf GitHub.

Kontakt