Ziele und Vorgehen

Ziel von MusteR-FM ist die Entwicklung eines wiederverwendbaren Foundation Models für minimal-invasive chirurgische und endoskopische Workflows. Das Modell soll zwei unterschiedliche klinische Bildwelten gemeinsam erschließen: laparoskopische Videos mit starrer Optik und großem Sichtfeld sowie flexible gastrointestinale Endoskopien in engen luminalen Strukturen. Dadurch entsteht eine gemeinsame Modellgrundlage, die über einzelne Datensätze und Eingriffsarten hinaus generalisieren kann.

Im Projekt wird eine multimodale spatio-temporale Modellarchitektur aufgebaut. Bestehende klinische Videodaten und Annotationen werden genutzt, um visuelle Informationen mit medizinisch-prozeduralen Beschreibungen, Phaseninformationen und Hinweisen zur Sichtqualität zu verknüpfen. Das Modell soll dadurch nicht nur Bildinhalte erfassen, sondern auch den zeitlichen Verlauf eines Eingriffs modellieren und Hinweise auf bevorstehende Workflow-Übergänge ableiten können.

Die Evaluation erfolgt anhand klinisch validierter laparoskopischer Daten sowie endoskopischer ESD-Videos aus den beteiligten klinischen Kooperationen. Ergänzend werden öffentlich verfügbare Datensätze einbezogen, um die Robustheit und Übertragbarkeit der gelernten Repräsentationen zu untersuchen. Die Ergebnisse sollen transparent dokumentiert und für die nicht-kommerzielle Forschung nutzbar gemacht werden. Vorgesehen sind unter anderem Modell- und Datenkarten, reproduzierbare Evaluationsprotokolle sowie eine offene Bereitstellung geeigneter Artefakte.

Das entstehende Basismodell bildet damit eine Grundlage für unterschiedliche nachgelagerte Aufgaben wie Workflow-Erkennung, Phasenklassifikation, Vorhersage nächster Prozessschritte, Objekterkennung, Segmentierung, Bildsuche, Qualitätssicherung und Trainingsunterstützung. Zugleich stärkt MusteR-FM die Verbindung zwischen universitärer KI-Forschung, klinischer Anwendung und bayerischem Medizintechnik-Transfer.