In risikoreichen Bereichen wie der Medizin haben sich neuronale Netze – insbesondere bei der Segmentierung endoskopischer Bilddaten – als äußerst leistungsfähige Werkzeuge etabliert. Trotz ihrer hohen Genauigkeit stellen sie jedoch weiterhin eine zentrale Herausforderung dar: Als „Black Boxes" sind ihre Entscheidungsprozesse nur schwer nachvollziehbar und sie geben auch dann Vorhersagen aus, wenn Eingaben außerhalb des gelernten Datenraums liegen. Systeme, die ihre Grenzen nicht transparent kommunizieren und deren Vorhersagen potenziell fehlerhaft sind, stellen daher ein verstecktes und erhebliches Risiko dar.  Aus diesem Grund reicht für eine sichere und effektive Integration in den Klinikalltag die reine Performance eines KI-Systems nicht aus – es müssen Schlüsselmechanismen entwickelt werden, die KI-Systeme ihrer eigenen Grenzen bewusst machen und so die Zuverlässigkeit und das Vertrauen schaffen, das für eine sichere Anwendung im Gesundheitswesen unerlässlich ist.