Logo of the Physikalisch-Technische Bundesanstalt
Into the Future with Metrology - The Challenges of Digitalization

„Urmeter der KI“

Nachricht im PTB-Newsletter Genau!
28.02.2024

Ein Interview mit Hans Rabus, Spezialist für KI in der Medizin bei der PTB

Hans Rabus, KI-Experte bei der PTB (Foto: PTB)

Herr Rabus, würden Sie sich einer Medizin-KI anvertrauen?
Naja, hundertprozentiges Vertrauen hätte ich da heute noch nicht. Das geht zurzeit noch vielen Menschen so. Deshalb widmen wir uns in der PTB dem Thema „KI in der Medizin“ ja so intensiv: Mit 14 Promotions- und Postdoktorandenstellen sowie in einem großen EU-Projekt namens Opens external link in new windowTEF-Health und einigen anderen arbeiten wir daran, das Vertrauen in KI-Algorithmen gerade auf dem sensiblen Gebiet der Medizin zu stärken.

Warum eigentlich die PTB?
Es geht um eine ganz typische PTB-Aufgabe. Schon bei ihrer Gründung 1887 ging es darum, aus dem Wust von elektrischer Messtechnik etwas zu extrahieren, was international vergleichbar war: einheitliche Maße, einheitliche Anforderungen. Heute haben wir dasselbe Problem bei der KI. Es gibt, grob geschätzt, allein rund 300 verschiedene Erklärbarkeitsmethoden, entwickelt von den verschiedensten Forschenden oder Firmen. Also 300 verschiedene Maße, mit denen sie alle versuchen zu erklären, warum ihre eigene KI-Methode gut ist. Wer soll da noch durchblicken? Unser Ziel ist es, eine Art „Urmeter der KI“ zu entwickeln: objektive Vergleichskriterien, anhand derer man KI-Methoden vergleichen kann.

Was wäre denn ein solches Kriterium?
Eines der wichtigsten heißt Erklärbarkeit: Ein KI-Algorithmus soll nicht nur einfach ein Ergebnis ausspucken, sondern eine Erklärung mitliefern, wie er zu diesem Ergebnis gekommen ist. Ein Beispiel: Welcher KI würden Sie eher glauben: derjenigen, die Ihnen sagt, sie sei zu 94 % sicher, dass Sie eine Grippe haben – oder derjenigen, die sagt, sie sei zu 90 % sicher, dass Sie eine Grippe haben, weil Sie Husten, Schnupfen und Fieber haben? Sicherlich glauben Sie der zweiten eher, obwohl die erste sich sicherer ist. So ticken wir Menschen: Wir wollen es am besten mit Worten erklärt haben. Was jetzt aber gute Erklärbarkeit im Einzelnen bedeutet, darüber diskutieren Expertinnen und Experten gerade. Es geht da um einen eher technischen Begriff. Inhaltlich ist das Ganze nicht so weit von der typischen PTB-Frage entfernt, ob ein Messgerät kalibriert ist und ob es funktioniert.

Klingt einleuchtend – aber wie testet man konkret die Erklärbarkeit von KI?
Kennen Sie das Beispiel von den Hunden und den Wölfen? Eine KI wurde mit vielen Fotos darauf trainiert, Hunde- von Wolfsbildern zu unterscheiden. Das Ergebnis sah zunächst auch gut aus – bis jemandem auffiel, dass die KI immer dann „Wolf“ sagte, wenn im Hintergrund Schnee zu sehen war. Die KI hatte eine Störvariable „Schnee im Hintergrund“, die gar nichts mit der Fragestellung zu tun hatte, irrtümlich als entscheidend angesehen. Um so etwas zu vermeiden, entwickeln Forschende in der PTB gerade Datensätze, anhand derer man KI-Algorithmen testen kann. Diese Datensätze enthalten zum Beispiel bewusst eingebaute Fehler – und die zu testende KI muss den Fehler als Störvariable erkennen. Das Ergebnis bekommt man dann beispielsweise als sogenannte „Heat Map“ geliefert – also ein Wärmebild: Darauf können Sie in Rot sehen, dass die KI ein Merkmal als „heiß“ (also relevant) eingestuft hat – oder als blau (irrelevant, kalt). Beim Testen der KI müssen Sie nur die Heat Map ihres bekannten Datensatzes mit derjenigen vergleichen, die die zu testende KI ausspuckt.

Muss man solche Testkriterien nicht auch normen?
Ja, genau. Mein PTB-Kollege Stefan Haufe ist da stark involviert. Er hat zusammen mit anderen Fachleuten an einer Opens external link in new windowDIN-Vornorm mitgearbeitet, die zunächst mal recht allgemein definiert, was unter „Erklärbarkeit“ zu verstehen ist. Das muss in weiteren Normen jetzt stärker präzisiert werden. Und wer genau wird dann später die Algorithmen testen? Das ist eine gute Frage. Grundsätzlich machen sich sehr viele Menschen gerade Gedanken darüber, WAS getestet werden muss, aber nicht so viele, WER testen wird – und vor allem WIE. Die Industrie hat selber ein Interesse, ihre jeweiligen KI-Entwicklungen zu testen, aber darüber hinaus braucht es natürlich Institutionen wie die PTB, die neutral sind. Sie könnte eine wichtige Rolle spielen, nicht nur beim Überprüfen der Erklärbarkeit, sondern auch der Robustheit (hält eine KI im Alltag, was sie verspricht?), Messunsicherheit (Wie genau sind die Ergebnisse?) und der Datenqualität.

Was heißt in diesem Fall Datenqualität?
Dazu laufen im Rahmen des europäischen Projektes Opens external link in new windowTEF-Health, an dem die PTB entscheidend mitwirkt, noch grundsätzliche Untersuchungen. Allgemein gesagt: Qualitativ hochwertige Daten ermöglichen es der KI, hinterher auch das wiederzugeben, was gefragt war. Ein typisches Beispiel Wenn Sie einen KI-Algorithmus mit Daten ausschließlich von weißen Menschen trainieren, dann lässt die KI hinterher schwarze Menschen unzulässig außer Acht. Da haben Sie auch gleich ein Beispiel dafür, was im Zusammenhang mit KI mit dem Schlagwort „Fairness“ gemeint ist: natürlich nicht eine solche ungewollte Diskriminierung bestimmter Personen.

Wann werden die grundsätzlichen Untersuchungen in der PTB zu konkreten Ergebnissen führen?
Wir sind schon dabei, sehr konkrete Anwendungen zu entwickeln. Beispielsweise entwickelt das Team um Lukas Winter einen auf KI basierten Niedrigfeld-Magnetresonanztomografen. Und Maik Liebl und Kollegen arbeiten intensiv an der Entwicklung eines Demonstrators für eine Prüfplattform für KI-Algorithmen. (Anmerkung der Redaktion: siehe die beiden Texte dazu in diesem Newsletter) Was das WIE des Testens angeht, also konkrete Messmethoden und Maßzahlen für Erklärbarkeit und konkrete Standards: Da ist noch einiges an grundlegender Forschung erforderlich. Dafür wird es entscheidend sein, dass die PTB die hier Forschenden auch behalten darf. Zurzeit sind sie fast alle befristet angestellt – aber ihr Know-How darf nicht verloren gehen!

Herr Rabus, danke für das Gespräch!

Das Gespräch führten Imke Frischmuth und Erika Schow


Ansprechpartner
Dr. Hans Rabus, Arbeitsgruppe 8.01 Opens internal link in current windowKünstliche Intelligenz und Simulation in der Medizin, Telefon: (030) 3481-7054, Opens local program for sending emailhans.rabus(at)ptb.de

 

Weitere Informationen

Zu dem europäischen Projekt TEF-Health: 

KI-Strategie der PTB (PTB-Mitteilungen 1/2022)

Opens external link in new windowDIN-Vornorm zu erklärbarer KI (PTB-Presseinfo)