Der Entwurf zur ISO/IEC TS 25223 stellt den internationalen Nachfolger der nationalen DIN SPEC 92005:2024 dar, der Anforderungen zur Modellierung von prädiktiven Unsicherheiten von maschinellen Lernverfahren beschreibt. Bei der Erarbeitung dieser Norm stehen die Einbettung der neuen technischen Spezifikation in den internationalen Normungskontext sowie die Berücksichtigung des aktuellen Stands der Technik im Fokus. Ziel der Norm ist ein international einheitliches Rahmenwerk zur Empfehlung, wie prädiktive Unsicherheiten eines KI-Systems modelliert und vor allem bewertet werden können. Im Rahmen der Erarbeitung dieser Norm stehe ich als Experte für KI-Systeme mit speziellem Fokus der Unsicherheitsmodellierung und -bewertung mit meiner Fachexpertise zur Verfügung.

Das Forschungsprojekt „EvEn FAIr“ verfolgt das Problem der Bewertung der Diskriminierungsfreiheit bzw. Fairness von generativen KI-Systemen. Hierbei wird dieses Problem nicht nur technisch, sondern zunächst ethisch gesellschaftlich betrachtet und analysiert. Diese Erkenntnisse werden in technische Anforderungen übersetzt, um so einen ganzheitlichen Ansatz der Fairnessbewertung von KI-Systemen zu ermöglichen. In diesem Rahmen wird ein technisches Verfahren entwickelt, welches anhand von potenziellen Korrelationen von verschiedenen geschützten Merkmalen (bspw. Geschlecht oder Herkunft) in den Ausgaben eines generativen KI-Modells eine Bewertung des Gesamtsystems vornimmt. Das Projekt wurde von mir als Projektleiter initiiert. Neben der Projektkoordniation arbeite ich aktiv an den Forschungsthemen mit.

Mit der KI-Verordnung hat die Europäische Union im Jahr 2024 das weltweit erste gesetzliche Rahmenwerk zur Regulierung von KI-Systemen verabschiedet. Eine zentrale Bedeutung kommt hierbei der ausgiebigen Sicherheitsanalyse und -bewertung von KI-Systemen zu. Dies erfordert z. T. tiefes Fachwissen. Das Tool Thetis bündelt Methoden zur Untersuchung und Bewertung von KI-Systemen und bietet aufbereitete Reports und Ergebnisse sowohl für technisches Personal als auch für juristische Personen oder KI-Beauftragte. Bei diesem Projekt bin ich der Initiator sowie technischer Produktleiter, aber auch in der Planung des Business-Modells involviert.

Moderne KI-Systeme geben in der Regel für jede Entscheidung ein Maß für die Unsicherheit an. Die DIN SPEC 92005:2024 spezifiziert allgemeine Richtlinien und Anforderungen für die Entwicklung und Anwendung von Methoden zur Quantifizierung der Unsicherheit beim maschinellen Lernen. Als Co-Autor dieser DIN SPEC war ich verantwortlich für die Erarbeitung des aktuellen Stands der Technik zu dem Thema Unsicherheitskalibrierung.

Moderne KI-Algorithmen liefern für jede Schätzung eine Quantifizierung der Unsicherheit. Es ist jedoch ein bekanntes Problem, dass diese Unsicherheitsschätzung oft unzuverlässig ist und ein zu hohes Vertrauen anzeigt. Die Toolbox „net:cal“ ist ein Python-Paket für die Bewertung und Korrektur solcher Schätzungen. Die Toolbox ist das Ergebnis meiner Doktorarbeit. Mit derzeit 350 Sternen (Stand: 13.01.2025) bildet sie den aktuellen Stand der Technik in der Unsicherheitskalibrierung. Das Projekt ist online unter https://github.com/EFS-OpenSource/calibration-framework zu finden.

KI Absicherung ist ein Projekt der KI Familie. Es wurde von der VDA Leitinitiative autonomes und vernetztes Fahren initiiert und entwickelt. Das Konsortium besteht aus 24 Projektpartnern und 4 externen Partnern aus der Automobilindustrie mit einem Gesamtbudget von 41 Millionen Euro. Der Fokus liegt auf der Entwicklung von Methoden und Maßnahmen zur Absicherung KI-basierter Fahrfunktionen sowie der Ableitung einer Sicherheitsargumentation. Damit soll die Sicherheit von KI-basierten Systemen im Straßenverkehr in Zukunft nachgewiesen und zertifiziert werden. Im Rahmen dieses Projekts habe ich als wissenschaftlicher Mitarbeiter aktiv an Algorithmen zur Unsicherheitsquantifizierung und -korrektur geforscht und das Projekt von universitärer Seite aus koordiniert.