Whitebox KI

Wie die Künstliche Intelligenz erklärbar und nachvollziehbar wird

Seit den Diskussionen über den neuen „AI Act“-Vorschlag des EU-Parlaments ist das Thema wieder voll im Gange: Wie lässt man eine KI zu? Welche Risiken bergen probabilistische und scheinbar verschlossene Systeme? Wie kann der Nutzer dem System trauen? Das und vieles mehr sind Fragen, an denen schon lange gearbeitet wird und die bereits heute konkreter beantwortet werden können, als viele denken.

Auch wenn Künstliche Intelligenz (KI) in allermunde ist, fällt selbst in den Fachkreisen die genaue Definition solcher KI-Systeme in der Praxis und die Trennung von anderen, herkömmlichen Technologien schwer. Wesentliche Merkmale sind, dass KI-Systeme Empfehlungs- oder Entscheidungsgebend sind oder bei einer Zuordnung, Vorhersage oder Erkennung unterstützen. Wenn man in die wohl bekannteste KI-Disziplin, Machine Learning, reinblickt, stellt es nicht mehr als die rudimentäre Nachahmung des Erlernens auf Basis bekannter Fälle und dem robusten Agieren auf Basis der erkannten Zusammenhänge in neuen, bisher unbekannten Situationen ähnlicher Art dar.

Wenn man sich den aktuellen KI-Einsatz anschaut, so wird man feststellen, dass bei den meisten Anwendungen – von Bilderkennung in der Medizin bis hin zur Spracherkennung in der Industrie – ein wesentlicher Teil auf Daten aus der Vergangenheit einmalig nach Vorgaben („Labels“) trainiert wird und im Einsatz nicht mehr dazu lernt („Supervised Learning“).

Somit hält der Entwickler, also der Schöpfer der KI, das Ruder in der Hand: Er kann sowohl bestimmen, welche KI zum Einsatz kommt, mit welchen Daten und was der KI für eine Rolle im Gesamtsystem zugeordnet wird. Die praktische KI-Anwendung ist also ein präzises Werkzeug, wie ein Skalpel, das für eine wohldefinierte Handlung innerhalb eines eingeschränkten Bereichs eingesetzt wird.

Auch wenn die Nachvollziehbarkeit von tiefen künstlichen neuronalen Netzen (auch als Deep Learning bekannt) aufgrund der Komplexität beim möglichen Zurückrechnen der Ergebnisse eine Herausforderung darstellt, gibt es auch hierbei Mittel und Ansätze. Selbst im Bereich des „Unsupervised Learning“, also beispielsweise beim „Reinforcement Learning“, bei dem die Systeme eigenständig lernen (z.B. die bekannte „AlphaGo“-KI, die gegen einen Menschen in Go gewann), sind die Lernziele und der Handlungsumfang steuerbar.

Viacheslav Gromov, Gründer und Geschäftsführer von AITAD

Oft wird aber außer Acht gelassen, dass es auch von Anfang an gänzlich transparente „White Box“-Modelle – wie beispielsweise die aus dem Mathematikunterricht bekannte Entscheidungsbäume – gibt, die je nach Use Case passender oder gar performanter sind.


„In der Diskussion nach KI-Zulassung, -Akzeptanz und -Zertifizierung spielt der Begriff der Nachvollziehbarkeit, der mit Unterbegriffen wie Transparenz und Unteilbarkeit einherkommt, eine wesentliche Rolle.“


Wirkungsbereiche der KI

Wenn man bei der KI-Abgrenzung, also der Frage, wo die KI anfängt und wo sie in einem System aufhört, wo ihr Wirkbereich ist und für welche Bereiche ihr Wirken ausschlaggebend ist, beginnt, wird es schnell kompliziert. Oft kommt bei dieser Betrachtung heraus, dass die KI so gezähmt ist oder eine untergeordnete, optimierende Rolle spielt, dass über das angsteinflößende Risiko zu reden deutlich schwerer fällt, als angenommen. Schließlich wird sowohl vor als auch nach der KI-Komponente – zum Beispiel im Bild 1 bei einer Objekterkennung – noch viel gerechnet.


Ein möglicher, vereinfachter Aufbau eines KI-Hybridsystems mit verschiedenen Verarbeitungsgliedern sowie Redundanz. (Quelle: AITAD)


Es werden sowohl schon vorher Daten aufbereitet oder aussortiert als auch im Nachfolgenden das KI-Ergebnis weiterverarbeitet. Letzteres kann bedeuten, dass erst mehrere KIs zum gleichen Ergebnis kommen müssen oder kritische Einschätzungen ganz verworfen werden. In diesem Zusammenhang – wenn also die KI gemischt mit herkömmlicher Algorithmik in einem System fungiert – spricht man öfters von „KI-Hybridsystemen“. Durch die Systemarchitektur und die KI-lose Algorithmik können gegebenenfalls Fehlentscheidungen entdeckt oder von vornhinein überstimmt werden, es werden also Redundanzen im Sinne der Sicherheit (d.h. „Safety“) geschaffen.

Explainable AI – damit KI jeder versteht

Historisch gesehen ist spätestens nach den beiden KI-Wintern – erstmals wegen algorithmischen Problemen und später wegen mangelnder Rechenleistung –, also in den 2000er-Jahren, das Feld namens „Explainable AI“ größtenteils durch das Silicon Valley ernsthaft vorangetrieben worden. Das Eingeständnis, dass die noch jungen KI-Systeme selbst vom eigenen Vorgesetzten, geschweige denn dem Endanwender verstanden werden könnten und ein gewisses Technologievertrauen entstand, führte zum Ziel, KI auf verschiedensten Wegen auf Fach- und Laienebenen besser zu erklären.

Am anschaulichsten ist es in den letzten Jahren beim Thema des (teil)autonomen Fahrens gewesen: Die Technologie hat durch wenige Unfall-Schlagzeilen in einigen Ländern gesellschaftlich auf der Kippe, weil man den KI-Maschinen nicht traute. Das bestätigten auch Umfragen, bei denen die Computersteuerung selbst (kein Hackerangriff!) von den Menschen zu 48% als Angstursache genannt wird. Und dass trotz der rationalen Abschätzung, dass das Unfallrisiko durch den bisher sehr hohen menschlichen Faktor um ein Vielfaches sinken werde.

Dass diese Ängste im Wesentlichen auf einer irrationalen Ebene agieren, macht die Aufklärung und Technologieadaption nicht einfacher. Zur Aufklärung kann man z.B. Fahrern vorführen, an welchen (markierten) Bildbereichen das Fahrzeug die Routenplanung festmacht, sprich was es sieht und wie es folglich handelt („Heatmaps“). Wichtig dabei ist zu sehen, dass die KI sich tatsächlich auf den Straßenrand und die Fußgänger konzentriert und sich nicht vordergründig die Wolken im Himmel anschaut.

In der Diskussion nach KI-Zulassung, -Akzeptanz und -Zertifizierung spielt der Begriff der Nachvollziehbarkeit, der mit Unterbegriffen wie Transparenz und Unteilbarkeit einherkommt, eine wesentliche Rolle. Dabei ist der Begriff oder die Anforderung, dass die KI zu nachvollziehbaren Empfehlungen, Entscheidungen oder Selektionen kommt, je nach Personengruppe anders definierbar. Es stellt sich der Frage, auf welcher Detailebene der Endnutzer das System verstehen muss, verglichen zu einer abstrakteren Entwicklungsebene oder gar dem KI-Entwickler oder den Führungskräften des Herstellers selbst.

KI komplett nachvollziehen

Fakt ist, dass man je nach Anwendungsfall und Rolle der KI zu unterschiedlichen Mitteln im Werkzeugkasten greifen kann: Der Hersteller oder die Prüfstelle kann wesentliche Szenarien abtesten, es können Stellvertretermodelle (sog. Surrogat-Modelle) oder aber anderweitige vereinfachte Simulationen (u.a. Regressionen) aufgebaut werden. Schließlich kann man auch teilweise Modelle bis auf die Sprache und einfache Kausalitäten („Post-hoc“) herunterbrechen. Die Varianz an Erklärungstiefe und -umfang sowie Niveau ist also groß, die Wahl hängt ab vom Anwendungsszenario und dem hinnehmbaren Aufwand in der Praxis.

So betrachtet ist es also kein Wunder, dass auch der „AI Act“ eine risikobasierte Bewertung zugrunde legt. Im Wesentlichen wird wie im Bild 2 unterschieden, ob eine Transparenzvorschrift oder gar schärfere Systemanforderungen greifen. Je höher das Risiko oder die Kritikalität, desto höher der mögliche Schaden und desto mehr Maßnahmen zum Schutz und Zulassung werden gefordert.


Geplante Handlungsvorschriften je nach Risikograd eines KI-Systems im EU‘s AI Act. (Quelle: European Commission)


Hochrisikosysteme können hierbei sowohl selbstfahrende Autos als auch komplexere Bildungs- oder Rechtsberatungssysteme sein. Hier greifen die höchsten Anforderungskataloge. Bei niedrigerem Risiko ist man schon bei Chatbots oder emotionsanalysierenden Systemen. Hier werden einige Transparenzanforderungen vorgeschlagen. Und dann gibt es noch die Gruppe mit keinem bedeutenden Risiko, denkbar ist hierbei z.B. eine industrielle Anwendung, die je nach Beladung der Waschmaschine das intensivere oder das schwächere Waschprogramm auswählt. Hier ist die Schutzbedürftigkeit aller Beteiligten nicht über das Normalmaß hinaus erforderlich.

Fazit

Industrielle KI-Systeme, die Prozesse optimieren, mit Anwendern zusätzlich interagieren oder neuartige Funktionen realisieren, sind meistens mit geringem Risiko verbunden, sodass der Anwendung von „KI“ keine großen Hürden bis auf die üblichen Zertifizierungs- und Dokumentationspflichten bevorstehen. Denn eines ist allen Beteiligten klar: Würden wir noch weiter zögern, wäre die Wettbewerbsfähigkeit gefährdet, geschweige denn, wenn Fremdregulierungen übernommen werden würden.

Das Unternehmen entwickelt elektronikbezogene Künstliche Intelligenz (Embedded KI), die in Geräten und Maschinen lokal und in Echtzeit bestimmte Aufgaben übernehmen. Das Unternehmen befasst sich mit der Entwicklung und Testung von KI-Elektroniksystemen, insbesondere in Verbindung mit maschinellem Lernen im Industriekontext (v.a. Systemkomponenten). Als Entwicklungspartner übernimmt AITAD den kompletten Prozess vom Datensammeln über die Entwicklung bis hin zur Lieferung der Systemkomponenten. Die Spezialgebiete von AITAD sind Preventive/Predictive Maintenance, User Interaction und funktionale Innovationen.

Weitere Informationen: https://aitad.de 

Quellennachweis
1: Briefing: Artificial Intelligence act, T. Madiega, European Parliament, Januar 2022.
2: Studie „Erklärbare KI – Anforderungen, Anwendungsfälle und Lösungen“, Dr. Kraus et al., BMWi, April 2021
3: Autonomes Fahren, T. Fleischer et al., TATuP Ausgabe 27/02, 2018