Erfolgsmessung von KI-Strategien. Mit Indikatoren und Benchmarks die Umsetzung der Strategie erfolgreich steuern

Policy Brief

Künstliche Intelligenz (KI) ist die Schlüsseltechnologie der Digitalisierung. Denn ohne automatisierte, intelligente Analyse- und Entscheidungssysteme kann die Fülle an im Zuge der digitalen Transformation von Wirtschaft und Gesellschaft entstehenden Daten nicht produktiv genutzt werden. Hinzu kommt das große Potenzial der Technologie für die Lösung wichtiger gesellschaftlicher Herausforderung von der Verbesserung der Medizin bis hin zur intelligenteren Steuerung von Verkehrs- oder Energiesystemen. Mittlerweile hat auch die Politik die Bedeutung von KI erkannt. Viele Länder haben nationale KI-Strategien veröffentlicht und fördern Entwicklung und Einsatz von KI-Technologien. Auch die Bundesregierung befindet sich mittlerweile in einem Strategieprozess. Die Ergebnisse sollen Anfang Dezember auf dem Digitalgipfel präsentiert werden. Während die im Juli veröffentlichten Eckpunkte der KI-Strategie erkennen lassen, wie ernst man das Thema mittlerweile im Kanzleramt und den Ministerien nimmt, wird ein wichtiger Punkt in der Debatte bisher zu wenig berücksichtigt. Die KI-Strategie folgt auf eine ganze Reihe ambitionierter digitalpolitischer Strategien, wie beispielsweise der Digitalen Agenda. Diese Strategien sind  allgemein formuliert und enthalten nur  vage Zielsetzungen. Das ist eine große Schwäche dieser bisherigen Strategien, denn ohne ausgewiesene Ziele konnte es nicht gelingen, aus den Strategien schnell konkrete Maßnahmen zu entwickeln und diese auch umzusetzen.
 
Wenn die Bemühungen der Bundesregierung diesmal nicht das gleiche Schicksal erleiden sollen, muss die KI-Strategie klare Zielsetzungen, Handlungsmaßnahmen und Erfolgskriterien enthalten. Dadurch würde zugleich ein weiteres Manko der KI-Strategie adressiert werden. Die Festlegung klarer Ziele, zum Beispiel in Bezug auf die Zahl der in Deutschland zukünftig auszubildenden KI-Expert:innen, setzt eine tiefergehende Auseinandersetzung mit dem KI-Begriff voraus. Es müsste festgelegt werden, welche Kompetenzen als KI-relevante Expertise gelten und welche nicht. Solche Benchmarks festzulegen, erfordert aber zunächst die tierfergehende Auseinandersetzung mit dem KI-Begriff. Eine solche Auseinandersetzung fehlt im politischen Diskurs und in den bereits veröffentlichten Eckpunkten der KI-Strategie der Bundesregierung.

Im nächsten Schritt ist bei der Entwicklung von konkreten Zielen die Unterscheidung zwischen Input- und Output-Indikatoren wichtig. Input-Indikatoren beinhalten alle Maßnahmen, die zur Zielerreichung eingesetzt werden. Output-Indikatoren ermöglichen die Überprüfung der Zielerreichung. Sie können dabei auf  unterschiedliche Dimensionen der Strategie abzielen, wie zum Beispiel die Steigerung der Zahl von KI-Forscher:innen oder die Erhöhung der Präsenz deutscher KI-Forschung auf den führenden internationalen Konferenzen.
 
Viele Staaten haben bereits KI-Strategien vorgelegt. Eine Analyse der Strategien Chinas, der Vereinigten Staaten von Amerika, Großbritanniens, Frankreichs, Finnlands und der europäischen Kommission zeigt, dass viele qualitative Input-Indikatoren enthalten sind. Die Maßnahmen sind allerdings in Regel recht abstrakt und vage gehalten und es fehlt generell an quantitativen Input-Indikatoren, wie zum Beispiel die Höhe der Haushaltsmittel, die zur Umsetzung der Maßnahmen veranschlagt werden. Noch weniger ist in den Strategien bezüglich Output-Indikatoren zu finden. Ausnahmen sind die Strategien Chinas und Großbritanniens. China macht klare Vorgaben, welchen Anteil KI an der zukünftigen Wertschöpfung in der Wirtschaft einnehmen soll. Großbritannien definiert konkrete Ziele bezüglich der Anzahl an auszubildenden KI-Wissenschaftler:innen und der Anzahl ausländischer KI-Expert:innen, die ins Land geholt werden sollen. Finnland erkennt die Bedeutung von Indikatoren zur Fortschrittsmessung zumindest an und will diese im Rahmen der Umsetzung der Strategie entwickeln. Trotz einiger guter Ansätze fällt das Ergebnis jedoch bescheiden aus. Keine der untersuchten Strategien setzt sich wirklich substantiell und systematisch mit der Ableitung von Input- und Output-Indikatoren aus den übergeordneten strategischen Zielen auseinander. Hier besteht die große Chance für Deutschland sich positiv abzusetzen und die Umsetzung der eigenen Strategie mit Hilfe von Input- und Output-Indikatoren voranzutreiben.
 
Die Entwicklung eines nationalen KI-Index mit zu messenden Output-Indikatoren müsste nicht bei Null beginnen. Die Analyse bestehender Indizes liefert wichtige Hinweise für die Entwicklung. Die hier untersuchten Indizes kommen vor allem von Unternehmensberatungen und lassen sich nach ihrem methodischen Ansatz in vier Kategorien mit jeweils eigenen Stärken und Schwächen einordnen. Die Umfrage eignet sich als Methode besonders gut, um neue Trends zu erfassen. Allerdings hängt die Aussagekraft von Umfragen stark mit der Auswahl der Befragten und der angewandten Befragemethodik zusammen. Eine zusammenfassende Auswertung bestehender Indizes ist zwar relativ leicht operativ umzusetzen; eigene und vor allem neue Fragestellungen lassen sich mit diesem Ansatz aber nur schwer bearbeiten. Bei Daten-getrieben Ansätzen wird der Index an der Verfügbarkeit bestehender Datenquellen ausgerichtet. Je nachdem, wie aussagekräftig diese Datenquellen sind, steigt und fällt damit auch die Aussagekraft Daten-getriebener Indizes. Bei Indikatoren-getriebenen Ansätzen wird der Index aus einem theoretischen Verständnis des Untersuchungsgegenstands heraus entwickelt. Hier stellt sich aber häufig das Problem, dass es für die entwickelten Indikatoren keine leicht erschließbaren Datenquellen gibt.
 
Grundsätzlich weisen die untersuchten KI-Indizes alle erhebliche methodische Schwächen auf. Das liegt zum einem an den genannten Nachteilen der jeweiligen Methodik. Es gibt nicht den einen perfekten Ansatz. Beim Umgang mit methodischen Problemen steht in der Regel nicht die beste Lösung, sondern Ressourceneffizienz im Mittelpunkt. Zum anderen gehen vor allem die Unternehmensberatungen nicht offen und ausführlich genug mit ihren methodischen Problemen um und bleiben somit hinter grundlegenden wissenschaftlichen Standards zurück. Die Politik kann daher nicht einfach bestehende Ansätze integrieren, sondern sollte die Beschäftigung mit den Stärken und Schwächen bestehender Indizes zur Grundlage der Entwicklung eines eigenen Index machen. Ein eigener Ansatz sollte dabei auch ein KI-Technologie-Monitoring integrieren, um den eigenen Index ständig in Bezug auf neueste Trends und Entwicklungen anpassen zu können.    
 
Angesichts der Dynamik der KI-Entwicklung sollte der nationale KI-Index nicht statisch, sondern Prozess-orientiert angelegt werden. Dieser Prozess setzt sich aus drei Säulen zusammen, die sich ständig gegenseitig befruchten.

Auf Basis einer tiefergehenden Auseinandersetzung mit dem KI-Begriff werden Output-Indikatoren abgeleitet, mit denen die zentralen Dimensionen des KI-Ökosystems erfasst werden. Neben Forschung, Bildung und Wirtschaft müssen auch Output-Indikatoren für die Bereiche Daten, Infrastruktur, Gesellschaft und Internationales definiert werden. Das KI-Trend-Monitoring bringt die Dynamik in den Prozess. Mit Hilfe des Monitorings können neue Trends identifiziert und bei der Weiterentwicklung der Indikatoren berücksichtigt werden.
 
Angesichts der zu erwartenden Höhe der öffentlichen Ausgaben für die Umsetzung der KI-Strategie sind die für den Aufbau eines Monitoring und Benchmarking benötigten Haushaltsmittel vergleichsweise gering. Es wäre aber sehr gut angelegtes Geld. Denn nur wenn die Entwicklung eines KI-Ökosystems in Deutschland mit Indikatoren erfasst wird, gibt es Anhaltspunkte zur Bewertung der Effektivität der im Rahmen der Strategie entwickelten Maßnahmen. Die Bundesregierung sollte für den Aufbau eines solchen Mess-Ansatzes ein unabhängiges Forschungsinstitut beauftragen. Auf Basis wissenschaftlicher Standards und hoher Methodenkompetenz würde das beauftragte Forschungsinstitut vor allem die Output-Indikatoren entwickeln und erfassen und den KI-Trend Report erstellen. Das Forschungsinstitut sollte dabei völlig frei und unabhängig von politischen Einflüssen agieren können. Und es sollte seine Arbeit regelmäßig veröffentlichen. Reports mit den Ergebnissen der Messungen der Indikatoren hinsichtlich der Entwicklung des deutschen KI-Ökosystems und zu globalen KI-Trends würden die gesellschaftspolitische Diskussion über KI in Deutschland auf eine empirisch unterlegte Grundlage stellen. Zusätzlich würden die Reports für die Bundesregierung eine wichtige Ressource für die erfolgreiche Umsetzung und kontinuierliche Weiterentwicklung der nationalen KI-Strategie darstellen.

Erschienen bei: 
Stiftung Neue Verantwortung e.V.
26. September 2018
Autoren: 

Dr. Stefan Heumann mit Nicolas Zahn

Ansprechpartner: