Woran wir gerade arbeiten: Newsletter Juni 2020

Europa hat den Anspruch, nachvollziehbare, faire und zuverlässige Künstliche Intelligenz zu entwickeln und einzusetzen. Doch wie kann überprüft werden, ob die Technologie diese und andere Anforderungen erfüllt? Eine schwierige Aufgabe, für die etablierte Verfahren und Prozesse fehlen. Im Rahmen des gemeinsamen Forschungsprojekts von Fraunhofer IESE, dem Algorithm Accountability Lab an der TU Kaiserslautern, dem Institut für Rechtsinformatik an der Universität des Saarlandes, der Gesellschaft für Informatik und der SNV möchten wir sinnvolle Test- und Auditierungsverfahren für KI entwerfen und entwickeln. Für die SNV wird Leonie Beining ab Herbst 2020 die Arbeit im Projekt aufnehmen und die Identifizierung und Formulierung von politischen Handlungsempfehlungen vorantreiben.
▬▬▬▬▬
Aline Blankertz und Julian Jaursch arbeiten an einer Antwort auf die Konsultation der Europäischen Kommission zum Digital Services Act. Dieser soll in erster Linie die 20 Jahre alte E-Commerce-Richtlinie auf den neuesten Stand bringen, indem nun auch neue Herausforderungen in den gesetzlichen Regelungen Beachtung finden: von Haftung von Online-Intermediären über Online-Werbung zu möglicher Regulierung und neuen Instrumenten für Gatekeeper-Plattformen. Die Europäische Union nimmt sich hier wichtigen und bedeutsamen Problemen an, was begrüßenswert ist. Ein konkreter Vorschlag wird erst zum Ende des Jahres erwartet, weswegen es wichtig ist, schon früh diverse Perspektiven und Argumente in die Debatte einzubringen. Denn es besteht Hoffnung, dass der Digital Services Act tatsächlich mehr Transparenz und Offenheit für Verbraucher:innen und Internetnutzer:innen bringen kann. 
▬▬▬▬▬
Digitale Öffentlichkeiten stellen uns als Nutzer:innen vor zahlreiche Herausforderungen. Desinformation und “Fake News” sind dabei nur die Spitze des Eisberges, darunter liegt die wesentlich weitreichendere Frage: Wie können wir uns als Gesellschaft souverän und zuverlässig informieren? Ein Teil der Antwort ist es, die digitale Nachrichten- und Informationskompetenz all derjenigen zu stärken, für die das Netz eine unverzichtbare tägliche Nachrichtenquelle geworden ist. Damit das gelingt, braucht es weitaus mehr Fähigkeiten als in den analogen Öffentlichkeiten. Diese stellen Anna-Katharina Meßmer und Alexander Sängerlaub in ihrem nächste Woche erscheinenden Papier vor. Es bildet auch den Grundstein für die nun folgende empirische Erhebung, die prüft, wie nachrichtenkompetent die Deutschen sind. 

Was wir gerade mit Interesse lesen

Noch immer wird viel über Kosten und Nutzen von Tracing Apps im Zusammenhang mit der Corona-Pandemie diskutiert. In dieser Folge des Podcasts Radical AI argumentiert Seda Gürses grundlegend gegen die Verwendung solcher Apps. Insbesondere den starken Einfluss von Big Tech-Unternehmen wie Google und Apple auf die Entwicklung solcher Apps hält sie für hochproblematisch. Gürses ist Professorin an der TU Delft und arbeitet dort zu Digitaler Überwachung und Privatsphäre, speziell im Bereich des Privacy Engineerings. Gehört von Kilian Vieth. 
▬▬▬▬▬
Die US-Regierung will Chinas technologischen Fortschritt im Halbleiterbereich immer stärker beschränken – diese Deutung legen zumindest Regierungsmaßnahmen wie Exportkontrollen gegen mehrere chinesische Hochtechnologie-Unternehmen nahe. Als Reaktion auf die Maßnahmen fokussiert sich China immer stärker auf die eigene nationale Halbleiter-Industrie. Quantitative Untersuchungen und Vergleiche dazu, wie abhängig die chinesische Wirtschaft in Sachen Halbleiter – Chip-Design, Spezial-Equipment und Fertigung – wirklich ist, gibt es bisher allerdings wenige. Bart van Hezewijk, der im niederländischen Konsulat in Shanghai das Holland Innovation Network leitet, hat dazu eine erste Einschätzung geliefert. Er beschreibt, dass China vor allem bei der Chip-Fertigung (Fabs), den dafür notwendigen Fertigungsmaschinen, und der Design-Software zur Entwicklung moderner Halbleiter massiv von US-Technologie und ausländischen Anbietern abhängig ist. Gelesen von Jan-Peter Kleinhans.  
▬▬▬▬▬
Mit der Social Media-App “Untappd” können Nutzer:innen teilen, wann sie wo welche Sorte Bier getrunken haben. Wie diese Recherche von Bellingcat zeigt, können die dort geposteten Standortangaben oder Fotos aber auch dazu genutzt werden, Militärpersonal oder Nachrichtendienstmitarbeiter:innen als solche zu identifizieren oder sogar sensible Informationen über sie, ihre Arbeit oder Militärstützpunkte zu erfahren. Interessant an dem Beispiel “Untappd” ist, dass die App durch ihre Privatsphäre-Einstellungen eigentlich erlaubt, dass sensible Informationen nicht auffindbar sind – zum Beispiel für ausländische Geheimdienste. Dass diese Form des “open source intel” möglich ist, ist also allein der Fahrlässigkeit der Nutzer:innen zuzuschreiben. Sie sind sich offenbar nicht bewusst darüber, wie auch private, scheinbar unwichtige Informationen ausgenutzt werden und aufschlussreich sein können. Gelesen von Julia Schuetze. 
▬▬▬▬▬
Das Urteil des Bundesverfassungsgerichts über die  die Ausland-Ausland-Fernmeldeaufklärung im BND-Gesetz hat in den letzten Wochen zu Recht viel Aufmerksamkeit bekommen. Die höchstrichterliche Entscheidung besagt, dass die Novelle von 2016 in ihrer derzeitigen Form nicht mit dem Grundgesetz vereinbar ist. Diese Einschätzung ist wegweisend und wird dafür sorgen, dass die Befugnisse der deutschen Nachrichtendienste eine dringend nötige Überarbeitung erfahren. Ein Artikel, der das Urteil und seine Konsequenzen sehr gut zusammenfasst und einordnet, ist dieser Gastbeitrag des Rechtsanwalts und Nachrichtendienstrechtexperten Dr. Nikolaos Gazeas. Er entkräftet dabei die vielfach geäußerte Kritik, dass das Urteil die deutschen Nachrichtendienste arbeitsunfähig mache. Auch geht Gazeas davon aus, dass das aktuelle BND-Urteil Strahlwirkung auf andere Bereiche, wie etwa Auslandseinsätze der Bundeswehr haben kann. Gelesen von Thorsten Wetzling.
▬▬▬▬▬
In den vergangenen Monaten hat der Corona-Lockdown bei Plattformen wie Lieferando zu einem enormen Zuwachs an Bestellungen geführt. Diese werden von freiberuflich arbeitenden Fahrradkurieren ausgeliefert, deren Arbeitsbedingungen immer stärker kritisiert werden. Dieser Bericht von AlgorithmWatch portraitiert eine finnische Kampagne, die bessere Arbeitsbedingungen für die Kuriere fordert. Als besonders problematisch werden die von den Plattformen eingesetzten Scoring-Algorithmen gesehen, deren Bewertungskriterien für die Fahrer:innen vollkommen intransparent sind, aber darüber bestimmen, wann sie sich etwa ihre Arbeitsschichten wählen können. Die Aktivist:innen lehnen dabei den Einsatz von Algorithmen gar nicht grundsätzlich ab, setzen sich aber für mehr Transparenz und Rechte für die Arbeitnehmer:innen ein. Gelesen von Leonie Beining. 
▬▬▬▬▬
Mit einem Durchsuchungsbefehl haben amerikanische Strafverfolgungsbehörden das Recht, auch Mobiltelefone von Verdächtigen oder Angeklagten zu durchsuchen. Oftmals können sie das aber nicht umsetzen, da sie die Verschlüsselung oder Gerätesperre des Smartphones nicht überwinden können. In den USA – zunehmend aber auch in Deutschland – ist darüber eine Debatte entbrannt: Können Strafverfolgungsbehörden von Herstellern wie Apple verlangen, dass sie Zugriff auf deren Produkte erhalten müssen, um Durchsuchungen durchführen zu können, oder gefährden solche “Backdoors” die Cybersicherheit von Geräten zu stark? Und wie oft tritt dieses Dilemma in der heutigen Polizeiarbeit überhaupt auf? Dieser Artikel wägt beide Seiten gegeneinander ab und wertet darüber hinaus 500 Durchsuchungsbefehle daraufhin aus, ob Behörden Zugriff auf Mobiltelefone erhalten haben. Gelesen von Sven Herpig.
▬▬▬▬▬
Europa hat mit der Datenschutzgrundverordnung (DSGVO) eine Regelung geschaffen, die Menschen davor schützen soll, dass ohne ihre Zustimmung Daten durch Webseiten oder andere Anbieter genutzt werden. Eine Blüte, die die DSGVO hervorgebracht hat, sind sogenannte “Einwilligungsmanagementplattformen”. Sie erstellen für Webseiten die Banner, mit denen Nutzer:innen der Verwendung von Cookies oder anderen Tracking-Tools zustimmen sollen. Diese Untersuchung zeigt nun, dass viele Anbieter dieser Art die rechtlichen Vorgaben der DSGVO systematisch ignorieren und unterwandern. Somit kreieren sie eine Form des Einwilligungsmanagements, das im Sinne der Webseitenbetreiber, nicht im Sinne der Nutzer:innen funktioniert. Welchen Effekt das auf Verbraucher:innen hat, macht die Studie deutlich: Mehr Menschen willigen ein, wenn ihnen die Auswahl auch nur in geringem Umfang erschwert wird. Außerdem sind viele mit ihrer Auswahl nicht zufrieden, wenn sie ihnen hinterher wieder zur Beurteilung vorgelegt wird. Gelesen von Aline Blankertz.  
▬▬▬▬▬
Clearview ist eine amerikanische Firma, die in den letzten Jahren eine gigantische Datenbank aus Milliarden von sogenannten “Faceprints” aufgebaut hat, also biometrisch ausgewerteten Fotos von Menschen, anhand derer sie eindeutig identifiziert werden können. Zu den Nutzern von Clearviews Datenbank gehören neben zahlreichen Wirtschaftsunternehmen auch Polizeibehörden. Das ist höchst fragwürdig, denn die Datenbank besteht zum größten Teil aus Social Media-Fotos, die die Firma ohne Einwilligung und zumeist auch ohne das Wissen der Betroffenen verwendet. Die USA haben auf Bundesebene nur sehr wenige Gesetze, die das Handeln solcher Techfirmen einschränken, allerdings gilt in Illinois der “Illinois Biometric Information Privacy Act (BIPA)”, gegen den Clearview mutmaßlich verstößt. Aufgrund dessen hat die amerikanische Bürgerrechtsorganisation ACLU in Illinois gegen Clearview geklagt und fordert die Löschung der bereits erstellten Faceprints und ein Verbot von weiterem Datenmissbrauch dieser Art – in der Hoffnung, dass durch diese Form der strategischen Prozessführung die Unternehmenspraxis auch über Illinois hinaus geändert werden wird. Gelesen von Kate Saslow.  
▬▬▬▬▬
Bereits seit Jahren gibt es eine Debatte darüber, ob soziale Medien und Plattformen wie Google die Rolle und Aufgaben eines journalistischen Mediums erfüllen und dementsprechend Verantwortung für die Inhalte tragen, die bei ihnen geteilt werden und zu finden sind. Eine Entscheidung ist hier nicht in Sicht, aber das Bedürfnis, die Frage nach der Rechenschaft solcher Plattformen zu klären, bleibt. Einen interessanten Ansatz haben die Autor:innen dieses Essays entwickelt: Sie schlagen vor, dass digitale Plattformen als öffentliche Einrichtung betrachtet werden sollen, weil sie nicht nur Aufgaben traditioneller Medien, sondern auch städtischer Versorger erfüllten. Diese Deutung hätte die Konsequenz, dass sich die gesamte Finanzierungsstruktur der Plattformen verändern müsste: An die Stelle verhaltensbasierter, personalisierter Werbung könnte ein Gebührenmodell treten. Ein interessanter, wenn auch noch nicht gänzlich ausgereifter Ansatz. Gelesen von Julian Jaursch. 
▬▬▬▬▬
FRT – Facial Recognition Technology oder zu Deutsch: „Gesichtserkennungstechnologie“. Alles, was man darüber wissen sollte, hat nun das Centre for Data Ethics and Innovation (CDEI) in einer anschaulichen Publikation zusammengestellt. Das unabhängige Expert:innengremium, das die britische Regierung zur Verwendung von KI-Technologie berät, erklärt, wie Gesichtserkennungstechnologie funktioniert, schildert Anwendungsfälle, den aktuellen Rechtsrahmen innerhalb dessen die Technologie in UK zum Einsatz kommt und regt Regelungen an, die über starre Gesetze hinausgehen. Sie plädieren beispielsweise plädieren dafür, Konsens unter privatwirtschaftlichen Unternehmen über Industriestandards zum Einsatz dieser Systeme zu schaffen. Gelesen von Philippe Lorenz. 
▬▬▬▬▬
Viele Staaten setzen in der Nachrichtendienstarbeit und anderen Bereichen der Nationalen Sicherheit bereits KI ein. Das britische Royal United Services Institute (RUSI) hat sich im Auftrag der britischen Regierung genauer angesehen, welche Potentiale und Gefahren der Einsatz von KI im Nationalen Sicherheitsapparat des Vereinigten Königreichs bietet und ihre Ergebnisse in dieser Studie veröffentlicht. Die Autor:innen kommen dabei zu dem Schluss, dass KI in diesen Bereichen zwar einen großen Mehrwert bieten kann, dabei aber unbedingt gewährleistet sein muss, dass Dienste ethische Grundsätze (etwa die Verhältnismäßigkeit) einhalten. Auch müssen die Kontrollbehörden weiterhin in die Lage versetzt werden, ihrer Verantwortung nachkommen zu können – durch Befugnisse, aber auch Trainings und den Austausch mit externen Akteuren. Das gilt insbesondere für diejenigen Fälle, in denen der Einsatz von KI nicht nur schnellere oder umfangreichere Ergebnisse liefert als menschliche Analysen, sondern auch qualitativ darüber hinausgeht. Hier braucht es für das UK, wie auch viele weitere Staaten, unbedingt mehr Regulierung und klare Verantwortlichkeiten. Gelesen von Charlotte Dietrich.

Deep Dive  – about:intel

Auch nach Jahren der intensiven Auseinandersetzung mit den Befugnissen von Nachrichtendiensten herrscht selbst in den demokratischen Staaten Europas der Eindruck vor, dass die Behörden im Verborgenen arbeiten und eine aufgeklärte Debatte über die Durchsetzung von Grundrechten im digitalen Raum deshalb kaum möglich ist. Aus diesem Grund haben wir mit about:intel ein englischsprachiges Blog und Diskussionsforum zu europäischer Nachrichtendienstpolitik geschaffen. Dort publizieren wir wöchentlich Artikel von Expert:innen aus Kontrollgremien und Zivilgesellschaft, Industrie und Wissenschaft, aber auch Regierungen und Nachrichtendiensten zu dringenden Fragen über Technologie, Überwachung, und Demokratie. Die Autor:innen und Themenschwerpunkte stammen dabei aus verschiedenen europäischen Staaten und setzen sich neben gezielten, von der Redaktion gestellten Diskussionsfragen auch mit Entwicklungen im europäischen Überwachungsrecht auseinander, zum Beispiel mit dem Urteil des Bundesverfassungsgerichts zur BND-Reform von 2016 oder der Klage polnischer Anwält:innen und Grundrechtsaktivist:innen vor dem Europäischen Gerichtshof für Menschenrechte.

Das Ziel ist dabei, eine inklusive Konversation zu Überwachungspolitik anzustoßen und so eine gesamteuropäische Plattform zu schaffen, auf der Entwicklungen diskutiert und gemeinsame Lösungen gefunden werden können. Gerade in Zeiten rasanter technologischer Veränderung und ständig neuer Überwachungsmethoden ist dieser Dialog essentiell, um für Nachrichtendienste, Polizei und andere Sicherheitsbehörden einen rechtebasierten Handlungsrahmen zu schaffen und zu erhalten.  
 
Beispiel Künstliche Intelligenz 
Zu den Themen, die derzeit auf about:intel diskutiert werden, gehört der Einsatz Künstlicher Intelligenz in der Arbeitspraxis von Nachrichtendiensten. Dazu haben unter anderem zwei hochrangige Mitarbeiter:innen des Britischen GCHQ Stellung bezogen, die in ihrem Artikel erklären, dass KI für die Arbeit des Geheimdienstes von großer Bedeutung sei. Sie argumentieren, dass Prozesse durch KI verbessert und sogar automatisiert werden können – vorausgesetzt, diese wird in einem engen, klar definierten Rahmen eingesetzt, in dem sie menschliche Entscheidungen unterstützt, nicht übernimmt. Paula Kift vom Datenanalyse-Unternehmen Palantir findet die Debatte um die Bedeutung und auch die mögliche Bedrohung durch KI hingegen für überzogen. Maschinelles Lernen würde menschliches Schlussfolgern nicht ersetzen, sondern begünstigen. Expert:innen, die sich aus wissenschaftlicher Perspektive an das Thema annähern (Ronja Kniep vom Wissenschaftszentrum Berlin und Oskar J. Gstrein von der Universität Groningen), machen in ihren Artikeln auf die Gefahren aufmerksam, die ein weitreichender Einsatz von KI beispielsweise bei komplexen Themen wie Sicherheit, Freiheit, oder Gerechtigkeit bedeuten kann. Insbesondere, wenn die Transparenz über die Entscheidungsfindung dieser Systeme nicht gewährleistet wird. Marion Oswald vom Royal United Services Institute (RUSI) betont darüber hinaus die Bedeutung der unabhängigen Kontrolle beim Einsatz automatisierter Entscheidungssysteme. 
  
Weitere Diskussionsthemen auf about:intel: 

• Covid-19: Welche Gesetze, Massenüberwachungsmaßnahmen oder Ausnahmeregelungen setzen verschiedene Staaten ein, um die Verbreitung von Covid-19 einzudämmen? 
• Predictive Policing:  Kann Predictive Policing unter Umständen als effektive, faire und legitime Methode eingesetzt werden? Welche Ansprüche müssen dabei an die zugrundeliegenden Daten gestellt werden? 
• Exportkontrolle: Inwiefern kann und sollte Überwachungstechnologie einer Exportkontrolle unterliegen? 
• Vernetzung der Nachrichtendienstkontrolle: Wieso funktioniert die Kooperation von Nachrichtendienstkontrolleur:innen nicht so gut wie die der Nachrichtendienste selbst? Kann sich das ändern? 

Überblick: Aktuelle Veröffentlichungen und Medienbeiträge

Onlinewerbung für Parteien oder Kandidat:innen demokratischer Wahlen wird zu einem alltäglichen und immer einflussreicheren Phänomen. Was Gesetzgebende in Deutschland und der EU unternehmen könnten, um mögliche Gefahren zu mindern, zeigt Julian Jaursch in seinem aktuellen Papier auf. Zu seinen Vorschlägen gehört zum Beispiel, klare gesetzliche Transparenz- und Rechenschaftspflichten für Plattformen und politische Werbetreibende zu schaffen. Zudem sollte es Regeln dafür geben, welche persönlichen Verhaltensdaten für politische Onlinewerbung genutzt werden dürfen.  
▬▬▬▬▬
Kilian Vieth und Thorsten Wetzling haben ihr bereits auf Englisch erschienenes Papier “Datenbasierte Nachrichtendienstkontrolle – Agenda für mehr Wirksamkeit” nun in aktualisierter Fassung auf Deutsch veröffentlicht. Sie machen darin sieben konkrete Vorschläge für eine zeitgemäße Nachrichtendienstkontrolle, die helfen, die im neuesten Bundesverfassungsgerichtsurteil zur BND-Reform eingeforderten Neuregelungen umzusetzen. 
▬▬▬▬▬
Das Design von Benutzeroberflächen kann ein hoch wirksames Instrument der Einflussnahme sein. Solche häufig als “Dark Patterns” bezeichneten Design-Praktiken schwächen nicht nur tiefgreifend die Entscheidungsfreiheit von Konsument:innen, sondern sorgen immer häufiger auch dafür, dass Datenschutz- Verbraucherschutz-, Jugendschutzgesetze in der Praxis an Wirkung verlieren oder umgangen werden. Sebastian Rieger hat gemeinsam mit der Design-Forscherin Caroline Sinders ein Papier dazu geschrieben, warum politische Entscheidungsträger:innen bei zukünftigen Regulierungsvorhaben das Design von Plattformen und Online-Diensten mit in den Blick nehmen sollten.
▬▬▬▬▬
Die deutsche Bundesanwaltschaft hat einen internationalen Haftbefehl gegen den mit dem russischen Geheimdienst GRU assoziierten, mutmaßlichen Hacker Dmitriy Sergeyevich Badin erlassen. Er soll für den Hack auf den Bundestag im Jahr 2015 verantwortlich sein. Julia Schuetze schreibt im Net Politics Blog des Council On Foreign Relations, wieso dieser Fall die Anwendung des Cyber-Sanktionsregimes der Europäischen Union zur Folge haben kann. 
▬▬▬▬▬
In zwei Gastbeiträgen beschäftigt sich Jan-Peter Kleinhans mit aktuellen Entwicklungen der globalen Halbleiter-Wertschöpfungsketten. Unter dem Druck der US-Regierung, die immer mehr Einfluss auf die weltweite Produktion von Chips ausübt, hat die taiwanesische Firma TSMC angekündigt, eine Chip-Produktionsstätte in den USA zu bauen. TSMC ist der weltweit größte Auftragsfertiger für Chips und die Entscheidung, auch in den USA zu produzieren, muss im Zusammenhang mit der neuen US-Exportkontrolle gegen Huawei betrachtet werden, wie Kleinhans in diesem Artikel beschreibt. 
Auch die Covid-19-Pandemie hat die weltweite Produktion von Halbleitern beeinflusst, wie Kleinhans in diesem Artikel gemeinsam mit Pranay Kotasthane, Fellow am indischen Takshashila Institut, beschreibt. Der generell mit den Wertschöpfungsketten verknüpfte geopolitische Druck ist durch die Pandemie gestiegen und hat seitens der Regierungen insbesondere in den USA und China das Bestreben gestärkt, Teile der Lieferkette wieder in die eigene Region zu verlagern. Die beteiligten Firmen hingegen, möchten Lieferketten durch Diversifizierung widerstandfähiger gegen politische, wirtschaftliche oder eben medizinisch bedingte Einschränkungen machen.  
▬▬▬▬▬
Seit knapp zwei Jahren arbeitet das Bundesministerium des Innern, für Bau und Heimat an einer Neuauflage des IT-Sicherheitsgesetzes. Der im letzten Jahr geleakte Entwurf hat viel Kritik aus verschiedenen Sektoren ausgelöst und wurde deshalb und auch unter dem Eindruck der Debatte um 5G-Ausrüster Huawei nochmal überarbeitet. Dieser aktualisierte Entwurf befindet sich derzeit in der Ressortabstimmung und wurde auf Netzpolitik.org geleakt. Leider hat das IT-Sicherheitsgesetz 2.0 auch in der vorliegenden Form noch gravierende Mängel. Jan-Peter Kleinhans und Sven Herpig haben den Entwurf analysiert und Verbesserungen vorgeschlagen. 

Technologische Erinnerungen

1897 – Am 10. August entwickelte der deutsche Chemiker Felix Hoffmann einen Wirkstoff, den sein Arbeitgeber Bayer später in Form von Aspirin auf den Markt bringen sollte. Nur elf Tage später erfand derselbe Hoffmann eine weitere Substanz, die ursprünglich ebenfalls als Mittel gegen Kopfschmerzen gesehen wurde und um die Welt gehen sollte: Heroin. Gefunden von Johanna Famulok. (Quelle)

Klicken Sie hier, um alle E-Mails der SNV abzubestellen. Bitte schreiben Sie mir ein kurze Email, wenn Sie nur den Newsletter abbestellen wollen.