Künstliche Intelligenz wird nichts revolutionieren, wenn Hacker sich damit anlegen können.

Das ist die Warnung von Dawn Song, einem Professor an der UC Berkeley, der sich auf die Untersuchung der Sicherheitsrisiken von KI und maschinellem Lernen spezialisiert hat.

Auf der EmTech Digital, einer Veranstaltung in San Francisco, die von MIT Technology Review produziert wurde, warnte Song davor, dass neue Techniken zur Erforschung und Manipulation von Maschinen-Lernsystemen, die in der Branche als „gegnerische Methoden des maschinellen Lernens“ bekannt sind, große Probleme für jeden verursachen könnten, der die Macht der KI im Geschäftsleben nutzen möchte.

Song sagte, dass gegnerisches maschinelles Lernen verwendet werden könnte, um fast jedes System anzugreifen, das auf dieser Technologie basiert.

„Es ist ein großes Problem“, sagte sie dem Publikum. „Wir müssen zusammenkommen, um das in Ordnung zu bringen.“

Beim gegnerischen maschinellen Lernen wird die Eingabe experimentell in einen Algorithmus eingegeben, um die Informationen, auf die er trainiert wurde, preiszugeben, oder die Eingabe wird auf eine Weise verzerrt, die ein Fehlverhalten des Systems verursacht. Durch die Eingabe vieler Bilder in einen Bildverarbeitungsalgorithmus ist es beispielsweise möglich, seine Funktionsweise rückzuentwickeln und bestimmte Arten von Ausgaben zu gewährleisten, einschließlich falscher.

Song präsentierte mehrere Beispiele für gegnerische Lerntrickerei, die ihre Forschungsgruppe untersucht hat.

Ein Projekt, das in Zusammenarbeit mit Google durchgeführt wurde, betraf die Erforschung von Algorithmen zum maschinellen Lernen, die darauf trainiert wurden, automatische Antworten aus E-Mail-Nachrichten zu generieren (in diesem Fall den Enron E-Mail-Datensatz). Die Arbeit zeigte, dass es durch die Erstellung der richtigen Nachrichten möglich ist, dass das Maschinenmodell sensible Daten wie Kreditkartennummern ausspuckt. Die Ergebnisse wurden von Google verwendet, um zu verhindern, dass Smart Compose, das Tool, das automatisch Text in Google Mail generiert, genutzt wird.

Ein weiteres Projekt war die Modifikation von Verkehrszeichen mit einigen harmlos aussehenden Aufklebern, um die in vielen Fahrzeugen verwendeten Computer-Visionssysteme zu täuschen. In einer Videodemo zeigte Song, wie man das Auto dazu bringen kann, zu denken, dass ein Stoppschild tatsächlich sagt, dass die Höchstgeschwindigkeit 45 Meilen pro Stunde beträgt. Dies könnte ein großes Problem für ein automatisiertes Fahrsystem darstellen, das auf solche Informationen angewiesen ist.

Das feindliche maschinelle Lernen ist ein Bereich, der für Forscher im Bereich des maschinellen Lernens von wachsendem Interesse ist. In den letzten Jahren haben andere Forschergruppen gezeigt, wie Online-Maschinenlern-APIs erforscht und genutzt werden können, um Wege zu finden, sie zu täuschen oder sensible Informationen preiszugeben.

Es überrascht nicht, dass gegnerisches maschinelles Lernen auch für die Verteidigungsgemeinschaft von großem Interesse ist. Mit einer wachsenden Zahl von militärischen Systemen – einschließlich Sensorik und Waffensystemen -, die maschinelles Lernen nutzen, besteht ein enormes Potenzial für den defensiven und offensiven Einsatz dieser Techniken.

In diesem Jahr startete der Forschungsarm des Pentagons, DARPA, ein Großprojekt namens Guaranteeing AI Robustness Against Deception (GARD), das darauf abzielte, das gegnerische maschinelle Lernen zu studieren. Hava Belgelmann, Direktor des GARD-Programms, sagte MIT Technology Review kürzlich, dass das Ziel dieses Projekts darin bestand, KI-Modelle zu entwickeln, die gegenüber einer Vielzahl von gegnerischen Angriffen robust sind, anstatt sich einfach gegen bestimmte zu verteidigen.