Softwarekatastrophen: Dumb Learning
Mit den ersten Anwendungen künstlicher Intelligenzen erleben wir auch rassistische Chat-Bots und komplexe Unfälle, in die autonome Fahrzeuge verwickelt sind. KI-basierte Systeme lernen durch so genannte Machine-Learning-Verfahren, also weitestgehend selbstständig mit Trainingsdaten. Was und wie genau sie daraus lernen, ist nicht vollständig nachvollziehbar, nur das Ergebnis dieses Prozesses. Das wirft ethische Fragen auf, über die Gwendolyn Rohsaint in dieser Folge des Podcasts „Softwarekatastrophen“ mit Lukas Schroth spricht. Ist eine KI schuld, wenn sie sich falsch verhält, oder liegt die Verantwortung bei denjenigen, die ihr dieses Verhalten beigebracht haben? Und wären das nur die jeweiligen Entwickler*innen oder auch ihre Nutzer*innen selbst?
Was passiert wenn der Computer „falsch lernt“?
Die Folge gibt es exklusiv beim Campusradio am Freitag, 23. September 2022 um 9 Uhr!
Shownotes und weiterführende Infos:
KI-basierte Systeme lernen durch Deep-Learning-Verfahren. Dabei werden sie mit Daten trainiert, aus denen sie weitestgehend selbstständig lernen. Was und wie genau sie daraus lernen, ist nicht vollständig nachvollziehbar, nur das Ergebnis des Prozesses. Eine KI, die auf eine bestimmte Anwendung trainiert wird, beispielsweise ein Chatbot, wird mit jedem Lernzyklus besser darin, sinnvolle Sätze zu bilden und auf Fragen einzugehen. Ein Beispiel für Dumb Learning in diesem Bereich ist der Chatbot Tay von Microsoft, der nach nur 16 Stunden auf Twitter wieder offline genommen wurde, weil er anzügliche und rassistische Kommentare verfasste und damit eine Kontroverse auslöste.
Die Daten, mit denen eine KI trainiert wird, haben also einen großen Einfluss darauf, was sie lernt und dementsprechend, wie sie agiert. Daher ist es immer auch eine ethische Abwägung, ob und wie eine KI-basierte Anwendung genutzt werden kann. Wenn es um Strafverfolgung, Gesichtserkennung, Personalentscheidungen oder andere kritische Entscheidungssituationen geht, ist dies besonders wichtig.
Daher ist es wichtig zu diskutieren, inwiefern Softwareentwickler*innen oder die entwickelnden Unternehmen diese Verantwortung übernehmen müssen. Maßnahmen zur Qualitätssicherung wie Validierungsverfahren sind eine Möglichkeit, zu überprüfen, ob eine KI sich in eine andere Richtung entwickelt, als sie sollte.
Statement von Microsoft zu Tay
Artikel zur Debatte über Tay
Paper zum Umgang mit Chat-Bots wie Tay
Paper zur Tesla Crash Diskussion
Artikel über Racial Bias in amerikanischer Gefängnis-Software
Intro/Outro produced by Henri Koch
