Wenn Künstliche Intelligenz zur Diskriminierungsmaschine wird - der Fall Amazon und was wir daraus lernen können

Über die Chancen von Künstlicher Intelligenz und selbstlernender Systeme bei der Personalauswahl wird momentan viel berichtet. Aus meiner Sicht meistens sehr positiv - ohne im angemessenen Umfang auf potenzielle Risiken hinzuweisen. Jetzt kam ein Fall ans Licht, der sehr deutlich die Risiken aufzeigt - hier am Beispiel von geschlechtsbezogener Diskriminierung. Und dies ausgerechnet bei einem Internet-Konzern, dem man zugetraut hätte, dass man dieses Problem hätte lösen können: AMAZON.



Der Hintergrund:


Laut einem Reuters Bericht nutzte Amazon einige Jahre eine selbstprogrammierte KI, die bei der automatisierten Selektion von Bewerbern helfen sollte und Bewerbern in ein Rating-Modell (das bei Amazon bekannte 5-Sterne-Rating) einordnen sollte. Angeblich wurde als Datenbasis die realen Daten der letzten 10 Jahre betrachtet - also Bewerbungen der letzten 10 Jahre und wie diese Bewerber dann performed hatten.


Es gibt auch ein paar Unklarheiten in der Berichterstattung - das sollte jeder im Hinterkopf halten: Unklar ist, ob hier auch Leistungsdaten herangezogen wurden oder nur die Ergebnisse des Bewerbungsprozesses.






Das Problem:


Anscheinend hat diese KI Ergebnisse produziert, bei denen weibliche Bewerber deutlich benachteiligt wurden, gegenüber männliche Bewerber. Man könnte also sagen, dass die KI den bisherigen Gender-Bias übernommen hat. Konkret wurde aber nicht einfach nur das Merkmal "männlich" oder "weiblich" besser bzw schlechter bewertet, sondern es war etwas komplexer und lässt sich in zwei grundsätzliche Punkte unterteilen.


1. Benachteiligung bei weiblichen Bezeichnungen


2. Benachteiligung, wenn Begriffe benutzt wurden, die häufig Frauen benutzen


Die Konsequenzen:
Neben der Frage, warum eine so hochtechnologisierte Firma wie Amazon nicht in der Lage war, dieses Problem in den Griff zu bekommen, stellen sich mir zwei weitere Fragen:
1. Hätten wir - wenn wir den Algorithmus genutzt hätten - die Diskriminierung erkannt?
2. Wie kann man dafür sorgen, dass Unternehmen vor solchen Problemen geschützt bleiben?


Mein Fazit:
Es gibt nicht so viele Firmen, denen man deutlich mehr IT-Know-How zusprechen würde als Amazon. Und trotzdem hat Amazon das Problem nicht gelöst und stattdessen das Projekt beendet. Zum Gluck - denn man hat erkannt, dass eine Diskriminierung vorliegen würde. Was ware gewesen, wenn diese KI schon aktiv gewesen wäre - vielleicht schon bei anderen Unternehmen? Wir müssen uns überlegen, wie wir als Recruiter dafür sorgen wollen, dass wir nicht abhängig warden von tools, die wir nicht verstehen und kontrollieren können. Ein erster Schritt dazu ist es, dass wir Verständnis im Umgang mit neuen Technologien aufbauen und dringend an unserer Zahlenaffinität arbeiten.