Diskriminerande algoritmer

Publicerad i Dagens Industri den 6 november 2017

Varje gång jag ska välja en film att se slår det mig att de med högst ranking inte lockar. Jag undrade länge om det var något fel på min smak, men nyligen avslöjade tidningen Wired att IMDbs filmtopplista låter algoritmer bearbeta röstningsdata som kommer från över 70 procent män. Filmsajten Rotten Tomatoes baserar sina dataanalyser på andra recensioner, men med lika stor andel män. Algoritmerna definierar alltså världens bästa filmer enligt mäns preferenser. Filmer som rankas högt av kvinnor har inte en chans att ersätta Gudfadern och The Dark Knight.

I den aktuella och efterlängtade jämställdhetsdebatten är det intressant att reflektera över vad som händer med könsroller när artificiell intelligens tolkar vår data och hjälper oss att fatta beslut. Ny forskning från Princeton, publicerad i den vetenskapliga tidskriften Science, visar att algoritmer i större utsträckning associerar ord som ”ledarskap” och ”lön” med män, medan ord som ”hem” och ”familj” oftare kopplas till kvinnor.

Vid maskininlärning, när datorer går igenom stora mängder träningsdata och lär sig genom exempel, används sedan länge ingrodda stereotyper som gömmer sig i våra vardagsliv. Maskiner som ska lära sig att förstå mänskligt språk utgår från principen att ett ord bäst definieras genom vilket sällskap det har av andra ord. Maskinerna tolkar därmed den semantiska innebörden av ordet ”dator” som något som är kopplat till män, och ordet ”handarbete” som något som är kopplat till kvinnor. Det statistiska tillvägagångssättet fångar den kulturella och sociala kontexten av ord, på ett sätt som uppslagsböcker aldrig har gjort – och algoritmen får med sig våra mänskliga fördomar.

Vi smittar algoritmerna ytterligare genom vår användning av digitala tjänster. De flesta som får i uppgift att rita en sko gör en manlig känga och en majoritet av bilder som fotograferas av viktiga yrken föreställer män. Enligt forskare vid University of Virginia hittar maskinerna könsassociationer till en tredjedel av alla objekt och än fler av alla verb. Googles mjukvara översätter könsneutrala pronomen från flera språk till ”han” när det handlar om läkare och ”hon” när det handlar om sjuksköterskor. Det är statistiskt korrekt att fler läkare är män, men inte något som bör kommuniceras som en given förutsättning.

Microsoft har visat att maskiner som tränar upp sig på fördomsfull ursprungsdata inte bara återspeglar könsdiskriminering. Deras algoritmer kopplade samman män med ordet ”programmering” i än högre utsträckning är vad datan faktiskt visade.

När AI-baserade system tar sig an allt mer komplicerade uppgifter ökar riskerna med automatiserat beslutsfattande. Om en framtida köksrobot serverar en man en öl och hjälper en kvinna med disken, är det nog så irriterande. Men när robotar guidar män och kvinnor till olika utbildningar, jobb och pensionsplaceringar blir konsekvenserna betydligt mer allvarliga.

Etiska frågor om vilken värld vi vill lära datorerna och hur vi får våra system att verka i önskvärd riktning framåt är högst aktuella. Utbildningsmaterial för barn visar ofta upp en idealiserad värld, med kvinnliga förebilder i traditionellt manliga roller – och det omvända. På samma sätt behövs det könsmedvetna algoritmer och en modern version av en jämlikhetsombudshen som bevakar att olika individer behandlas rättvist. Risken är annars att den algoritmstyrda världen stör oss långt mer än några dåliga filmtips. Vi kan inte tillåta att AI-systemen håller oss fast vid dåtidens könsroller. Framtidens jämställdhet måste bli betydligt bättre än vår historia.

Leave a Reply

Your email address will not be published. Required fields are marked *