Discriminatie zit ook in algoritmes: "Zij zijn de spiegels van de maatschappij"

Marlies van Eck, universitair docent Digitale Overheid: “We kunnen niet meer om kunstmatige intelligentie heen. Het gaat iedereen aan en daarom moet het in gewone taal kunnen worden uitgelegd.”

Seksistisch microfoonzendertje

Hoe zit dat precies? In principe zijn alle toepassingen die mensen hebben bedacht vaak gemaakt vanuit het wereldbeeld van de personen die het maken. “Neem bijvoorbeeld een microfoonzendertje,” zegt Marlies van Eck. Zij is universitair docent Digitale Overheid aan de Universiteit van Leiden. “Dat kastje heeft een clip die je aan je riem kunt hangen. Maar ik draag vaak jurken of rokken, dus dan kan ik die zender nergens aan bevestigen.” Marlies legt uit dat zoiets dus is bedacht door mensen die er niet over na hebben gedacht dat vrouwen soms rokken en jurken dragen in plaats van broeken. Of denk aan pinautomaten die op armhoogte zit voor mensen die staan, waardoor mensen in een rolstoel er niet bij kunnen.

“Dit soort fouten kunnen ook in algoritmes terechtkomen.” Volgens Marlies is het belangrijk dat we ons daarvan bewust zijn.

Hoe een algoritme werkt

Om te begrijpen hoe bepaalde fouten in algoritmes terecht kunnen komen, moeten we weten hoe algoritmes precies werken. Verhalen over het algoritme van Facebook en Instagram hebben je misschien doen laten denken dat het heel ingewikkeld is om een algoritme te begrijpen, maar de basis is heel simpel, volgens Sennay Ghebreab. Hij is hoofddocent aan de Universiteit van Amsterdam en wetenschappelijk directeur van het Civic AI Lab dat AI technologie ontwikkelt om kansengelijkheid in de maatschappij te vergroten. “Algoritmes zijn niets meer dan een berekenbaar recept. Je geeft input, doet bepaalde rekenstappen en daar komt een resultaat uit.”

De input die in algoritmes wordt gestopt, is data afkomstig uit de maatschappij. “En dat is vaak waar de fout zit,” zegt Sennay. Eén van de bekendste voorbeelden is de zelfrijdende auto. Als zwart persoon loop je een hoger risico aangereden te worden door een zelfrijdende auto dan een wit persoon. Dat komt omdat het algoritme ervan mensen met een donkere huidskleur niet altijd herkent als mens. In de dataset, is dus niet voldoende rekening gehouden met de verschillende huidskleuren die mensen hebben. Een ander voorbeeld is de draaideur die het niet deed toen Sennay ervoor stond, terwijl hij wel open zwaaide voor zijn witte collega’s, vermoedelijk omdat de sensor van de draaideur hem niet aanzag als mens herkende.

"Algoritmes kunnen niet discriminerend zijn. Het zijn lerende systemen. Voed ze met data en daar komt een uitkomst uit.”

Racisme in Facebook-algoritme

Niet alleen fysieke producten kunnen discrimineren door fouten in de data die in algoritmes zitten, het gebeurt ook online. Deze week werd bekend dat Facebook speciale onderzoeksteams gaat instellen om te onderzoeken of er racisme zit in hun algoritmes. Er wordt gekeken hoe Facebook-gebruikers met een donkere huidskleur in de Verenigde Staten worden benadeeld. Dat blijkt in het verleden namelijk al eens te zijn gebeurd doordat vacatures alleen aan witte gebruikers werd laten zien.

Enaam Ahmed Ali is innovatie expert en legt uit hoe dat zit. “Als een bedrijf een Facebook-advertentie plaatst met een vacature, dan betaalt het bedrijf per klik. Je wil natuurlijk dat je de hoogste kans van slagen hebt in het vinden van de juiste mensen. Als een algoritme jarenlang getraind is met data waarbij voornamelijk witte mensen zijn aangenomen, dan worden die vacatures aan dezelfde soort mensen weer laten zien.” Op die manier kan bepaalde content dus niet voorbij komen bij groepen mensen.

“Het algoritme pakt dezelfde vooroordelen op, die jarenlang door mensen zijn opgebouwd in de data,” zegt Enaam. Hetzelfde geldt voor posts die viraal gaan. “Om te bepalen welke content wordt gepusht door Facebook, wordt er gebruik gemaakt van data die iets zeggen over de inhoud van posts die voorheen viraal zijn gegaan.” Als dat jarenlang is gedomineerd door bijvoorbeeld witte content, dan komen posts met andere beelden en taalgebruik er heel moeilijk doorheen.

Trainen van algoritmes

Daarom is het belangrijk om algoritmes te trainen met representatieve data. Dat klinkt alsof je het over een hond hebt, maar zo werken deze wiskundige modellen. Om dit duidelijk te maken, geeft Sennay een voorbeeld. Je kunt een algoritme leren om onderscheid te maken tussen een koe en een hond. Dat doe je op basis van beelden waaruit kenmerken worden gehaald. Een koe heeft vlekken, staat in een weiland en heeft uiers. Dat zijn kenmerken waarmee het algoritme te werk gaat. Als het algoritme dan bijvoorbeeld bij het zien van een plaatje van een auto concludeert dat het een koe is, dan is er dus ergens een fout gemaakt. Meer voorbeelden van koeien en auto's worden dan toegevoegd om de dataset te verbeteren zodat het algoritme in de toekomst een auto voor een auto ziet, en een koe voor een koe. “Op die manier kun je een algoritme gebruiken om fouten in de algoritmische representatie en dus in de samenleving te detecteren en op te sporen,” aldus Sennay. Hij wil af van het idee dat algoritmes iets fouts zijn.

“Ze vormen een spiegel van de samenleving. Algoritmes werken met data uit de maatschappij, dus als daar onvolledigheden en vooroordelen in zitten, dan kun je die juist gebruiken voor het sociale goed. Dat wat er met de Belastingdienst is gebeurd, is natuurlijk niet oké, maar het maakt wel duidelijk dat er iets fout zit in de data en aanpak van fraude, waar je vervolgens wat aan kunt doen.”

Belastingdienst

Sennay doelt op de toeslagenaffaire bij de Belastingdienst. Daar werd dit jaar duidelijk dat heel veel mensen door het systeem onterecht als fraudeur zijn bestempeld, waardoor ze jarenlang geen aanspraak hadden op allerlei toeslagen zoals de kinderopvangtoeslag. Ze werden behandeld als fraudeur en achterna gezeten door de Belastingdienst waardoor veel mensen in de schulden terechtkwamen.

Afgelopen week werd bekend dat de Belastingdienst onderscheid heeft gemaakt op basis van nationaliteit terwijl dat helemaal niet nodig was voor het bepalen of iemand recht heeft op kinderopvangtoeslag. Autoriteit Persoonsgegevens heeft geconcludeerd dat algoritmes zijn ingezet om onderscheid te maken op basis van bepaalde kenmerken die discriminerend zijn, aldus Marlies. Zij weet dat de overheid veel algoritmes gebruikt om processen te versnellen. “Zo heb je formulieren op websites van de overheid die iedereen kan invullen met een BSN-nummer. Daarmee is geen rekening gehouden met mensen die helemaal geen BSN-nummer hebben. Die worden daar dan door buitengesloten.”

Quick win

Marlies vindt het zeker bij de overheid belangrijk dat bestuurders zich niet verschuilen achter ‘het systeem’, oftewel het algoritme. Zij stelt dat bestuurders niet zomaar een softwarepakket kunnen kopen. Volgens Marlies moet daar altijd een data scientist bij betrokken zijn die bij kan sturen als het algoritme discriminerende data blijkt te gebruiken. “Ik vind soms dat er te makkelijk wordt gezegd ‘wij weten ook niet hoe het systeem werkt’. Dat is een verantwoordelijkheid die bestuurders hebben. Leer het systeem dan maar kennen. Zo’n algoritme is geen quick win.”

Blinde vlek

Waar we volgens Marlies voorzichtig mee moeten zijn, is het gebruik van voorspellende algoritmes binnen bijvoorbeeld de politie. Aan de hand van de data kan de politie patronen analyseren waarmee bijvoorbeeld duidelijk wordt dat er in een bepaalde wijk meer criminaliteit voorkomt dan ergens anders. “Daarmee wordt bepaald dat er in die wijk extra gecontroleerd wordt door de politie. De kans is groot dat mensen in zo’n wijk meer in aanraking komen met de politie dan in andere wijken, niet omdat ze bepaald gedrag vertonen maar simpelweg omdat de politie daar is.” Volgens Marlies ontwikkel je zo blinde vlekken.

“Je blijft daarmee alleen maar data toevoegen uit die bepaalde wijk, waardoor de uitkomst van het algoritme steeds meer laat zien dat er in die wijk gecontroleerd moet worden, terwijl er een steeds groter wordende blinde vlek bij andere wijken ontstaat.”

Weet wat algoritmes doen

Zowel Marlies als Sennay vinden het jammer dat de overheid algoritmes vaak gebruikt om mensen te handhaven en te straffen, terwijl er juist mooie dingen gedaan kunnen worden met algoritmes. Zo kunnen algoritmes ingezet worden om statushouders in Nederland te laten wonen op plekken waar bepaalde vacatures zijn die matchen. Sennay is betrokken bij dit project.

Volgens Marlies zijn algoritmes niet eng, maar de mensen die ze gebruiken soms wel. “In handen van Mark Zuckerberg zou ik het niet vertrouwen.” Marlies en Sennay vinden het belangrijk dat meer mensen leren wat kunstmatige intelligentie is. “Als je laat zien hoe algoritmes werken, dan kun je daar als burgers ook iets aan doen,” zegt Sennay. Daarom raadt Marlies aan om het te melden als je denkt dat je wordt gediscrimineerd door een algoritme. “Soms is het vervelend om alleen maar behandeld te worden als een pakketje data, en niet als mens. Laat dat dan weten aan bedrijven en instanties.”

Misschien worden discriminerende fouten in de datasets daardoor sneller hersteld.

- In 'FunX Beseft' bespreekt FunX actuele, culturele en lifestyle topics die jouw aandacht verdienen. Een groter bewustzijn voor de generatie van nu -