Stel, een organisatie gebruikt een algoritme om cv’s te screenen in de eerste ronde van een sollicitatieprocedure. Het doel van het algoritme is om een lijst te maken met de sterkste kandidaten, die de grootste kans hebben om uiteindelijk benoemd te worden. Op basis van honderdduizenden eerdere sollicitaties is het algoritme in staat om die groep kandidaten nauwkeurig te identificeren. Maar nader onderzoek brengt een opvallende trend aan het licht: het algoritme blijkt slechts één op de tien kandidaten met een migratieachtergrond te selecteren, tegenover één op de vijf kandidaten zonder migratieachtergrond. Critici spreken zich uit: het algoritme benadeelt kandidaten met een migratieachtergrond. De programmeurs wijzen er echter op dat hun algoritme getraind is om de beste kandidaten te selecteren, onafhankelijk van hun afkomst, etniciteit, gender of andere eigenschappen waarop mensen discrimineren. Hebben de programmeurs gelijk, en kan een algoritme minstens zo eerlijk oordelen als een mens?
Dit artikel is exclusief voor abonnees
JA
Een sollicitatieprocedures eerlijk laten verlopen is nooit eenvoudig, niet voor mensen en ook niet in een geautomatiseerd proces. Maar er is geen principiële reden waarom een beslissing door een algoritme niet even eerlijk zou kunnen zijn als een menselijke beslissing. Wat het programmeren van eerlijkheid lastig maakt, is dat die notie op verschillende manieren kan worden begrepen. Volgens één opvatting verloopt een selectieprocedure eerlijk wanneer alle kandidaten op dezelfde criteria worden beoordeeld. Zo bezien kan een algoritme dat kandidaten uit geprivilegieerde groepen (autochtoon, man, welvarend et cetera) een grotere slagingskans geeft, best eerlijk zijn: die kandidaten scoren nu eenmaal het best op de relevante criteria. Maar volgens een andere opvatting is een algoritme eerlijk wanneer de slagingskans voor verschillende demografische groepen gelijk is: op voorhand moeten man en vrouw, arm en rijk, autochtoon en migrant dezelfde kans hebben om geselecteerd te worden. Deze twee opvattingen van ‘eerlijkheid’ vallen niet altijd samen. Bij het afstellen van een algoritme moeten programmeurs dus een afweging maken: welke notie van eerlijkheid stellen ze voorop? En daar blijft het niet bij: programmeurs hebben de laatste jaren zo’n twintig noties van ‘eerlijkheid’ geïdentificeerd. Dat maakt het programmeren van eerlijke algoritmes lastig. Maar het is ook lastig voor de mens om tot een eerlijke beslissing te komen. Mensen en algoritmes lopen tegen dezelfde inherente beperking aan: eerlijk volgens de ene maatstaf is niet per se eerlijk volgens de andere.
Wat als eerlijk geldt is sterk aan context gebonden
NEE
Er bestaan niet voor niets zoveel verschillende noties van eerlijkheid: wat als een eerlijke beslissing geldt is sterk aan context gebonden. Daarom vereisen goede beslissingen het vermogen om per geval te kunnen bekijken welk begrip van eerlijkheid op zijn plaats is. Het ontbreekt algoritmes aan die contextgevoeligheid. Bij algoritmes is sprake van een ondoorzichtig proces waar gemakkelijk vooroordelen in kunnen sluipen, zonder dat mensen dit in de gaten hebben. Zo kan een zelflerend algoritme een eigenschap die nauw samenhangt met een migratieachtergrond als negatieve factor aanmerken, zelfs als het algoritme niet is ontworpen om dat te doen. Daar komt bij dat algoritmes veelal worden getraind met data waar historische ongelijkheden in besloten liggen. De geprivilegieerde witte man heeft historisch gezien meer succes op de arbeidsmarkt dan de armlastige migrantenvrouw. In een wereld die gevormd is door uitsluiting en onderdrukking zijn eigenschappen die samenhangen met marginalisatie vaak goede indicatoren van toekomstig falen, terwijl privilege een goede graadmeter is van toekomstig succes. Een algoritme dat op die indicatoren afgaat kan behoorlijk accuraat zijn, maar vanuit maatschappelijk oogpunt hoogst oneerlijk. De vraag welke ongelijkheden aanvaardbaar zijn en welke notie van eerlijkheid dus op zijn plaats is, moet uiteindelijk per geval worden bekeken. Het antwoord daarop vraagt niet om goede programmeurs, maar om menselijk oordeelsvermogen, ingegeven door voortschrijdend inzicht over het soort eerlijkheid dat de samenleving behoeft.
