De computer zegt nee

In de satirische serie Little Britain werkt Carol als receptioniste, en vrijwel elke keer dat ze een vraag krijgt antwoordt ze: ‘Computer says no.’ Staat er een klein meisje bij de balie van het ziekenhuis waar ze werkt, maar beweert de computer dat ze een dubbele heupoperatie moet krijgen? Jammer dat ze eigenlijk kwam om haar amandelen te laten knippen, maar: ‘Computer says no.’ Verdere uitleg over waarom de computer nee zegt is er niet. De enige vorm van transparantie is Carol, die demonstratief haar beeldscherm toont: ‘Kijk, de computer zegt echt nee.’

Zo willen we natuurlijk niet met computersystemen omgaan. Een ja of nee uit een programma kan een goede basis voor een beslissing zijn, maar als dat alle informatie is die je krijgt, is er een probleem. Want hoe kun je dan controleren of de beslissing op een correcte en verantwoorde manier genomen is? Wat als een beslisprocedure onzin oplevert, zoals een heupoperatie voor een meisje met pijn in haar keel, of zelfs discrimineert door beslissingen te laten afhangen van huidskleur?

In discussies over beslissystemen is het verleidelijk om te zeggen: dit is geen geautomatiseerde beslissing, maar een menselijke. Nadat de computer zijn werk heeft gedaan drukt er tenslotte nog altijd een mens op de knop. Maar in welke mate heeft die medewerker de ruimte om het met de computer oneens te zijn? Is er extra informatie beschikbaar die helpt om het antwoord van de computer kritisch te onderzoeken?

Kort gezegd is dat waar transparantie om draait: hoe makkelijk het is om iets meer te weten te komen over de totstandkoming van een computerbeslissing. Als het onmogelijk is om inzicht te krijgen in het beslisproces, en je alleen de uitkomst medegedeeld krijgt, dan is er duidelijk geen sprake van transparantie – hopelijk zit je dan in een aflevering van Little Britain. In plaats daarvan wil je in staat gesteld worden om te begrijpen hoe een beslissing genomen is, juist als daar computers aan te pas zijn gekomen.

Om daarachter te komen kun je ten eerste kijken naar de informatie die gebruikt is om tot een beslissing te komen. Is je hypotheek bijvoorbeeld afgewezen omdat je te weinig verdient? Lag het aan je tijdelijke contract? Of – problematischer – lag het aan je sekse?

Inzicht in de redenen voor een beslissing is dus belangrijk. Tegelijkertijd is het ontzettend lastig om die te geven. Moderne kunstmatige intelligentie bestaat namelijk uit miljoenen tot miljarden berekeningen per beslissing. Dat zijn er zoveel dat wij mensen ze niet allemaal kunnen bijhouden, en ook niet goed snappen waarom juist die ene berekening nodig is om tot dit resultaat te komen. Verklaringen krijgen over één op zichzelf staande beslissing is misschien wel wenselijk (bijvoorbeeld omdat je dan weet wat je moet doen om de uitkomst te veranderen, of omdat je een inhoudelijke discussie kunt aangaan bij een onterecht resultaat), maar lastig te bewerkstelligen.

Daarom gaan onderzoekers en organisaties steeds vaker op zoek naar een ander soort informatie, namelijk: algemene informatie over het proces. In plaats van ons te concentreren op alle mogelijke informatie over één computergestuurde beslissing – een wirwar van vele berekeningen die schuilgaan achter een kunstmatig intelligent besluit – richten ze zich op het algoritme en de vraag of het gehele proces juist is. Procedural justice noemt de Amerikaanse filosoof John Rawls dat: de individuele beslissingen zijn verantwoord als ze het resultaat zijn van een consistent toegepast, verantwoord proces.

In de praktijk zijn medewerkers van de gemeentes Amsterdam en Utrecht al begonnen algoritmeregisters bij te houden die zich precies richten op documentatie van alle informatie over het proces: welke data gebruikt zijn, wat voor algoritme daarop losgelaten wordt en hoe een uiteindelijke beslissing tot stand komt.

Dat klinkt ideaal: je weet precies waar een beslissing vandaan komt. In het beste geval heb je zelfs volledige openheid van zaken, inclusief de computercode, dus de exacte rekenstappen waaruit het algoritme bestaat. Maar vertel je alles over een algoritme dat witwassen moet opsporen, dan is er meteen een probleem: als de code van het algoritme bekend is, kunnen de mensen die witwassen ook precies zien wat ze moeten doen om het programma te misleiden. Of neem Googles algoritme achter de zoekmachine: het bedrijf verdient aan het goed werkende, zelf­ontworpen algoritme, dat lastig nagebootst kan worden door concurrenten. Als je Google dwingt om al zijn algoritmische informatie openbaar te maken, kan die concurrentie plots profiteren van alle investeringen van Google. Streven naar volledige openheid van zaken is problematisch, omdat dat het doel van de algoritmes in de weg kan zitten en innovaties bij bedrijven kan ontmoedigen.

Gelukkig kun je ook transparantie waarborgen met minder informatie. Om te beginnen is het type algoritme relevant. Ingewikkeldere technieken (zoals die achter gezichtsherkenning) discrimineren bijvoorbeeld gemakkelijker dan simpelere statistische methodes. Verschillende soorten algoritmes gaan op verschillende manieren de fout in. Dat betekent dat je bij ingewikkeldere technieken meer controles moet uitvoeren wil je zeker zijn van juiste uitkomsten – precies datgene waar transparantie duidelijkheid over moet geven. De volledige code gaat dus een stap te ver, maar details over het systeem zijn wel degelijk belangrijk, want alleen dan kun je zeggen of de gebruikte data relevant zijn, of de uitvoer op de juiste dingen gebaseerd is en niet discrimineert, en of privacy goed opgenomen is in het ontwerp. Allemaal relevante informatie over het beslisproces.

De mogelijkheden in de menselijke omgang met een algoritme zijn cruciaal. Zelfs als een algoritme slechts vertelt waar de politiecontroles uitgevoerd moeten worden kan dat problematisch zijn. Zo zijn er predictive policing-algoritmes in de Verenigde Staten die voorspellen waar misdaden gepleegd gaan worden. Ook al doet zo’n algoritme enkel suggesties voor waar agenten aanwezig moeten zijn, agenten worden daardoor buitenproportioneel vaak naar arme wijken gestuurd.

Wat je mag verwachten als de computer een beslissing voorstelt, is dat je als mens begrijpt hoe een beslissing genomen is. Dat is de kern van transparantie. Je kunt je daarbij beroepen op Rawls’ procedural justice: zolang de procedure goed is, is elke beslissing dat ook. Maar het zou nog beter zijn als je ook de op zichzelf staande beslissingen kunt controleren en verklaren. Dan hebben we nog meer aanknopingspunten om een onterechte computerbeslissing ook echt in twijfel te trekken en kritisch te bevragen. Hoe zo’n verklaring of controle eruit moet zien, is de volgende vraag die ik in deze serie onder de loep neem.