Maar computer, waarom dan?

Stel, je volgende sollicitatiegesprek is met een algoritme. Dat klinkt onwennig, maar de software van HireVue brengt dit al voor honderden bedrijven in praktijk. Dus je gaat voor de webcam zitten, beantwoordt keurig alle vragen die de computer stelt en wacht af. De computer wijst je af. Maar waarom? Het algoritme beslist, maar het is gissen naar de redenen achter deze beslissing. En dat geldt niet alleen voor algoritmes die beslissingen nemen over sollicitanten, maar ook voor algoritmes die fraudeurs moeten opsporen of bepalen welke advertenties je online ziet. Wat maakt het zo lastig die waarom-vraag te beantwoorden?

Moderne kunstmatige intelligentie omvat miljoenen tot (honderden) miljarden berekeningen per beslissing. Als mens kun je onmogelijk al deze berekeningen en grote hoeveelheden data bijhouden. Daar begint het probleem: je kunt niet simpelweg in het algoritme dat je zojuist heeft afgewezen kijken om te achterhalen wat bij een bepaalde beslissing de doorslag gaf. Nou kun je dat bij een mens ook niet, maar mensen kunnen je nog zinvolle feedback geven (als ze dat willen). Computers zijn daar niet toe in staat. Het blijft bij miljoenen berekeningen die stuk voor stuk iets doen met alle informatie die je erin hebt gestopt: je cv, je lichaamshouding, je stemgebruik, en ga zo maar door. Al deze informatie wordt door de computer omgezet in een wirwar van getallen.

Ook voor ontwikkelaars van kunstmatige intelligentie is dit een probleem, want ook zij willen begrijpen waarom een algoritme bepaalde keuzes maakt. Zo kunnen ze zien wat wel en niet werkt, en kunnen ze achterhalen of het wel verantwoord is om het algoritme te gebruiken. Ontwikkelaars zijn daarom hard op zoek gegaan naar trucjes om toch inzicht te krijgen in die beslissingen, zonder alle berekeningen en data te begrijpen. Een van de populairste trucjes is kijken naar de invloed van elk apart stukje informatie. In hoeverre woog jouw vorige baan mee? Wat was de invloed van de derde minuut van het ‘gesprek’? Ze berekenen dat door die losse stukjes informatie te veranderen en te kijken of de uitslag van het algoritme dan ook verandert. Dat werkt heel algemeen: bij foto’s kun je bijvoorbeeld losse pixels grijs maken en kijken of de computer plots vindt dat je toch aangenomen had moeten worden.

Maar dit trucje laat je enkel zien wat belangrijk was voor het algoritme en niet waarom het belangrijk was. Die derde minuut van het gesprek verlaagde je slagingskans misschien met 5 procent, maar wat deed je dan fout? En bovenal: waarom was die woordkeus of handbeweging iets slechts? Een mens kan je die inhoudelijke uitleg geven, een computer kan dat niet. Zo werkt het ook met foto’s van dieren. Stel, een algoritme bepaalt welk dier er op een foto te zien is, maar verwart een zwart schaap met een koe. Dan kun je erop gokken dat het in de war is geraakt door de kleur. Maar als van twee vrijwel identieke vogels er één opeens verward wordt met een mens, is de verklaring ver te zoeken.

Een mogelijke oplossing voor dit probleem komt van de filosoof James Woodward: kijk naar de oorzaken. Filosofen vragen zich al minstens een eeuw af hoe verklaringen werken. Wat moet een natuurkundige bijvoorbeeld doen om de zwaartekracht inzichtelijk te maken? Maar je kunt net zo goed vragen: wat moet een programmeur regelen zodat duidelijk is waarom het algoritme jou de baan niet gunt?

Volgens Woodward en andere ‘interventionisten’ zijn oorzaken te achterhalen met gecontroleerde experimenten – interventies – die laten zien hoe de valsnelheid, of jouw baankans, verandert als de oorzaken wijzigen. Natuurwetten doen dat door je een formule te geven waarmee je kunt berekenen wat de relatie is tussen die valsnelheid en de massa van de planeet. Maak de aarde wat zwaarder en je ziet dat alles sneller naar beneden valt. Net zo goed is bij een algoritme de vraag: wat is de relatie tussen de uitkomst en de informatie die je in het algoritme stopt? Hoe verandert jouw kans op de baan met de werkervaring die je hebt? Gaat het dan om het prestige van de bedrijven, of wisselen de scores juist sterker op basis van de uitgevoerde taken? Vragen om een verklaring is het begin van een zoektocht naar oorzakelijke verbanden. Volgens Woodward is het verband dat de meeste veranderingen goed voorspelt het beste.

Een andere oplossing komt van de ‘unificationisten’, die – onder leiding van Philip Kitcher – vinden dat de focus op oorzaken veel te beperkt is. Volgens hen moeten we op zoek naar theorieën die de samenhang laten zien tussen uitkomsten. Newton deed dat bijvoorbeeld toen hij de zwaartekracht op aarde koppelde aan de beweging van de sterren en planeten. Tot die tijd had niemand eraan gedacht om beide met dezelfde theorie te voorspellen, terwijl volgens Kitcher juist die samenhang het tot zo’n inzichtelijk verhaal maakt.

Voor sollicitatiegesprekken met een algoritme zou dat betekenen dat jouw individuele gesprek niet op zichzelf staat. Er zijn nog veel meer kandidaten die een uitslag krijgen zonder die te begrijpen. Een goede verklaring van het algoritme toont juist de samenhang tussen al die beslissingen.

Zo wordt duidelijk wat er ontbreekt in het trucje van de ontwikkelaars. Het toont bij een individuele beslissing hoe zwaar de verschillende stukjes informatie wegen, maar dat zegt niets over alle andere beslissingen. Je krijgt geen informatie over hoe je een volgend gesprek beter zou kunnen doen. Net zomin weet je of de beslissing tot stand komt doordat het algoritme achter de schermen bijvoorbeeld op geslacht of huidskleur discrimineert. Door te zien hoe de beslissing verandert in andere situaties, of door een theorie te hebben die de samenhang tussen beslis­singen toont, zou dat misschien wel kunnen. Helaas is dat makkelijker gezegd dan gedaan. Een algoritme kan nog steeds door een minuscuul verschil in een van die miljoenen berekeningen een drastisch andere keuze maken. Het is daarom nog even wachten voor we behulpzame uitleg krijgen van de computer.