Home De estafette: ‘Neutrale’ systemen

De estafette: ‘Neutrale’ systemen

Door Willemine Willems op 09 maart 2018

Cover van 01-2018
01-2018 Wijsgerig Perspectief Lees het magazine

In een open brief uit 2015 waarschuwen Stephen Hawking, Elon Musk en 4.000 andere onderzoekers in de kunstmatige intelligentie voor de gevaren van auto­nome wapens: ‘Het is een kwestie van tijd totdat ze op zullen duiken op de zwarte markt, in de handen van terroristen, dictators die de inwoners van hun land onderdrukken en van krijgsheren die etnische zuiveringen plegen.’ Dit jaar kwamen Musk en Hawking in de publiciteit met een lijst van 23 principes: trans­parantie, menselijke waardigheid, veiligheid, verantwoordelijkheid, privacy, menselijke con­trole, algemeen welzijn etc. Want als ‘de voort­gaande ontwikkeling’ van kunstmatige intelli­gentie zich laat leiden door deze principes, dan zal ‘het fantastische mogelijkheden bieden om de komende decennia en eeuwen mensen te helpen zichzelf te verwezenlijken’.

Hawkings en Musks uitspraken vertegen­woordigen een visie op techniek waarbij mens en machine twee geïsoleerde krachten zijn, waarvan de tweede de wereld waarin de eerste leeft in hoge mate vormgeeft. Dit wordt ook wel ‘technologisch determinisme’ genoemd. De optimisten die onder deze noemer vallen, zien vooral de potentie van technologie om de mensheid verder te helpen. Het systeem zelf is neutraal. Rampen of problemen zijn het gevolg van misbruik. Zolang de ontwikkelaars zich aan de genoemde principes houden, blijft mis­bruik buiten de deur.

Dit artikel is exclusief voor abonnees

Dit artikel op Filosofie.nl is alleen toegankelijk voor abonnees. Met liefde en zorg werken wij iedere dag weer aan de beste verhalen over filosofie. Steun ons door lid te worden voor maar €4,99 per maand. Log in om als abonnee direct verder te kunnen lezen of sluit een abonnement af.

Dit is een tamelijk naïeve visie op de ont­wikkeling en ingebruikname van technologie. Het veronderstelt dat, voor zover mensen invloed hebben op de gevolgen van technolo­gie, dit altijd bewust is. Ondertussen blijven allerlei andere onverwachte problemen buiten beeld. Twee oud-werknemers van Facebook die publiekelijk spijt betuigden over hun rol in de ontwikkeling van deze netwerksite zijn daar een illustratie van. Als zij het lijstje van Hawking en Musk destijds hadden gehanteerd, zouden ze dan een ander Facebook ontwikkeld hebben? Nee, dat denk ik niet. Dat ze er nu van overtuigd zijn dat het platform een desastreuze invloed heeft op onze samenleving en op de breinen van onze kinderen, wisten ze toen nog niet, laat staan dat ze dat bewust nastreefden.

Deterministen zien de besluitvorming rondom nieuwe technologieën als overzichte­lijke processen. Als we echter naderhand het traject bekijken van ontwikkeling en inbedding van een technologie in de samenleving, zien we dat allerlei effecten het gevolg zijn van vele kleine besluiten van mensen die de technolo­gie gebruiken en ontwikkelen of van de verbor­gen normativiteit van de techniek zelf. Helpt zo’n lijst grip te krijgen op dit soort effecten?

Een paar jaar geleden kreeg Joris Luy­endijk veel aandacht voor zijn boek over de omstandigheden in de financiële sector die tot de bankencrisis in 2008 hebben geleid. Een van de problemen: de oneindig ‘doorgeëvolu­eerde’ financiële producten. Luyendijk legt uit dat alleen de kwinten, de computernerds, de producten nog snapten. Maar van deze hoog-intelligente puz­zelaars werd niet verwacht dat ze bij iedere beslissing in hun werkproces nadachten over de gevolgen. De producten waren winstgevend op de korte termijn en legaal, maar toezicht, visie en begrip van de werking op de lange termijn ontbrak – en daarmee ook de mogelijkheid te anticiperen op de toe­komst.

De tien jaar geleden ingevoerde marktwer­king in de zorg, die we kunnen begrijpen als een sociale technologie, laat zien dat techni­sche systemen niet neutraal zijn, maar sociaal, politiek en moreel geladen. Voorstanders geloven dat als de zorg als markt functioneert de deelnemers van die markt – terwijl ze hun eigenbelang volgen – ook onbedoeld de publieke zaak verder helpen: het zo goedkoop en efficiënt mogelijk uitvoeren van hun zorg­taken. Met de invoering van het stelsel werd de besluitvorming gedelegeerd naar een zoge­naamd neutraal systeem. Maar het systeem heeft wel degelijk een specifieke rationaliteit en creëert daarmee een bepaalde morele wereld.

In de aanloop naar de Tweede Kamerver­kiezingen van 2017, waarin de zorg het belang­rijkste verkiezingsthema zou zijn, zagen we op televisie een goedbedoelende zorgverzekeraar vertellen dat hij zijn ‘wanbetalers’ goed behan­delt. Onmiddellijk reageerde de aanwezige huisarts: ‘Wanbetalers? We heb­ben het hier over onze mensen, onze mede-Nederlanders, onze vaders en onze moeders.’ Dit is niet slechts een semantische discussie. We kunnen eruit afleiden dat de zorgverzekeraar en de huisarts een fundamenteel ander mensbeeld hanteren in hun werk. Er heerst onvrede over het Neder­landse zorgsysteem, en dat heeft voor een groot deel te maken met wat professionals en (fami­lie van) patiënten als een ontmenselijking zien: ze voelen zich als nummer behandeld.

Of het nou om de bankenwereld of de marktwerking in de zorg gaat, we hebben de neiging om ze als rationele, en daarmee amo­rele systemen te zien. Maar dit is nu juist het filosofische probleem. We leven in een wereld die steeds technocratischer wordt. Als we den­ken dat deze systemen amoreel zijn, dan zijn de problemen die ze met zich meebrengen alleen nog maar van praktische aard. De enige vraag is dan: doen de systemen wat ze moeten doen? Maar niet: wat voor wereld creëren we door dit systeem in te zetten? En willen we dat wel? Dat is waar we over na zouden moeten denken. Niet één keer, maar voortdurend. Want de besluiten die bepalen welke richting we op gaan, zijn moeilijk te onderscheiden en kondigen zichzelf niet altijd even duidelijk aan.