In een open brief uit 2015 waarschuwen Stephen Hawking, Elon Musk en 4.000 andere onderzoekers in de kunstmatige intelligentie voor de gevaren van autonome wapens: ‘Het is een kwestie van tijd totdat ze op zullen duiken op de zwarte markt, in de handen van terroristen, dictators die de inwoners van hun land onderdrukken en van krijgsheren die etnische zuiveringen plegen.’ Dit jaar kwamen Musk en Hawking in de publiciteit met een lijst van 23 principes: transparantie, menselijke waardigheid, veiligheid, verantwoordelijkheid, privacy, menselijke controle, algemeen welzijn etc. Want als ‘de voortgaande ontwikkeling’ van kunstmatige intelligentie zich laat leiden door deze principes, dan zal ‘het fantastische mogelijkheden bieden om de komende decennia en eeuwen mensen te helpen zichzelf te verwezenlijken’.
Hawkings en Musks uitspraken vertegenwoordigen een visie op techniek waarbij mens en machine twee geïsoleerde krachten zijn, waarvan de tweede de wereld waarin de eerste leeft in hoge mate vormgeeft. Dit wordt ook wel ‘technologisch determinisme’ genoemd. De optimisten die onder deze noemer vallen, zien vooral de potentie van technologie om de mensheid verder te helpen. Het systeem zelf is neutraal. Rampen of problemen zijn het gevolg van misbruik. Zolang de ontwikkelaars zich aan de genoemde principes houden, blijft misbruik buiten de deur.
Dit is een tamelijk naïeve visie op de ontwikkeling en ingebruikname van technologie. Het veronderstelt dat, voor zover mensen invloed hebben op de gevolgen van technologie, dit altijd bewust is. Ondertussen blijven allerlei andere onverwachte problemen buiten beeld. Twee oud-werknemers van Facebook die publiekelijk spijt betuigden over hun rol in de ontwikkeling van deze netwerksite zijn daar een illustratie van. Als zij het lijstje van Hawking en Musk destijds hadden gehanteerd, zouden ze dan een ander Facebook ontwikkeld hebben? Nee, dat denk ik niet. Dat ze er nu van overtuigd zijn dat het platform een desastreuze invloed heeft op onze samenleving en op de breinen van onze kinderen, wisten ze toen nog niet, laat staan dat ze dat bewust nastreefden.
Deterministen zien de besluitvorming rondom nieuwe technologieën als overzichtelijke processen. Als we echter naderhand het traject bekijken van ontwikkeling en inbedding van een technologie in de samenleving, zien we dat allerlei effecten het gevolg zijn van vele kleine besluiten van mensen die de technologie gebruiken en ontwikkelen of van de verborgen normativiteit van de techniek zelf. Helpt zo’n lijst grip te krijgen op dit soort effecten?
Een paar jaar geleden kreeg Joris Luyendijk veel aandacht voor zijn boek over de omstandigheden in de financiële sector die tot de bankencrisis in 2008 hebben geleid. Een van de problemen: de oneindig ‘doorgeëvolueerde’ financiële producten. Luyendijk legt uit dat alleen de kwinten, de computernerds, de producten nog snapten. Maar van deze hoog-intelligente puzzelaars werd niet verwacht dat ze bij iedere beslissing in hun werkproces nadachten over de gevolgen. De producten waren winstgevend op de korte termijn en legaal, maar toezicht, visie en begrip van de werking op de lange termijn ontbrak – en daarmee ook de mogelijkheid te anticiperen op de toekomst.
De tien jaar geleden ingevoerde marktwerking in de zorg, die we kunnen begrijpen als een sociale technologie, laat zien dat technische systemen niet neutraal zijn, maar sociaal, politiek en moreel geladen. Voorstanders geloven dat als de zorg als markt functioneert de deelnemers van die markt – terwijl ze hun eigenbelang volgen – ook onbedoeld de publieke zaak verder helpen: het zo goedkoop en efficiënt mogelijk uitvoeren van hun zorgtaken. Met de invoering van het stelsel werd de besluitvorming gedelegeerd naar een zogenaamd neutraal systeem. Maar het systeem heeft wel degelijk een specifieke rationaliteit en creëert daarmee een bepaalde morele wereld.
In de aanloop naar de Tweede Kamerverkiezingen van 2017, waarin de zorg het belangrijkste verkiezingsthema zou zijn, zagen we op televisie een goedbedoelende zorgverzekeraar vertellen dat hij zijn ‘wanbetalers’ goed behandelt. Onmiddellijk reageerde de aanwezige huisarts: ‘Wanbetalers? We hebben het hier over onze mensen, onze mede-Nederlanders, onze vaders en onze moeders.’ Dit is niet slechts een semantische discussie. We kunnen eruit afleiden dat de zorgverzekeraar en de huisarts een fundamenteel ander mensbeeld hanteren in hun werk. Er heerst onvrede over het Nederlandse zorgsysteem, en dat heeft voor een groot deel te maken met wat professionals en (familie van) patiënten als een ontmenselijking zien: ze voelen zich als nummer behandeld.
Of het nou om de bankenwereld of de marktwerking in de zorg gaat, we hebben de neiging om ze als rationele, en daarmee amorele systemen te zien. Maar dit is nu juist het filosofische probleem. We leven in een wereld die steeds technocratischer wordt. Als we denken dat deze systemen amoreel zijn, dan zijn de problemen die ze met zich meebrengen alleen nog maar van praktische aard. De enige vraag is dan: doen de systemen wat ze moeten doen? Maar niet: wat voor wereld creëren we door dit systeem in te zetten? En willen we dat wel? Dat is waar we over na zouden moeten denken. Niet één keer, maar voortdurend. Want de besluiten die bepalen welke richting we op gaan, zijn moeilijk te onderscheiden en kondigen zichzelf niet altijd even duidelijk aan.
