Wie beslissingen neemt over leven en dood, moet heel goed begrijpen wat hij doet. Dat is een morele vereiste waaraan een robot nooit kan voldoen’, waarschuwt de Amerikaanse techniekfilosoof Peter Asaro, verbonden aan The New School in New York en het centrum voor Ethiek en Technologie van de Universiteit Twente. Toch vormt de dreigende ontwikkeling van autonome wapens die in oorlogen zelfstandig besluiten een doelwit uit te schakelen volgens hem een reëel gevaar. Want beperkte de invloed van computers zich tot voor kort tot wat hij de ‘informatiewereld’ noemt, tegenwoordig spelen ze een steeds grotere rol in de fysieke wereld: ze maaien ons gras, stofzuigen ons huis, besturen binnenkort onze auto’s en doden straks misschien ook mensen. Volgens Asaro een doemscenario, dat hij samen met wetenschappers en ngo’s wereldwijd wil voorkomen. Sinds zijn eerste paper in 2005 over de ethiek van robotica vormen de technische, juridische, sociale en ethische kanten van militaire robotica zijn voornaamste onderzoeksterrein. Asaro was in april een paar dagen in Nederland om onder meer Tweede Kamerleden te waarschuwen voor de gevaren van killer robots.
Hoe groot is dit gevaar precies? Moeten we bang zijn dat op een dag de Terminator of Robocop zijn intrede doet op het slagveld?
‘Het scenario van de Terminator is nog ver weg. Robotica ontwikkelt zich relatief langzaam. Maar het is een feit dat naast auto’s en stofzuigers ook militaire systemen steeds autonomer worden. Het Amerikaanse Patriot-raketafweersysteem en de Iron Dome in Israël zijn al in staat zelfstandig vijandige raketten te detecteren en uit te schakelen. Hierbij gaat het nog alleen om raketten. Mijn vrees is dat we op een dag autonome wapensystemen een oorlog in kunnen sturen die zonder betekenisvolle menselijke tussenkomst en toezicht een doel – zowel militaire als menselijke doelen – kunnen selecteren en uitschakelen. Er bestaan nu al onbemande vliegtuigen, drones, die volledig zelfstandig kunnen opstijgen en landen. Als de autonomie van wapens zo groot wordt dat die menselijke invloed straks steeds minder of helemaal niet meer nodig is, hebben we een probleem.’
Wat is uw bezwaar tegen deze wapens?
‘Militairen zijn in oorlogen gebonden aan het internationaal humanitair recht. Dat betekent dat ze in staat moeten zijn om onderscheid te maken tussen militairen en burgers, met passende maatregelen moeten reageren op een aanval – geen buitenproportioneel geweld gebruiken – en er alles aan moeten doen om burgers te beschermen. Hiervoor is een heel goed begrip van de complexe situatie ter plekke nodig, en het vermogen om weloverwogen beslissingen te nemen. Wat is de waarde van een bepaald militair doel? Is een aanval het risico op burgerslachtoffers waard? In conflicten veranderen de situatie en de bedreigingen per uur. Als er een schoolbus op een strategische brug staat, is het een kwestie van gezond verstand om eerst te wachten tot de bus voorbij is voordat je de brug opblaast. Hoe kan een robot ooit die afweging maken?’
Het internationaal humanitair recht is gebaseerd op de zogeheten deontologie of plichtsethiek. Ze vormt ook de ethische onderbouwing van Asaro’s bezwaar tegen volledig autonome wapens. Volgens deze deontologie, waarvan de Duitse achttiende-eeuwse filosoof Immanuel Kant de belangrijkste vertegenwoordiger is, heeft ieder mens onvervreemdbare waarde puur omdat hij mens is. Dus los van omstandigheden, prestaties en waardering van anderen. Denk bijvoorbeeld aan mensenrechten, die ieder individu heeft – louter en alleen omdat hij mens is. Deze menselijke waardigheid moet te allen tijde gerespecteerd worden. Deze plicht of verantwoordelijkheid is niet te vertalen in een computercode, stelt Asaro. ‘Computers – en dus ook robots – maken gebruik van gesimplificeerde modellen van de wereld. Daar is niets mis mee, want daardoor kunnen ze hun werk doen en ons tot nut zijn. En een stofzuiger hoeft mijn woonkamer echt niet te begrijpen om toch in staat te zijn hem schoon te maken. Maar als we het voeren van oorlog steeds meer gaan automatiseren, krijgen we te maken met hoogst onvoorspelbare wapensystemen die op elkaar reageren op een manier die we niet in de hand hebben. De ene machine zet een reactie van een andere machine in beweging zonder dat de mens daar nog invloed op heeft en zonder dat de juiste morele afwegingen worden gemaakt. Je programmeert een robot, maar kunt niet beïnvloeden hoe hij reageert op een aanval.
Er zijn wel pogingen gedaan om ethische modellen te programmeren. Het utilisme is bijvoorbeeld een vrij eenvoudig model. In tegenstelling tot de deontologie stelt het utilisme wél de omstandigheden centraal. Namelijk: een handeling die het meeste nut voor de grootste groep oplevert, is moreel gezien de meest juiste handeling. Je kunt bijvoorbeeld punten toekennen aan mensenlevens en militaire doelen. Tien punten voor een leven, vijf voor een tank. Maar die waardes kunnen ook weer veranderen. Een brug kan soms heel veel punten waard zijn omdat het een strategisch doel betreft, maar in andere situaties is die brug volstrekt nutteloos. Die calculaties moeten bovendien gemaakt worden op basis van veronderstellingen en aannames die vooraf worden gedaan, maar in het heetst van de strijd weer heel anders kunnen worden.
Het utilisme laat daarnaast het internationaal humanitair recht buiten beschouwing, dat op deontologie is gebaseerd. Dat is een heel ander moreel principe. Vanuit een utilitaire berekening zouden we bijvoorbeeld tot de conclusie kunnen komen dat het nuttig is om mensen te martelen, omdat dat informatie zou kunnen opleveren waarmee andere levens gered zouden kunnen worden. Maar vanuit het deontologische principe dat martelen in strijd is met de menselijke waardigheid, is het onacceptabel, welke voordelen het ook kan opleveren.
Deontologie als principe is niet te programmeren. Want hoe weet je dat alle stappen genomen zijn om burgers adequaat te beschermen, zoals de plichtsethiek vereist? Het fundamentele recht op het beschermen van de menselijke waardigheid wordt onmiddellijk geschonden zodra je computers toestaat beslissingen te nemen over leven en dood.’
Maar gaat het doden van een ander niet per definitie tegen de menselijke waardigheid in?
‘Ook in oorlogstijd gelden rechten en plichten die die menselijke waardigheid zo veel mogelijk bewaken, ook als het gaat om dodelijke slachtoffers. Wie een ander doodt in de strijd, mag bijvoorbeeld het lichaam niet verminken. Het slachtoffer heeft recht op een fatsoenlijke begrafenis. Het internationaal humanitair recht verplicht soldaten om hun vijanden met een zeker respect te behandelen, ook wanneer ze dood zijn. En hoe weten we ooit zeker dat een killer robot zo geprogrammeerd is dat hij die plichten in acht neemt? Oorlog is een menselijke aangelegenheid. Als we die gaan automatiseren, moeten we ervoor zorgen dat dit moreel rechtvaardig gebeurt, met inachtneming van de menselijke waardigheid van onze tegenstanders. En die garantie kunnen we simpelweg niet geven. Wie beslissingen neemt over leven of dood, moet heel goed snappen wat hij doet en waarom. Dat is een morele vereiste waar een robot nooit aan zal kunnen voldoen.’
Maar militairen nemen ook lang niet altijd weloverwogen, rationele beslissingen. Robots hebben geen last van emoties, frustraties en andere menselijke gevoelens. Zijn die juist niet beter toegerust voor oorlogstaken?
‘Natuurlijk, mensen zijn vaak irrationeel en doen verschrikkelijke dingen. Maar over het algemeen begrijpen zij waarom ze zich in een bepaalde context begeven en wat de oorzaak is van een conflict, vooral professionele militairen. Vergeet niet dat computers ontzettend dom zijn! Computers doen niet anders dan calculeren op basis van een serie codes. Ze zijn niet in staat om morele en juridische afwegingen te maken, iets wat een mens als moral agent wel kan. Een 18-jarige is echt veel slimmer dan een machine.
Het internationaal humanitair recht zit vol met subtiliteiten. Niet iedere vijandige soldaat in uniform is bijvoorbeeld een legitiem doelwit. Het kan zijn dat de soldaat zich wil overgeven, of zodanig gewond is dat hij niet meer kan vechten. Volgens het recht mag hij dan niet worden gedood. Hoe kun je die overweging programmeren? Hetzelfde geldt voor het afwegen van de waarde van een militair doel tegen de mogelijke mensenlevens die daarbij verloren gaan. Als een vijandelijk wapendepot vlak naast een school staat en je krijgt de kans het depot onder schooltijd op te blazen, hoe weeg je dan de kosten van de levens van al die kinderen af tegen de waarde van het depot?’
Mensen zullen altijd betrokken blijven bij het besluit om een robot in te zetten en hem te programmeren. Helemaal autonoom zullen ze nooit worden. ‘Maar het gaat erom dat mensen betrokken zijn op een betekenisvolle manier. Betekenisvol wil zeggen: op basis van deontologische principes, dus met inachtneming van de menselijke waardigheid. Dat betekent dat het mensen moeten zijn die de waarde van een doel vaststellen, besluiten het uit te schakelen en met welk middel, en in de gaten houden dat er zo min mogelijk burgerslachtoffers vallen. Met andere woorden, het moet een mens zijn die door het wapenvizier kijkt en besluit de trekker over te halen. In de beperkte omstandigheden waarin het doden van een ander is toegestaan, is het de verantwoordelijkheid van de mens om ervoor te zorgen dat dit op een moreel juiste manier gebeurt. Dus niet door een computercode.
Daarnaast is er ook nog de vraag wie er verantwoordelijk is voor de daden van de robot. Wat als een robot per ongeluk burgers doodt? Juridisch gezien ben je alleen schuldig als je met opzet kwaad hebt gedaan. Dat is bij een machine niet aan te tonen. En zelfs dan – wie zou er dan schuldig zijn? De fabrikant? De mensen die hebben besloten de robot in te zetten? Degene die hem programmeerde?’
Toch zou je vanuit utilistisch perspectief kunnen zeggen dat landen juist een morele verantwoordelijkheid hebben om zo veel mogelijk van machines gebruik te maken; dit spaart immers de levens van soldaten.
‘Een eerlijke utilist zal ook tot de conclusie komen dat we killer robots niet moeten willen. Ze mogen dan levens van soldaten sparen, maar de kosten voor de maatschappij als geheel zijn hoog. Ten eerste de economische kosten. Als autonome wapensystemen ongehinderd mogen worden ontwikkeld, zal dit leiden tot een revolutie op het gebied van militair materieel. Al onze huidige systemen, waar miljarden aan zijn gespendeerd, moeten vervangen worden door peperdure machines.
Daarnaast kan een autonome wapenrevolutie tot een nieuwe wapenwedloop leiden. Veel conflicten worden momenteel verhinderd doordat er sprake is van een militair evenwicht tussen landen. Als het ene land ineens over autonome wapensystemen beschikt, kan het sneller geneigd zijn tot aanval over te gaan; het hoeft geen soldaten meer in te zetten, maar stuurt gewoon een robot de grens over. Ook reageren automatische wapens zelf op een aanval, waardoor een oorlog kan ontstaan zonder dat daar politieke besluitvorming aan vooraf is gegaan. Is dit een wereld waarin we willen leven?
De voordelen van nieuwe technologie lijken op het eerste gezicht vaak groter dan ze in werkelijkheid zijn. Chemische wapens leken eerst ook een prachtige uitvinding: oorlog voeren zonder bloedvergieten! Totdat we zagen wat de gevolgen waren, en inmiddels zijn ze verboden. Hetzelfde geldt voor clustermunitie. Het leek zo handig: wapens die uiteenspatten in talloze kleine wapens, en daardoor veel meer doelen konden raken. Totdat bleek dat veel onderdelen onontploft in het veld bleven liggen, door kinderen werden opgeraapt en tot decennia na een conflict nog slachtoffers maakten.
Dus we kunnen ons wel een beeld vormen van vriendelijke robots die we zo kunnen programmeren dat ze precies doen wat we willen en nooit falen, maar daarover hebben we geen enkele zekerheid. Laat staan als ze gebruikt worden door landen die het toch al niet zo nauw nemen met het internationaal humanitair recht.’
Meer lezen over technologie? Bestel nu de speciale uitgave Technologie. De kunstmatige natuur van de mens.
Dit artikel is exclusief voor abonnees
