Het hangt een beetje van je temperament af hoe je de opkomst van digitale technologieën beschrijft. Je kunt opgewonden anekdotes vertellen over de prestaties van taalmodel ChatGPT of abstracte voorspellingen doen over versmelting van mens, ecosysteem en AI; je kunt angstig zijn of boos of hoopvol.
Zelf heb ik een nogal flegmatiek karakter. Goed, goed, goed, zeg ik. Stel dat we grote haast hebben met het vinden van nieuwe omgangsvormen omdat het bestaan exponentieel verandert. En stel dat we een telefoon in ons hoofd krijgen geïmplanteerd om ervoor te zorgen dat we de economie en het ecosysteem in de toekomst niet langer in de war schoppen. Allemaal best, mij zul je er niet over horen.
Maar wat betekent dat dan eigenlijk voor ons bestaan als burger, als Europees burger, gewend aan de traditie van grondrechten en mensenrechten? Wat betekent het samenleven met technologieën die ons gedrag beïnvloeden voor de toekomst van ons rechtssysteem? Als we rechtvaardig willen samenleven in een groot netwerk met ecosystemen en dieren en technologische componenten, die elk hun eigen eisen stellen, hebben we misschien wel een nieuwe, overkoepelende ethische theorie nodig. Kortom, ik ben erg benieuwd hoe het recht en de rechtsbescherming eruit gaan zien.
Privacy
Moet het maatschappelijk technologiedebat over privacy gaan? Nee, ja, nee. Jawel, privacy is onontbeerlijk. Het is van essentieel belang goed te regelen hoe persoonsgegevens worden geregistreerd en gedeeld, vooral in het digitale tijdperk. Mensen laten nu meer sporen achter dan ooit, meer persoonlijke informatie over hun leven, en dat maakt het ook meer dan ooit mogelijk burgers van bovenaf te controleren en te sturen. Als je grondrechten en vrijheden wilt beschermen, is het dus zaak de persoonsgegevens te beschermen. Maar het is niet genoeg.
Stel dat je de privacy volmaakt op orde hebt en dat machtige partijen niet kunnen meekijken in het leven van burgers, dan heb je daarmee de rechtsbescherming nog lang niet geregeld. Digitalisering verandert namelijk ook de manier waarop overheden of bedrijven hun regels opleggen, afdwingen en handhaven. Dat leidt tot een veel fundamentelere maatschappelijke verandering dan de inbreuk op de persoonlijke levenssfeer alleen; het leidt tot een verandering in de manier waarop recht werkt in een samenleving.
Onderzoeker Seda Gürses van de Technische Universiteit Delft geeft een duidelijk voorbeeld van deze fundamentele verandering als ze spreekt over de QR-code op je smartphone die tijdens de coronapandemie als toegangspas is gebruikt. In een interview legt ze uit dat de QR-code weliswaar privacyvriendelijk is, maar dat je desondanks juridische bedenkingen kunt hebben bij de manier waarop zo’n code werkt. Politici doen alsof de QR-code gewoon een vaccinatieboekje is, maar dan handiger. Volgens Gürses is een smartphone echter veel meer dan dat. ‘Een smartphone maakt handhaving van regels digitaal, en dus snel. De overheid kan à la minute een regel veranderen.’
Fouten ontstaan in een woud van onderling verbonden technologieën
De overheid kan op een ochtend beslissen dat je nog een extra vaccinatie nodig hebt om toegang te krijgen tot een ruimte of een evenement. Zo’n nieuwe regel gaat dan onmiddellijk in, zonder de vertraging die ontstaat als je regels op papier moet zetten. En daar komt bij dat de handhaving dwingender is dan ooit, want niet de mens, maar de smartphone handhaaft. De burger heeft niet langer de mogelijkheid met het vaccinatieboekje in de hand een gesprek te voeren met een menselijke handhaver die zich over de tekst buigt. Er is geen persoonlijke ruimte; de smartphone laat geen overleg toe.
Seda Gürses: ‘Dit laat dus ook zien dat het concept privacy, waar ik al jaren mee heb gewerkt, niet meer voldoende is om onze grondrechten te beschermen. Zonder onze privacy te schenden brengt deze technologie een fundamentele verandering in de macht van onze overheid om beleid af te dwingen, in publieke én private sfeer.’
Betere algoritmes
Moet het debat dan gaan over de eisen die we moeten stellen aan algoritmes? Nee, ja, nee. Jawel, het is van belang dat je rechtsbeginselen in ere houdt als je, bijvoorbeeld, beslissingen automatiseert. Eisen die we altijd al hebben gesteld aan wetten in natuurlijke taal moeten uiteraard ook gelden voor regels die worden geschreven in code; daarom is het noodzakelijk de oude beginselen naar de nieuwe tijd te vertalen, waarden hoog te houden, algoritmes transparant te maken. Maar het is niet genoeg.
Door de opkomst van de digitale – ‘smart’ – technologieën is de wereld een netwerk geworden. Verschillende bronnen van informatie – mensen, lantaarnpalen, medische dossiers, bankrekeningen, digitale architecturen – praten met elkaar en gaan onderling relaties aan. Ook als je van elk afzonderlijk algoritme weet hoe het werkt, ook als je erop vertrouwt dat het aan jouw eisen voldoet, dan weet je nog niet wat de effecten zullen zijn van het samenspel van al die met elkaar pratende bronnen. Hoe de beslissingen van de smart technologieën elkaar onderling beïnvloeden.
In mijn wonderlijke carrière heb ik ooit als adviseur meegewerkt aan een onderzoek naar een luchtvaartongeval. Een vliegtuig was neergestort, en al snel was duidelijk dat die crash in principe te wijten was aan een kapotte radiohoogtemeter. Nou was de bemanning voordat de daling van het vliegtuig werd ingezet wel degelijk op de hoogte geweest van het feit dat die hoogtemeter niet werkte, maar het defect was op zich geen probleem. De meter zou toch niet worden gebruikt bij de landing.
Wat niemand in de luchtvaartwereld zich had gerealiseerd, was dat een kapotte hoogtemeter intussen nog wel verbonden was met andere systemen in het vliegtuig, die daardoor onjuiste hoogtemetingen binnenkregen; die daardoor ook dachten dat ze op een andere hoogte vlogen dan ze in feite deden; en daardoor vervolgens de verkeerde beslissingen namen. Met fatale gevolgen.
Deze cybernetische les zit sindsdien in mijn hoofd geprent. Je kunt je druk maken over de kwaliteit van data en metingen, maar dan ben je er nog niet. Je kunt je ook inzetten voor de transparantie en begrijpelijkheid van algoritmes, maar dan ben je er ook nog niet. Problemen ontstaan door een escalatie van fouten in een woud van onderling verbonden technologieën. Eén onjuist persoonsgegeven over jou, hoe futiel ook, kan gaan ronddwalen door een administratief systeem en kan vervolgens je rechtspositie op een terrein aan de overkant van het woud, bij een heel onverwachte overheidsdienst, onderuithalen. Oplossingen als ‘toezicht op algoritmes’ of ‘eigendom van data’ zijn niet voldoende. Je moet naar het hele systeem, het hele netwerk, kijken.
De laatste jaren is er veel te doen over racistische en seksistische vooroordelen – bias – in algoritmes; overal wordt hard gewerkt aan het vermijden en bestrijden ervan. Je kunt dan om te beginnen je best doen om elk algoritme zo te formuleren dat het niet discrimineert. Maar ook als dat lukt, en als de afzonderlijke algoritmes allemaal geen onderscheid maken tussen mensen op basis van kleur of geslacht, kan het alsnog gemakkelijk gebeuren dat de digitale omgeving in haar geheel wel heel duidelijk discriminatie in de hand werkt.
Dat geldt bijvoorbeeld voor advertenties op grote platforms zoals Facebook. Onderzoekers Anja Lambrecht en Catherine Tucker onderzochten of vrouwen en mannen online even vaak personeelsadvertenties te zien krijgen voor banen op het gebied van wetenschap, technologie, engineering en wiskunde. Het bleek dat het algoritme voor het ronddelen van de advertenties weliswaar sekseneutraal werkt, maar dat vrouwen zulke advertenties toch veel minder vaak krijgen voorgeschoteld dan mannen.
Het onderzoek wees uit dat niet het algoritme dwarslag; het verschil in behandeling werd veroorzaakt door de werking van de advertentiemarkt op de grote platforms. Jonge vrouwen zijn een uitermate populaire doelgroep, en dus is het relatief duur hun advertenties te tonen; daardoor wordt opwindende informatie over carrièremogelijkheden in wetenschap en technologie aan de jonge vrouwen onthouden. Andere opwindende informatie gaat kennelijk voor.
Dit discriminatoire effect van de advertentiemarkt is een stuk complexer dan dat van een enkel algoritme, en ook heel wat minder gemakkelijk te bestrijden. Algoritmes fatsoeneren is dus nuttig, maar niet genoeg. Het is het geheel van de online omgeving dat ons gedrag stuurt en onze rechtspositie bepaalt.
Recht
De meest dringende vragen gaan dus niet over privacy en bescherming van persoonsgegevens. En ook niet over eisen die je moet stellen aan afzonderlijke algoritmes. Waarover dan wel? Het fundamentele gesprek moet gaan over de vervanging van het vertrouwde rechtssysteem door een nieuwe manier om menselijk gedrag te reguleren en te sturen.
Onze leefomgeving zit vol digitale technologieën die handelen. Of, nou ja, handelen? Handelen is filosofisch gezien een groot en mysterieus begrip – maar ik bedoel daarmee dat ze ons gedrag bestuderen, analyseren, en daarop reageren met beslissingen die invloed hebben op ons bestaan. Ze nemen de beslissingen in meerdere of mindere mate zelfstandig en kunnen ze soms ook zelfstandig uitvoeren. Wat betekent dat voor ons eigen handelen? En wat betekent dat voor het recht?
Misschien nog wel de grootste verandering is dat machines – of de technologische componenten in onze omgeving – uit de data die ze bestuderen zelfstandig regels kunnen afleiden. En dat ze op basis daarvan beslissingen nemen die door de mens worden ervaren als normatieve beslissingen. Hun ingrijpen normeert ons, het heeft richtinggevende of verplichtende gevolgen – het soort gevolgen dat het recht van oudsher heeft.
Code is strikt genomen geen wet, maar stuurt ons gedrag wel effectiever
Al met al stuurt code ons gedrag effectiever dan een wet, ook als die code zelf niet in strikte zin een wet is. De quasi-soevereine macht van code, schrijven rechtswetenschappers Cornelia Vismann en Markus Krajewski, komt voort uit het gemak waarmee die code een norm kan stellen en toepassen, zonder de omslachtige procedures die juridische regels moeten doorlopen. Zoals gezegd – als een overheid niet langer gele vaccinatieboekjes uitgeeft, maar een QR-code naar smartphones stuurt, kan ze het gedrag van burgers opeens veel sneller en dwingender bepalen.
Stel nu dat zo’n digitaal vaccinatiepaspoort wordt verbonden met andere digitale toegangspassen; in een gezamenlijke portefeuille, een wallet, bijvoorbeeld. En stel dat de overheid daar socialemediaprofielen van burgers aan vastknoopt en ook hun mailverkeer: dan kunnen er nare onbedoelde effecten optreden, net als bij de ongewild discriminerende personeelsadvertenties op Facebook.
Het is niet de afzonderlijke regel, maar het systeem in zijn geheel dat normeert. En als de mens daaraan niet meer te pas komt, omdat die de werking van het systeem niet overziet, kun je concluderen dat het regelgeven in de samenleving grondig verandert. En de plaats van het recht in de staat ook.
Dit is de grote verandering waarvoor we staan: de dwang neemt de plaats in van het recht. Teneinde de grote problemen van onze tijd – klimaatverandering, pandemie, internationaal terrorisme – snel en doortastend te lijf te gaan, krijgen overheden de neiging de democratie en het recht te passeren en dwang te gebruiken. Nieuwe technologieën komen daarbij handig van pas. Maar door het gebruik van die technologieën verstevigt de greep op de leefwereld niet alleen, ze verslapt ook.
Dit is een bewerkt en ingekort fragment uit het boek Doe zelf normaal van Maxim Februari, dat op 16 februari 2023 is verschenen bij Prometheus.

Doe zelf normaal. Menselijk recht in tijden van datasturing en natuurgeweld
Maxim Februari
Prometheus
192 blz.
€ 22,50