Hoe algoritmes de bureaucratie doen ontsporen

Met deze opsomming zou ik nog even door kunnen gaan. De afgelopen jaren dienden zich steeds nieuwe schandalen en schandaaltjes aan waarin computeralgoritmes een rol spelen. Tegelijkertijd wijst iemand als de Oxford-filosoof Luciano Floridi, een van de architecten van het Europese beleid rond kunstmatige intelligentie, juist op de mogelijkheden die ze bieden om politieke en maatschappelijke problemen op te lossen. Sterker nog: kunstmatige intelligentie kan volgens hem de ‘twee monsters van deze tijd’ verslaan: opwarming van de aarde en sociale ongelijkheid. Geen beter middel om energie van windmolens zo efficiënt mogelijk te gebruiken dan kunstmatige intelligentie. (Met als trade-off dat de datacentra waar de algoritmes draaien zelf ook het milieu aantasten: ze gebruiken nu al 12 procent van de elektriciteit in Nederland, en dat verbruik stijgt snel).

Wat betreft het tegengaan van ongelijkheid door algoritmes: kunstmatige intelligentie kan in real time, met steeds wisselende data, behoeften in kaart brengen, en zo bijvoorbeeld zorgen voor een perfecte allocatie van middelen. Ook kunnen algoritmes niet alleen tot discriminatie leiden, zoals in de toeslagenaffaire, maar ze kunnen net zo goed discriminatie tégengaan door in de gaten te houden hoe mensen, of algoritmes, te werk gaan – zo kunnen ze monitoren of een werkgever niet discrimineert als die nieuw personeel aanneemt.

Algoritmes hebben, kortom, een januskop. Vaak zitten die goede en die kwade kanten al in één algoritme. Zo moet een algoritme dat sociale ongelijkheid tegen wil gaan over veel data beschikken – en je kunt je afvragen of de wens om gelijkheid te realiseren dan niet tot een aantasting van de privacy leidt, en dan vooral van degenen die het toch al minder hebben. Dit soort vragen is overigens niet nieuw: ze werden al gesteld toen er nog ambtenaren van vlees en bloed volledig verantwoordelijk waren voor de gegevensverwerking.

Wat opvalt in de geschiedenis van de bureaucratie is dat algoritmes er vanaf het begin de kern van uitmaakten – ze stammen niet pas uit de tijd waarin data door AI (Artificial Intelligence, kunstmatige intelligentie) worden verwerkt; ze werden al gebruikt toen ambtenaren nog op kleitabletten werkten. De naamgever van de algoritmes is een Perzische wiskundige uit de tiende eeuw na Christus die bekendstond onder zijn gelatiniseerde naam ‘Algoritmi’.

Max Weber, de grote denker van de bureaucratie, noemde de bureaucratie ‘het raderwerk van de technocratische rede’. Dat raderwerk bestond altijd al uit algoritmes. Bureaucratie is, als je het heel eng formuleert, niets meer dan de toepassing van regels op een dataset, en dat is precies de definitie van een algoritme. Een voorbeeld van zo’n rekenregel: als persoon X geen inkomen heeft, en geen kapitaal groter dan Y, dan heeft deze persoon recht op een uitkering, mits die persoon Z keer per periode een sollicitatiebrief schrijft.

Maar de algoritmes veranderden wel naarmate de bureaucratie zich verder ontwikkelde. Een belangrijke stap in die transitie was de opkomst van de verzorgingsstaat in het naoorlogse Europa. Niet toevallig ging die samen met de introductie van de mainframe-computer, waarin alle data van de burgers werden verzameld. Om vervolgens een algoritme toe te passen had die supercomputer nog wel hulp nodig van de ambtenaar.

De datahonger van de overheid zou steeds groter worden. Dat leidde in de naoorlogse jaren tot ongemak en verzet, want waren data ook niet kortgeleden door een moorddadig regime gebruikt voor een bureaucratisch uitgevoerde genocide?

Ook overheden waren zich sterk bewust van dat ongemak, maar ze wezen erop dat die data nodig waren om hun taak uit te voeren. Het duidelijkst werd die gedachte verwoord door de Zweedse belastingdienst: ‘In de gaten worden gehouden, surveillance, is een voorrecht.’ En dat was niet cynisch bedoeld. De redenering van de Zweedse fiscus: ‘De bevolking moet zelf voelen dat er een goede reden is om opgenomen te worden in het registratiesysteem. Het leven wordt zo eenvoudiger voor ze; die registratie helpt om op een juiste wijze de sociale rechten en plichten te verdelen.’

De verzorgingsstaat zou tot een snelgroeiend bureaucratisch apparaat leiden, dat altijd meer werk had dan het aankon. En toen verscheen daar, nog maar kortgeleden, op het hoogtepunt van de bureaucratische nood, het computer­algoritme – een reddingsboei voor de ambtenaar van vlees en bloed die dreigt te verdrinken in de kolkende datazee.

Zo kampt Amsterdam met wijdverspreide illegale vakantieverhuur van woningen (corona zal enige verlichting hebben gebracht), waardoor zich een enorm reservoir met verdachte zaken had gevuld – en er is maar beperkte opsporings­capaciteit. Daarom experimenteert Amsterdam met een algoritme. Dat bepaalt op basis van risico-indicatoren waar de grootste kans op illegale onderverhuur bestaat. De opsporing en het uiteindelijke oordeel zijn wel mensenwerk.

Daarmee past Amsterdam een kernprincipe toe van de data-ethiek: zorg altijd voor een human in the loop. Algoritmes mogen geen zelfstandig oordeel vellen; ze doen het voorwerk, maar de mens blijft verantwoordelijk. Daarbij mogen we niet onderschatten hoeveel dwang er kan uitgaan van technologie. Mensen hebben vaak last van een confirmatie-bias: ze zoeken naar bevestiging van een eerdere hypothese. In dit geval levert een algoritme die. En het technologische karakter van een algoritme kan onze gevoeligheid voor hun autoriteit vergroten; techno­logie heeft een aura van precisie, van zorgvuldigheid – wie zijn wij dan om eraan te twijfelen?

De digitale hulpambtenaar brengt nog meer problemen met zich mee. Wat als hij bijvoorbeeld criteria als het bezit van een tweede nationaliteit gebruikt? En, nog een stap verder: wat als algoritmes niet meer louter de toepassing zijn van een regel door een computer, maar zelflerend worden?

Als algoritmes zelf gaan leren, dreigt de bureaucraat van vlees en bloed de zeggenschap erover te verliezen. En zelflerende algoritmes zijn volop in ontwikkeling. Ze leren om patronen te herkennen in een wilde datastroom, zoals een opgroeiend kind leert door te experimenteren. Het algoritme wordt ‘getraind’ door het te voeden met de juiste data. En als die eerste training is afgerond, moet er geleerd blijven worden – ook algoritmes doen aan permanente educatie.

Voorspelt een algoritme het goed? Dan ontvangen sommige algoritmes een positieve bekrachtiging. Zo kan een algoritme ontstaan dat misschien wel heel slim is, maar dat ook steeds minder inzichtelijk wordt voor zijn trainers, en misschien zelfs voor de grootste experts duister blijft. Een ander gevaar dreigt ook: wellicht is het algoritme opgevoed in een omgeving waarin al gediscrimineerd werd – en als de trainingsdata discriminerend waren, zal het algoritme dat ook zijn.

Wat zou Max Weber van die ontsporende algoritmes vinden? Hoe verhouden ze zich tot het ideaalmodel van de bureaucratie, van het algoritmisch bestuur? Bureaucratie is, in het meest ideale geval, louter een uitvoering van de wil van het volk, die een vorm krijgt in de wetten die worden gemaakt door de wetgevende macht. Stel, de overheid streeft naar meer sociale gelijkheid tussen mensen, en heeft – zou je kunnen zeggen – de ‘algoritmes’ vastgesteld om dat beleid vorm te geven. Het enige wat de bureaucraat dan nog hoeft te doen, is de regels uitvoeren, het algoritme zijn werk laten doen.

Deze handelwijze kon de bureaucraat altijd op het verwijt komen te staan onbarmhartig te zijn: ambtenaren worden dan gezien als regeltjesfetisjisten zonder begrip voor mensen van vlees en bloed. Maar je zou ook omgekeerd kunnen redeneren: regels zijn nodig, alleen al om te voorkomen dat er willekeur heerst, die uiteindelijk tirannieker kan zijn dan de strikte toepassing van regels.

Een ander voordeel van duidelijke regels: als de bepaling die is toegepast bekend is, kan de burger desgewenst bezwaar maken. En als de burger de wet zelf niet aanstaat, dan kan die bij de volgende verkiezingen voor een partij stemmen die ook liever andere wetten ziet. De botsing met duidelijke regels stelt de burger in staat om een bewustzijn te ontwikkelen van de onjuiste kanten van de wet, en draagt zo bij aan kritisch burgerschap, een belangrijke waarde in een democratie.

Deze bureaucratische waarden staan op het spel bij de hedendaagse algoritmes. Als ze zelflerend zijn, ontstaat het gevaar dat ze regels ontwikkelen die eigenlijk vastgesteld hadden moeten worden door de wetgever. Dan voeren ze ons terug naar een feodale tijd, waar de luimen van een grillige koning wet waren. Daar komt nog bij dat mensen als verdacht kunnen worden aangemerkt omdat ze tot een groep behoren (toeslagen­affaire), zoals in feodale tijden en in andere regimes mensen worden vervolgd als ze tot een ander volk behoren.

De gevaren die aan de hedendaagse algoritmes kleven maakt ze niet noodzakelijk slecht. Maar om te zorgen dat we de controle erover behouden, moeten we wel veel actiever omstandigheden creëren die ons daartoe in staat stellen. Zo moeten ambtenaren niet worden afgerekend op het aantal afge­handelde zaken, maar op de zorgvuldigheid waarmee ze die behandelen. Verder is het belangrijk om algoritmes van tevoren te onderzoeken op discriminatie – het liefst met een zo divers mogelijk team, waarin mensen met verschillende etnische en andere achtergronden zitten.

En hoe paradoxaal het ook klinkt: algoritmes, die toch juist worden ingezet vanwege hun efficiëntie, zullen soms mínder efficiënt moeten worden gemaakt. Je hoeft de winst aan efficiëntie geenszins helemaal op te geven, maar iets minder snelheid, iets meer stroperigheid – die vertraging moet in een tijd van kunstmatige intelligentie worden gecultiveerd. Alleen zo blijft de mens aan het stuur.

Ook buiten de wereld van de bureaucratie moet een ‘tegenmacht’ georganiseerd worden. Door bijvoorbeeld een sterk parlement, met kritische parlementsleden. En door organisaties als de Autoriteit Persoonsgegevens, de privacy- en algoritme-waakhond – die helaas sterk onderbezet is. En we zouden een minister van Algoritmes kunnen benoemen, die ter verantwoording kan worden geroepen als de algoritmes uit de bocht vliegen.

Deze tegenmachten zullen toekomstige toeslagenaffaires mogelijk niet vermijden, maar ze kunnen die wel tegenwerken, en er vooral ook voor zorgen dat algoritmes ook op goede manieren kunnen worden gebruikt. Wat dat betreft wil ik nog een andere gedachte van Luciano Floridi aanhalen: als we het over data-ethiek hebben, gaat het vaak over de mogelijke schade die algoritmes toebrengen. Maar ethiek betekent net zo goed oog hebben voor de voordelen ervan. Artificiële intelligentie niet gebruiken waar die tot goede effecten kan leiden is volgens Floridi even onethisch als die wel gebruiken waar ze leidt tot slechte effecten. Algoritmes kúnnen onze bureaucratie verbeteren. Maar dan moeten we ze niet alleen trainen, maar vooral ook temmen.