Meanderen tussen mens en machine

De verschuivende rol van toezicht in een digitale samenleving.“Uit het systeem blijkt dat u achterloopt met de registratie van uw uren”, zo las ik maandagochtend in mijn e-mail. Ik voel me vereerd dat iemand het de moeite waard vindt om toe te zien op mijn werk, al is het maar mijn administratie. Althans, iemand heeft ooit gedefinieerd dat het niet invullen van een systeem automatisch moet leiden tot het verzenden van een standaard mailtje. Het toezicht op mijn werk is volledig geautomatiseerd door een digitaal systeem. Nieuwe digitale systemen helpen toezicht, zo blijkt maar weer. Er is meer. Big data kan helpen bij risico-analyses en zelfs bij het voorspellen van overtredingen. Systemen op basis van blockchaintechnologie maken anoniem en betrouwbaar toezicht op afstand mogelijk. Robots – een verrassend fysieke verschijningsvorm van digitalisering – kunnen het werk van mensen overnemen, wellicht ook dat van de inspecteur. Dat is de belofte van systemen: het gaat voortaan vanzelf. Nieuwe systemen nemen het werk van mensen over. Er wordt wel gezegd dat we daarom in de toekomst minder hoeven te werken. Maar is dat zo? En geldt dat ook voor toezichthouders? Er zijn veel redenen om daaraan te twijfelen.

Ten eerste moeten belangrijke beslissingen van tevoren in systemen worden ingebakken. Het ontwikkelen van algoritmen voor datasystemen en robotica betekent het in detail anticiperen op toekomstige situaties. Dat lukt niet altijd. Het klassieke voorbeeld is de door algoritmen gedreven zelfrijdende auto die in nood moet kiezen tussen twee mensen om aan te rijden. Is vooraf te bepalen wat goed is in dit soort kwesties?

Ten tweede kunnen systemen knap ingewikkeld worden. Een gevolg is dat hun werking en hun gevolgen door steeds minder mensen zijn te begrijpen. Indien een systeem relevant is voor publieke waarden – en welk systeem is dat niet? – dan is het van groot belang dat ontwikkelaars en beheerders tegenspel krijgen om die waarden te beschermen. Helaas, goede data scientists die de verbinding tussen het systeem en de waarden kunnen leggen, doen het dermate goed in de markt, dat toezichthouders grote moeite hebben ze aan te trekken.

Ten derde blijken systemen ook anno 2017 feilbaar of allerlei ongewenste externe effecten met zich mee te brengen. Accuratesse en privacy zijn veelbesproken onderwerpen bij big data. Big data is aantrekkelijk voor toezichthouders, mede door de vele databronnen die er kunnen worden gebruikt. Maar hoe meer databronnen, hoe meer afhankelijkheidsrelaties er ontstaan. Leveren de dataleveranciers goede data? Zijn hun datamanagementsystemen voldoende om privacy te borgen? Zo blijkt het niet louter om technische systemen te gaan, maar ook over vertrouwensrelaties tussen meerdere organisaties.

Tenslotte kunnen systemen de vertrouwensrelatie met de onder toezicht gestelden op de proef stellen. Bij feilbaarheid van systemen en schaarste aan kennis erover is het moeilijk om iemand verantwoordelijk te houden. Het alternatief is de technologie zelf vertrouwen. Het is sterk te betwijfelen of dat haalbaar is. Wat als u een stevige boete krijgt en niemand kan uitleggen waarom, behalve dat big data aangeeft dat dat moet? Dat geeft een neiging om de legitimiteit van de boete te betwijfelen en een mens van vlees en bloed er over te spreken.

Zo zijn er veel meer redenen waarom digitalisering eerder tot meer dan tot minder werk voor toezichthouders leidt. Uiteindelijk komen die op hetzelfde neer: systemen zijn eindig, hoe volautomatisch ze ook lijken. Toezichthouders moeten daarom oog hebben voor de grenzen van systemen: waar houdt het systeem op en begint de mens? Een autonoom systeem beslaat nooit het gehele universum. Dit betekent dat er wel degelijk mensenwerk is – deskundig, sensitief, maar ook feilbaar en niet zonder belangen.

Als systemen groeien of anderszins veranderen, dan verdwijnen de grenzen tussen mens en machine niet, maar ze verschuiven. Toezicht en fysieke inspectie zullen daarom niet verdwijnen. Er zal wel een herbezinning op toezicht moeten komen. Welke publieke waarden zijn in het geding bij concrete digitaliseringsprojecten? Welke grens tussen mens en systeem is daarbij aan de orde? En welke prikkels ondervinden die mensen om de publieke waarden te respecteren?

Zelfs het urenregistratiesysteem heeft grenzen. Dat kan ik uittesten door mijn registratie ook de komende maanden niet in te vullen.

Haiko van der Voort
Universitair Docent Bestuurskunde
TU Delft, Faculteit Techniek, Bestuur en Management