Predictive identification als een moreel ondoorzichtig panopticon

Litska Strikwerda, ‘Predictive identification als een moreel ondoorzichtig panopticon’, PROCES 2023, p. 156-174

1. Inleiding
In 2016 sloot de laatste van de drie koepelgevangenissen die Nederland rijk was haar deuren. Deze gevangenissen waren bijzonder, omdat ze gebouwd waren volgens het panopticon-principe, dat afkomstig is van de Britse filosoof Jeremy Bentham (1748-1832). Het panopticon dient om mensen op een efficiënte manier in de gaten te houden. De koepelgevangenissen waren zo ontworpen dat één cipier in de centrale hal volstond om alle gevangenen te bewaken, zonder dat de gevangenen de cipier konden zien. In zijn werk Discipline, toezicht en straf legt de Franse filosoof Foucault (1926-1984) uit dat gevangenen daardoor als het ware zichzelf gingen bewaken. Omdat ze nooit zeker wisten wanneer er op hen werd gelet, gedroegen ze zich voor de zekerheid altijd gedisciplineerd. Hij noemt dit ‘slim toezicht’.1 Met de sluiting van de koepelgevangenissen zijn het panopticon en slim toezicht niet uit onze samenleving verdwenen.
Technologische ontwikkelingen, vooral op het gebied van ICT, voorzien in allerlei nieuwe middelen voor slim toezicht. Een voorbeeld is predictive policing, een fenomeen dat in het kort omschreven kan worden als het gebruik van big-data-analyse om te voorspellen waar en wanneer strafbare feiten zullen plaatsvinden (predictive mapping) of wie ze zullen plegen dan wel daarvan slachtoffer zullen worden (predictive identification).2 Deze paper richt zich op predictive identification en dan specifiek op de vorm die voorspelt wie een verhoogd risico loopt om crimineel gedrag te vertonen. Er zal veelvuldig worden gerefereerd aan twee Nederlandse instrumenten op het gebied van predictive identification die op dit moment om verschillende redenen in de belangstelling staan, te weten het Systeem Risico Indicatie (SyRI) en het Sensing-project.

SyRI en Sensing hebben beide te lijden onder een gebrek aan transparantie. Het is onduidelijk waarop de voorspellingen die zij genereren precies zijn gebaseerd. Dit heeft tot gevolg dat zij ‘moreel ondoorzichtig’ zijn: er valt moeilijk te controleren welke waarden in het geding zijn of kunnen komen door het gebruik van deze predictive identification instrumenten.3 Dat is niet alleen vanuit een moreel oogpunt problematisch, maar ook vanuit een juridisch oogpunt. Waarden vormen vaak de basis voor normen, ook voor juridische normen. Als niet duidelijk is of de onderliggende waarden in het geding zijn, valt ook niet goed te controleren of er bepaalde juridische waarborgen, regels of rechten geschonden worden.4

Het doel van deze bijdrage is om bloot te leggen welke waarden samenhangen met en onder spanning kunnen komen te staan door predictive identification op het individuele niveau van burgers en politiemensen.5 Om dit doel te bereiken zal gebruik worden gemaakt van een methode afkomstig uit de computerethiek die disclosive computer ethics genoemd wordt.6 Disclosive computer ethics kent drie verschillende niveaus van analyse. Het eerste niveau bestaat uit de onthulling van de relevante waarden. Op basis van recente relevante literatuur wordt geïnventariseerd welke waarden impliciet of expliciet met predictive identification in verband worden gebracht. Er wordt ook een definitie in algemene termen van die waarden gegeven. Het tweede niveau gaat dieper in op de definiëring van de gevonden waarden. Onderzocht wordt of predictive identification aanleiding geeft tot een herinterpretatie van deze waarden. Het derde niveau is van toegepaste aard en bestaat uit aanbevelingen.7

Deze paper is als volgt gestructureerd. Na een uitleg van wat predictive identification precies is en waarom het niet transparant is, zullen in paragrafen 3, 4 en 5 de drie hiervoor genoemde niveaus van analyse worden doorlopen. Het eerste analyseniveau draait om de vraag welke waarden bevorderd of juist geschaad kunnen worden door predictive identification. Het tweede analyseniveau draait om de vraag of predictive identification ertoe leidt dat de geïdentificeerde waarden anders geïnterpreteerd moeten worden. Het derde analyseniveau draait om de vraag hoe vanuit het oogpunt van de geïdentificeerde waarden beter met predictive identification omgegaan kan worden. Tot slot, in de conclusie, worden de uitkomsten en beperkingen van deze analyse besproken en worden suggesties gedaan voor verder onderzoek.

2. Wat is predictive identification en waarom is het niet transparant?
Predictive identification kan worden gedefinieerd als de toepassing van analysetechnieken, met name kwantitatieve technieken, om middels statistische voorspellingen te bepalen ten aanzien van wie waarschijnlijk politieoptreden nodig is om criminaliteit te voorkomen of gepleegde misdrijven op te lossen.8 Het kan dan gaan om zowel potentiële daders als potentiële slachtoffers, maar zoals aangekondigd in de inleiding zal deze bijdrage zich alleen richten op predictive identification instrumenten die voorspellen wie een verhoogd risico loopt om crimineel gedrag te vertonen. Predictive identification is een vorm van kunstmatige intelligentie (beter bekend onder de Engelse term artificial intelligence of kortweg AI), die gebruikmaakt van een voorspellingsmodel. Zo’n voorspellingsmodel kan beschreven worden als een formule om een onbekende waarde (in dit geval het risico op het plegen van criminaliteit) in te schatten.9 Een dergelijke formule noemt men een algoritme. Nederland is een van de landen die vooroplopen op het gebied van predictive policing, waar predictive identification onderdeel van uitmaakt.10 Hierna worden twee predictive identification instrumenten die op dit moment om verschillende redenen in de belangstelling staan, uitgebreid besproken: het Systeem Risico Indicatie (SyRI) en het Sensing-project.

Lees verder via bjutijdschriften.nl

Meer leren over een toezichthouder in verbinding en ontwikkelingen en trends in overheidstoezicht? Kom op donderdag 23 november, 7 december en 14 december naar de HCB Seminarreeks Toezicht in Transitie 2023 – Toezicht in verbinding met onder meer Prof. dr. Esther Versluis, hoogleraar European Regulatory Governance aan de Universiteit Maastricht en Dr. Bart Snels, inspecteur-generaal bij de Inspectie belastingen, toeslagen en douane.