Hoog-risico AI-systemen mogen niet autonoom opereren zonder dat mensen effectief kunnen ingrijpen. Artikel 14 van Verordening (EU) 2024/1689 (de AI-verordening) legt vast dat aanbieders deze systemen zo moeten ontwerpen dat toezicht tijdens gebruik daadwerkelijk mogelijk is. Gebruiksverantwoordelijken zijn vervolgens verplicht bevoegd en getraind personeel aan te wijzen dat dit toezicht in de praktijk uitvoert. Het artikel introduceert ook expliciet het begrip automation bias, een cognitief verschijnsel dat de effectiviteit van menselijk toezicht structureel kan ondermijnen.

Wat artikel 14 vereist

Artikel 14, lid 1 schrijft voor dat hoog-risico AI-systemen moeten worden ontworpen en ontwikkeld met inbegrip van geschikte mens-machineinterfaces, zodat effectief toezicht door natuurlijke personen tijdens gebruik mogelijk is. Toezichtmaatregelen zijn proportioneel aan het risiconiveau, de mate van autonomie van het systeem en de gebruikscontext (lid 3).

Lid 4 omschrijft vijf concrete bevoegdheden die toezichthouders moeten hebben:

  • de mogelijkheden en beperkingen van het systeem begrijpen en de werking monitoren, inclusief het signaleren van anomalieën en storingen;
  • zich bewust zijn van de neiging tot automation bias, met name bij systemen die aanbevelingen doen voor beslissingen door mensen;
  • de output van het systeem correct interpreteren;
  • in een concrete situatie besluiten de output niet te gebruiken, te negeren of te corrigeren;
  • het systeem onderbreken via een stopknop of vergelijkbare procedure waarmee het systeem veilig tot stilstand komt.

Automation bias: het probleem bij de kern

Automation bias is de neiging van mensen om de output van geautomatiseerde systemen te volgen zonder die kritisch te beoordelen, zelfs als die output onjuist is of tegenstrijdig is aan beschikbare informatie. De term verwijst naar twee soorten fouten: fouten van commissie, waarbij een medewerker een onjuist geautomatiseerd advies opvolgt zonder dit te toetsen, en fouten van omissie, waarbij een medewerker nalaat te signaleren dat het systeem een probleem niet heeft opgemerkt.

Artikel 14, lid 4, punt b benoemt automation bias expliciet als risico waarvan toezichthouders zich bewust moeten zijn. Dit is bijzonder, omdat weinig EU-wetgevende teksten een specifiek cognitief verschijnsel op dit niveau van detail adresseren. De vermelding onderstreept dat de wetgever menselijk toezicht niet als vanzelfsprekend beschouwt, maar als een vaardigheid die actief onderhouden moet worden.

Factoren die automation bias versterken zijn onder meer hoge werkdruk, tijdsdruk, beperkte domeinkennis, een sterk vertrouwen in de betrouwbaarheid van het systeem en het ontbreken van alternatieve informatiebronnen. In sectoren als zorg, rechtshandhaving en sociale zekerheid, waar hoog-risico AI-systemen vaak worden ingezet, zijn deze omstandigheden frequent aanwezig.

De rol van de aanbieder

De aanbieder draagt de primaire verantwoordelijkheid voor het mogelijk maken van toezicht. Dit betekent in de praktijk dat het systeem technische voorzieningen moet bevatten: begrijpelijke interfaces, uitleg bij output, logboekfuncties en de mogelijkheid om het systeem te stoppen of output te overschrijven. Waar dit technisch haalbaar is, worden toezichtmaatregelen direct in het systeem ingebouwd (lid 3, punt a). Waar dit niet mogelijk is, beschrijft de aanbieder welke organisatorische maatregelen de gebruiksverantwoordelijke moet treffen (lid 3, punt b).

De gebruiksaanwijzing die aanbieders verplicht moeten opstellen op grond van artikel 13, lid 3, punt d, moet de toezichtmaatregelen beschrijven. Een aanbieder die geen of onvoldoende toezichtfaciliteiten levert, voldoet niet aan de verordening.

De rol van de gebruiksverantwoordelijke

Gebruiksverantwoordelijken zijn op grond van artikel 26, leden 1 en 2, verplicht het systeem te gebruiken volgens de instructies van de aanbieder en competent, getraind en bevoegd personeel aan te wijzen voor de uitvoering van het menselijk toezicht. Het volstaat niet om iemand formeel als toezichthouder aan te stellen: die persoon moet ook daadwerkelijk in staat zijn de output te interpreteren, afwijkingen te herkennen en tijdig in te grijpen.

Onderzoek van het Kenniscentrum Data & Maatschappij wijst erop dat de ruime flexibiliteit van artikel 14 de praktische invulling bemoeilijkt. Gebruiksverantwoordelijken hebben behoefte aan concrete voorbeelden, criteria en richtlijnen om te beoordelen of hun toezichtmaatregelen toereikend zijn. Een gebrek aan expertise en bewustzijn bij medewerkers wordt als een van de voornaamste implementatierisico's aangeduid.

Toezicht inrichten in de organisatie

Effectief menselijk toezicht vergt meer dan een technische stopknop. Organisaties die hoog-risico AI inzetten, doen er goed aan de volgende elementen in hun werkprocessen op te nemen:

  • een duidelijke governancestructuur met beschreven rollen en bevoegdheden voor toezicht;
  • trainingsprogramma's die specifiek aandacht besteden aan automation bias en hoe medewerkers dit herkennen;
  • werkinstructies die vastleggen wanneer AI-output mag worden gevolgd, wanneer moet worden afgeweken en hoe ingrijpen wordt gedocumenteerd;
  • periodieke evaluatie van de toezichtpraktijk, waarbij ook gevallen worden geanalyseerd waarin output niet is gevolgd of het systeem is gestopt.

Het Kenniscentrum Data & Maatschappij benadrukt bovendien het belang van output op maat van de eindgebruiker: informatie over systeembeperkingen en risico's moet begrijpelijk zijn voor de persoon die het toezicht uitoefent, niet alleen voor een technisch specialist.

Tijdlijn en handhaving

Artikel 14 hoort bij de verplichtingen voor hoog-risico AI-systemen. De oorspronkelijke toepassingsdatum was 2 augustus 2026, maar door het Digital Omnibus-akkoord van 7 mei 2026 is die verschoven: voor zelfstandige hoog-risico systemen (Bijlage III) naar 2 december 2027 en voor AI ingebed in gereguleerde producten (Bijlage I) naar 2 augustus 2028. In Nederland wordt het toezicht op de naleving van de AI-verordening uitgeoefend door sectorale toezichthouders binnen hun eigen domein. De Autoriteit Persoonsgegevens (AP) en de Rijksinspectie Digitale Infrastructuur (RDI) krijgen een coördinerende rol in het nationale toezichtstelsel, zoals het kabinet in april 2026 heeft aangekondigd.

Organisaties die nu al hoog-risico AI inzetten of plannen dit te doen, zijn gebaat bij een tijdige beoordeling van hun toezichtstructuur. Artikel 14 is geen papieren verplichting: toezichthouders verwachten aantoonbare en werkende maatregelen.