Wie bestuurt straks wie?
Van kunstmatige intelligentie naar menselijke verantwoordelijkheid, welkom...
...bij de Kamer van Sociale Waarden.
In deze podcast beginnen we aan een openbare zoektocht naar de verhouding...
...tussen de mens en kunstmatige intelligentie.
Een zoektocht die niet alleen gaat over wat kunstmatige intelligentie...
...allemaal kan en ook niet alleen over de gevaren die aan kunstmatige...
...intelligentie verbonden kunnen zijn.
De centrale vraag is fundamenteler.
Wie bestuurt straks wie?
Bepaalt de mens waarvoor kunstmatige intelligentie wordt gebruikt?
Of gaan mensen zich steeds vaker aanpassen aan de uitkomsten, aanbevelingen...
...en redeneringen die kunstmatige intelligentie hun voorlegt?
En wanneer we straks een beslissing nemen op basis van een analyse van...
...ChatGPT, Gemini, Claude of een ander taalmodel, is dat dan nog werkelijk...
...onze eigen beslissing?
Of zijn wij langzaam de uitvoerders geworden van een richting die door een...
...machine is voorgesteld?
Kunstmatige intelligentie kan in korte tijd grote hoeveelheden informatie...
...verwerken.
Een taalmodel kan argumenten ordenen, documenten vergelijken, scenario's...
...uitwerken, tegenargumenten formuleren en complexe vraagstukken toegankelijk...
...maken.
Dat biedt enorme mogelijkheden.
Kunstmatige intelligentie kan mensen helpen om beter geïnformeerd te zijn.
Zij kan patronen zichtbaar maken die wij zelf misschien over het hoofd zien.
Zij kan ons confronteren met alternatieve verklaringen en oplossingen.
En zij kan creativiteit voortbrengen die in snelheid en omvang ver voorbij...
...het individuele menselijke vermogen lijkt te gaan.
Maar juist daardoor ontstaat een nieuwe kwetsbaarheid.
Wanneer een systeem sneller kan analyseren, overtuigender kan schrijven en...
...meer alternatieven kan produceren dan een mens zelfstandig kan overzien,...
...bestaat het risico dat de mens zijn eigen beoordeling langzaam uit handen...
...geeft, niet door een bewust besluit, maar doordat het steeds gemakkelijker...
...wordt om een overtuigend AI -antwoord over te nemen.
Daarom stelt de Kamer van Sociale Waarden voor om belangrijke...
...maatschappelijke en organisatorische beslissingen vast te leggen in...
...positionerings papieren, ook wel position papers genoemd.
Een position paper is niet alleen een verzameling argumenten.
Het is een document waarin mensen zichtbaar maken welke waarden zij...
...hanteren, welke belangen zij hebben afgewogen, welke onzekerheden zij...
...erkennen, welke risico's zij wel of niet aanvaardbaar vinden en waarom zij...
...uiteindelijk tot een bepaalde positie zijn gekomen.
Kunstmatige intelligentie mag daarbij helpen.
Zij mag onderzoeken, vergelijken, structureren en kritisch bevragen.
Maar de uiteindelijke positie moet door mensen worden vastgesteld.
Niet omdat de mens altijd slimmer, sneller of nauwkeuriger is dan...
...kunstmatige intelligentie, maar omdat kunstmatige intelligentie geen...
...menselijke verantwoordelijkheid kan dragen voor de gevolgen van een...
...beslissing.
Wie een modern taalmodel gebruikt herkent waarschijnlijk het volgende.
Je stelt een ingewikkelde vraag.
Binnen enkele seconden verschijnt een goed opgebouwde tekst.
De argumenten staan overzichtelijk onder elkaar.
Er is een heldere conclusie.
Misschien worden zelfs risico's, uitzonderingen en mogelijke bezwaren genoemd.
Het antwoord klinkt redelijk, het klinkt deskundig en soms klinkt het...
...overtuigender dan de uitleg van een mens.
Juist daarin schuilt een risico.
Een overtuigend antwoord is nog niet automatisch een juist antwoord.
Een logisch opgebouwde redenering is nog niet automatisch een rechtvaardige...
...redenering.
En een efficiënte oplossing is nog niet automatisch een menselijke oplossing.
Een taalmodel kan een voorstel doen dat op papier uitstekend lijkt te...
...werken, maar dat in de werkelijkheid mensen uitsluit, afhankelijk maakt of...
...reduceert tot gegevenspunten.
Het model ervaart de gevolgen daarvan niet, het voelt geen verlies, het...
...draagt geen schaamte, het kent geen angst voor uitsluiting en het hoeft niet...
...verder te leven met de sociale, juridische of relationele gevolgen van het...
...besluit.
De mensen op wie het besluit betrekking heeft moeten dat wel.
Daarom is het niet voldoende dat ergens in een proces nog een mens aanwezig is.
De vraag is niet alleen of een mens naar het AI -antwoord heeft gekeken.
De werkelijke vraag is of die mens nog in staat was om zelfstandig te...
...beoordelen, tegen te spreken en te besluiten.
Stel dat een gemeente kunstmatige intelligentie gebruikt om een besluit voor...
...te bereiden.
De AI analyseert het dossier, de AI selecteert de relevante feiten, de AI...
...formuleert het juridische kader, de AI vergelijkt het dossier met eerdere...
...gevallen, de AI stelt een conclusie op en de medewerker leest de tekst...
...vervolgens nog enkele minuten door en zet zijn naam eronder.
Formeel is er dan een mens betrokken, maar is er ook werkelijk sprake...
...geweest van menselijke besluitvorming?
Had deze medewerker voldoende tijd om het volledige dossier zelf te begrijpen?
Kon hij controleren welke informatie door de AI buiten beschouwing was gelaten?
Wist hij hoe zwaar bepaalde gegevens in de analyse hadden meegewogen?
Had hij de deskundigheid en bevoegdheid om de voorgestelde conclusie af te wijzen?
En voelde hij zich vrij om dat daadwerkelijk te doen?
Wanneer het antwoord op deze vragen ontkennend is, kan de mens veranderen in...
...een goedkeuringstempel van het systeem.
De handtekening blijft menselijk, maar het denkproces is grotendeels aan de...
...technologie overgelaten.
Dat is geen betekenisvolle menselijke controle.
Dat is menselijke aanwezigheid zonder werkelijke menselijke macht.
Daarbij speelt een verschijnsel dat automatiseringsbias wordt genoemd.
Dat is de neiging van mensen om te veel vertrouwen te stellen in een...
...geautomatiseerde uitkomst.
Zeker wanneer het systeem meestal goede resultaten produceert.
Wanneer een navigatiesysteem ons 99 keer correct naar onze bestemming...
...brengt, zijn we de honderdste keer sneller geneigd om het systeem te volgen.
Zelfs wanneer de route vreemd aanvoelt.
Iets vergelijkbaars kan gebeuren met taalmodellen.
Hoe vaker een model een bruikbaar antwoord geeft, hoe kleiner de kans dat...
...wij het volgende antwoord nog grondig controleren.
Het risico neemt verder toe wanneer de gebruiker ja, weinig tijd heeft,...
...onvoldoende deskundigheid bezit, onder organisatorische druk staat of...
...geconfronteerd wordt met een zeer overtuigend geformuleerd advies.
Menselijk toezicht kan daarom niet alleen betekenen dat iemand toestemming...
...moet geven.
De mens moet ook worden beschermd tegen zijn eigen neiging om het systeem...
...zonder voldoende onderzoek te volgen.
Daarvoor zijn opleiding, tijd, bevoegdheid en een kritische...
...organisatiecultuur nodig.
Een medewerker die formeel mag afwijken, maar iedere afwijking uitgebreid...
...moet verdedigen, beschikt misschien helemaal niet over een werkelijk vrije...
...beslissingsruimte.
Betekenisvolle menselijke controle vraagt om meer dan een knop met het woord...
...goedkeuren.
De mens moet allereerst begrijpen wat het systeem wel en niet kan.
Hij moet weten dat een taalmodel een overtuigend antwoord kan formuleren...
...zonder dat de onderliggende informatie noodzakelijk volledig of correct is.
Hij moet de belangrijke bronnen kunnen controleren.
Hij moet weten welke aannames in de analyse zijn verwerkt.
Hij moet kunnen zien waar onzekerheid bestaat.
En hij moet de mogelijkheid hebben om de AI -uitkomst te negeren, te...
...wijzigen of volledig af te wijzen.
Daarbij hoort ook dat duidelijk is wie verantwoordelijk is.
Niet alleen wie de knop heeft ingedrukt, maar wie het doel van het systeem...
...heeft bepaald.
Wie heeft besloten welke gegevens mochten worden gebruikt?
Wie de criteria heeft vastgesteld?
Wie toezicht hield?
Wie kon ingrijpen?
En wie uitleg moet geven wanneer mensen door de uitkomst worden geraakt?
Verantwoordelijkheid moet aansluiten bij werkelijke invloed.
Je kunt een mens niet eerlijk verantwoordelijk maken voor een beslissing...
...wanneer die persoon onvoldoende informatie, tijd, deskundigheid of...
...bevoegdheid had om het systeem te controleren.
Het position paper kan binnen dit proces een belangrijk anker zijn.
Voordat de uiteindelijke beslissing wordt genomen, moeten mensen daarin hun...
...positie vastleggen.
Niet alleen de conclusie, maar ook de weg ernaartoe.
Een goed position paper maakt duidelijk wat het vraagstuk is.
Welke mensen of groepen door de beslissing worden geraakt?
Welke feiten als voldoende betrouwbaar worden beschouwd?
Welke waarden richting geven aan de beoordeling?
Welke belangen met elkaar botsen?
Welke alternatieven zijn onderzocht?
Welke onzekerheden overblijven?
En waarom mensen uiteindelijk een bepaalde keuze maken?
De bijdrage van kunstmatige intelligentie moet daarbij zichtbaar blijven.
Niet om het gebruik van AI verdacht te maken, maar om te voorkomen dat de...
...oorsprong van argumenten en conclusies vervaart.
Wanneer AI een eerste analyse heeft opgesteld, moet dat bekend zijn.
Wanneer mensen belangrijke passages hebben gewijzigd, moet ook dat zichtbaar zijn.
Wanneer een AI -advies bewust niet is gevolgd, verdient juist die afwijking...
...een motivering.
Zo ontstaat een controleerbaar besluitvormingsproces.
Niet met het doel om mensen te wantrouwen, maar om menselijke...
...verantwoordelijkheid te beschermen.
Menselijke controle beschermt niet alleen degene over wie een beslissing...
...wordt genomen.
Zij beschermt ook de beslisser.
Een professional kan onder grote druk komen te staan wanneer een AI -systeem...
...een duidelijke conclusie geeft, terwijl zijn eigen ervaring iets anders...
...zegt.
Stel dat een leerkracht, arts, hulpverlener, rechter, ambtenaar of...
...toezichthouder twijfelt aan een geautomatiseerde aanbeveling.
Krijgt die professional dan werkelijk ruimte om af te wijken?
Of ontstaat de vraag waarom deze persoon niet gewoon het systeem heeft gevolgd?
Wanneer organisaties AI presenteren als objectiever, sneller of...
...wetenschappelijker dan de mens, kan een professional zich gedwongen voelen...
...om zijn eigen waarneming te negeren.
Daarom moet menselijke autonomie institutioneel worden beschermd.
Afwijken van AI mag niet worden behandeld als een fout die vooraf al...
...verdacht is.
Het moet worden beschouwd als een normaal en noodzakelijk onderdeel van...
...professioneel handelen.
Dat betekent natuurlijk niet dat iedere menselijke intuïtie juist is.
Mensen maken fouten.
Mensen kunnen vooringenomen zijn, mensen kunnen informatie missen, maar het...
...antwoord op menselijke feilbaarheid kan niet zijn dat wij de menselijke...
...beoordeling volledig vervangen door een systeem dat eveneens fouten,...
...vertekeningen en beperkingen kan bevatten.
De kracht ligt in een controleerbare samenwerking.
AI kan de mens kritisch bevragen en de mens moet AI kritisch blijvend bevragen.
Kunstmatige intelligentie kan ons helpen om meer mogelijkheden te zien, maar...
...zij mag niet zelfstandig bepalen welke mogelijkheid wenselijk is.
Zij kan berekenen welke oplossing het goedkoopst is, maar niet zelfstandig...
...beslissen welke menselijke prijs aanvaardbaar is.
Zij kan voorspellen welke maatregel waarschijnlijk het meeste effect heeft,...
...maar niet bepalen welke rechten daarvoor mogen worden beperkt.
Zij kan verschillende waarden in een tekst herkennen, maar niet op eigen...
...gezag vaststellen welke waarde in een concreet conflict voorrang moet...
...krijgen.
Dat zijn normatieve keuzes.
Keuzes over hoe wij met elkaar willen samenleven.
Keuzes over rechtvaardigheid, waardigheid, vrijheid, zorg, veiligheid en...
...solidariteit.
Daarvoor is democratische en menselijke legitimiteit nodig.
De drie openvragen daarom leggen wij in dit eerste deel drie vragen voor.
De eerste vraag is op welk moment mag kunstmatige intelligentie adviseren en...
...op welk moment moet een mens verplicht zelf beslissen?
Is de grens afhankelijk van het onderwerp, van de mogelijke schade, van de...
...rechten die op het spel staan of van de mate waarin een besluit later nog...
...kan worden hersteld?
De tweede vraag is, is menselijke verantwoordelijkheid nog aantoonbaar...
...wanneer kunstmatige intelligentie een groot gedeelte van het denkwerk heeft...
...verricht?
Is een menselijke handtekening voldoende of moeten wij ook kunnen...
...reconstrueren welke argumenten door AI zijn aangeleverd, welke controles...
...zijn uitgevoerd en welke menselijke wijzigingen hebben plaatsgevonden?
En de derde vraag is, welke nieuwe maatschappelijke afspraken zijn nodig om...
...menselijke autonomie te beschermen?
Hebben professionals een recht nodig om van AI af te wijken?
Moeten organisaties verplicht inzicht geven in de rol die AI bij een...
...beslissing heeft gespeeld?
En moeten bepaalde beslissingen altijd buiten het bereik van volledige...
...automatisering blijven?
Wij nodigen burgers, professionals, bestuurders, wetenschappers,...
...ontwikkelaars en maatschappelijke organisaties uit om op deze vragen te...
...reageren.
Niet omdat wij verwachten dat één persoon het volledige antwoord heeft, maar...
...omdat de spelregels voor een samenleving met kunstmatige intelligentie niet...
...uitsluitend door technologiebedrijven, overheden of programmeurs mogen...
...worden bepaald.
Zij moeten voortkomen uit een brede maatschappelijke dialoog.
De vragen in deze podcast staan niet op zichzelf.
In wetgeving internationale beleidskaders en wetenschappelijk onderzoek...
...wordt al langere tijd gezocht naar manieren om menselijke autonomie en...
...verantwoordelijkheid te behouden.
Daarom bespreken we nu de belangrijkste bronnen waarop dit eerste deel is...
...gebaseerd.
Niet als een losstaande literatuurlijst, maar als verdieping van de centrale...
...vraag, wat betekent het werkelijk wanneer wij zeggen dat de mens de controle...
...moet houden?
De eerste belangrijke bron is de Europese Verordening over Kunstmatige...
...Intelligentie.
Deze verordening is ook bekend als de Europese AI Verordening, of in het...
...Engels de AI -Act.
Het gaat om Verordening Europese Unie 2024 nummer 1689.
De verordening heeft als uitgangspunt dat kunstmatige intelligentie...
...mensgericht en betrouwbaar moet worden ontwikkeld en gebruikt.
Voor systemen die volgens de verordening als hoog risico worden aangemerkt,...
...bevat artikel 14 specifieke eisen voor menselijk toezicht.
Het is belangrijk om daarbij zorgvuldig te blijven.
Deze eisen gelden niet automatisch voor ieder gesprek met ChatGPT, Gemini of...
...Claude.
Artikel 14 is in de eerste plaats gericht op hoog risico AI -systemen binnen...
...de betekenis van de verordening.
De bepalingen bieden echter wel waardevolle uitgangspunten voor verantwoord...
...gebruik van andere vormen van kunstmatige intelligentie.
Volgens artikel 14 moeten mensen aan wie toezicht is opgedragen de...
...mogelijkheden en beperkingen van het systeem kunnen begrijpen.
Zij moeten de werking kunnen volgen.
Zij moeten afwijkingen, fouten en onverwachte prestaties kunnen herkennen.
De verordening benoemt ook expliciet het risico van automatiseringsbias.
Dat is de neiging om automatisch of te sterk te vertrouwen op de uitkomst...
...van een AI -systeem.
Daarom moet de menselijke toezichthouder de uitvoer correct kunnen interpreteren.
Hij moet kunnen besluiten om het systeem niet te gebruiken.
Hij moet de uitvoer kunnen negeren, terugdraaien of vervangen.
En hij moet, wanneer dat noodzakelijk is, kunnen ingrijpen of het systeem...
...veilig kunnen stoppen.
Dit ondersteunt een belangrijk uitgangspunt van deze podcast.
Menselijk toezicht is pas betekenisvol wanneer een mens niet alleen aanwezig...
...is, maar ook werkelijk kan handelen.
De tweede juridische bron is de Algemene Verordening Gegevensbescherming,...
...beter bekend als de AVG.
Artikel 22 van de AVG gaat over geautomatiseerde individuele besluitvorming,...
...waaronder profilering.
De hoofdregel is dat iemand het recht heeft om niet te worden onderworpen...
...aan een besluit dat uitsluitend op geautomatiseerde verwerking is gebaseerd...
...wanneer dat besluit rechtsgevolgen heeft of hem op een vergelijkbare manier...
...aanzienlijk treft.
Op deze regel bestaan uitzonderingen, maar in bepaalde gevallen moeten...
...passende waarborgen worden geboden.
Daaronder vallen tenminste het recht op menselijke tussenkomst, het recht om...
...een eigen standpunt kenbaar te maken en het recht om het besluit te...
...betwisten.
Ook hier moeten we precies zijn.
Artikel 22 geldt niet voor iedere AI -bijdrage aan ieder besluit.
Het richt zich op besluiten die uitsluitend geautomatiseerd worden genomen...
...en die juridische of vergelijkbaar ingrijpende gevolgen hebben.
Toch is het achterliggende beginsel breder relevant.
Wanneer technologie een grote invloed heeft op een beslissing die een mens...
...raakt, moet die persoon niet alleen tegenover een systeem komen te staan.
Er moet een toegankelijke menselijke route bestaan voor uitleg, tegenspraak...
...en heroverweging.
De derde bron wordt gevormd door de AI -principes van de Organisatie voor...
...Economische Samenwerking en Ontwikkeling, de OESO.
Deze principes werden oorspronkelijk in 2019 vastgesteld en in mei 2024...
...bijgewerkt.
Zij zijn gericht op innovatieve en betrouwbare kunstmatige intelligentie die...
...mensenrechten en democratische waarden respecteert.
De principes benoemen vijf belangrijke gebieden, inclusieve groei, duurzame...
...ontwikkeling en welzijn, mensenrechten en democratische waarden, waaronder...
...rechtvaardigheid en privacy, transparantie en uitlegbaarheid, robuustheid,...
...veiligheid en beveiliging en verantwoordingsplicht.
Deze principes maken duidelijk dat betrouwbare kunstmatige intelligentie...
...niet alleen een technisch vraagstuk is.
Een systeem kan technisch goed functioneren en toch maatschappelijk...
...onwenselijke gevolgen hebben.
Daarom moeten ook de doelen, waarden, machtsverhoudingen en...
...verantwoordelijkheden rondom het systeem worden onderzocht.
De vierde bron is het raamwerk voor AI -risicomanagement van het Amerikaanse...
...National Institute of Standards and Technology, meestal afgekort als NIST.
De eerste versie van dit AI -risicomanagement framework werd op 26 januari...
...2023 uitgebracht.
Het raamwerk is vrijwillig.
Het is bedoeld om organisaties te helpen risico's van kunstmatige...
...intelligentie voor personen, organisaties en de samenleving te herkennen en...
...te beheersen.
Het raamwerk richt zich niet alleen op het eindproduct.
Het kijkt naar het ontwerp, de ontwikkeling, het gebruik en de evaluatie van...
...AI -systemen.
In juli 2024 publiceerde NIST bovendien een aanvullend profiel dat specifiek...
...is gericht op generatieve kunstmatige intelligentie.
Dat is relevant voor systemen die teksten, afbeeldingen, geluid of andere...
...inhoud kunnen voortbrengen.
De belangrijke les uit dit raamwerk is dat risico's niet pas moeten worden...
...onderzocht wanneer er iets misgaat.
Risicobeheersing moet vanaf het begin onderdeel zijn van de manier waarop...
...een organisatie kunstmatige intelligentie inzet.
De vijfde bron is de wetenschappelijke publicatie met de titel Meaningful...
...Human Control Actionable Properties for AI System Development.
In het Nederlands kan dat worden vertaald als betekenisvolle menselijke...
...controle, toepasbare eigenschappen voor de ontwikkeling van AI -systemen.
Deze publicatie is geschreven door Luciano Cavalcante Siebert en...
...verschillende mede -auteurs en verscheen in 2022 in het wetenschappelijk...
...tijdschrift AI and Ethics.
De onderzoekers proberen het filosofische begrip betekenisvolle menselijke...
...controle te vertalen naar bruikbare kenmerken voor ontwerpers en...
...organisaties.
Een belangrijk uitgangspunt is dat de verantwoordelijkheid die aan een mens...
...wordt toegeschreven in verhouding moet staan tot de werkelijke mogelijkheid...
...en bevoegdheid van die persoon om het systeem te controleren.
Met andere woorden, hoe minder invloed iemand werkelijk heeft, hoe minder...
...redelijk het is om die persoon achteraf volledig verantwoordelijk te maken.
De auteurs stellen ook dat er duidelijke verbindingen moeten bestaan tussen...
...de handelingen van het AI -systeem en de handelingen van mensen die zich...
...bewust zijn van hun morele verantwoordelijkheid.
Deze gedachte is essentieel.
Verantwoordelijkheid mag niet verdwijnen in een keten van ontwikkelaars,...
...leveranciers, managers, gebruikers en algoritmen, waarbij uiteindelijk...
...niemand nog kan uitleggen wie de richting heeft bepaald.
De besproken bronnen geven nog geen volledig antwoord op de vraag wie straks...
...wie bestuurt, maar zij maken wel duidelijk dat menselijke controle uit...
...verschillende onderdelen bestaat.
Begrip, deskundigheid, tijd, bevoegdheid, transparantie, tegenspraak...
...ingrijpen, en verantwoordelijkheid.
Ontbreekt een van deze onderdelen dan kan menselijke controle veranderen in...
...een formaliteit, een naam onder een document, een vinkje in een systeem of...
...een medewerker die verantwoordelijk wordt gehouden voor een uitkomst waarop...
...hij nauwelijks invloed had.
Daarom willen wij het gesprek niet beëindigen met een conclusie.
Wij willen het openen met drie vragen.
Wanneer mag AI adviseren en wanneer moet de mens zelf beslissen?
Hoe maken wij aantoonbaar dat een beslissing werkelijk door mensen is...
...genomen en welke maatschappelijke waarborgen zijn nodig om menselijke...
...autonomie te beschermen?
Uw ervaring, kennis en kritiek kunnen bijdragen aan het vervolg.
In het tweede blogbericht onderzoeken wij daarom de volgende vraag.
Is een position paper voldoende?
Want wanneer een mens zijn handtekening onder een door AI opgesteld document...
...zet, bewijst die handtekening dan dat de mens heeft besloten.
Of hebben wij meer nodig om menselijke beoordeling, tegenspraak en...
...verantwoordelijkheid werkelijk zichtbaar te maken?
Daarover gaat het volgende deel.
Wie bestuurt straks wie?
Het antwoord wordt niet alleen bepaald door wat kunstmatige intelligentie kan.
Het wordt vooral bepaald door wat wij als mensen bereid zijn zelf te blijven doen.