‘Te groot vertrouwen op AI-output ondergraaft kritisch denkvermogen’

De resultaten van het onderzoek worden komende lente gepresenteerd tijdens de Computer Human Interaction conference on Human Factors in Computing Systems in Japan. De paradox is volgens de onderzoekers dat wie groot vertrouwen heeft in de vaardigheden en het eindresultaat van AI, nog steeds het idee heeft dat AI kritisch nadenkt. Omgekeerd benaderen mensen die AI-output wantrouwen, de gepresenteerde resultaten kritischer en nemen die niet automatisch voor waar aan.

“Er is een verschuiving waarneembaar rond de cognitieve inspanning die kenniswerkers leveren bij gebruik van generatieve AI - die verschuift van het uitvoeren van taken tot een meer overkoepelende vorm van toezicht”, aldus de onderzoekers. Ze stellen dat in ruil voor efficiëntie de kritische houding, zeker bij routinematige of niet extreem belangrijke taken, wordt ingeruild voor een afhankelijke positie.

Kenniswerkers die in een gebied werkzaam zijn waar foute AI-output mogelijk levensgevaarlijk is - zoals het medisch werkveld - zeggen dat ze de output toetsen aan objectieve standaarden maar ook op haalbaarheid op het gebied van budget en realistische uitvoerbaarheid. Ook worden opgevoerde bronnen gecontroleerd, omdat hallucineren (kortom: verzinsels, red.) een gedocumenteerd risico van AI-output is. Voor medisch advies blijft het zaak deze bronnen handmatig te controleren, aldus een van de respondenten.

Andere problemen die onderzoekers aan het licht brachten zijn motivational barriers om AI-output kritisch te benaderen: dat is soms tijdgebrek (“ik gebruik AI om tijd te besparen, dus heb geen ruimte om uitgebreid na te denken over het resultaat”, aldus een respondent) en soms het simpele feit dat toetsing van resultaten “door een ander team” wordt gedaan. Anderen stellen dat ze niet het gevoel hadden “het beter te kunnen doen dan ChatGPT” of missen wiskundevaardigheden om bijvoorbeeld rekenkundige antwoorden op waarheid te kunnen toetsen.

“Er zijn zorgen dat beginnende schrijvers te sterk leunen op dit gereedschap”, schrijven de onderzoekers. Dat heeft een mogelijk negatieve impact op de zelfredzaamheid op langere termijn en afgenomen vaardigheden in het zelfstandig oplossen van problemen door logisch te kunnen redeneren, het opstellen van een probleemanalyse en simpelweg begrip van de materie. De onderzoekers zeggen dat AI-bedrijven zich van deze potentiële afhankelijkheid bewust moeten zijn en bij gebruikers een kritische houding jegens AI-output moeten stimuleren.

Meer bij Microsoft Research: The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers [.pdf]