Heb je vragen over AI en journalistiek? Vraag het Vreekamp! - ‘Alleen wie het zich kan veroorloven, schrijft nog zelf’

Transparantie-challenge: Delen van de volgende tekst zijn zelf geschreven en sommige passages komen van chatbots. Weer andere bronnen, waarvan ik vermoed dat ze door mensen zijn gemaakt, zijn door mij geparafraseerd. Haal jij de verschillen eruit? En: kan een machine dat?

Ik moest denken aan schrijvers en journalisten die nog niet door de mand zijn gevallen met hun geleun op woordgeneratoren. Ze hoeven niet bang te zijn. De watermerken zijn makkelijk te omzeilen en detectie is notoir onbetrouwbaar. OpenAI geeft dit zelf toe: een watermerkdetector kan op twee manieren onjuist uitslaan. Het kan een AI-spoor rapporteren waar er geen was (de vals-positief) of er één missen die wel degelijk aanwezig is (de vals-negatief). Geen van deze resultaten geeft uitsluitsel over wie of welk ding wat schreef. Een waar positief resultaat in deze kan betekenen dat een woordgenerator een deel van een tekst genereerde.

Wat watermerkdetectoren wel en niet kunnen
Chatbotbedrijf OpenAI geeft een waarschuwing en een lijstje tekortkomingen van het watermerk; dit is wat een detectieresultaat wél en niet zegt:

- Een watermerk meet geen menselijke inbreng. Het kan aangeven dat een OpenAI-systeem een deel van een tekstfragment heeft gegenereerd of bewerkt, maar niet in hoeverre er menselijk oordeel, bewerking of creativiteit in is gestoken.
- Een watermerk stelt geen eigendom of verantwoordelijkheid vast. Het bepaalt niet wie de eigenaar van de tekst is, of het gebruik ervan rechtmatig was, of openbaarmaking vereist was, of wie ervoor verantwoordelijk is.
- Een watermerk identificeert de gebruiker niet. Het koppelt geen persoon, organisatie, account, prompt of gesprek aan de tekst.
- Een watermerk garandeert geen nauwkeurigheid. Het geeft geen uitsluitsel over de vraag of een tekstfragment waar, misleidend of schadelijk is, of in de juiste context wordt gepresenteerd.
- Het ontbreken van een gedetecteerd watermerk bewijst niet dat de tekst door een mens is geschreven.
- Tekst die met OpenAI-tools is gegenereerd, kan te kort, bewerkt of vertaald zijn, waardoor detectie niet betrouwbaar werkt. De tekst kan ook afkomstig zijn van een niet-ondersteund model, dateren van vóór de invoering van watermerken, of zijn gegenereerd met tools van een ander bedrijf.

Tip: als AI-veelgebruiker beroep je je eenvoudig op een of meerdere items uit bovenstaande lijst bij eventuele verdenking of een positieve detectie-uitkomst. Lastiger wordt het wanneer je je moet verdedigen tegen een onterechte verdenking. En dat is precies waarom watermerken not the way zijn: ze zeggen niets over de betrouwbaarheid, kwaliteit of waarheid van een tekst.

Er zijn nog twee andere problemen. Het eerste is dat we geen adequaat vocabulaire hebben om een goede discussie te voeren over dit onderwerp. Daarover later meer. Het tweede is dat de discussie die er is, over wie welk materiaal wanneer mag genereren en waarvoor, zich vooral afspeelt op krantenpagina’s en opiniestukken - al dan niet gebaseerd op een grif overgenomen broddelonderzoekje van AI Report, grotendeels uitgevoerd door verschillende AI-tools - kafkaesk bijna. Zo leiden allerlei troebele stellingnames (‘Premiers schrijven hun eigen teksten sowieso niet zelf’), onduidelijke uitgangspunten en drogredeneringen (‘we doen het allemaal weleens’) en onrepliceerbaar pseudo-onderzoek tot losse, particuliere ad-hocinterpretaties waar geen duidelijk beleid op te voeren valt. 

Nieuwe regels uit de AI-verordening
De oplettende lezer zegt nu misschien: ‘we hebben nu toch die nieuwe regels, uit de Europese AI-verordening?’ Die helpen helaas zeer beperkt. Sinds 2 augustus dit jaar gelden de transparantieregels uit artikel 50. Die verplichten aanbieders van AI om gegenereerde content zo te markeren dat andere systemen die kunnen herkennen. Dat is de reden waarom Anthropic en OpenAI de watermerken nu aanbieden. De wet kijkt niet naar het gebruik van AI an sich, maar naar het type output dat je ermee maakt.

Wie AI inzet voor bijvoorbeeld het schrijven van teksten, het maken van afbeeldingen of het genereren van video’s, kan te maken krijgen met transparantieverplichtingen. In sommige gevallen moet je duidelijk vermelden dat AI is gebruikt. Of een vermelding verplicht is, hangt af van de manier waarop de content is gemaakt. Bij volledig door AI gegenereerde content is de verplichting strenger dan wanneer er menselijke redactie of bewerking heeft plaatsgevonden. Bij eenvoudige ondersteuning, zoals spellingcontrole of suggesties, is een vermelding meestal niet nodig.

Wie toetst wat?
Maar wanneer is iets een ‘bewerking’ of ‘eenvoudig’? In mijn tijd als docent en beoordelaar in het hbo konden we met dit soort criteria niet eerlijk toetsen. Sterker nog: de accreditatie van de opleiding zou gevaar lopen. Dan maar kiezen voor de ‘oplossing’ die LinkedIn heeft bedacht? Daar helpt sinds kort een knop om mensen erbij te lappen als we vermoeden dat ze synthetische hulp gebruikt hebben: ‘seems like AI slop’.

Inmiddels hebben we allemaal onze vermoedens van AI-gebruik bij bepaalde personen (‘zoveel kan iemand niet posten de hele tijd?!’) en herkennen we inmiddels de tekens (de drieslag, niet-dit-maar-dat, het em-dash verbindingsstreepje). Dit soort crowd-sourced trial by LinkedIn is net als alle andere AI-detectie niet waterdicht en zeer gevoelig voor persoonlijke antipathietjes en vooroordelen. Het is een vorm van eigenrichting, die nooit fair en weinig constructief is. Een vrijwillige AI-check, zoals Substack haar nieuwsbriefmakers aanbiedt, is een aardige cue voor bezinning.

Ontbrekend vocabulaire
Vijf jaar geleden schreef ik in mijn boek The Art of AI dat we niet de juiste woorden hebben om verschillende vormen van kunstmatig gegenereerd materiaal mee te duiden. Dat gebrek is er nog altijd; daar brengt geen watermerk verandering in. Zo lang we geen solide kader en terminologie hebben, komen we geen steek verder in de discussie over al dan niet geoorloofd woordgeneratorgebruik. Luciano Floridi, directeur van het Digital Ethics Center van de Yale-universiteit, stelt voor om met een begrip uit het Grieks te werken: de ‘ectype’. Het is ‘een kopie die een speciale relatie heeft met diens bron’. Je kijkt dan naar deze bron (wat Floridi het archetype noemt), het creatieproces en het eindresultaat. Dat eindresultaat noem je het ‘artefact’.

Totdat termen als ectype en artefacten onderdeel zijn van ons journalistieke discours, pakt de onduidelijkheid vooral gunstig uit voor de hybridici: mensen die hier en daar wat generatieve AI inroepen tijdens het proces om tot een resultaat te komen dat ze handmatig en soms zelfs met humanizer-tools presenteren als van eigen hand. Vaak gepaard met een zekere schaamte. Want wat ‘hier en daar’ mag, hangt vooral af van de context en de ontvanger. Wat ook van invloed is, is hoe je ethisch naar het gebruik van generatieve AI kijkt. Wat je heersende technologie- en mensbeeld is, en in hoeverre je overtuigd bent van menselijke agency, en of machines en mensen met elkaar vergeleken mogen worden. Grote vragen die we niet in een achternamiddag beslechten.

Geen slop, a.u.b.
Nieuwe termen kunnen helpen om de huidige hybride vormen van creatieve processen en producten beter te recenseren, kwalificeren of verbieden. In de tijd tussen Floridi’s voorstel en vandaag is er weliswaar één nieuwe term ontstaan die de meesten van ons inmiddels wel kennen: het denigrerende containerbegrip ‘slop’. Met dit woord diskwalificeren we alles en niets waarvoor veel of weinig AI-gereedschap is gebruikt. Neem het werk van kunstenaar Daniela Schwabe bijvoorbeeld, die voor haar serie DEEP FAMILY olieverfschilderijen maakte van door AI-gegenereerde portretten. Het zou meer dan oneerbiedig zijn om haar werk als ‘slop’ te betitelen.

Macht
Uiteindelijk gaan de watermerkvragen over macht, wie erbij horen en wie niet. In een talkshow hoorde ik iemand n.a.v. #RobotJettenGate beweren dat het taboe op AI-gebruik inmiddels doorbroken is. Dat kan zijn; AI-gebruik wordt echter wel als inferieur gezien. Zelfs kinderen schijnen de term ‘AI’ te gebruiken voor dingen waar jij en ik vroeger ‘nep’ bij riepen. Je eindscriptie laten schrijven door AI levert uiteindelijk geen mens iets op. Maar je kunt wel degelijk het volgende beweren: waarom zou je je cv zelf schrijven als cv’s schrijven niet tot je takenpakket gaat behoren? Het is toch heerlijk dat een AI-tool je helpt om je mails netjes op te stellen? Democratiserend wel, dat mensen met een interessante mening maar een matige pen nu ook opiniestukken geplaatst krijgen?

Het gevolg van deze watermerken-, woorden- en werkelijkheidsstrijd is dat alleen geprivilegieerde mensen het zich kunnen veroorloven om handmatig en tijdrovend zelf dingen met de hand te maken. Iemand met een kleine beurs en/of weinig tijd grijpt al snel naar woord- en beeldgeneratoren to get the job done.

Zitten we dan, met onze detector.