Recensie: ‘Empire of AI’ van Karen Hao: een voorbeeldige analyse van een disfunctionele race naar AI-dominantie

Verantwoording
Hao deed zeven jaar onderzoek naar OpenAI. Ze hield voor het boek 300 interviews met 260 mensen, een groep die bestond uit huidige en voormalige OpenAI-werknemers en mensen in het AI-werkveld. Ze putte voor het boek uit kopieën van Slack-verkeer en e-mails, correspondentie, screenshots, bedrijfsdocumenten en rechtbankverslagen.

Zulke citaten zijn ongewijzigd overgenomen, schrijft Hao: “Waar ik geen kopie had, parafraseer ik zonder aanhalingstekens. Alle dialogen zijn gereconstrueerd uit wat mensen zich herinneren, van notities uit die tijd [..] of zijn afkomstig uit audio-opnamen of transcripties.”

Waar gesprekken door Hao zijn gereconstrueerd, heeft ze die enkele maanden later nog eens voorgelegd aan betrokkenen, om te zien of het nog steeds een juiste weergave was. Alles ging ook nog eens langs een factcheck-team.

Kortom, nog voor het boek zelfs met paginanummering begint krijgt de lezer een uitmuntende journalistieke verantwoording. Dat ‘Empire of AI’ 429 pagina’s bevat - met maar liefst 55 pagina’s aan bronverwijzingen - verbaast niet.

Een compacte recensie is daarmee een flinke uitdaging, waar ik glorieus in heb gefaald.

Hao werkt voor onder meer de Wall Street Journal en vaktitel Technology Review van de Massachusetts Institute of Technology. OpenAI sprak (na een slecht gevallen profiel dat Hao in 2019 voor Technology Review schreef) niet meer met de journalist, op één uitzondering na, waarover verderop meer.

Enkele hoofdstukken bestaan uit diepgravende profielen van belangrijke spelers binnen OpenAI, teveel om in deze recensie op in te gaan. Maar Hao maakt ook deze mensen tastbaar en veelzijdig - een bewijs van nauwgezette research en Hao’s talent om dat in een geloofwaardige reconstructie om te zetten.

Topman Sam Altman loopt uiteraard als rode draad door het boek. Altman werd vroeg rijk met diverse projecten en stond op 28-jarige leeftijd aan het hoofd van het invloedrijke investeringsfonds Y Combinator, waarna AI zijn aandacht trok. Onder meer met Elon Musk werd OpenAI gestart, toen nog als non-profit met ideële ambities voor heilzame AI-toepassingen.

‘Empire of AI’ opent met Altmans onverwachte ontslag in november 2023. Vlak voor de publieke aanbesteding van OpenAI, slechter getimed kon haast niet.

Idealisme
Hao reconstrueert een belangrijke aanleiding voor het ontslag - een karaktertrek van Altman die vaker terugkeert: een lyrische, monomane blik op wat AI de mensheid gaat brengen in combinatie met een zekere roekeloosheid.

Altman stelde dat AI het klimaat ging redden en immense technologische vooruitgang en rijkdom voor iedereen zal realiseren.

Dat staat op gespannen voet met AI als een van de belangrijkste aanjagers van uitbuiting, een exploderende energiebehoefte en het ongekende verbruik van natuurbronnen. Niet alleen voor training van datamodellen, maar ook de bouw van datacenters om die modellen vervolgens in te draaien.

Altman is volgens mensen binnen OpenAI verder naïef over de risico’s van zogenoemde Artificial General Intelligence (AGI). Dat is snel luider wordende toekomstmuziek over een AI die werkelijk zelfstandig kan redeneren en menselijk denken kan evenaren of mogelijk zal overklassen. Of AGI ooit écht zal worden bereikt is onderwerp van discussie, waarvan de bandbreedte loopt van “onmogelijk” tot “om de hoek”.

Critici binnen OpenAI ergerden zich aan Altmans achteloosheid rondom de gevaren van AGI, schrijft Hao. Die ergernis werd verzwaard door Altmans neiging mensen doorlopend te vertellen wat ze wilden horen om ze aan boord te krijgen, ongeacht of dat strookt met de realiteit.

Dat was volgens hen niet alleen typisch gedrag van een door Silicon Valley gevormde manager, maar bovenal “een alarmerende, immorele houding” die niet minder dan het voortbestaan van de mensheid op het spel zette.  Een aantal ontwikkelaars vertrok bij OpenAI om concurrent Anthropic te vormen, dat principes en veiligheid rond AI en AGI voorop zegt te stellen.

In dat licht: een van topmensen binnen OpenAI mijmerde herhaaldelijk - en klaarblijkelijk zonder ironie - dat voor AGI de wereld in wordt gestuurd, OpenAI een heuse bunker moet hebben gebouwd om in te kunnen schuilen.

Hao verwijst in dat kader later in het boek naar de kneedbare zelfverklaarde missie van OpenAI. In 2015 zag OpenAI zichzelf nog als een puur researchproject - “een non-profit, niet beperkt door de jacht op financieel rendement”. Het jaar erop werd intern gesteld dat het verdedigbaar was “om niet alle onderzoeksresultaten te delen”. In 2018 en 2019 werd aangestuurd op het verwerven van “substantiële middelen”,  met de opmerking dat “een AI-race zonder afdoende vangrails” moest worden vermeden. In 2022 werd het tempo van uitrol van nieuwe versies van ChatGPT flink opgevoerd. In 2024 stelde Altman vooral nuttig AI-gereedschap te willen leveren. “Gratis – of voor een mooie prijs”.

Hao brengt in herinnering dat elke nieuwe innovatie start met beleden ambities dat die het leven beter gaat maken. Zo ook kunstmatige intelligentie. Tegelijk is AI altijd al een pure marketingterm geweest, merkt Hao op. In 1956 werd wetenschappelijk onderzoek over zelfdenkende machines vrijwel genegeerd, vanwege de weinig aansprekende titel ‘Automata Studies’.

De betrokken wetenschapper besloot - achteraf terecht - dat Artificial Intelligence beter bekte. Bijna 70 jaar later heeft vooral ‘intelligentie’ daaruit het werkveld belast, stelt Hao. De mens en zijn vaardigheden werden “de blauwdruk” waartegen prestaties vanaf dat moment gewogen werden.

Goed doen
Altman is volgens Hao gecharmeerd van het idee van ‘effective altruism’. Dat is een in de Amerikaanse techwereld populaire filosofische gedachte dat je beter moreel ambigue rijk kan worden en vanuit die positie goed doen, dan simpelweg een moreel goed leven leiden en met duidelijk beperktere middelen hetzelfde te proberen.

Hao schrijft over een stage in San Francisco die ze ooit bij een niet nader genoemde techstartup liep. Het geld klotste er tegen de plinten: gratis lunches en bij overwerk avondeten, klaargemaakt door een heuse chefkok met bijnaam ‘De Geluksingenieur’.

Kliekjes verdwenen in de vuilnisbak. Op weg naar haar werkt kwam Hao langs daklozen en verslaafden. Deze dichotomie vatte voor haar precies samen hoe de tech-industrie graag gedurfde visies poneert, maar de problemen net voorbij de voordeur negeert.

Na een paar chaotische dagen mag Altman terugkeren, na een interne revolte onder OpenAI-werknemers. Daarna deed OpenAI “alles waarvan het beloofde het niet te zullen doen”, constateert Hao droogjes.

Zaak Amerikaanse kunstenaars versus AI-beeldmakers grotendeels geseponeerd | Villamedia

Uitbuiting
Hao ziet AI-bedrijven als erfgenamen van historische koloniale wereldmachten. Die metafoor werkt goed: onaantastbaar steenrijk, oppermachtig en doorlopend op zoek naar bronnen - van mens tot mineraal - om uit te buiten.

Hao gebruikt daarvoor extractivisme, een term die parasitaire uitbuiting van land en mens omvat.

“Generatieve AI heeft een extreem disproportionele energie- en carbon footprint, met bijzonder weinig dat positief afstraalt op het milieu”, citeert Hao klimaatwetenschapper Sasha Luccioni. Er zijn zeker toepassingen waar AI kan helpen bij het streven naar duurzaamheid, maar tekst- en beeldgeneratie vallen daar volgens Luccioni zeker niet onder.

De adviesorganisatie Internationale Energieagentschap (IEA) berekende dat een vraag aan AI gemiddeld zo’n tien keer meer energie verbruikt dan een zoekvraag aan Google. Dat gezegd: nu Google op de resultatenpagina steeds vaker AI inzet, zal dat verschil inmiddels minder groot zijn.

Hao zoomt qua extractivisme op Chili, waar ondanks weerstand onder de lokale bevolking zogenoemde megacampussen staan gepland. Uitzonderlijk grote datacenters, met een verbruik to match: 2000 megawatt. Ik rekende het eens na: slechts een zo’n megacampus zou vier Borssele’s vereisen.

Deze mega-datacenters moeten natuurlijk ook nog worden gebouwd, met een gigantische vraag naar mineralen als koper en lithium en later zuiver (drink)water om de servers te koelen.

In Chili, waar dat laatste al schaars is, raakt dat lokale gemeenschappen hard.

Maar, zo benadrukt Hao: in het Westen hebben bestaande datacenters nu óók al impact op het milieu. Zo verbruikte OpenAI in een datacenter in Iowa - tijdens een meerjarige recorddroogte – in één maand ruim 43 miljoen liter water om versie 4 van ChatGPT te trainen. Dat was zes procent van het hele aanbod in de staat. Uiteindelijk werd er drie maanden lang getraind.

Gerelateerd: in Ierland verbruiken datacenters inmiddels 20 procent van het landelijke stroomnet. De bevolking vreest landelijke blackouts, wat de weerstand verklaart tegen plannen van Meta om daar nóg meer datacenters te bouwen. De Ierse netbeheerder EirGrid verbood recent verdere uitbreiding, tot minstens 2028.

De uitbuiting betreft verder niet alleen mineralen en water, maar ook mensen. Hao schrijft over naar lagelonenlanden uitbestede training. Want een AI-model trainen met data is niet afdoende: het model moet ook weten wát het gevoed krijgt.

Data
Die beschrijvingen maken, zogenoemde data-annotatie, is nog altijd mensenwerk. Voor de Wall Street Journal ging Hao naar Kenia, om deze kant van AI-training te belichten. Als voormalige kolonie van Groot-Brittannië was Kenia extra aantrekkelijk, omdat de bevolking Engels spreekt.

Om zeker te zijn dat AI niet uit de bocht vliegt, moeten mensen het model trainen. Dat gebeurt ironisch genoeg met de meest verschrikkelijke inhoud. Denk aan beschrijvingen van grof geweld of kindermisbruik, bedoeld om te voorkomen dat juist deze zaken door AI-tools gegenereerd kunnen worden.

Deze mentale belasting, meestal uitgevoerd zonder enige psychologische nazorg, is een ontluisterend element van AI. De firma’s aan wie dit wordt uitbesteed, met namen als Sama, Appen of Scale AI, zal nauwelijks iemand wat zeggen.

Betaalde vergoedingen zijn verder laag - in sommige gevallen centen per uur. Uitbetaling vindt vaak pas plaats als een drempel van meerdere dollars is behaald, wat mensen aan de computer gekluisterd houdt.

Hao citeert een Amerikaanse investeerder die zulke bezwaren wegwuift, met de opmerking dat “data labellen in een air-conditioned ruimte” vast te prefereren valt “boven een riksja trekken”.

Voor brede implementatie moet de werking van AI uiteraard getest worden. Dat gebeurde ook in Kenia, met gerichte creatieve prompts. Een grimlach waard: de Amerikaanse annotatiefirma Scale AI besloot uiteindelijk Kenia en Venezuela op de zwarte lijst te zetten, omdat teveel werknemers daar testprompts door AI lieten schrijven.

Voor velen was dit werk, hoe belastend ook, een reddingsboei om het hoofd boven water te houden. Het vertrek van annotatiewerk raakte mensen ter plaatste hard, schrijft Hao.

Het verdampen van dit werk had overigens nóg een cynische reden. Aan de prestaties van AI werden steeds zwaardere verwachtingen gesteld: niet alleen hoogwaardige bewerkingen of generatie van tekst, maar ook inzet als medische toepassing.

In Kenia was qua annotatiewerk het laaghangend fruit simpelweg wel zo’n beetje geplukt, stelt Hao.

De volgende stap vereiste simpelweg hoger opgeleide mensen, schrijft ze. Het bedrijf Outlier AI wierf die werknemers, die voor een uurloon van 40 dollar aan de slag gingen.

De schade door extractivisme reikt ook verder, omdat AI-bedrijven wetenschappers inlijven die anders regulier onderzoek hadden gedaan, waar ‘de wereld’ van profiteert.

Het gaat daarbij om flinke bedragen. Hao beschrijft een moment waar OpenAI en Google met elkaar overhoop lagen om personeel te werven. Google wilde voorkomen dat hun ontwikkelaar Ilya Sutskever naar OpenAI zou vertrekken en bood miljoenen om hem te behouden. Uiteindelijk waren juist die astronomische bedragen voor Sutskever de reden om naar een non-profit over te stappen.

OpenAI wilde op hun beurt voorkomen dat werknemers zouden weglopen en verhoogde in één klap het basissalaris van het originele team met honderdduizend dollar. Sutskever vertrok overigens in mei 2024 bij OpenAI om aan een persoonlijk, niet nader geduid project te gaan werken.

Een Manhattan Project
Altmans mentor, investeerder en miljardair Peter Thiel, had hem meegegeven dat je beter kunt streven naar een monopolie. “Competition is for losers”, vond Thiel.

AI (en het in het bijzonder AGI) zou dan ook het liefst in handen van één firma moeten komen, vond ook Altman. In het begin van OpenAI werd dat nog omkleed met nobele plannen over non-profits die over de achterliggende techniek zouden waken, maar stilaan werd dat idee losgelaten.

Altman, die zijn verjaardag deelt met vader-van-de-atoombom Robert Oppenheimer, had het regelmatig over de noodzaak van een Manhattan Project voor AI. Om te zorgen dat geavanceerde AI in handen bleef van Amerikanen.

Niet-Amerikaanse werknemers van AI voelden zich ongemakkelijk bij die houding, schrijft Hao. Hoezo is dat niet veilig bij een Europees bedrijf? Waarom niet bij Chinezen? “Bouwen we hier echt aan een soort atoombom?”, citeert Hao terugkerende twijfels over de term Manhattan Project.

Een medewerker vroeg zich af waarom Altman het steeds over het project rondom de eerste atoombom had. “Waarom niet het Apollo-ruimteprogramma? Waarom die extra bagage?”

Hao schrijft dat Altman ervan houdt Oppenheimers uitspraak te parafraseren dat technologie ontstaat “omdat het kan”. Ze voegt er droogjes aan toe dat Altman het nooit heeft over het verlammende schuldgevoel waar Oppenheimer in zijn latere jaren onder gebukt ging. Of diens strijd tegen ongebreidelde verspreiding van zijn uitvinding.

Alleskunner
OpenAI wil dat ChatGPT meer kan dan alleen vragen beantwoorden of teksten en plaatjes maken. Het bedrijf werkt eraan om AI nieuwe vaardigheden te geven, zoals het ophalen van nieuwe informatie buiten de dataset waarmee het is getraind. Of afspraken kunnen inplannen zonder verdere menselijk tussenkomst.

Met de komst van deze Agentic AI zou echte AGI niet ver weg meer zijn, meenden sommigen binnen OpenAI.

Deze ambities ontvouwden zich tegen de achtergrond van een uitdunnende Raad van Bestuur, waarbij OpenAI vertrekkende leden zelden direct verving. Hao schrijft dat over voorgestelde kandidaten door Altman besluiteloos werd gedaan: niet afwijzend, niet voortvarend. Kandidaten die hij zelf voorstelde, waren meestal afkomstig uit zijn eigen netwerk.

De buitenwereld zat niet helemaal stil, bij de exponentieel groeiende vaardigheden van AI. President Biden deed een brede maatschappelijke consultatie, dat resulteert in een AI Bill Of Rights. AI zou zich binnen kaders mogen ontwikkelen, mits burgerrechten en de maatschappij niet geschaad worden.

Met het aantreden van Trump is dat idee losgelaten. De AI Bill Of Rights is nog slechts gearchiveerd terug te vinden; de term is onvindbaar op Trumps begin dit jaar gelanceerde Witte Huis-site. Sterker, Amerika verwijdert momenteel op AI-gebied alle drempels, zowel juridisch en ethisch. Competition is for losers, zei Thiel al.

Alleen de Europese AI Act heeft het daadwerkelijk tot wetgeving geschopt en beschermt Europese burgers hopelijk tegen de ergste uitwassen.

Amerikaanse rechter weigert rechtszaak NYT versus OpenAI te seponeren | Villamedia

Damage control
In januari van dit jaar deed Altmans 30-jarige zus Annie aangifte van meerjarig seksueel misbruik, door Sam Altman. In september 2023 had New York Magazine haar verhaal al eens opgetekend. Altman had voorafgaand aan de publicatie van New York Magazine al gesteld dat zijn zus aan een bipolaire stoornis leed. “Het verhaal was nog voor het verschijnen onschadelijk gemaakt”, constateert Hao.

Een afspraak uit april 2024 om met OpenAI te spreken voor ‘Empire’ werd eenzijdig opgezegd. Toen Hao alsnog naar San Francisco afreisde kreeg ze een berichtje van de woordvoerder van OpenAI Hannah Wong om toch - buiten kantoor - af te spreken.

Bij die ontmoeting kreeg Hao te horen dat de familie het belangrijk vond om Annie te beschermen en tegelijk geen ruim baan te geven voor haar wanen. Wong stelde verder te hebben gehoord dat er “in journalistieke kringen” werd afgevraagd of dat profiel in New York Magazine überhaupt wel ethisch verantwoord was geweest. “Misschien moet je daar ook eens over nadenken”, kreeg Hao te horen.

“Het was me duidelijk dat dít de boodschap was die Wong me wilde meegeven. Tot dat moment had ze nog nooit rechtstreeks gereageerd op mijn verzoek om met haar over het boek te praten. Daar zat altijd iemand tussen”, schrijft Hao.

Kortom: OpenAI heeft onbetwist slimme, maar niet bijster sympathieke mensen in dienst. De intriges, impact op milieu en arme landen zijn niet mals, om nog maar te zwijgen over potentiële risico’s voor het voortbestaan van de mensheid. Die zijn wellicht overdreven, maar toch ook niet nul procent.

Ook niet nul procent: ondanks alle inspanningen om het AI-model te trainen, blijft verzinnen (hallucineren, in AI-jargon) een probleem, schrijft Hao. Geschat wordt dat zo’n 30 procent van door AI gegeven antwoorden verzinsels bevat, met soms flinke uitschieters omhoog waar het zogenaamde feiten betreft. De autoriteit waarmee AI bovendien zulke missers presenteert, is een reden tot zorg.

Hao heeft ook moeite met de term hallucinaties zelf, schrijft ze. “Het is subtiel misleidend. Het doet voorkomen alsof het slechte gedrag een uitzondering is, terwijl het eigenlijk een effect is van de wijze waarop neurale netwerken werken: het herkennen van patronen op basis van waarschijnlijkheid.”

En dan hebben we het nog niet gehad over bias, het risico dat AI-modellen vooringenomenheid weerspiegelen, als dat in de trainingsdata zat.

Of de eigenaardige auteursrechtelijke situatie waarmee OpenAI’s plaatjesmaker DALL-E werd getraind: 250 miljoen van internet gejatte afbeeldingen, 1 miljoen uur YouTube-video en een dataset van Twitter. Hao schrijft dat die laatste zo vervuild was met (kinder)porno dat OpenAI-werknemers die handmatig moesten schonen, om te voorkomen dat DALL-E in staat zou zijn er synthetische varianten van te produceren.

Het is jammer dat er geen Nederlandse editie van ‘Empire’ gepland staat, want Hao geeft een indringende en gedetailleerde analyse van een bedrijf dat ook hier z’n invloed doet gelden. Wie wil zien wat er achter de knipperende ChatGPT-cursor schuil gaat, kan zich geen betere blik in de keuken van OpenAI wensen.