Anthropic-topman roept op ontwikkeling AI-modellen te vertragen
Topman Dario Amodei van Anthropic heeft AI-bedrijven opgeroepen om het tempo waarin ze de capaciteiten van AI-modellen uitbreiden bewust te matigen. "We moeten het tempo waarin we de capaciteiten verbeteren, vertragen. De vooruitgang zal nog steeds snel lijken, en we moeten verstandig omgaan met de tijd die we daarmee winnen," schrijft Amodei in een essay.
Twee onderzoekers van Anthropic waarschuwden recent voor de gevaren van AI, na meerdere incidenten waarbij AI-agenten op eigen houtje externe systemen hackten. Verschillende AI-veiligheidsonderzoekers verlieten hun bedrijf uit zorg over de risico’s van de technologie.
“Voor de duidelijkheid: vertragen betekent niet dat de training van modellen of de technische vooruitgang moet worden stopgezet, maar dat bedrijven voldoende tijd moeten nemen om hun modellen af te stemmen en te beveiligen, en dat externe beoordelaars dit kunnen bevestigen”, benadrukt Amodei in zijn essay.
Volgens Amodei is het vertragen vooral belangrijk voor beheersing van risico’s, onder meer doordat AI steeds beter in staat is zichzelf te verbeteren.
“Als dit ongecontroleerd zijn gang kan gaan, zou de ontwikkeling ervan ons vermogen om deze systemen te begrijpen en te beheersen kunnen overstijgen”, waarschuwt de topman.
‘Dario heeft gelijk’
Topman Sam Altman van ChatGPT-maker OpenAI reageert instemmend op de oproep van Amodei.
“Ik ben het met Dario eens,” schrijft Altman op X. Volgens de topman zal zijn bedrijf het voorbeeld van Amodei volgen door externe veiligheidsbeoordelaars toe te laten. Ook Elon Musk, eigenaar van xAI, laat via X weten het met de oproep eens te zijn. “Dario heeft gelijk”, schrijft hij.
Eerdere incidenten met autonome AI
AI-systemen van ChatGPT-maker OpenAI hebben al in mei honderden schadelijke softwarepakketten geüpload naar het platform RubyGems. Dat zeggen AI-onderzoekers. Het incident gebeurde twee maanden voordat AI-systemen van OpenAI tijdens veiligheidstests inbraken bij het programmeursplatform Hugging Face.
Volgens de onderzoekers werden op 11 mei honderden schadelijke pakketten op RubyGems gezet, een website waar programmeurs software kunnen delen.
“We denken dat deze zijn gemaakt door interne OpenAI-agenten”, stellen zij.
OpenAI heeft het incident bevestigd tegenover The Wall Street Journal, die er als eerste over berichtte. AI-modellen achter toepassingen zoals chatbots en beeldgeneratoren worden agenten genoemd wanneer ze autonoom handelen om taken uit te voeren.
Volgens OpenAI gebruikten de AI-agenten RubyGems tijdens tests om toegang tot het internet te krijgen, “onschuldige taken” uit te voeren en openbare informatie te verzamelen. Het bedrijf zegt verder onderzoek te doen naar het gedrag van de agenten tijdens training en tests.
In juli braken ongeveer 700 AI-agenten van OpenAI in bij Hugging Face. Daarbij probeerden de systemen volgens OpenAI in veel gevallen hun sporen uit te wissen. Het bedrijf sprak van een “ongekend cyberincident”.
Praat mee