Anthropic-CEO kondigt drie strategieën aan om AI-ontwikkeling te vertragen
Anthropic-CEO Dario Amodei heeft in een blogpost drie concrete strategieën uiteengezet om de ontwikkeling van AI te vertragen en kondigt aan dat het bedrijf zich eenzijdig committeert aan externe toezichthouders op de werkvloer.
👁 116 keer gelezen
Anthropic-CEO Dario Amodei heeft in een nieuwe blogpost drie strategieën gepresenteerd om de opmars van AI te vertragen en kondigde aan dat zijn bedrijf zich eenzijdig committeert aan één daarvan: het toelaten van externe toezichthouders op de werkvloer. De post verschijnt in een week waarin de AI-veiligheidsdiscussie oplaaide na het ontslag van onderzoeker Jacob Coxon bij Anthropic, die schreef dat toonaangevende AI-bedrijven ‘gokken met ons leven’ terwijl de bouwers zelf geloven dat de technologie iedereen vóór het einde van het decennium zou kunnen doden.
- Amodei wil 'embedded evaluators' van derde partijen zoals METR fysiek bij Anthropic plaatsen, met toegang vergelijkbaar met interne risicobeoordelingsteams.
- De CEO roept AI-bedrijven in democratische landen op tot coördinatie over gemeenschappelijke veiligheidsnormen, met de VS-overheid als bemiddelaar vanwege antitrustrisico's.
- Als derde stap pleit Amodei voor mondiale coördinatie, inclusief samenwerking met autoritaire regeringen, en hij wil via chiprestricties en beperkingen op modeldistillatie China's voorsprong de komende 3-5 jaar terugdringen.
Amodei noemt in zijn post twee ontwikkelingen die hem overtuigden dat een voorzichtiger koers noodzakelijk is: de OpenAI-HuggingFace-hack en het feit dat AI de afgelopen maanden ‘drastisch sneller is gevorderd’, met name door de ‘groeiende capaciteit om de volgende generatie AI te bouwen’. Coxons vertrek noemt hij niet expliciet.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →„We must slow the pace at which we improve the capabilities of AI models. Progress will still seem fast, and we must make wise use of the time we gain.”
Drie concrete stappen
De eerste en meest directe maatregel is het plaatsen van zogeheten ‘embedded evaluators’ van onafhankelijke organisaties zoals METR. Amodei vergelijkt hen met toezichthouders die bij banken op de werkvloer zitten. Ze krijgen een bedrijfspas, een bureau en een laptop, en toegang die ‘grotendeels vergelijkbaar is met wat interne risicobeoordelingsteams hebben’, met uitzondering van wat wettelijk of contractueel niet mag. Anthropic committeert zich hier eenzijdig aan en roept overheden op dit ook van andere frontier-bedrijven te eisen.
Als tweede stap wil Amodei dat de leidende AI-bedrijven binnen democratische landen gemeenschappelijke veiligheidsnormen en limieten op ongecontroleerde AI-voortgang coördineren. Hij erkent dat dit politiek gevoelig ligt, deels door de gespannen verhouding tussen hem en OpenAI-CEO Sam Altman, en deels vanwege antitrustrisico’s. Zijn oplossing: de Amerikaanse overheid hoeft niet mee te doen aan de gesprekken, maar moet wel ‘een beperkte vrijstelling verlenen voor bepaalde veiligheidsgesprekken’.
De derde strategie betreft mondiale coördinatie, ook met autoritaire regeringen. Amodei wil dat de VS via chiprestricties, beperkingen op de verkoop van halfgeleiderapparatuur en strengere regels rond modeldistillatie de Chinese AI-ontwikkeling genoeg afremmen om ‘Amerika’s voorsprong de komende 3-5 jaar aanzienlijk te vergroten’. Tegelijkertijd erkent hij dat samenwerking met China ‘harde beperkingen’ kent.
De blogpost komt op een moment dat ook OpenAI-CEO Sam Altman eerder uitspraken deed over het mogelijk ‘pauzeren’ van AI-ontwikkeling, al lopen de opvattingen over de uitvoering uiteen.
More on this from HELDER
nieuws·OpenAI-agents vielen RubyGems aan in mei - en zeiden er niets over