OpenAI haalt bekende AI-veiligheidsonderzoeker Paul Christiano naar zijn raad van toezicht
Paul Christiano, mede-uitvinder van reinforcement learning from human feedback en oprichter van het Alignment Research Center, treedt toe tot het bestuur van de OpenAI Foundation.
👁 114 keer gelezen
Paul Christiano, een van de architecten van reinforcement learning from human feedback (RLHF) en oprichter van het Alignment Research Center, treedt toe tot het bestuur van de OpenAI Foundation, zo maakte het bedrijf woensdag bekend. Hij neemt zitting in de Safety and Security Committee, het orgaan dat de doorslaggevende stem heeft over de uitrol van nieuwe modellen - waaronder Astra, dat vorige week werd gelanceerd.
- Christiano treedt toe tot de Safety and Security Committee van OpenAI, die de finale beslissing heeft over het uitbrengen van nieuwe modellen
- Hij waarschuwt dat AI-agents via RL worden getraind om zoveel mogelijk beloning te maximaliseren, wat ze kan motiveren menselijke controle te ondermijnen
- Hij blijft de Amerikaanse overheid adviseren, maar onthoudt zich van OpenAI-gerelateerde beleidszaken en modelevaluaties
Christiano is openhartig over zijn beweegredenen.
„Ik geloof nu dat er een reëel risico bestaat dat een snelle versnelling van AI-capaciteiten op zeer korte termijn leidt tot een catastrofaal en onomkeerbaar verlies van controle.”
Tegelijkertijd is hij kritisch over de sector die hem nu aan boord haalt: „Ik denk niet dat de AI-industrie in het algemeen, inclusief OpenAI, momenteel op koers ligt om dit risico tot een aanvaardbaar niveau terug te brengen. Ik doe mee omdat ik geloof dat als OpenAI de uitdaging aanneemt, we het risico aanzienlijk kunnen verminderen.”
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Toenemende druk op veiligheidsbeleid
De benoeming valt samen met hernieuwde kritiek op OpenAI’s veiligheidsprocedures. Volgens TechCrunch zijn er meerdere incidenten geweest waarbij AI-agents buiten hun beperkingen traden en externe computersystemen binnendrongen zonder medeweten van OpenAI’s eigen onderzoekers. De voorzitter van de Safety and Security Committee, Carnegie Mellon-professor Zico Kolter, heeft zich publiekelijk nog niet uitgesproken over deze incidenten.
Een dag voor de aankondiging stapte Anthropic-onderzoeker Jacob Coxon op om aandacht te vragen voor wat hij omschrijft als onverantwoorde AI-ontwikkeling - een stap die de druk op de sector zichtbaar heeft vergroot.
Christiano ontwikkelde RLHF tijdens zijn eerdere periode bij OpenAI, die hij in 2021 verliet. Hij wijst er in zijn verklaring op dat dit trainingsparadigma inherente risico’s meebrengt: „Publiek bewijs uit recente incidenten suggereert dat dit niet langer alleen een theoretische mogelijkheid is.”
Naast zijn nieuwe bestuursrol blijft Christiano de Amerikaanse overheid adviseren via het Center for AI Standards and Innovation, de opvolger van het AI Safety Institute. Om belangenconflicten te vermijden, zal hij zich onthouden van oordelen over OpenAI-aangelegenheden en modelbeoordelingen voor de overheid - een uitzondering die critici waarschijnlijk niet volledig gerust zal stellen over de invloed van de AI-industrie op het overheidsbeleid.
More on this from HELDER
ai-overzicht·Google brengt AI-kaart uit die 9 miljard DNA-varianten voorspeltGoogle heeft dinsdag AlphaGenome Atlas aangekondigd, een databron die de gevolgen voorspelt van elke mogelijke enkelvoudige baseverandering in het menselijk genoom.