Superalignment : quel est ce projet OpenAI abandonné par ses managers ?

Jan Leike était co-dirigeant du projet « Superalignement » d’OpenAI, lancé en 2023 pour piloter et contrôler les systèmes d’IA. À l’époque, OpenAI avait annoncé qu’elle consacrerait 20 % de sa puissance de calcul à cette initiative sur quatre ans.

La semaine dernière, Jan Leike a annoncé qu’il quittait OpenAI et a publiquement critiqué sa direction, après qu’un désaccord sur les objectifs clés ait atteint un « point de rupture ».

Yesterday was my last day as head of alignment, superalignment lead, and executive @OpenAI.

— Jan Leike (@janleike) May 17, 2024

 « S’éloigner de ce travail a été l’une des choses les plus difficiles que j’ai jamais faites, car nous devons de toute urgence trouver comment diriger et contrôler les systèmes d’IA beaucoup plus intelligents que nous »  a-t-il écrit dans une série de tweets.

 « J’ai rejoint le groupe parce que je pensais qu’OpenAI serait le meilleur endroit au monde pour mener cette recherche » , a-t-il écrit.  « Cependant, je suis en désaccord avec les dirigeants d’OpenAI sur les priorités fondamentales de l’entreprise depuis un certain temps, jusqu’à ce que nous atteignions finalement un point de rupture.» 

Il a affirmé qu’« au cours des dernières années, la culture et les processus de sécurité ont cédé le pas aux produits brillants » chez OpenAI.

Il a également fait part de ses inquiétudes quant au fait que l’entreprise ne consacrait pas suffisamment de ressources à la préparation d’une éventuelle « intelligence générale artificielle » (IAG) qui pourrait être plus intelligente que les humains.

La semaine dernière, a également vu le départ du co-fondateur et scientifique en chef d’OpenAI, Ilya Sutskever, quelques mois après avoir joué un rôle dans le licenciement choc et la réembauche du PDG Sam Altman en novembre dernier.

After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…

— Ilya Sutskever (@ilyasut) May 14, 2024

Les réponses d'OpenAI

OpenAI a défendu ses pratiques de sécurité, et Sam Altman a tweeté qu'il appréciait l'engagement de Jan Leike envers la « culture de la sécurité » et a déclaré qu'il était triste de le voir partir.

i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.

🧡 https://t.co/t2yexKtQEk

Lire aussi : GPT-4o : où, quand et pour qui ?

— Sam Altman (@sama) May 17, 2024

Samedi, le co-fondateur d'OpenAI, Greg Brockman, a tweeté une déclaration attribuée à lui-même et à Altman sur X, dans laquelle ils affirmaient qu'OpenAI avait « sensibilisé aux risques et aux opportunités de l'AGI afin que le monde puisse mieux s'y préparer ».

Mais CNBC a rapporté, citant une personne proche du dossier, qu'OpenAI avait dissous l'équipe axée sur les risques à long terme de l'intelligence artificielle, un an seulement après que la société a annoncé la création du groupe.

La source a déclaré que certains membres de l'équipe étaient réaffectés dans plusieurs autres équipes au sein de l'entreprise.

Tom Jowitt, Silicon UK