OpenAI华东谈主VP翁荔下野：北大学友，掌管安全，最近B站分享被热议

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

就在刚刚，阿谁掌管OpenAI安全的北大学友，OpenAI相干副总裁（安全）翁荔，下野了。

翁荔是OpenAI华东谈主科学家、ChatGPT的孝敬者之一。

北大毕业后，翁荔在2018年加入OpenAI，自后在GPT-4样式中主要参与预检修、强化学习和对都、模子安全等方面的职责。

最有名的Agent公式也由她建议，即：Agent=大模子+牵挂+主动计较+用具使用。

而就在前不久，她还刚刚现身2024 Bilibili 超等科学晚行为，发表了《AI安全与“培养”之谈》的主题演讲。

在她秘书下野音信之后，包括OpenAI在内的宽阔同事发来了祝颂：

翁荔的下野信

在推文中，翁荔也分享了他跟团队作念的临了的谈别。

以下为下野信的齐全骨子。

亲爱的一又友们：

我作念出了一个相称艰苦的决定，将于11月15日离开OpenAI，这将是我在公司临了一天。

OpenAI是我成长为科学家和指挥者的所在，我将弥远崇拜在这里与每一位同事的伙伴渡过的时光。OpenAI团队一直是我的心腹、导师以及我身份的一部分。

我仍然谨记2017岁首加入OpenAI时的那份意思和温雅。那时咱们是一群怀抱着不行能与科幻往时梦念念的东谈主。

我在这里发轫了我的全栈机器东谈主挑战之旅——从深度强化学习算法，到感知，再到固件开荒——想法是教养一个肤浅的机械手怎样解开魔方。这破耗了统统团队两年时候，但最终咱们顺利了。

当OpenAI插足GPT界限时，咱们发轫探索怎样将起初进的AI模子欺骗于本质天下。我建立了第一个欺骗相干团队，推出了运行版块的微调API、镶嵌API和审核端点，为欺骗安全职责奠定了基础，还为早期的API客户开荒了很多新颖的料理有盘算。

在GPT-4发布后，我被条件承担新的挑战，从头计议OpenAI的安全系统愿景，并将通盘职责聚首到一个追究统统安整体系的团队。

这是我资格过的最不毛、最病笃又令东谈主振作的事情之一。如今，安全系统团队领有超越80位出色的科学家、工程师、样式司理、计谋民众，我为咱们看成一个团队所得到的一切成就感到极为自负。

咱们见证了每次发布的中枢——从GPT-4过火视觉和Turbo版块，到GPT Store、语音功能以及01版块。咱们在检修这些模子以达到负包袱和有利的想法上建造了新的行业圭臬。

我尽头为咱们最新的成就o1预览版感到自负，它是咱们迄今为止最安全的模子，展现了出色的抗破解才调，同期保握了模子的灵验性。

咱们的集体成就令东谈主严防：

咱们检修模子若哪里理明锐或不安全的肯求，包括何时停止或不停绝，并通过苦守一套明确的模子安全行径计谋，罢了安全与实用之间的雅致均衡。咱们在每次模子发布中提高了拒抗性鲁棒性，包括针对破解的精明、教唆档次结构，并通过推理大幅增强了鲁棒性。咱们联想了严格且富裕创意的测试要津，使模子与《准备框架》保握一致，并为每个前沿模子进行了全面的安全测试和红队测试。咱们在翔实的模子系统卡中强化了对透明性的愉快。咱们开荒了业内起初的审核模子，具有多模式才调，并免费向公众分享。咱们现时在一个更通用的监控框架和增强安全推理才调的方进取职责，将赋能更多的安全职责流。咱们为安全数据日记、度量、仪容盘、主动学习管谈、分类器部署、推理时候过滤以及一种新的快速反应系统奠定了工程基础。

追究咱们所得到的成就，我为安全系统团队的每一个东谈主感到无比自负，并极为驯顺这个团队将连接蕃昌发展。我爱你们。

在OpenAI的七年之后，我准备好从头开拔，探索一些新的界限。OpenAI正沿着火箭般的轨迹前进，我至心祝愿这里的每一个东谈主一切获胜。

附注：我的博客将连接更新。我或者会有更多时候来更新它 & 可能也会有更多时候编写代码 。

爱你们的，

Lilian

铁打的OpenAI，活水的安全主宰

自OpenAI建立以来，安全主宰这个环节职位历经屡次更迭。

最早在2016年，OpenAI的安全主宰由达里奥·阿莫代伊（Dario Amodei）担任，在他的指挥下，安全系统团队专注于减少现存模子和居品的浮滥风险，尤其是围绕GPT-3的安全性开展了深入相干。

阿莫代伊主导了GPT-3的全面安全评估，以确保模子在发布前过程严格的安全测试和评估，最大收敛地裁减潜在的浮滥风险。

他在OpenAI的职责为自后东谈主工智能的安全料理奠定了进攻基础。

2021年，阿莫代伊离开OpenAI创立了Anthropic公司，连接致力于东谈主工智能的安全相干，推动构建更具真确度和安全性的AI模子。

在阿莫代伊之后，还有倏得任职2个月的安全主宰，亚历山大·马德里（Aleksander Madry）。

他在任技术主要聚焦对新模子的才调进行评估，并开展里面红队测试，以识别温存解潜在的安全风险。

天然他的任期较短，但他在红队测试和恫吓瞻望上的进攻鼓动，为OpenAI的安全践诺提供了新的视角和要津论。

在2023年7月后，马德里转而专注于“AI推理”方面的职责，离开了安全主宰的职位。

在他之后的第三位安全主宰，则是杨·莱克（Jan Leike），在2023年7月至2024年5月担任这一职务，和Ilya统统指挥“超等对都”样式，想法是在四年内料理超智能AI的对都问题。

在此技术，杨·莱克推动了使用微型模子监督和评估大型模子的相干，始创了对超东谈主类才调模子进行实证对都的新要津。

这种要津对于领会和支吾高档东谈主工智能模子的行径具有深入影响。

关连词，由于与公司在安全和居品优先级上的不对，杨·莱克于2024年5月秘书下野。

尽管如斯，他在对都相干方面的孝敬，为后续东谈主工智能的可控性相干奠定了表面和践诺基础。

而翁荔则是于2024年7月担任OpenAI安全主宰。

对于翁荔

翁荔是OpenAI华东谈主科学家、ChatGPT的孝敬者之一，本科毕业于北大，在印第安纳大学伯明顿分校攻读博士。

毕业之后的翁荔先是倏得的在Facebook实习了一段时候，第一份职责则是履新于Dropbox，担任软件工程师。

她于2018年加入OpenAI，在GPT-4样式中主要参与预检修、强化学习和对都、模子安全等方面的职责。

在OpenAI客岁底建立的安全参谋人团队中，翁荔指挥安全系统团队（Safety Systems），料理减少现存模子如ChatGPT浮滥等问题。

翁荔在Google Scholar的援用量也达到了13000+次。

此前她建议的建议LLM外皮幻觉（extrinsic hallucination）的博文也曲直常火爆。

翁荔要点关注外皮幻觉，推敲了三个问题：产生幻觉的原因是什么？幻觉检测，违背幻觉的要津。

对于相干的细节，不错点击这里检察：万字blog详解违背观点、产幻原因和检测形状。

至于翁荔下野后的行止，量子位也会保握握续的关注。

参考辘集：

[1]https://x.com/lilianweng/status/1855031273690984623[2]https://www.linkedin.com/in/lilianweng/

— 完 —

量子位 QbitAI · 头条号签约

关注咱们，第一时候获知前沿科技动态