OpenAI前科学家乔尔·雷曼:小模型也可能干掉大模型

来源 | 《财经》新媒体 作者 | 时越 编辑 | 蒋诗舟  

2024年04月25日 10:24  

本文2555字,约4分钟

如果在成为AI手机、AI PC或AI汽车公司领导者之间做出选择,“我首先会选择领导AI汽车公司。” OpenAI前科学家乔尔•雷曼日前在接受《财经》新媒体专访时表示。“因为我自己不喜欢开车,而且全世界每年因车祸而死亡的人数巨大。我希望可以使AI在驾驶方面做得更好,从而解救人类。” 乔尔的这一心愿或许也原于其在Uber的工作经历。作为全球知名的人工智能科学家,乔尔在加盟OpenAI之前曾是 Uber 人工智能实验室的创始成员。

正巧,乔尔之前在职的OpenAI的首批投资人之一马斯克于刚刚召开的特斯拉2024年第一季度财报会上发出豪言:“即使我被外星人绑架,特斯拉也要解决自动驾驶问题。”

乔尔和马斯克都与OpenAI早有渊源,又先后在离开。虽然各自的理由不尽相同,但显然二者对于智能驾驶领域的愿景不谋而合。马斯克在业绩会上还透露了新的业务版图,其中包括Robotaxi(无人驾驶出租车)将于今年8月发布。

看来,乔尔想要的人工智能在汽车领域的进展,马斯克即将帮他实现了。特斯拉的自动驾驶全面落地场景日渐确定和清晰。马斯克甚至表示,Robotaxi还将获其他车企订购。

大模型VS小模型

避开“绊脚石” 

在 OpenAI期间,乔尔参与了“大型语言模型(大模型)+演进算法”方面的研究,聚焦的领域包括人工智能安全、强化学习和开放式搜索算法。随着OpenAI推出Chat-GPT,从巨头到初创公司的各路参与者,在文本、绘画和视频等多个领域的AI产品接二连三火爆全球。

不过,经过一年多来的“突飞猛进”式发展,人们也逐渐发现,算力、电力都成为“高耗能”大语言模型开发模式的“绊脚石”。

为解决这些问题,业界开始了两个方向的努力。一是不断提高算力效率,二是研发“小模型”。《财经》新媒体在此前的相关文章也曾提及,关于人工智能大语言模型的讨论和研究引发的投资热潮,也从热钱涌入争相卷模型参数,发展到如今迈入“应用为王”新阶段。比如,根据相关专业分析,Sora的参数量可能仅30亿左右,仍能达到令人惊艳的效果。

“最有效的(小模型)可能会干掉一个知道很多东西的大模型。”乔尔在采访中表示,“你可以提取和利用大模型中的部分知识,创建与特定任务相关的小模型。”

寻找“踏脚石”的六字真经

兴趣、阅读和旅行

乔尔离开OpenAI的原因之一在于,后者对于“目标”的过分“执着”。在乔尔看来,伟大的创新并不能通过明确的目标设定实现,反而是在相对“散漫”的研究过程中无意间做出的发现,会成为伟大的发明创造的“踏脚石”。研究者真正要做的就是去不断探寻和积累这些“踏脚石”。这也是其与导师肯尼斯·斯坦利合著的《伟大为什么不能被计划》一书的核心观点。

2022年,乔尔率领的研究团队发表了一篇“神奇”的论文,首度揭秘了 OpenAI 的一项研究:大模型自己学习、自己写代码,然后自己“调教”出了一个智能体机器人——“成精了!”这也揭示了大模型的代码生成能力已足够影响智能体的进化,而这一进展反过来也能增强大模型的生成能力。这篇论文当时在科技圈和创投圈都曾引发爆炸式讨论。

对于如何实现AI以及不同领域的研发创新,乔尔认为最好的方法可以概括为“兴趣、阅读和旅行”。

“一个团队每个人的兴趣所在,可以超越某个主题(目标),很多时候,这些兴趣之间的联系可能使你找到其他人可能找不到的东西,你的团队独特的观点组合和这种兴趣发展是很重要的。”乔尔表示。

当然,“从某些角度来看,‘沉迷’于这些兴趣似乎是一种奢侈,尤其是当它们与你的工作或重要的事情(看起来)没有联系的时候。”在尝试纵容兴趣方面,乔尔分享了一个简单易行的小技巧。“我经常在早上开始复印和阅读一些内容,可以是哲学、心理学或政治学等等各个方面的知识。” 

另外,“人们必须更多地旅行,这样才能有更多的时间来发展兴趣。“我希望通过培养兴趣的过程,可以不同的方式看待事物。”乔尔表示。

未来AI的“优”与“忧”

对于AI的迅速发展,乔尔抱有“矛盾”的心情。“(以视频内容为例)每个人都可能拥有一个个性化‘剧院’也是非常美好的,准确地说,它可以真正帮助你以更有效的方式了解你自己的兴趣。通常,只有最富有的人才能得到这些。所以我想这是一种民主化的力量,使每个人都能接触到这种知识资源。”乔尔表示,“但同时这也意味着人们可能需要让渡更多个人隐私。”

关于人工智能,乔尔的另一个担忧是“AI伴侣”的吸引力使人们距离机器越来越近,而与家人朋友的距离越来越远。对于乔尔来说,他更看重人与人之间真实情感的交流,而不是被AI“绑架”。这也是他为什么更愿意真人接受我们的采访,而不是用数字人。

当被问及下一本书的主题或者再版《伟大为什么不能被计划》时准备增加哪些内容时,乔尔表示,“我认为创造力和安全之间的紧张关系是当今更让我感兴趣的议题。”乔尔表示,“科学是一个美丽的创造过程,不过我们如何获得科技进步带来最多的优点,而不是消极的隐忧?我认为这是一个非常有趣和困难的挑战,但这将是我最想补充的话题。”

离开OpenAI后,乔尔接到了很多公司的加盟邀约,其中包括中国公司。他希望不久的将来,自己可以实现第一次中国之旅的梦想。