物理智能联合创始人谢尔盖·莱文谈为机器人构建大脑
为什么人类觉得最简单的一些事情在人工智能中仍然是最难的问题?
在 ICONIQ Frontier,物理智能联合创始人兼加州大学伯克利分校教授 Sergey Levine 与 ICONIQ 的 Rob Bernshteyn 一起探索如何将通用智能带入物理世界。
“简单的事情就是困难的事情。”
对于谢尔盖和物理智能团队来说,这意味着超越为单独任务而设计的机器人,转向可以跨许多不同环境、技能和外形因素学习的共享智能层。他解释了为什么通用性可以改变机器人的经济学,随着模型变得更加强大,正确的数据组合如何演变,以及为什么解决物理智能可能最终推动人工智能的发展远远超出机器人本身。
罗布·伯恩斯坦 (00:00):
早晨?是的。好的。好吧,我告诉你,说到早晨,就在不久前,几个月前的一个清晨,我离开家,一位 Uber 司机来接我。他带我去我写下的一个地址,教会区特特大街 396 号。和任何一个清晨的人一样,你坐进优步的后座,打开手机,开始回复短信、电子邮件以及整个晚上收到的信息。 20 多分钟后,我被送下车,但仍在回复电子邮件。我下了优步,关上门,做出回应。
(00:35):
天很黑,我环顾四周,意识到自己身处一个偏僻的地方。周围真的什么都没有。没有零售店,没有商业建筑,没有接待员。半个街区之外有一个非常阴暗的人物。有点担心我的安全。这个396在哪里?谢尔盖知道我在说什么。
(00:59):
幸运的是,我稍微移动了一下,发现了这扇随机的门,上面写着 396,真正的小数字。部分是为了我的安全,部分是因为我要参加一个会议而没有人欢迎我,我决定推门进去。我可以告诉你,我实际上进入了一个完全不同的世界。到处都是机器人。人们到处乱跑,就像头发着火了一样。有人正在训练机器人煮咖啡。另一个角落里有人正在训练机器人叠袜子。有人正在训练机器人折叠盒子。那是一个我以前从未见过的世界。
(01:42):
最令人印象深刻的部分是当我看着正在做这项工作的人的眼睛时。他们有一种使命感,令人难以置信、令人难忘。你可以看出他们觉得自己正在做一些非常非常特别的事情。我可以部分地告诉你,我也觉得我也是一些非常特别的事情的一部分。
(02:06):
这是物理情报部门的办公室。而体智所打的赌注,其实也很简单。你能创建一种模型,你能创建一种操作系统,一个可以为机器人、任何不同外形的机器人提供动力来完成各种事情的大脑吗?今天,旧金山各地的自助洗衣店正在发生这样的事情。在全国各地的仓库里装箱,这种情况现在正在发生。所有这些都是通过一个大脑、一个模型、不同的机器人、不同的外形尺寸、一组不同的组件来完成的。
(02:54):
现在,今天和我们在一起的谢尔盖是联合创始人,顺便说一句,他也是伯克利大学的教授。在过去的十年里,他一直在思考这一切背后的问题。我们能否训练一个集中的大脑、一个集中的模型来从世界上所有的物理交互中学习并变得越来越聪明?因此,我非常自豪和兴奋地欢迎谢尔盖·莱文(Sergey Levine)登上舞台。
谢尔盖·莱文 (03:31):
下次我们会尽力为您提供更热烈的欢迎,这样您就不必再经历旧金山艰难的街道了。
罗布·伯恩斯坦 (03:36):
嗯,我很高兴您几周前告诉我有关新总部的信息。太棒了。
谢尔盖·莱文 (03:40):
现在它在城里一个更好的地方。
罗布·伯恩斯坦 (03:41):
我期待着来访。我敢打赌内部的能量是一样的。我敢打赌确实是这样。所以看,我记得从中学回家,我要让自己变老,看《摩登原始人》和《杰森一家》。尤其是《杰森一家》,我一开始就仍然喜欢这首主题曲。但特别一件事,我记得小机器人出来做饭,与家人互动,心里想,“我们什么时候能到那里?我们什么时候能有那个?”那是几十年前的事了。
(04:09):
所以您认为,首先,为什么要花这么长时间?但在过去的两三年里,您的观点发生了哪些变化,这些变化可能会加速这一进程,使我们能够真正实现这一目标?
谢尔盖·莱文 (04:22):
纵观人工智能的历史,总是存在这样的难题,事情似乎总是按照我们预期的顺序发展,这意味着我们期望在认知上非常复杂和要求很高的事情实际上最终成为人工智能中一些更容易的问题。例如,就像 90 年代的国际象棋一样,有一台计算机可以击败国际象棋世界冠军,尽管我们认为国际象棋在某种意义上是智力成就的顶峰。然后又过了 20 年,在围棋比赛中击败了世界冠军。但在那之后,又需要四到六年才能产生听起来连贯的自然语言。所以对我们来说这应该是倒退的。但这是有原因的,对我们来说感觉更容易的事情实际上更容易,因为我们必须非常擅长。
(05:09):
所以我们必须善于相互沟通,因为这是人类生存的重要组成部分。非常擅长运动控制更为重要。如果人们不擅长感知、运动控制、控制身体的基本知识,我们就无法生存。因此,因为我们非常擅长这些事情,所以我们很难理解潜在的工程挑战到底有多么复杂。这被称为莫拉维克悖论,几十年来人工智能界逐渐认识到这一点。
(05:35):
在 20 世纪 50 年代,马文·明斯基 (Marvin Minsky) 曾说过一句名言,他认为计算机视觉将是一个暑期本科生研究项目,一个夏天后他们将解决这个项目,然后他们可以继续解决如何进行规划和所有其他问题的真正问题,而这仍然是一个悬而未决的问题。
(05:49):
因此,机器人技术是一个比自然语言生成更具挑战性的问题。此外,我实际上想说,物理智能的问题,即获得与人类一样能力的物理系统的问题,它实际上包含了所有其他人工智能挑战。因为如果你有一台机器可以控制它的身体并做人能做的所有事情,那么我们如何与计算机交互呢?我们通过身体与计算机互动,对吧?因此,如果你能做所有这些物理事情,它实际上最终包含了整个人工智能问题。
罗布·伯恩斯坦 (06:18):
嗯,所以你谈到了问题的复杂性,而我们人类喜欢类比。我知道我正在经营自己的生意。阐明我的价值主张与其他事物的相对关系始终很重要,以便人们有一个参考框架。我们听到 Divesh 和 Nikesh 谈论了您刚才提到的大型语言模型。如果说你对物理智能的关注点是有效地构建物理人工智能的 Claude 或 ChatGPT,这是一个公平的类比吗?
谢尔盖·莱文 (06:48):
是的。许多现代基础模型工作都基于这样的论点:通用性具有一种专业化所无法获得的力量。所以这意味着,用语言模型来类比,如果有人在 2010 年代末构建了一个机器翻译系统,他们所做的就是真正只关注机器翻译,获取英语、法语和日语以及所有这些东西的配对数据,然后语言模型出现,他们就会消除所有这些,因为语言模型通过通用性包含了所有这些。它们更通用,可以在更基础的层面上理解语言,并且还可以进行机器翻译,而无需为此专门设计。
(07:30):
我认为我很清楚,机器人技术也将走同样的道路,机器人学习的承诺是摆脱对机器人控制器进行细致的手动工程的需要。这是非常有前途的,但它用另一个更大的问题取代了它,那就是现在,如果你要学习针对特定任务的机器人策略,你需要获取该单个任务的大量数据,就像机器翻译的例子一样。这是不可行的,这就是为什么机器人学习在基础模型时代之前没有真正起飞。但是,如果您针对机器人可以执行的所有不同物理技能训练通用模型,那么现在对于每种物理技能,您可能需要更少的数据。现在,训练一个通用系统来做体力工作实际上是可行的。
(08:11):
我给你举一个例子。所以我提到在人工智能中,存在一个问题,即简单的事情就是困难的事情,对吧?有一位研究员,他曾经在 Google 的 EDR 工作,名叫 Benjie Holson。他在……中国举办了机器人奥运会之后写了这篇博文,之后他写了一篇博文说:“嗯,真正的机器人奥运会不是跑马拉松或打乒乓球。真正的机器人奥运会都是‘简单的事情’。”你能把袜子翻过来吗?你能用肥皂海绵清洗煎锅吗?”东西真的很乱而且很物理。
(08:46):
他列出了一系列挑战,比如金牌挑战、银牌挑战,以及所有这些非常平凡的家庭任务。任何看到这一点的机器人专家都会觉得很疯狂,因为当你的机器人手里拿着一块肥皂海绵,水到处都是,而且很滑等等时,你就会开始思考所有可能出错的事情。
(09:02):
因此,我的同事切尔西·芬恩 (Chelsea Finn) 决定测试我们用于执行新任务的新系统。因此,我们设计了一个框架,操作员可以在其中收集新任务的数据,而她只是想对其进行测试。 所以她所做的测试是她说:“好吧,让我们浏览一下 Benjie Holson 的博客文章,看看我们可以做多少这样的机器人奥运会测试。”她说,“好吧,你必须为每项任务预算四个小时,去做吧。”
(09:26):
她成功地让我们的运营团队解决了几乎所有的任务。有一些她无法做到,因为机器人在身体上无法做到。事实证明,我们的夹具有点太宽,无法放入正装衬衫的袖子内,无法将其翻过来,所以我们无法做到这一点。但她可以完成的大部分任务(超过 90%),我认为在最坏的情况下,最终的数据量都低于 8 小时,但通常比这要少得多。
(09:51):
当她将此与不从通才模型开始时发生的情况进行比较时,这意味着您从头开始训练每个测试,相同的精确算法,相同的精确模型设计,只是没有通才初始化,它们都不起作用,为零。所以我认为这说明了普遍性的力量。
罗布·伯恩斯坦 (10:06):
当然是这样,但它也带来了一般数据的问题。然后我很好奇的是你从哪里获得数据?获得的最佳数据类型是什么?当我走进去时,我看到人们在收集数据、创造数据。我还知道有很多公司正在创建数据并出售这些数据。我认为今天这里实际上有其中一位代表。您如何看待您倾向于购买的数据和您想要自己创建的数据?您如何看待这些维度上的数据创建?
谢尔盖·莱文 (10:38):
这是一个非常复杂的问题。因此,一般而言,数据在基础模型中是一个复杂的问题,但在机器人技术中甚至更加复杂,因为有很多开放的研究问题以及随着技术变化而实际变化的理想数据。
(10:51):
所以给你一些例子。显然,最初,您必须从某些东西中引导该模型,因此您可以使用人类收集的良好机器人数据(演示数据)来引导它。但一旦你有了一个足够强大的模型,你实际上可以用其他方式指导它。我们发现的一件事是,一旦我们的模型变得足够强大,我们就可以通过语言来指导它。你实际上可以要求机器人做一些任务。我们试图让它使用一种新的厨房用具——空气炸锅。它试图做到这一点。它的工作还不错。有点混乱。
(11:19):
最终设法使用空气炸锅,但花费的时间比应有的要长。显然,这有点像是在编造事情。然后我们基本上为其提供子步骤语言命令。我们说,“好吧,要使用空气炸锅,首先你抓住手柄,然后拉它,然后你这样做,然后你这样做。”这是一种不同类型的数据,对吧?这只是口头指导。因为该模型已经理解了身体互动,并且可以整合口头指导信息并实际使用它来提高。
(11:42):
一旦技术进步,你可以做的另一件事是你可以使用强化学习。机器人实际上可以通过现实世界中的反复试验来学习,因此它可以利用自主数据。当然,现在它仍然需要各种其他数据源,它可以包含人类视频,也可以包含远程操作数据。但关键是,理想的数据组合实际上会随着技术的发展而变化。 So it's kind of a moving target.简而言之,是的,您需要大量的远程操作数据,但随着技术的进步,您也可以获得这些新的数据源。
罗布·伯恩斯坦 (12:11):
现在,让我问你,对于生成式人工智能模型,正如你所知,媒体正在讨论的事情之一是,克劳德、ChatGPT、OpenAI 可以做所有事情吗?它可以开始吃掉部署层吗?如果你将你们所有人正在做的事情进行类比,那么据我所知,你们大部分都在使用第三方来实现你们正在创造的智能的机器人技术。
(12:38):
话虽如此,您是否致力于避免进入部署阶段,而进入在某些用例、某些示例中实际生产机器人的地方?您如何看待这个可能尚未到来但将来可能到来的决策点?
谢尔盖·莱文 (12:57):
机器人在世界上可以做的所有体力工作的范围是巨大的,对吧?所以我的意思是,对你的问题的非常实际的回答是,我们实际上正在构建我们自己部署的机器人系统。在很大程度上,我认为我们必须这样做,因为我们需要充分了解问题的整个范围。因此,如果我们要提供一个真正能做实际事情的通用模型,而不仅仅是实验室演示,而是在现实世界中真正做实际工作,我们需要非常彻底地理解这个问题,这需要我们自己做很多工作。
(13:26):
但与此同时,体力工作的范围如此之大,以至于一个团队绝对不可能理解所有不同类型的机器人、所有不同类型的领域。其中一些领域非常专业。 有些公司已经将我们的模型用于从机器人手术到控制挖掘机的各种领域。你真的不想把这两者混在一起。你必须保持这一点。
(13:50):
我对挖掘机一无所知。我对手术知之甚少,我想把它留给专家。但如果模型具有非常普遍的物理理解,那么它就可以适应所有这些领域。事实上,我对人们可以将这个模型硬塞进什么样的疯狂的东西感到非常非常惊讶。
(14:07):
我的一位同事向我展示了一家公司的一段视频,该视频使用它来控制一台为奶牛运送饲料的机器人拖拉机。他们没想到宾果卡上会出现牛机器人互动,但事实确实如此。 我认为这真正表明的是,一旦你的模型理解了物理交互的基本构建块,那么它实际上可以有效地适应所有这些情况。
(14:32):
回到你的观点,是的,我们必须了解部署情况,我们必须拥有非常强大的系统,但与此同时,我们需要能够利用整个生态系统,并提供物理智能层,以便其他比我们更了解这些领域的领域专家可以实际使用。
罗布·伯恩斯坦 (14:49):
那么,从优先级的角度来看,可以公平地说,它已经扩展到您需要的程度,但核心驱动力是让中央大脑变得越来越聪明,作为未来一切的基础,对吗?
谢尔盖·莱文 (15:01):
这是正确的。 你几乎可以将其视为一种操作系统。机器人社区中每十年就会出现一个想法,通常带有一些构建机器人操作系统的负面含义,但它总是失败。但我认为它总是失败的原因是我认为人们以错误的方式思考它。他们将机器人操作系统视为软件层,但操作系统实际上是将应用程序与硬件分开的东西。
(15:26):
而对于机器人来说,那其实并不是传统意义上的操作系统。这是情报层。如果有人要来工作,您无需向他们解释如何移动身体。你只需告诉他们,“嘿,你的工作将是这样、这样、这样。让我向你展示它是如何完成的。”你不需要告诉他们,“嘿,发射你左前臂的 37 号神经元来捡起这个东西。”
(15:45):
因此,智能层将允许对问题进行分解,以便擅长构建正确硬件的人们可以专注于这一点。想要构建应用程序的人们可以专注于这一点,他们不必在中间解决这个非常非常困难的科学问题。他们可以使用共享情报层。
罗布·伯恩斯坦 (16:02):
这是完全有道理的。让我问你,让我们换个话题来谈谈中国,我确信你过去必须回答有关中国的问题。当我们研究这个空间并观察正在发生的事情时,感觉那里正在发生很多事情,并且在很多方面他们已经假设了核心语言模型的很多东西,并且现在正在进入物理世界。您认为这在未来几年会发生什么变化,因为它会更广泛地影响美国、我们的创新、硅谷和中国正在做的事情,以及您认为两者之间发生的任何相互作用?
谢尔盖·莱文 (16:36):
是的,这是一个非常复杂的问题。我想我在这里要说的一件事是,我认为在美国拥有一个围绕机器人技术的非常健康的生态系统非常重要。可以公平地说,在某些方面,中国的生态系统走得更远,尤其是在供应链等方面。但在我看来,我认为拥有一个健康的生态系统非常重要的是为想要创新的人们提供合适的工具。
(17:03):
问题是,现在,如果你想建立一家机器人公司,你会遇到一个本质上无法克服的问题,你必须构建堆栈的每个部分。这非常困难。 It's extremely capital intensive.当然,有些公司在这方面已经走得很远,但其局限性很大。如果有广泛适用的工具可供使用,以便那些想要在该堆栈的特定部分进行创新的人可以抓住这些工具并完成他们想要处理的部分,我认为这将有助于建立一个更健康的生态系统。
(17:30):
例如,这将使围绕设计新型硬件开展极其成功的业务变得可行。它将使得围绕与市场的特定领域建立联系而开展非常成功的业务成为可能,而无需解决极其困难的智能或硬件设计科学问题。
(17:46):
因此,我认为让每个人都可以使用中间物理智能层将极大地加强生态系统。就像,好吧,对于自动驾驶汽车,同样的问题也可以问那些从事自动驾驶汽车工作的人。就像,“嘿,如果你正在研究自动驾驶汽车,你担心中国生产大量汽车吗?”我的意思是,有些人肯定会担心这一点,但对于想要构建自动驾驶软件的人来说,这并不是最重要的。这是因为生态系统更加分解。
罗布·伯恩斯坦 (18:10):
很有道理。让我用我之前提出的关于法学硕士和数字人工智能的比喻来问你,大致的共识是,物理人工智能可能落后 4 年、5 年、10 年,但这种差距可能会缩短。你认为物理人工智能是建立在数字人工智能的基础上的,并且落后了 3、4、5、10 年,这样的类比公平吗?你对此有何感想?
谢尔盖·莱文 (18:38):
所以我想说的是,我不认为这是一场竞赛,而是人工智能技术的自然进化,基本上问题的物理方面包含了所有其他问题。这不像人工智能的应用程序,有应用程序、LP、视觉,然后是像 n+1 那样的机器人。机器人技术实际上必须将许多这些想法结合在一起。你需要计算机视觉,你需要理解语言并与人类互动,你需要进行规划,你需要进行运动控制,你需要强化学习,所有这些都需要结合在一起。
(19:05):
但我认为更重要的是,因为物理问题是数字问题的超级集合,我实际上有这个想法,也许这是一个奇怪的想法,但也许从长远来看,如果我们能够以一种非常普遍和结论性的方式真正解决物理智能,那么无论我们做什么来解决这个问题,实际上也将增强所有其他领域的人工智能。为什么?嗯,因为我们构建周围世界的很多方式基本上都源于我们的身体体现。计算机的工作方式取决于我们对物理世界的理解。我们使用物理类比来思考世界。我们为自己创建界面,这些界面围绕我们的行为方式和思维方式构建。所以我认为,如果我们有一台机器能够像我们通过具体化那样理解物理世界,那么它将成为最初为人类设计的所有其他事物的更好基础。
罗布·伯恩斯坦 (19:54):
有道理。如果你闭上眼睛并记得,比方说 ChatGPT 时刻,或者当广大民众意识到生成式人工智能的力量时,我们是否已经在物理人工智能领域经历过这样的时刻?如果我们还没有,我们什么时候会?会有那么一刻吗?它是一个频谱上的东西吗?您如何看待这一点?因为你每天都在思考这个问题,而我们中的许多人都在其中进出。您对此有何最佳感受?
谢尔盖·莱文 (20:23):
所以我认为这很棘手,因为我们一开始就讨论过,对于我们作为人来说,我们发现真正容易的事情自然看起来并不那么令人印象深刻。所以你看到一个机器人在做后空翻,你会想,“天哪,这太酷了。我不会做后空翻。机器人可以做到。”但如果你看到一个机器人拿起一个咖啡杯,将咖啡倒进去,然后递给某人,你会想,“好吧,我可以做到。这看起来并不难。”
(20:46):
所以我认为也许有一天,当你回到家时,你的机器人管家就在那里,你可以这样告诉它:“嘿,我想让你在下午 6:00 做晚饭。客人明天会来,确保厨房整洁”,然后它就会去做。
(21:00):
但我怀疑,期望稳定的增长能力更为现实,因为最重要的里程碑将是那些实际上对我们来说并不那么令人印象深刻的里程碑。他们会在后台只是工作,只是做事。因此,我认为关注的人可能会对明年即将发生的事情印象深刻,但我实际上怀疑,如果我们正确做好我们的工作,事情就会顺利进行。
罗布·伯恩斯坦 (21:23):
好吧,关于这一点,我只想说,ICONIQ 的所有人都非常幸运能够与您一起参与您所关注的事情。您显然正处于创新的最前沿、最前沿。我可以亲自告诉你们,我很高兴家里有一个机器人,就像我在《杰森一家》中看到的那样,而且很高兴看到它在未来几个月、几个季度、几年内如何绽放成你们所有人的愿景。女士们、先生们,请和我一起感谢谢尔盖。
免责声明:
本演示文稿不构成投资建议或出售要约或购买任何证券(包括但不限于本文提及的任何投资基金或投资产品)的要约邀请,仅根据最终发行文件和认购协议做出。
演示文稿中提供的某些陈述是由 Physical Intelligence 联合创始人谢尔盖·莱文 (Sergey Levine) 做出的。 Physical Intelligence 和 Levine 先生的观点并不一定代表其他 ICONIQ 投资组合公司或其高管的观点,他们的经历可能与本演示文稿中表达的经历不同。
ICONIQ 没有直接或间接向 Physical Intelligence 或 Levine 先生参与本次演示提供报酬,但考虑到 Levine 先生作为 ICONIQ 投资组合公司的创始人,他可能会遇到某些利益冲突。 ICONIQ 持有 Physical Intelligence 的所有权权益,并与该公司保持持续的关系。作为一家投资组合公司,Physical Intelligence 可能会直接或间接地从与 ICONIQ 的关系中受益,包括通过获得资本、战略指导、运营支持、网络机会以及 ICONIQ 提供的其他资源。因此,Physical Intelligence 和 Levine 先生可能有动机做出有利于 ICONIQ 的声明,以维持或加强这种关系。
本演示文稿可能包含基于当前计划、估计和预测的前瞻性陈述。请注意,许多重要因素可能导致实际结果和结果与前瞻性陈述中表达或暗示的结果存在重大差异。本演示文稿中包含的数字、图表和案例研究仅用于说明目的,不能保证任何 ICONIQ 投资组合公司的实际结果与本演示文稿中包含的信息相符。本文不包含有关可能很重要的利益冲突的信息。本演示文稿中重点介绍的投资组合公司和高管并不代表 ICONIQ Venture and Growth 的整个投资组合或投资历史。 ICONIQ Venture and Growth 向投资组合公司实际提供的服务和资源的类型、级别和条款可能有所不同。如需 ICONIQ Venture and Growth 投资的完整列表,请联系我们或访问我们的网站。
本文包含的某些经济和市场信息可能是从公开来源获得的和/或由其他方准备的。虽然此类来源被认为是可靠的,但 ICONIQ 或其任何附属公司、合作伙伴、员工和代表均不对此类信息的准确性承担任何责任。
本演示文稿中的所有信息均截至 2026 年 9 月 1 日(“生产日期”)(除非另有说明),如有更改,恕不另行通知,并且可能不是最新的,也可能在生产日期和您实际查看的日期之间发生了(可能是重大的)变化。 ICONIQ 不承担更新或以其他方式修改本演示文稿中包含的任何信息、预测、预测或估计的义务,包括为反映经济或市场条件的变化或在向您提供项目之日后发生的其他情况或反映意外事件的发生而进行的任何修改。
ICONIQ 在提供本演示文稿的任何方面均不充当顾问或受托人,您与 ICONIQ 之间不会因您观看该视频而产生任何关系。
这些材料仅供一般信息和讨论之用,不得依赖。


订阅 ICONIQ 最新研究、洞察与创始人对话,直接送达您的邮箱。


