Surge AI 创始人 Edwin Chen 谈前沿实验室实际支付的费用
Surge AI 创始人兼首席执行官 Edwin Chen 解释了为什么他认为当今的前沿模型如此参差不齐。他指出,在一项基准测试中,人工智能从只能解决常春藤联盟教授所写问题的 5% 发展到破解百年数学,而在另一项基准测试中,相同的模型在普通办公室工作中仍然有超过 70% 的时间失败。埃德温认为,缩小这一差距是人工智能接下来可能取得真正进步的地方。
马特·雅各布森 (00:00):
我是 Matt Jacobson,ICONIQ 的合伙人之一,很高兴能与 Edwin Chen 一起完成这项工作。我相信 Edwin 在幕后工作期间创建了人工智能领域最有影响力的公司之一,这也体现了我们 ICONIQ 的精神。他和我第一次在新加坡见面是在我们主办的一次活动上,从那时起我们花了很多时间在纽约喝咖啡散步,大部分时间是我向他询问有关他所建立的这个令人着迷的业务的问题。
(00:26):
在许多遵循更传统风险投资策略的公司中,Surge 是一个异类。埃德温 (Edwin) 的收入已远远超过 10 亿美元。我认为 SemiAnalysis 的估值为 30 亿美元。他在分享这些细节方面更加谨慎。但这是一个不到一百人的团队,没有外部资本。 Surge 提供了人类数据环境,以及对许多前沿模型背后的评估,这项工作让 Edwin 对前沿有了非常独特的视角。他了解领先实验室的要求。与此同时,他比我们其他人更早地看到了他们的困境。他发表了许多精彩的研究,包括没有客户要求他进行的实验。
(01:12):
我发现他对这个行业的看法与共识不同,这在某种程度上推动了我和我们团队的思考。它根据进步的来源来审视进步。今天我们就开放模型及其下游含义进行了很多讨论,很高兴能够进入其中。欢迎来自 Surge AI 的 Edwin Chen。
(01:40):
早些时候,Baseten 的 Tuhin 谈到计算是等式中的一个重要组成部分,但就前沿人工智能的创建而言,数据一直是一个令人难以置信的重要组成部分。当你创办 Surge 时,Scale AI 在很多方面都是该领域的领先者,并且在 V1 中定义了很多数据标签类别,并且你以不同的方式进行构建。它非常以工程为主导,以自动化为驱动,并且非常注重质量高于一切。我很乐意向我们介绍这些见解,这些见解如何塑造了您今天与 Surge 建立的公司。
埃德温·陈 (02:18):
我认为我们早期的独特见解是,我们非常非常关注数据的质量,并思考质量的含义。让我解释一下我的意思。所以我们刚开始的时候,我们这个行业的每家公司基本上都是专注于计算机视觉。因此,你向某人展示一张图像,然后问他们:“嘿,这是猫还是狗?”或者“你能在汽车周围画一个边界框吗?”我从来没有真正对这类问题感兴趣,因为它们有非常简单的非黑即白的答案。就像,“是的,它要么是猫,要么是狗。”
(02:53):
我们拥有人类思维的全部力量,为什么我们要把自己限制在这些问题上呢?相比之下,我来自这个语言和行为的世界。我曾经在谷歌工作过,我会问的问题是,“好吧,你有一个用户试图理解反弹假设。你如何决定在顶部向他们展示的最佳搜索结果是什么?”是的,你听到了。与在汽车上绘制边界框相比,您实际上确实需要大量专业数学知识才能正确回答这个问题。
(03:20):
但正确性和专业知识实际上还不够。当您考虑如何展示最好的研究结果以及对 Google 来说意味着什么时,您会问自己这样的问题:“好吧,这个答案解释得怎么样?这个网站中的语言是否与该用户的背景水平相符?您是否可以展示一个很好的可视化效果,帮助他们更直观地理解答案?”因此,在这里,你拥有围绕专业知识的所有这些方面,但也围绕着你试图鼓励的行为类型的品味。
(03:56):
我认为有趣的是,如果你考虑一下今天的前沿模型。就像如果你要求克劳德编码一样,也会发生非常非常相似的事情。您不仅仅希望克劳德通过一系列单元测试。您还希望它生成足够优雅的代码,可供其他 50 个人维护。您希望它创造的产品不仅具有功能性,而且非常有趣、美观且易于使用。
(04:22):
所以,是的,我认为这种真正深入思考质量及其含义的概念使我们在这个领域非常独特。如今,当模型变得如此强大时,我经常说的一件事是,您希望模型达到的质量上限是无限的。您不只是希望它们发挥作用。你不只是希望他们给你一个黑白分明的答案。所有这些问题都更加主观,更多地涉及个人判断,我们希望将模型推向这些问题。
马特·雅各布森 (04:49):
我喜欢质量的细微差别,而 Surge 的传说是,你会拒绝业务,只在质量方面优先考虑这些方面,但这是我们在市场上听到的 Surge 的一致主题。
(05:02):
就与所有领先的人工智能实验室的合作而言,您处于非常有利的位置,这让您能够了解研究前沿,而且您过去一直慷慨地分享您所学到的知识。今天我们发布了前沿模型。您今天在前沿看到了哪些变化?您预计在未来一个月或六个月内会看到什么?我认为除此之外,这对我们任何人来说都非常困难。
埃德温·陈 (05:27):
是的。所以我认为关于边境的真正有趣的事情之一实际上是它是多么不平坦。例如,今年早些时候,我们创建了一个名为黎曼基准的基准,它的作用是衡量模型进行前沿研究数学的能力。我们创建它的方式是让常春藤联盟的教授问他们,“嘿,去做你自己的日常研究,当你做你的研究时,提出人工智能模型无法解决的问题。”所以当时模型只能解决其中的 5%。
(05:59):
但从那时起,就像过去几个月一样,数学方面取得了如此大的进步,这有点疯狂。最新的 Claude 和 OpenAI 模型实际上正在解决许多非常非常优秀的数学家长期努力解决的百年问题。这实际上有点可怕,因为我认为数学是一门非常深刻的科学,试图理解宇宙的本质。因此,模型实际上能够比我们更好地理解宇宙,这有点可怕。
(06:26):
但与此同时,这些模型在数学上非常出色,但它们实际上在很多普通的日常工作中都失败了。例如,我们有另一个基准,称为 HANDBOOK.md,它为代理商提供,他们基本上为代理商提供了一百页的公司手册。所以这可能是这样的手册,“这是我们的人力资源政策。这是我们的费用政策。这是我们的安全政策,”然后他们将代理放入这个公司环境中,并告诉他们,“好吧,去做某人的工作。”
(06:54):
在这里,模型实际上仍然有超过 70% 的时间失败。因此,你同时拥有的模型可能比 95% 的数学家都要好,可能可以解决甚至菲尔兹奖获得者也无法解决的问题,但他们却无法解决普通白领知识工作者无法解决的问题。
(07:12):
因此,我认为下一个前沿领域将不再是解决这些非常非常困难的研究问题。模型已经踏上了实现这一目标的道路。相反,问题将是:“好吧,模特们能在办公室度过周二吗?他们能连续工作 12 个小时而不失败,并且能够自主地完成工作吗?”
马特·雅各布森 (07:30):
这就是 Surge 的用武之地。我认为实验室肯定正在将预算从几年前开始的预算甚至静态数据集转向强化学习环境的概念。我认为可能有大约 50 家 YC 公司正在开发 RL 环境。你和我已经谈过这个了。但你已经构建这个概念很长时间了。您能否分享一下,什么是 RL 环境?为什么预算和巨额资金会流向数据和模型改进?
埃德温·陈 (08:04):
因此,强化学习环境基本上是一个代理可以在其中行动的世界或公司。我们的 RL 环境之一基本上是我们从头开始创建的初创公司。因此,在一家初创公司内部,我们有一群员工。他们是软件工程师、会计师、律师和产品经理,基本上是你能想象到的真实公司中的任何人。然后他们还会获得一个代码库。他们实际上每天都在迭代这个代码库。他们可以使用 Slack、Jira 和 Salesforce 等工具。然后他们正在做的是为人工智能模型创建要解决的任务,例如,“这是用户报告的 10 个错误报告。去修复它们。”或者“嘿,你能创建一份我们的每月财务报告吗?”然后他们教模特如何做好工作。
(08:49):
这确实很有价值,因为模型已经非常擅长生成静态答案,但它们不擅长的是长期运行。好的,您希望模型创建一段需要 10 个小时的代码。您希望它们在整个工作日都正常工作。他们缺乏的是独立工作的能力,意识到自己犯了错误,回溯,修正错误,然后取得进展的能力。因此,我们的环境对此非常非常有用,因为它们实际上为模型提供了内部的游乐场技巧。
(09:24):
因此,我们在每个具有经济价值的领域(例如健康、金融、咨询、法律)都有数千个这样的 RL 环境,你真的可以将其视为我们在摩根大通分析师的生活中构建一天,然后要求 AI 模型为他们完成工作。
马特·雅各布森 (09:40):
这将解锁更长形式、更协调的代理工作流程,我们应该期望在下一个版本中从主要实验室中看到这些工作流程。你和我在后面的绿色房间里谈论了一点,现实生活中存在很多噪音,“嘿,有一些公司将他们的数据出售给提供商这样做。有真实数据或合成数据。”您见过哪些是最成功的?哪些更能推动这种长期、长期运行的代理未来?
陈埃德温 (10:15):
因此,人们对在真实公司数据和合成数据之上构建这些 RL 环境非常感兴趣。目前,我认为业界仍在试图找出哪一个更有价值。因此,真实公司数据的好处是您可以了解现实世界的实际混乱情况。这实际上有点有趣,但模型实际上并不擅长生成合成数据。他们要么生成太干净的合成数据,要么合成数据经常给模型留下提示……这给了他们如何解决问题的提示。
(10:46):
真实世界数据的缺点是,通常真实世界数据对于模型来说实际上太简单了,因此您希望以非常非常具体的方式超级定位您正在构建的世界。因此,我们在这两种方法上都做了很多工作,因为每种方法都有一些优点和缺点,但我认为我们将在接下来的几个月内开始看到哪种方法更有价值。
马特·雅各布森 (11:06):
知道了。只是稍微介绍一下构建 Surge 的独特方式。我认为市场上的许多其他参与者都非常响亮地宣布了每一次融资、每一个收入里程碑,而你们采取了一种非常不同的方法,几乎保持了无敌状态,除了与客户的关系异常密切之外,同时在我们看来,成为人工智能领域最重要的公司之一。这种方法给你带来了什么?在幕后和雷达之下的成本是什么?
陈埃德温 (11:39):
是的。因此,当我们刚开始时,我们做出了一个非常有意识的决定,我们希望通过打造真正非常出色的产品而不是制造大量噪音和炒作来赢得该领域的胜利。我们这样做有两个原因。一是我一直有点讨厌硅谷常常是一场大型的地位游戏。有很多创始人不断地发推文和筹款,并产生了很多烟雾和镜子。当你深入挖掘时,你经常会发现他们或他们的公司正在构建的东西没有实质内容。我从来不想走那条路。
(12:18):
另一个原因是我一直非常关心确保我们与正确的激励措施保持一致。当你的动机是每隔几个月将你的估值翻一番时,你最终会走很多捷径,从而使行业和模型本身在很多方面变得更糟。所以我一直想确保我们的激励措施,我们的首要激励措施就是让通用人工智能以一种有意义的方式发生,这意味着我们的运作更像是一个研究实验室,而不是传统的硅谷初创公司。
(12:51):
我认为这非常非常有帮助,因为我们的很多冠军总是会告诉我们,“是的,你们的数据实际上比其他人的好得多。你们能够做他们以前从未见过的事情。”那是因为我们非常非常深入地考虑质量,而且因为我们不只是不断地走捷径来赚更多的钱。
(13:10):
我确实认为这让我们付出了代价,因为它基本上让我们在过去六年中处于困难模式。所以我确实认为我的观点发生了一些变化,因为我仍然不关心筹款、估值和炒作,但我认为今年最令我们兴奋的事情之一是我们的研究团队实际上更加公开和更加引人注目。因此,我们一直在发布自己的研究成果,并且发布了许多自己的基准,行业实验室已开始采用这些基准。
(13:38):
例如,我认为《Fable 5.1》和《Mythos 5.1》今天早些时候下降了,我真的很兴奋我们的两个基准,一个叫做 GDP.pdf,另一个叫做 Chartography,它们都出现在 Claude 模型卡上。所以我认为这种可见性可以帮助我们以一种非常有意义的方式塑造这个领域,我实际上非常非常喜欢这一点。
马特·雅各布森 (13:58):
你们以一种真实的方式为自己做到了这一点。我记得今年夏天早些时候谈论过 pdf 版本,所以能够出现在该基准测试中真是太棒了。我认为是 ICONIQ,我们在花了多年时间之后才深刻认识到这一选择,我认为,真正专注于背景。我们有机会召集这样的社区来做这件事。当您开始占据今天所占据的更多市场领导地位时,我们应该对 Surge 未来有何期望?
埃德温·陈 (14:28):
是的,所以我想我对我们正在进行的培训后研究感到非常兴奋。我认为,关于数据的价值以及它如何与计算进行权衡,或者高质量数据的价值,以及当你拥有更多高质量数据和不易受到某些奖励黑客攻击的数据时,也许这种数据实际上可以防止我们在过去几个月看到的许多网络安全事件,但仍然存在很多鲜为人知的问题。
(14:53):
例如,我认为有一个假设,这些模型在网络安全方面变得如此出色的部分原因是因为用于训练它们的数据存在某些漏洞,或者因为创建这些数据集的公司本身受到激励,几乎以各种方式奖励黑客数据。这些原则以非常非常微妙的方式渗透到模型中,产生长期后果,我认为这只是培训后研究的一个非常非常有趣的领域,我们希望帮助行业理解。
马特·雅各布森 (15:28):
当你看到像安全这样的东西时,它通常具有非常专业的技能和经验,这是你与现有供应商合作的东西,还是客户自己已经构建了复杂的安全性?对于不同的买家、不同的问题、不同的领域,你如何进行横向移动的转变?
埃德温·陈 (15:48):
是的,所以我认为人们经常不了解我们的令人惊讶的事情之一是他们认为我们所做的工作有点像低水平的零工工作。同样,人们认为这个行业就像人们在汽车周围绘制边界框,实际上并不需要那么多技能。
(16:06):
相比之下,我们所做的是实际上尝试为任何领域寻找世界上最聪明的人才。因此,我们的平台上有所有这些网络安全工程师、菲尔兹奖得主和常春藤盟校教授,因此对于安全之类的事情,我们实际上拥有所有这些令人难以置信的网络安全人才,然后他们所做的就是不断提出模型需要解决的黑客攻击或使用人工智能模型来防止黑客攻击的方法,并且他们正在教导模型如何做到这一点。
马特·雅各布森 (16:36):
你的团队是……今天还不到180人?
陈埃德温 (16:40):
所以我们在过去的一年里实际上已经成长了很多。所以我们现在有几百人。但是,是的,一年前我们还不到一百岁。
马特·雅各布森 (16:45):
但当你相对于整体业务规模来看时,你会发现它与过去建立的公司有很大不同。您认为这是为什么?您认为未来人工智能原生企业的形态是什么样的?
陈埃德温 (17:00):
是的。因此,我认为与我们领域的老公司相比,我们仍然相对较小的原因有两个。因此,我认为历史上我们领域的许多公司都将数据视为纯粹的劳动力问题。你只是让更多的人来解决这个问题,而不考虑其背后的技术。因此,我们始终对待质量这一概念,而不是像扔更多的人体一样,让我们询问 10 个人,然后以某种方式将答案平均起来,以众包最佳答案。相反,我们将其视为一个数据科学问题,我们试图衡量人们是否优秀,我们试图衡量他们拥有什么技能,我们试图衡量他们是否有品味。所以我们只是进行了很多测量。
(17:41):
我认为另一部分原因是……再说一次,我们要比我们领域的其他公司更安静一点,我们……我认为很多初创公司在成长过程中,会聘请一位来自谷歌的副总裁,然后这位来自谷歌的副总裁想要润色他们的 LinkedIn 简历。所以他们的目标是,“好吧,我怎样才能雇佣 500 人来完善我的职业轨迹?我怎样才能让自己给 CEO 留下深刻的印象,”等等。因此,几乎所有这些负面激励因素都会让你仅仅为了发展而发展公司,而不是考虑什么实际上最符合公司的目标。
马特·雅各布森 (18:22):
当你再次审视诸如进入市场和客户亲密度之类的事情时,我认为你真的倾听了客户的意见,并在他们所寻找的东西方面处于前沿,有时甚至领先于他们自己认识到的东西。这是从哪里来的? Surge 作为一个组织,这一点体现在哪里?
埃德温·陈 (18:43):
是的,所以我认为这来自我自己的很多背景。我认为过去几年我意识到的一件事是,实际上公司可能是由我自己塑造的,而这是我刚开始时无法预料到的。我的意思是,当我思考我喜欢的事情时,我喜欢与客户交谈以了解“他们想要构建什么?他们想要如何塑造他们的模型?”
(19:07):
每个模型,即使它可能接受了很多相同的训练,比方说,预训练数据,这些不同实验室的每个创始人或组成这些实验室的人,他们都有不同的目标,不同的个性,不同的基准,不同的性能能力,他们希望他们的模型达到。我们与他们进行了很多交谈,因为我们想了解他们希望这些模型具有哪些独特的能力和独特的感觉,然后我们用它来塑造我们为他们创建的数据。所以,是的,我认为很多这样的事情都源于我,进而延伸到我们在招聘时寻找的人。
马特·雅各布森 (19:45):
根据我们的经验,一些最好的公司是由创始人的愿景塑造的,你可以看到这些特征在公司中的表现,Surge 就是这样。埃德温,谢谢您抽出时间与我们在一起。这真是太棒了,感谢你这样做。
免责声明:
本演示文稿不构成投资建议或出售要约或购买任何证券(包括但不限于本文提及的任何投资基金或投资产品)的要约邀请,仅根据最终发行文件和认购协议做出。
演示中提供的某些陈述是由 Surge AI 创始人兼首席执行官 Edwin Chen 做出的。
陈先生是ICONIQ的客户。 ICONIQ 并未因参与本次演示而直接或间接向陈先生提供报酬,但鉴于他作为 ICONIQ 客户的角色,陈先生可能会受到某些利益冲突的影响。作为 ICONIQ 的客户,陈先生的利益可能与此类基金和顾问的业绩、声誉和筹款前景一致。 对 ICONIQ 的积极评价可能会间接使作为客户的陈先生受益。
本演示文稿可能包含基于当前计划、估计和预测的前瞻性陈述。请注意,许多重要因素可能导致实际结果和结果与前瞻性陈述中表达或暗示的结果存在重大差异。本演示文稿中包含的数字、图表和案例研究仅用于说明目的,不能保证任何 ICONIQ 投资组合公司的实际结果与本演示文稿中包含的信息相符。本文不包含有关可能很重要的利益冲突的信息。
本文包含的某些经济和市场信息可能是从公开来源获得的和/或由其他方准备的。虽然此类来源被认为是可靠的,但 ICONIQ 或其任何附属公司、合作伙伴、员工和代表均不对此类信息的准确性承担任何责任。
本演示文稿中的所有信息均截至 2026 年 9 月 1 日(“生产日期”)(除非另有说明),如有更改,恕不另行通知,并且可能不是最新的,也可能在生产日期和您实际查看的日期之间发生了(可能是重大的)变化。 ICONIQ 不承担更新或以其他方式修改本演示文稿中包含的任何信息、预测、预测或估计的义务,包括为反映经济或市场条件的变化或在向您提供项目之日后发生的其他情况或反映意外事件的发生而进行的任何修改。
ICONIQ 在提供本演示文稿的任何方面均不充当顾问或受托人,您与 ICONIQ 之间不会因您观看该视频而产生任何关系。
这些材料仅供一般信息和讨论之用,不得依赖。


订阅 ICONIQ 最新研究、洞察与创始人对话,直接送达您的邮箱。


