开场0:00
There's something there.
今天我们请到的是淏楠 , 你之前是在混元 ——
我是混元多模态 , 我是后训练 、 基础强化学习这个团队下边的 Infra 负责人。 然后我在做所有的多模态的 RL infra,也就是这个 UniRL,也是我在混元最主力的推进的这个 work。
然后最近是刚刚去了新公司 , 就是某具身公司吧 ——
某具身公司 。
然后你现在在这家具身公司做基模训练的负责人 ,是吧 ?
对 , 就是整个基模团队 , 然后预训练的负责人。 可能后边会有后训练 ,但是目前主要以预训练为主 , 后训练还是以研究为导向 , 就是我们叫预研吧 。
然后真正上生产环节就是预训练 。其实也跟各家具身的模型训练情况也差不多 , 就是模型训练还是以预训练为主 ,因为这个圈子还没有到真的能做特别好的那种真正 RL 的那个阶段吧 。
对对对 。 我们之前其实很少聊具身相关的主题 ,因为我觉得大家做的都差不多 , 聊不出来什么太多差异性的东西出来 。
但我觉得今天淏楠来 , 我觉得还挺好的 , 就是正好把多模态到具身这个过程吧可以讲一讲 。 我们先从多模态开始聊起吧 。
因为多模态我们在去年吧 , 多模态和 Agent 我们觉得是两条应用落地的主线吧 , 当时的判断是 , 对吧 ?
那现在 Agent 其实已经非常明确了 , 尤其像 Personal Agent 什么的这些东西都出来了 ,其实大概能看到是在往哪个方向走了 。
然后多模态这条线呢 , 目前我觉得大家看的比较多的仍然是去年我们讲实时互动之类的这些方向 。
我不知道你看起来最近一年吧 , 多模态上有哪些新的进展啊什么的 ?
我们说一年这时间长 , 我们往回倒 , 现在我们今天是 ——
但你这个领域里面一年也太长了是吧 ?
太长了 。其实今年是 26 年的 10 月 ,25 年的 10 月 。其实 25 年 10 月这个时间点我还记得蛮清楚的 ,因为当时我还比较清楚我在干什么 。
Agent岁月2:03
我当时其实是在就是 MiroMind, 就是这家公司可能熟的人不是很多 ,但 MiroMind 是一个最早期做 Agent 的公司 。 圈内人还记得 25 年的 2 月份 、3 月份开始是 RL 大爆发 , 就是 Zero 那个时候 ,DeepSeek 可能刚过春节嘛 , 头半年到 5 月份之前大家都在猛猛灌水做 RL, 然后包括到 9 月头 ICLEAR 都在做 RL。其实大家对 Agent 的重视程度非常不高 , 然后我当时算最早最早最早 , 特别早一批开始接触 Agent, 从
7 月份一直干到 26 年的 23 月份 。
那个时候还是戴老师是吧 ?
对对对 。
对 , 我发现你待的好多公司都是这种相对水下 ——
对 。
但其实 ——
还真是 。
对 ,但其实圈内人会觉得还是挺有质感的 , 对吧 ? 因为戴老师那公司正好是最近刚被那个 The Information 爆出来融资嘛 , 自己好像也拿一尾 AI 嘛 。
对 , 这名字还蛮有意思的 。Anyway, 所以讲回来就是你在那边干的那段时间 Agent 的是吧 ?
对 。 当时其实我是做的不是多模态的 Agent, 就是完全 Language Agent,也就是大家常见的就是搜网页 、 看新闻 、 读网页 , 帮你搜个什么新闻 , 它能搜得非常好 , 写个报告写得非常好的那种 。
我都不知道你还有过 Agent 的这一段 。
哎呀 , 我 Agent——
你不扯了吧 ,Agent 多模态还是具身 ?
我还算 Agent 真做的很早很早一批 , 包括我 26 年, 我也是 26 年 1 月份毕业嘛 , 所以我当时找工作 offer 比较高的那些其实都 Agent。
因为 23 月份另外一个重要的事件就是龙虾嘛 , 就是行业刚爆发嘛 , 然后大家都想做 , 所以那时候面的试 , 拿的一些 offer,Language Agent 居多 。
做 Agent 那段时间还觉得挺有意思的 。 不过后边也是看到 Agent 当时的一些也不叫问题吧 , 就是可能跟自己的兴趣和志向没有那么 match 的点 , 所以后来没一直做 Agent 的 。
回到就刚才咱们聊说看一整年嘛 , 从去年 10 月份 、9 月份那时候 , 确实就两条路 , 一个多模态 , 一个 Agent。
当时我是因为看到 Agent 觉得 OK, 我知道大概我在这一年之后会做什么 , 所以我没有特别选这一方向 , 反而选了另一条路 , 就我也想去看看做多模态能做什么 。
因为我当时也觉得多模态是个落地的好方向 , 恰好后边有个机会 , 所以后来去做了多模态相关的东西 。
对 , 这可能是当时我自己的一个转变的心路历程吧 。 然后在这里边 , 我可以细说为什么我当时没选 Agent 的 。25 年的年底 12 月的时候 , 我就意识到一个问题 , 就是如果做 Agent 大概率是以造数据为主干一整年, 我会觉得这个东西对个人的积累吧或者成长可能不是特别有利 , 对我来说不够有趣 。
你当时也是后训练那一块嘛是吧 ?
对 , 我其实主要参与的就是 MiniTraining 和 SFT。
明白 。
然后是 MiroMind 的 MiniTraining 那个组 , 然后我主要其实是在做 Web Search 那些数据的造数据 , 就是当时大家还对 Agent 的数据长什么样 、 应该怎么造 , 包括 MCP 应该是啥 , 都没有特别特别清晰 。
确实这一年发生了太多事 。 对 , 然后我们当时在摸索这个东西应该怎么弄 。
我可以理解 , 就是后训练确实日常可能是会有很多无聊的跟数据相关的东西 ,但是多模态你的后训练不应该是一样的吗 ?
不是也搞很多数据吗 ?
有字眼就来了 。 就是到了找工作嘛 ,其实找了几个之后, 然后我的好大哥庞天宇拉我说要不咱们去腾讯干 。
那我说庞少咱们做什么呀 , 对吧 ? 他说做图片视频生成 , 就是 Diffusion 生成这块嘛 。 然后我说 OK, 我说那我做什么呢 ?
他说你要不要做做 RL infra? 因为其实去年年底的时候非常火的一个事 , 就是 RL infra 很火 , 主要是翁家义当时在这个 Why Not 上面讲了这个问题嘛 。
然后翁家义又是我们当时 CAI Lab 的早期员工 ,他相当于在 CAI Lab 干了一年之后就去 OAI 了 。 当时也是私下里跟他聊了聊 ,他觉得确实很重要 。
然后我当时就 OK,RL infra 很重要 ,而且我很感兴趣 , 就说 OK 没问题 , 庞少跟你干 。 当时我就反而选了一个可能对自己成长没有帮助的这个事 , 然后就去了混元多模态下边的 RL infra 的负责这块内容去了 。
所以这块跟上一个的区别就是这块更偏 infra, 就更偏底层架构啊什么这些东西了 。
对 , 解决在 Language 上面已经可能探索过一段时间的 RL infra 的问题 。
我听过一种说法 , 就是国内虽然也讲了很长时间的 RL, 然后也有很多人在做 ,但好像听说跟海外的这个 RL 上的差距还是蛮明显的 , 蛮大的 。
对对对 。 就是工程实践上面的 , 就是 infra 上面的代差其实没有那么大 。 最大的 gap 我觉得可能还是没卡 , 就是 RL 还是费卡 ,Diffusion 什么的费卡 。
对 , 导致我们这块就投入少 , 然后做的整体上有代差 ,但我觉得代差的短板并不是主要来自于 infra,并不是我们写出来这一套东西 ,而是训练上边的各个环节 ,data 呀 , 包括你能坚持 、 你能投入多少卡 、 训多久的问题 。
明白 。 就是你卡少就实验就少 , 你的这个积累和经验什么的就跑得都整体就慢了嘛 , 对吧 ?
还是 SFT 效率高 , 对吧 ? 对于体点来说 , 那么假设我们同样租某某云租一个月 ,OK, 那我们就说在一个月内要把分数往上推 , 那确实就是 SFT 效果最好 , 暴力往上刷的能力最强 。
所以你这段 RL infra 做起来跟你预期当中是差不多的 ?
整体来说可能比较多的就是说让我自己在 infra 圈学了很多知识 , 然后包括这套东西怎么弄 , 对个人来说我觉得很大积累 。
对于公司来说 , 我觉得这个东西当时我们在往主线上推 , 然后后边就是希望 Diffusion 的这块都往上面用吧 , 然后结合我们组内研发的一些算法 , 然后一起 。
它其实是一个闭环 , 就是说你组里有 infra,OK,有 algorithm,有 reward,因为 RL 就是尤其这种图片视频 , 它需要训一个非常好的 reward 嘛 , 然后这三者其实就绑在一起闭环了嘛 。
然后这样的话 , 希望以这个方式把这个做成 。 对 , 然后就说到这个东西和 Agent 的关系 ,其实当时我们的感觉就是两条路嘛 ,Agent 和多模态 。
后来我们觉得要以 Agent 为主线 , 然后做多模态 。 就包括后面我们做混元 creator 都是说它是一个类似于比如说 coding 有 cursor,OK, 我们想做一个多模态里面的 cursor, 就比如说你视频生成三段 ,OK, 你选一个 , 对吧 ?Coding 其实也是给你生成 , 比如说它会让你看一下你 yes or no, 对吧 ?
你写个 reject, 或者说它给你 propose 123, 然后一般 40 让你填一个东西嘛 。 你可以生成视频三段 , 然后第四个是你觉得不满意 , 然后你可以说我希望 1 的方案上再怎么样 , 希望做成一个这样的 Agent。
所以当时我们是希望说后训练这块是和 Agent 结合最紧密的嘛 ,因为 Agent 的能力主要在后训练训嘛 , 就围绕着 Agent 这整套的使用方法去搭建多模态 。
因为 Agent 其实是一个人机交互非常合理的方案 , 所以当时做多模态也是多模态往 Agent 方向加 , 或者多模态加 Agent, 然后做这个方案 ,而非就是完全的不做 Agent, 这也不太 make sense。
所以这个做 UniRL, 包括后边也是做 Agentic 多模态的 RL,其实借鉴了也不老少之前的比较非常优秀的 World, 非常优秀的 Slim 这些库 。
这两个都做过以后, 和单独如果只做一个的话 , 你认知上的那些区别在哪 ? 因为很多人他其实不像你这样有两块的都有机会去试嘛 。
其实我觉得工作的另一方面就是你对这个圈子有一个更深刻的理解和了解 。 就是非常有意思一个点 , 就是大家都觉得对面可能还挺好的 , 挺有意思 , 就是有点围城 。
就围城啊 。
对 , 做 Agent 的根本觉得我天天洗数据没劲呢 ,但做那个 video 觉得大家都觉得 video 不体现智力 。 做 GUI 当时年初的时候 GUI 都快黄了 , 当时觉得哎呀是不是都那个 CLI 安静了就 。
所以就是第一感觉就是 somehow 我觉得这两个圈子都有比较有意思的事可以做 。 有的公司就更重视比如说多模态 , 对吧 ?
就是视频生成非常好的 ,也有一些可能包括 Seedance 都做得非常好 , 然后还有一些就完全不做的 ,也有 , 对吧 ?
好多那个初创这六小龙里也有就不打算做这个 。 我觉得就是 Agent 确实现在来看是交互的主线 。
从个人的职业发展角度来看吧 , 我觉得就是你在大主线上边的优点就是说 , 比如你公司做得不好 , 你可以换下一家公司 ,但你还在主线上 。
这是我觉得做 Agent 的哥们们天然现在享有的好处 。 做多模态呢 , 就是 OK, 你会觉得这里边好多做起来它可能会相对有趣 。
就是说我 review data 的时候 , 我好像看视频比纯看它给我爬出来的 trace 我在一条条读 , 然后或者写规则让它去筛 , 这个事过程上要更有意思 , 工作体验上会好一点 。
对 ,但缺点就又说回来了 , 就是可能如果这公司不做这个 ,是不是就没有什么很好的发展方向了 。 这个其实我猜很多做多模态生成的同学 , 或者多模态理解的同学都有这个感受 。
然后多模态这块就分成两部分嘛 , 理解和生成嘛 。 然后理解站在现在时间点来讲就是 GUI, 对吧 ?
非常火 。 腾讯有 workabuddy, 然后现在的 GPT-6、Astra 它的电脑使用能力非常强 。 这是我觉得搞理解的同学们现在好像今年又不错了 。
搞生成的后半年就是纯是搞 world model, 然后后边有一波去做具身的 。 这个里边包括我 , 对吧 ? 我其实就是在做多模态生成这块 , 然后后边去做具身的 , 就分下来几拨人嘛 。
整个全局视角来看是这个样子 。
我刚问的是你怎么两边都做完 , 怎么看 Agent 和那个多模态嘛 ,但你最后的结果是你也没选 Agent,也没选多模态 , 反而选了具身嘛 。
对对对 。
正好你也提到了 , 就是其实在多模态或者大厂里面也有世界模型这条线嘛 , 对吧 ? 世界模型基本上至少在国内基本等同具身了 。
所以你背后你的一些选择和考量是怎么样的 ?
就是大厂做具身实际上是不太能做的 。 就是其实具身它不太够赚钱 , 相对于大厂的主线业务来说 。
具身这个东西真要做 ,其实更像一个车或者手机行业 , 产业链非常长的行业 ,不是大厂他们喜欢的那种情况 。他们对产业链的控制能力也弱 。
具身的厂子我觉得很多很更华为 , 就是它对产业链更了解 , 产业链长 , 它利润就天然没那么高 , 它就没那么暴利 , 它不像软件 。
就导致我觉得做具身还是要去具身厂做 ,但大厂可以做做模型研究 。 如果你可能觉得 OK, 这个时候还这个行业起不来 , 那你比如说在大厂做做模型研究 , 可能会是一个好的事情 。
不少同学这么想 , 我觉得有道理 ,但我可能觉得真要去做具身了 , 那你就对吧 , 扎根基层看看这些素材怎么弄的 , 你就真是上手去摇操摇两条呗 , 对吧 ?
在大厂是天然做不成 , 大厂是尤其越大的大厂 , 它划分的非常好了 ,是很难去 data 部分跟 data 部分的事了 。
你干了别人觉得你 overhype 了 。
但你这个点在所有的领域里面都是一样的 , 对吧 ? 就是大厂固有的问题 。
大厂固有的问题 。
转向具身12:37
对 。 所以那你刚才讲是大厂跟真的做具身的这些公司之间的选择嘛 , 从多模态到具身这个选择是怎么做出来的 ?
对 , 就是其实多模态我觉得最后看下来就是两条能够继续往下推进 , 或者说变现的途径吧 。
一方面就是以 Diffusion 这条路 , 接着做视频生成 , 然后另外一条路就是做生成 Action, 就生成 Action 也是用 Diffusion 这个模型 。
所以它天然来说从做多模态的技术角度来讲 , 它的迁移能力没那么高 。他们的逻辑非常相近 , 然后你也非常方便用原来自己的 codebase 试一把 。
也就是做 world action model 最早起航的这拨人 ,其实可能早期都有过 Diffusion 的经验 , 那就很天然的就转型过来了 , 或者说技术门槛没那么高 。其实某种程度上具身的 Action 也是一种模态 , 对吧 ?
就跟 OK, 你生成视频的情况下又生成音频一样 。 所以如果你站在这个角度讲 , 它本质上还在做一个 exactly 的多模态模型 , 只是你从视频和音频一起生成 , 变成视频 Action 一起生成 , 它的逻辑其实是很相近的 。
就这是为什么我觉得很丝滑的就转具身了 , 包括我好多周围的同学 。
你刚才讲的是为什么能转嘛 , 对吧 ? 那为什么要转呢 ? 也是你刚才讲的 , 你就两条路嘛 , 对吧 ?
一条路是继续做多模态生成 , 对吧 ? 如果不是做多模态生成 , 那就是去做具身 。 对 ,但为什么没有继续做多模态生成 ?
当时其实是跟年初的时候 , 我们当时觉得 OK, 去年做了一整年 language reasoning, 去年年底到今年年初就在想在视频生成里面有没有这个 R1 时刻 。
当时我们其实年初的认为是有的 , 然后后来做了半年发现不行 , 就是它并不存在比较 efficient 的 scaling law。
视频生成14:11
那为什么 Seedance 做得这么好呢 ? 它的核心是什么呢 ?
我觉得跟他们的数据质量非常有关系 。
但你觉得这个数据质量并不是直接和 scaling law 是挂钩的 。
哦 , 可能我这里边指的更多是后训练嘛 , 就是 test time 的 scaling law。 比如说 language 效果好是因为 language。
哦 , 我明白了 。 你说的是那个 RL 的那个 。
Training 的 scaling law 我觉得其实大家都 follow 的是 curve 的 k 值吧 , 或者说你 scaling law 的这个 log 是怎么样子的 。 实际上是跟你的模型结构更相关 , 就是你是不是能够 efficient 的 scaling,但总归来说对数据是能 scaling law 往前推的 。
只是我们认为 training 的 scaling law 是不 efficient 的 , 对吧 ? 就你肯定不可能指望纯靠对 training 就能对到一个 。 我们往前说 language 就是说你希望它能做好这么多现在的这些 Agent 或者怎么样的题 , 你肯定还是要后边 RL 一下, 然后做一做这些的 , 你才能有 R1 效果 ,其实提升不老少 。
当时我们一厢情愿的认为说 OK, 能不能在 Diffusion 的 test time 里做到这块 , 后来发现不太行 。 就是加上前面的 caption 改写都最后不太行 , 就它还是更偏预训练那部分的能力提升 。
对 , 就是你讲当下视频生成这一块更拼的还是 pre-training 的部分 。
我觉得是 。
你觉得这个在未来一段时间也都是这样的吗 ?
据我所了解 , 字节他们的后训练是 work 了的 ,但是大部分的好多家都还没 RL, 还没 work 呢 , 就是多模态这块 。
即便他们 work 了 , 我认为最重要的能力来源或者能力提升还是由于前面的那一部分 。
那就说明就是多模态的竞争可能是没有那么激烈的 , 对吧 ? 就是更巨头效应 。
我还真觉得是这样 , 就是真的是更堆数据 。 然后 training infra 其实大家都做挺好的 , 就 infra 是便宜的 , 弄个十来个比较有经验的同学 , 两个月的时间都能推到一个相对 reasonable 的水平 。
而且 infra 这圈子开源做得比较好 ,data 是没人开源 , 对吧 ?data 就是纯是看你自己的积累 , 走不了捷径 。
你要不就花钱 , 你要不就有产品 , 对吧 ? 帮你做数据的回流或者数据的积累 。 最后看下来确实是得在那种有产品的地儿做这东西才能做得成 。
OK, 所以就你觉得这条线是比较难快速的再往上走的 , 所以你就选了具身那条路 。
对 , 我觉得这个方向还是更吃资本吧 , 或者说更吃大团队 , 然后更吃公司 ,而非一波比较厉害的人就能把这个东西干起来 。
好像我们是这么尝试过 , 对吧 ? 完全没成 。
明白 。 然后我们先把视频生成这条线先讲完啊 。 就是我最近又在 B 站上刷到过一些 AI 的短剧 , 就我前两个月经常给人推荐那个被裁掉的女孩 , 拍得非常好 ,但我最近刷到的我觉得又是比那个再高一个 level 了 。
它已经几乎达到了 Netflix 的那个水平了 , 现在的 AI 短剧我能看到的 。 从你的经验跟判断来讲 , 你觉得现在那个模型大概处在什么阶段 ?
后面再会往哪走 ?
我觉得这个能力没有到头 , 还会变得更好 。
它肯定没有到头了 。
对 ,而且我觉得弄成就是 nearly 电影的水平是没什么问题的 。
对 , 我不知道你看到这个没啊 , 无敌超人。
哦 , 我看过这个 。
这个真的我也想给大家推荐一下, 大家也可以感受一下 。 但我觉得它这里面应该是加了很多专业的人为的因素在里面吧 。
这个说对了 , 跟我们刚才说混元 creator 包括各家要推出自己的 studio 很相关 。 就是可能人在创作中是需要参与的 ,但它并不是像以前那种很 heavy 的去做很多事 。
你可能更多时间是希望你的 taste 去影响它的导向 。 这跟 code 是有一点小差异的 。 这是为什么我们认为多模态里面或者视频生成里面搞 harness 或者好好地做这块的 Agent 是非常有必要的 。
就是它的交互体验的这个成分吧 ,其实是大于 code,因为 coding 其实相对来说有个最优解 。 就我们都希望 coding 能达到又快又好又整洁又好读 , 对吧 ?
这个都是大家公认的标准 。 但影片不一样 , 它很多时候希望自己去瞎一些影响 ,但总的来说有一些 , 比如基础的就是连贯性啊 , 包括这个视频的可编辑性 , 大家都希望有这些能力 。OK, 然后我现在就觉得就是目前这个圈子还停留在一些搞视频或者玩视频的哥们会去用这些工具去弄 , 它还不够编辑 。
就是在多模态生成这方向 , 模型能力在提升 , 需要提升 。 就刚才咱们说还没有达到电影的一个质感 。 然后另外一方向就是说 harness 或者交互模式也并没有一套产品能非常成熟的把它这个电影质感能够让大家都能用得上 。
可能我们说一个比较方便用的 , 就是大家都发过的小红书 ,其实小红书那个编辑页面就好很多 。 我觉得未来一定得有一款这种样的 harness 出现 , 或者这种交互式的中间层出现 , 然后套在这个能有电影质感的模型上边 , 然后把它的能力最大化 ,也让用户最方便的去操作这个玩意儿 。
这可能是我觉得多模态生成和 Agent 接下来半年我觉得要推进到的水平 。
现在的整个的那个生成模型 , 现在最多的应该是 Seedance 2.5 吧 。
对 , 做得非常好 。
对 , 你觉得它在生成这条线上到大概是 GPT 级 , 或者说是一个多少分的状态 ?
我觉得还在半山腰 。 就他们能做到 100 分的话 , 那他们现在应该做到了 60 分 , 差不多 。 我觉得他们还有 。
空间还很大 。
非常大 。 就是比如说曲总可以自己做一条短剧试试 ,其实操作起来还非常的撒泼的 , 让你非常痛苦的 。
它的 context 管理也不好 , 各种都做得不到位 。 我觉得还有很大空间这块 。
但抽卡这件事是不是会长期存在 , 只是抽到的概率越来越高 ?
我觉得抽卡这个概念之后可能会有一定变化 。 就是抽卡现在是有一些非常差的 clip, 你觉得这个形变非常蛋疼 , 或者说它的这个模型不好了 。
那未来的抽卡我觉得并不是质量的问题 , 它都很好 , 只是你和我的偏好不一样 。 就是我们对于什么样的影片叫好影片的 taste 不一样 , 导致了分歧 , 所以要选 , 所以要抽卡 。
我觉得抽卡一定会存在 ,但存在的意义从这个时代到下一个时代应该是不一样的 。 这是为什么我说它现在的 60 分 。
对 , 我觉得抽卡这就很像之前线下去拍 , 然后那个可能有某一段卡掉了 , 对吧 ? 或者说你好几段最后给导演来选一段那种感觉 。
但想想就是现在里面会混一些莫名其妙的东西 ,以后可能就是不外乎就是你要选什么刘德华还是什么陈道明 , 可能给你两段 , 对吧 ?
让你选一段 。
你可能就不希望他在这块用这种镜头语言 ,但他就给你弄出这种镜头语言效果了 , 然后你就要给他不要这个要那个 。
就当然镜头语言也可以通过非常精细的 caption 去控制 , 这个现在通过这个 rich caption、rich description 都是能做得到的 。 它 pre-training 的时候这么训的 ,但你要让人, 对吧 ?
你在手机上或者电脑上你要敲非常丰富的那东西 , 你也累啊 。 你肯定还是说机器给你 propose 几个 , 你根据看到前面的影片 , 然后你接下来可能会觉得有几种镜头是 make sense 的 , 然后给你 propose 几个 , 然后你再选呗 。
这个我觉得就是所谓 taste 了 , 就是可能你希望要用什么样的镜头来表达这块的内容 。
最近也有那个他们有个 PR 比较厉害的 , 然后开源里面蛮火的 , 好像是就它能够快速的复制一个热门视频 , 然后就坏人啊什么的各种 。
这种类型的东西在过去几年里面陆续的有出来过一些 ,但好像都没有自身成为一个产品啊 , 或者怎么样的这种 。
这种是都会被包到模型里面去吗 ? 或者都会成为模型泛化的一部分吗 ?
我觉得是的 。 就这个能力说实在的 , 模型搞这个并不难 。 这就是所谓的生成力的一体化嘛 。 我们自己做 UniRL,uni 这个词也其实是这意思 。
就是我们认为理解能帮助生成 , 对吧 ? 生成虽然不一定能帮助 ,但理解一定能帮助生成 。 比如说换人啊这些 ,其实是有非常好的影片理解能力 , 对于细节理解的非常好 。
再去做生成才能生成得好 。其实各家也都在这条技术上推进 , 就是生成力的一体化 。
我不知道你有没有自己想过 , 或者跟其他的同行聊过 , 就是沿这条线继续走的话 , 未来更偏影视吧 , 或者说视频领域会变成什么样子 ?
首先现在大家是看的 , 对吧 ? 就是很多人在消费这个东西 ,但是创作这个东西的人远没有消费它的多 。
难你说没那么难 , 就是一个大学生学一学也都会 ,但还是麻烦 。
而且成本还是高的 。
对 , 成本还是高的 。 这个东西是要通过未来的半年到一年把这东西就是门槛 、 生成成本全拉下来 , 然后你再去说让大家去使用 , 然后让更多人生成 , 然后形成一个既是生成者又是消费者的这样的平台出现 。
这是我可能觉得我是很白银未来 。 我们聊下来的圈子里大家都认为会有这样的一个产品或者平台的产生 。
MiniMax H322:22
然后讲到平台这一块 , 我觉得最近之前我们提到的就是实时互动视频这个方向 , 这个其实大家经常有提到 。
真正进入到稍微大众的视野应该是那个 H3 出来以后 ,是那个 File 拿 H3 做了一个实时互动的模型 , 然后在外网还有点火 。
我不知道这块你怎么看 , 包括它现在是在一个什么样的一个技术阶段 ?
我觉得它家的水平应该是 Seedance 2.0, 就是它模型能力大概 2.0 的水平 。
你说 H3 是吧 ?
对 , 就是它还是会生成不少 fade clip, 就是说如果你让它 propose 三段的话 , 它怀疑我的不太行 。2.5 确实更好 。
另外一方面就是 2.5 的精细控制能力更强 ,2.5 还真是挺恐怖的做的 。 就是它能加很多的 reference image、reference video, 某种程度上提升了它的可控制性 。
就是你可以插很多叫 storyboard 吧 , 比如说一个人, 这个人物的正面 、 背面 , 然后发誓或者怎么样 , 它是一张图片里包含了好多张小图 。
这张小图就是某种情况下这个人的物料 , 包括整体的故事线这种截图 。2.5 只能放很多很多图 , 然后它能按照你给的图生成一段视频 , 你的控制能力会非常好 。H3 就不具备 。
这我觉得是字节在这块我觉得有非常强的优势 。 这个东西不简单 , 就能插很多 video, 插很多 audio, 插很多图片 , 这很恐怖的我觉得 。
因为毕竟我们谈到这个东西你要落地要商品化嘛 , 然后反映到模型能力就是你能支持这些东西 , 才能够 support 你的产品能更好的被使用 。
这是纯生成这块吗 ? 对吧 ?
对 。
然后实时互动这块 , 我先讲一下我的粗浅的理解啊 。 我的理解实时互动其实分两类 , 一类是真实互动 , 一类是伪实时互动 。
然后我是这么分的 , 伪实时互动其实比较好理解 , 就是它不外乎是生成的速度快于那个消费的速度 ,但其实它还是在你打完它生成 , 只是它生成速度足够快 , 让人觉得说是有点像是实时互动 。
但另外一种是真的实时互动 , 就是它真的是能够去跟你的对话什么做反应 。其实 somehow 我觉得大家应该都在第一条路线吧 。
当然我觉得认为第一条其实现在也没有很成熟 。 第二条其实有点像世界模型 。
对 , 第一条是那模型效果崩得比较厉害后边 。 就这个问题我们还当时做一个 research, 抄一个研究过一段时间 。
崩是指的 ?
就还是一致性的问题 。
一致性的问题 。
其实加速这个东西是有好多的 trick 的 。 不管是你的 scheduler, 就是说你的降噪的那个技术 , 还有就是从 infra 就是 TCASH, 就是跳层去做 attention 这些技术 。
它跳层的话你不用做了每一层的降噪嘛 。 然后这样的话你模型推理肯定也快 , 蒸馏各种技术 , 就包括当时宋扬他们做那个 consistency 的那个东西 , 都是一步生成 。
但不管怎么样 , 这些东西整体来说容易让它的更容易崩 。 更容易崩就是指可能镜头转回来后边的东西就变了 , 或者人脸就变了 。
很常见的就是说你转回来之后跟你画了张脸 , 就细节就变了 。
看起来会有点像那个盗梦空间的那种感觉 ,是不是 ?
有点 , 对 ,有点诡异 。 所以大家目前来看 , 我个人觉得还是保质量比保 real time 更好 。 我觉得 real time 这东西 。
它都是一个阶段嘛 , 对吧 ? 肯定两个一起往前走嘛 。
对对对 。
但你现在我不知道你们从学术 、 从研究上能看到说什么节点真的能实现 。 首先先实现那个一致性和我们第一种方向 。
我可能对就是真 real time 这个事 somehow 有一点点悲观 , 就是在于目前大家模型确实做得越来越大了 , 为了让它的 consistency 做更好 ,其实你在把更多能力堆进去的同时 ,也在把模型 size 变得更大 , 然后这东西天然就更慢 。
你让我想到最近那个 JEB 的感觉 , 就是你想就现在大家先保的是质量 , 对吧 ? 就是先保的是落地啊实用 , 所以主线上可能没有在追求实时互动一致性这个方向 。
但可能这个做到足够好的 , 突然会出现一个视频领域的 JEB 的感觉 , 它舍弃了很多东西 ,但最后能够速度更快 , 成本更低啊之类 。
对 , 就是关于这个时间点 ,其实我自己肯定是很难预测 ,因为我觉得现在目前大家攻坚的还是能力 ,但我就说它还在 60 分 , 它还没到能力溢出的 。
我大概理你讲的就是 , 按你说的就是离那个点其实还是有很大距离的 。 那我就好奇 H3 那波 , 尤其外网好多人在发嘛 ,而且他们甚至于说我看好像有人在那个一些直播平台里面说接入了那个直播间 , 你能够真的是实时看到它的那个实时生成的东西 。
所以那个还是以 PR 为主 。
对 , 我是用过的 ,而且我还训过这玩意儿 , 就是训过它的后训练 。 我感觉体感上面没有那么容易 , 还是很慢的 。
就如果你能真的能够做到生成速度非常非常快的 , 那我做 RL 也非常方便了就 。 不然现在 OK, 我生个视频我等半天我才肉完这一圈 , 然后再去做 RL, 那反正我自己感觉这个差的还挺远的 。
明白 。
然后曲总说第二条路 , 就是那个确实我会觉得更像 video world model,WSD 上下左右 , 然后这样去做的 。 我觉得这个 somehow 还是我个人觉得是两拨人在玩 , 一个是做那种 WSD 的 , 它做成那种 causal 的生成 , 就是还是生成一段 , 然后你 give it 一个 action 之后它这样往下去生成 。
比如说之前有一个这个方向有个 demo, 就是 。
最早是 Google 发的一个 。
对 ,不过我可能想说的是最近有一些做出来的结果很像塞尔达那个感觉 ,但就是在那地图上瞎闲逛嘛 , 就跑图的那种 。
就视频质量啥的肯定还是不太行 ,但总的来说有人在做 ,但这个圈子好像最近有点又不太火又不太好 。
世界模型迷茫27:45
你说世界模型是吧 ? 世界模型最近又被骂嘛 。
对 , 就是感觉好多哥们给自己做得有点迷茫 ,不知道东西做了 for what。 尤其是这个领域目前又有另一波冲击 , 就是 Astra 这种白膜 , 加上更小的 diffusion 去做渲染 , 比就是直接 OK 你出一个巨大个的模型 , 然后仿真整个世界 , 然后你在世界里逛 , 好像看起来更普通明星 。
而且老大还卖了 。
对啊 , 这个就很对啊 。
讲了好几年故事 , 最后扭头不做了 。
大家就说 OK 说这个东西如果就是你真的能做好整个世界的仿真 , 真的能做好那么好的交互 , 对吧 ?
李飞飞正在这个圈子的最前沿 ,他如果看到了 ,他为啥要卖公司 ? 他缺钱吗 ? 肯定不缺啊 。 李飞飞在硅谷朋友圈这么强的这个号票能力 , 反正是给大家做迷茫 。
而且我听起来就是如果你刚才提的连实时生成这件事都还远的话 , 那世界模型就更远了 。
对 , 我觉得 WSD 这东西公司是觉得没落地 , 这个事在公司里发生过 , 就是说这个东西 。
但我特别不理解 。
对 , 我到现在回头看我仍然不理解 。 我能理解你刚才讲的就是他们可能上半年代很嗨 , 最近一下子当了之类的 , 这是从市场情绪带来的嘛 , 对吧 ?
但你从 research 的角度来讲 , 大家应该一直都知道这个事是非常非常难的 , 短期内做不出来的呀 。
不可能是大家以为能做 , 然后做了一下发现哎做不出来 。 对 , 我觉得这个东西做 research 的同学可能大家一直都觉得做不出来 , 只是市场情绪大家把大家架在那了 , 就觉得 OK 要马上做出来这个 ,但是可能也没有人想过这东西你做出来之后, 首先你不一定能做出来 ,其实做出来能干啥呢 ?WSD 其实不少厂商都在做过 , 就很多小厂也做过这种 video world model。
大家讲的做出来就是为了具身啊 , 就正好要问你 。
对 , 后来就发现你要做具身为啥不就做具身呢 ? 就是具身没有必要一定要走这条路 , 后来大家发现 。
但具身我发现也在讲这条路 , 当然它可能也是为了迎合市场 , 大家都在讲 。
我真坐下觉得真的它没有必要完全在走这条路 。 就是我们就拿真实情况 , 就现在两家公司吧 , 就是李飞飞的 World App 和老鲲的这个 Ami,Ami 举例子 ,其实大家都叫 world model, 做东西也不一样 。
对对对 , 这个也是我看大家一直在讨论的 。 所以我看李飞飞这几年隔一段时间就写一下到底什么是世界模型 , 然后他写了好几篇世界模型的定义 。
还真是 vlog。
对 , 然后最后我发现身边的人都不白银他那个 3D 的路线 。
是这样 , 就是你没有必要理解了整个世界之后再去做 action。 这个东西比如说老鲲那个就不是这样 , 对吧 ?
他的 latent 也不是说我 OK 我建模整个世界 ,不管你是李飞飞那种 3D 建模还是怎么样 , 它其实不需要你把草啊叶子啊树叶啊这些都就光线建模得很好之后再往下推进 , 它不需要这样 。
你可能就是理解加做 action, 这个就做具身就足够了 。 就说回来为啥我觉得这块后来大家做着做着具身发现 , 哎 , 好像也并不需要先理解完整个世界再做 action。
我就理解我当前 , 然后就 action 一步 , 然后再理解下一步 , 再往下做 , 就结束了 。 后来那条路当时大家觉得 OK 你 3D 能不能做仿真场景 , 就发现是不是那条路能打通 real to seem to real 这条路了 。
哎 , 慢慢好像有点变味了 , 最开始就 。 这是我看下来的感受 。
所以你现在觉得说正确的去做具身 , 尤其你后面自己要做机模的训练嘛 , 对吧 ? 那应该是怎么来做 ?
大家有什么路线的选择啊什么的 ?
其实这个问题比较宏大 , 我觉得就分两拨吧 。 第一拨人是想做巨大的模型 , 或者说这个可能在 Astra, 就是 GPT-6 出来之前 , 很多人在做这个 , 就希望出一个非常大的模型 。
具身路线31:06
你说国内吗 ?
国内有 , 国外也有 。
但我觉得市场上一直有一种传闻 , 就是国内的具身公司融了非常多钱 ,但真正花钱的还是少的 。
我说的做这个大模型的是那些几个大厂的组 , 然后他们说哎我家有这么大的好的这个视频生成模型能不能 , 或者说这么好的大模型能不能调一下, 然后做具身 。
这个就很像 Astra 他们的逻辑吧 , 就是希望拿大模型思路做 。 那显然有了 Astra 之后 ,其实有的人就觉得不太普明星 , 就是尤其初创公司是基本不做这条路的 。
因为说实在的并没有这个技术积累 ,也没有这个基因 ,也没有这个卡 ,也没有这个钱去做 。
对 , 就是你想具身的公司可能现在最高的估值在 200 亿人民币左右 , 对吧 ? 可能融到 200 亿的账上一共有个五六十亿 , 都不到 10 亿美金 , 那跟真的搞模型的 。
根本就做不了 。
对 , 还是少的 。
对 , 所以就说回来就是很多公司是希望拥抱 Astra 的 。 就是这个其实是也是我认为具身公司讲道理应该做的 , 就是说你大概率最后变成两个系统 , 就是上面套一个底下再套一个 。
Astra震动32:22
对 , 我们最近圈子里面很多人在讨论 Astra 对具身的影响 。 可能很多听众不是那么了解 , 你可以先把这个讲一下 。
就 Astra,GPT 也发了这么多模型 , 对吧 ? 为什么都没有人在讨论它跟具身的关系 ? 为什么 Astra 出来以后对具身圈子比较震动 ?
就是具身呢 ,其实本质上需要一个什么样的模型呢 ? 就是它能看懂这个世界 , 然后给自己的硬件下一个指令 , 或者说你要操控这个机器人吧 ,不管你家是假爪还是灵巧手 , 总的来说你要操控它 。
它的核心就是最后输出一个低维的 vector, 可能 20 多维啊多少维的这样一个 vector, 这个 vector 的每一维都有准确的意义 , 表示你的关节角或者怎么样 , 它是非常准确的意义有意义的 ,而非大模型同学可能常规理解上的一个 latent,4996 这种不是这样的 , 它是非常有具有物理意义的这样的一个 vector。
所以它是 input 的 video 或者多个 video, 可能多个角度的 video。
你说这 vector 我能不能普世的理解 , 就是一个机械手或者一个机械臂 , 它的每个电机会怎么怎么动 , 多少度或者动多少 。
就是这意思 , 就是这意思 。 大模型的输出一般是可能还是一个 vector,4996, 然后你再靠一个 mapping 到词表 , 它这个不太是这样 , 它就是直接输出转角 。
这个模型的 input output 其实是这样 , 大家可以脑补一下, 就你输入一个 video, 然后 video tokenize 之后 latent 进来 , 然后 transformer diffusion 一降噪 , 然后出来一个这样的小 vector。
所以它是一个高维到低维的这样的一个 input output 的结构 。OK, 然后之前呢 , 又说到大模型 , 那你期待大模型就是替换中间你这个模型呗 , 那就是它输入 video 也给你输出一大堆这样的 vector。
之前没什么震动是 OK, 你想让 language 给你输出一个 , 对吧 ,vector 什么样 , 就是左边一个方括号 , 然后第一个数逗号 , 第二个数 , 第三个数逗号 , 第四个数 , 然后括号完 。
这东西你让 language model auto regressive 生成 , 你怎么想怎么怪 , 对吧 ? 你让 GPT 给你怎么写一串数字 , 然后你把这数字再解析成电机转角 , 然后它去操作 , 你觉得这正常吗 ?
这不正常吧 ? 一是觉得不正常 , 二是你试了之后发现它也不 work, 它输出文字型 , 它给你输出 , 对吧 , 它是 next token prediction, 还得 0.96, 就真的是 0.96 逗号 , 然后这样一串文字 , 这有点有点变态对于模型来说 。
然后之前模型也完全做不到 。 为什么这次很震动呢 ? 就是因为 Astra 有非常好的 3D 理解能力 ,而且它能按照你的指令真的就给你输出一段序列 , 这段序列还真的就能够有意义 , 真的它就能操控 。
它是特意基于具身去训的一个 。
是 , 应该是的 。其实 OAI 做具身的团队是有人的 , 然后他们也收了很多数据 , 然后去 train,但实际上他们里面真正做具身的团队是有点不知道怎么做 。
我的意思是说他们后来发现他们做的数据或者说能力提升是喂给 VLM, 帮着 VLM 提升 , 然后 VLM 发现能力的主要提升来自于 LLM, 就是相当于大家都最后所有的数据都还是回滚到那个主线 language 模型上面去 。
对 , 我听说 OPI 里面是有两条线在做具身 , 对吧 ? 一条线其实是类似于 Seed 的那个 , 就专门我就做 LLM 的 , 只不过是它可能把那个具身当做其中的一部分来泛化 , 另一条线是专门就是做具身的 。
那你觉得对于 Astra 这个来讲 , 到底是这两条线哪个是更主要的 ?
嗯 , 大模型条线 。
大模型 。
我看到他们好像那边做具身的人也有点不知道怎么搞 , 反正就是最后发现堆到主线里反而是最 work 的 。
对 , 那我能不能理解它其实就是也是一种泛化了 。
对 ,也是一种泛化了 , 就一如他弄这个 3D 的这个 Blender 这个软件一样 ,他最后也是这么就推过去了 。
那这个泛化里面比较核心的是它也是多模态的理解要做得非常强 。
理解强还挺重要的 。 第二就是说它真的得有具身数据 , 就是这波是真的训了具身数据了 。 之前是我理解之前就没怎么训 , 即便有也非常少 ,不像这次这么多 。
就还是我从前的理解怎么说 , 它是分成两部分 , 一部分是说你首先你得理解看到的那些画面跟视频 。
对 。
然后另外呢 , 就是说你有具身的数据才能把这个理解转化成我们刚才说的一个电机或者那种 vector 的具体的最后落地的数据 。
对 , 我觉得就是当你家的主线模型很强的时候 , 你会发现好像你自己搞原来那种更 robot learn 的不如就直接往大模型里堆 。
对 ,但我之前我听过一说法 , 就是因为具身现在还每一家的那个本体和它的设备啊 , 它的参数都是不一样的嘛 , 对吧 ?
那所以你每一家还得自己做一个那个转译的工作是吧 ? 类似于可以这么理解吗 ?
不 , 我觉得就是让大模型去操控你家的那个产品 , 如果你家那产品并不是一个比如 Frank 卡 、 机械臂大家都用 ,不是那种 , 它其实是有困难的 , 就灵巧手这种是有困难的 。
它其实不准 , 它是通过它动一个关节之后的效果 , 视觉效果 , 然后猜出来它的那个一个变量的变化代表了你的哪个关节会带来什么样效果 , 这个其实还真挺强的 , 相当于你输出一段 , 然后看一段视频 , 它能把它输出的东西的影响 。
它可以继续调 。
对 , 能跟它的视觉上挂钩 , 这个就是 。
那不就 RSI 了吗 ?
这真挺强的 , 真挺强 。 就是它动那假爪 , 就是它其实动了一下发现哦 , 它这个是这样子 ,OK, 怎么怎么样 , 然后它大概理解了视觉和它输出东西的关系 , 它在多轮交互里是看明白这个的 , 所以它能动得非常好 , 这我觉得还挺强的 , 讲到这个 。
这个的 reward 是什么呢 ? 比如你就设定说我今天就是要拿到那个苹果 , 如果你视觉理解判断说我这段画面拿到了那个苹果 , 就是一个 reward 什么的 。
好问题 , 我觉得它是通过其他的领域牵引过来的 。 又说回到我不觉得它是真的对着具身训了 reward, 它应该是在其他的 Blender 这种它看到了渲染 , 它这样操作一下 ,在视觉上的 3D 效果会怎么变 , 它其实是能形成关系的吧 ?
其实你做 Blender 其实你用过它 , 它也是叮咣一顿靠那个它那个 Blender 的那个软件 , 然后才编辑出来的 。
我觉得它这个东西是确实这块按照这个逻辑是可以迁移的 。
你提的这个就是也是我特别想问的一个问题 , 就是我理解现在数据上分两条线 , 对吧 ? 一种是实体的那种实机的 ego-centric 的数据 , 对吧 , 真机数据 ; 另外一种是虚拟仿真的数据 , 就是像你刚才提的 , 可能它会有很多 3D 啊或者游戏啊或者这种数据 。
那你像你刚才提的 , 你觉得主要是虚拟仿真这块是更重要的 , 还是因为国内现在其实包括美国吧 , 就主流应该是真机数据 。
这个东西看对谁而说 , 如果说对大模型厂商来说 , 仿真数据还是很有价值的 , 它是一个很好的 environment, 像个 game 一样 。
对具身厂商可能不是的 , 具身厂商最后 care 的是你东西能不能落地 , 能不能操控他家机器 , 所以他要用 exactly 他的那个机型 ,他才能继续踩各种 trace,不管你是失败的还是成功的 , 或者失败的加个 dagger 给他继续成功 , 人去接管 。
就是我觉得这个大家的态度是不一样的 。
但如果啊 , 如果说虚拟仿真能够首先它不是纯眼镜足够好了 , 然后呢我还能继续基于视频 , 比如说我不知道做 post training 去不断地去针对我这个机型去调的话 , 那是不是真机数据的价值反而会下降 , 对不对 ?
嗯 , 我没有感觉它很会 。 为啥呢 ? 就是实际上对于真正意义上的操控成功性上来说 , 尤其是你的灵巧手非常复杂的情况下, 你还是得拿真正 exactly 的那个数据去 train 去调去 。
我会举个小例子 , 就是其实你说抓这个动作 , 你拿两个手指你能捏起来 , 对吧 ? 但是你想要的真正的抓是五个手指非常贴合在你的瓶子上把瓶子抓起来 。
如果你全是仿真环境 , 那可能它就是最后可能拿中指和食指给你捏起来了 , 它其实不符合你想要的效果的 。
这是我觉得最后仿真环境那个 gap 还不太能够让它真的能成功 , 除非你仿真环境做得非常好 , 就另一篇了嘛 , 就又回到咱们说这个 real to seem to real。
那你如果 simulation 环境做得确实屌的不行 , 那可能整个具身的发展路线就要重新考虑回到 real to seem to real, 那个还确实是真的能够 scaling up 的 。
具身厂商和大模型厂商应该都会走那条路 ,但是目前确实 simulation 环境非常难做 。 就是又说到 worst lab 这个路径其实真不简单 , 这个技术上就非常难 , 仿真仿得不够好 , 各种物理的摩擦系数 , 然后这些都很难做 。
我还想再问一下, 就是我 claim 一下, 我对于具身的理解大多限于各种 PR 的文章 , 没有聊那么多 。 对对对 ,但我看各种 PR 的文章里面 , 基本上我感觉具身公司都在讲自己 , 又做大脑做小脑 , 对吧 ?
大脑归属40:13
所以估值还足够高 , 对吧 ? 对 ,但如果按现在的这种发展路径来讲的话 ,是不是大脑它也没钱没卡来做 , 它也然后大多数人也没有真的怎么做 , 然后呢 Astra 又已经这么强了 , 后面是不是大脑这块就是可能又变成 LLM 的竞争了 , 对吧 ?
可能未来比如说国内又是 DeepSeek 啊 、Kimi 或者 Seed 啊之类的 , 海外就是又是 GPT 跟 Claude 去竞争 , 那国内初创的这些具身公司是不是就不用管大脑这块东西了 , 就自己做好自己的小脑和我们刚才说的一些真的落地的部分就好 。
这个问题还真挺有意思 。 我这个分几篇说吧 , 我觉得第一个就是说是的 , 很多公司讲大脑是为了估值 , 或者说对估值非常有意义的 。
第二就是其实当年, 包括我估计现在 Dynna 那个主页上面也是这么写的 , 就是它有那个 system 0,system 0,system 1,system 2,而非就是 1 2。
当然这个它那个 blog 是 Astra 出来之前它画的 , 那现在我觉得那就可能不要 0 了 , 就是 0 和 1 是一个 , 然后 2 是一个 ,2 就是 exactly 那个最大最大最大的模型 。
对 , 所以我觉得现在的发展趋势确实就是 1 2, 直接操控本体的那个和一个 the dagger 的就是 language 和 thinking 能力都非常强的上面的大脑 ,2 1 两个组合 , 然后去推进 。
然后那么接下来说就是我觉得这个具身厂商的卡是远远不够 , 远远不够的 , 可能你后边加俩零吧 , 得具身厂商的和那个大模型厂商的卡的量差俩零 。
而且大模型是现在所谓的六小龙也好 , 还是几个也好吧 , 就五六家在分卡嘛 , 具身感觉是上百家在分那些卡嘛 ,而且还得是 LLM 剩下的 。
逆势入局41:59
所以又回到最早问你的那个选择的问题啊 , 就你看你今天这个节点加了具身 , 第一具身的估值已经都非常非常高了 , 对吧 ?
我们去年就觉得具身我靠估值怎么这么高 ,有泡沫 , 结果今年没想到更上更上一层楼 , 对吧 ?
更上一层楼 。
对 , 当然站在你的利的角度 , 我们希望它明年还能再上一层楼 ,但今天一定是它已经很高了 , 对吧 ?
所有的具身公司的估值 , 然后以及 Astra 这件事出来 , 确实对于整个具身的这个大脑的故事是有一个非常大的影响的 。
那你在这个点加入 , 你没有考虑到这些问题吗 ?
好问题 ,有好多人问我这问题是这样子 , 就是其实刚才就说视频这块做那个不好吗 ? 做那个是没机会吗 ?
不是的 , 确实是可以 either 加入这种初创或者去 another 大厂做这个 ,但是这东西就是可能觉得这跟个人的偏好有关系 , 我觉得它不是 , 它不是硬核生产力 , 它是 for 精神享受的 。
我会觉得我想做的 , 我说在这行业里要从事几十年或者十几年、 二十几年, 那我肯定希望说能够更多的 。
我要说如果说改变人类这个事 , 大家可能觉得有点这个抽象这哥们 ,但我确实觉得应该做点能够影响大家的更生产力方向的东西吧 。
所以我最后可能想做 physical AI, 就 physical AI 就是把 AI 能带到物理世界当中嘛 ,以各种形式 , 只有到生活当中, 你到 physical 领域你才能改变大家的生活 , 然后我是非常坚定做这个方向 , 所以才转的 。
对 , 所以它不是一个短期利益的一个选择 。 纯好奇 , 如果是短期利益驱动的话 , 最理想的选择是什么 ?
当年就做 Agent 了 。
当年如果在做 Agent 的话 , 你现在得在哪做什么 ?
呃 , 应该就就在美国了 。 当时 TikTok 给了一个还是相当可观的 package,在今年的 。
美国 TikTok 给你 package 让你去做 Agent。
嗯 , 对 ,是的 。
他们现在出 Agent 产品了吗 ?
他们也是套在他们当时的北美 TikTok 的视频上面的一套 Agent。
明白明白 , 如果是这样的话 , 你现在正在 hacking 可能 。
对 , 那当时我觉得那个 offer 确实香 。
哎 ,但你看你 Agent 也搞了 , 多模态也搞了 , 具身要去搞 , 你没考虑过 AI for Science 吗 ?
哦 , 这个确实没考虑过 。
另外一个这个 buzzword。
就是我可以说 AI for Science 这个事我还相对了解 , 就 AI for Science 这个东西 , 后来我觉得就是两拨人在玩 , 一拨是搞 science 的哥们搞 AI, 就是因为我那老板 PhD 是 MIT 物理系的 ,他们就很 solid 的解 PD、 解 OD、 拿 AI 解这东西 ,也很有价值的 。
就是那些价值是可以说我都不太了解 , 我可能给大家描述一个它的应用场景 , 比如说这个 WiFi 信号覆盖这个东西 ,OK, 你在一个大的场景里面可能有遮挡 , 然后你的 WiFi 怎么布置最好 , 它其实是个非常好的优化问题 , 包括流体力学这些都可以解一些 OD、PD, 然后你看 AI 怎么做这个事 ,是这个方向 。
然后另外一方面就是 AI for Science, 可能就是最近大家跟 AI 的哥们们搞的 , 就是可能拿 AI 怎么去帮助化学去做实验啊这些 ,但我就说回来就 AI for 化学吧 ,其实你还是需要有一个实验工厂或者怎么样 , 你能够去做试实验 ,而非纯干实验的这么一个 。
那不就跟具身线下的那些素材什么有点像 ?
我就很像了 , 那素材也是工厂 , 所以我觉得你还是需要有一个 , 刚才说第二条路 , 你可能还是需要有一个具身这样的的能力在 , 你才能做这个事 。
我不是说这 AI for Science 不好 ,但是我觉得它可能目前反正在我认知里 , 要不然就是第一波的人哥们们在做 , 另外就第二波哥们们可能还有点早 。
目前当然了 , 你说可能假爪做的比较简单也可能能行 ,但我觉得具身做好了也能帮助他们做得更好 。
方向总结45:24
嗯哼 , 我们就总结一下, 你就我们从 Agent 开始总结吧 , 你毕竟也干过 。 对 Agent, 你觉得当下和未来最重要的一两个点是什么 ?
Agent 这块我觉得它的智力水平我觉得是完全 OK 的 , 可能就是怎么让大家更好用吧 ,其实也就是现在大家逐渐推进这个 GUI 这块 、CUI 这块 , 就是核心还是一点嘛 , 你怎么让大家用得上 。
对 , 我感觉 personal AI 应该就是 Agent 的这条线最终的终点了 , 对吧 ? 它都已经 personal AI 了 , 就每个人日常都能用起来的东西了 。
我觉得现在开发的场景还是不够多 , 比如说 game agent 现在大家开发就少 , 还是有各种东西可以开发 。
那你问我是什么 , 我可能想不到下一个爆点是什么 , 对 , 可能还是得看 Astra 下一波爆点是什么 ,但我觉得 Agent 这块还是有的玩 , 还是有的做 。
首先智力能力提升 ,其实我猜很多人会慢慢觉得 OK, 这个 coding 能力已经它的每次的强 , 你感觉哦 , 可能是强一点 , 体验上好一点 ,但你已经很难准确的说出来它从哪一个点提升更好了 。
因为大部分情况下它已经能超过就是 AI infra 人的平均水平了 , 我不觉得谁能自信的搞 AI infra 说他能觉得他不好 。
对 , 所以我觉得大部分情况下就是在一些场景里面做得更好 , 我觉得挺重要的 。 这是我觉得 Agent 的 somehow, 我觉得未来还是会推进各种场景 , 场景还是 cover 的不够全 。
嗯哼 , 对 , 这是 Agent。
Agent, 对 , 然后多模态呢 ?
多模态我这个悲观说 , 我觉得图片是没什么做的了 , 主要就是做视频 , 然后怎么把视频可控性 , 包括视频里面的 harness 交互做得更好 , 这个方向我还挺决定的 。
我觉得未来半年肯定有更好的交互的 studio 或者交互的 harness 产生 ,for 更多的人去使用 。
但是模型你觉得就是大厂的竞争 ?
其实据我了解也没有什么初创再从头 pre-train 自己的 video model 吧 , 这个东西我说实在不现实 。其实视频挺贵的 , 就是大家早年间如果搞过视频的哥们肯定爬过 YouTube, 现在 YouTube 反爬机是这么难 , 对吧 ?
因为最开始我做 video 理解的时候 ,在学校的时候 ,25 年,25 年初 ,24 年底的时候 , 那爬视频还能爬的 , 现在咋爬呀 , 根本爬不动 , 一爬就封号 , 然后各个平台的反爬机都非常非常好了 , 已经都是防止你投他们家视频 。
我觉得这个东西 , 对吧 , 要不就看看什么没做出来的 ,有很多视频的那几家可能还能做一做 , 小厂应该做不了 。
GPT-3时刻47:38
嗯 , 最后具身呢 ?
嗯 , 具身我觉得就是玩法不一样 , 就是大厂有大厂的玩法 , 就是做上面那一套 , 小厂就是要有壁垒 , 要有自己的硬件 , 你要不然怎么跟大厂做差异化呢 ?
你如果就是去大模型的话 。
硬件你指的是 ? 因为基本大家都有自己的本体嘛 。
硬件就是说可能谁的硬件做得更好 , 然后谁能把自己的硬件和那个 system 1 绑定着做得更好 , 就是 code design 的逻辑嘛 。
然后我在上面再套一个 Astra 去做 , 可能这样是我个人认为小厂的核心的壁垒 , 就要不然变成制造业了 , 对吧 ?
就小厂的逻辑我个人觉得是做 code design, 然后自己的产品绑定自己的 train 的这种 7B 到 16B 的这种小模型调得更好 , 然后对接外边的一个大模型 , 然后把这一套跑通 , 然后尽快的做落地 。
具身估值这么高 , 你想要它更高 , 你只能是真的落地 , 真的能够有场景 。 我举个例子 , 酒店其实是很好的例子 , 就是叠被子其实这个事是真的可以做的 ,因为酒店的地是平的 , 你可以用轮式 ,而非双足机器人。
酒店是个既不是纯标准化也不是非标化的场景 , 它是某种程度上固定的场景 ,但也它可能乱的程度又不太一样 , 所以我觉得是这类的场景是能做的 。
然后我觉得真的要落地的话其实是可以的 ,不管是成本怎么样降下来 , 然后替代一波这种酒店的整理啊或者怎么样 , 我觉得是这类的场景是可以做一做的 。
哎 , 你看具身里面大家一直在讲说等待那个 GPT-3 时刻嘛 , 你觉得 Astra 算吗 ?
嗯 , 我其实觉得确实有点有点算 , 就是它真的挺强 ,在于它可能甚至能替代部分素材源 , 就是你的模型假如成功率只有 60% 或者 50% 吧 ,在这个场景里 , 那你可能并没有训过场景 , 你泛化在这场景有 50% 非常不错了 , 然后你让它去操作 ,OK, 它如果出问题了 , 这时候及时让 GPT 接管它 , 可能是一个 job 说 OK, 你这个实时读视频嘛 , 然后说 OK, 这个要接管了 ,
然后把这个后边的操作 route 给 GPT, 然后 GPT 做完后面的操作 , 那这条数据遥操数据是非常有价值 , 就被留存下来了 。
然后你再迭代这些数据之后, 你再训自己家的那个 7B、8B 的模型 , 把它成功率从 60 拉到 80, 然后你这样它去 , 就是没有人在的情况下去遥操 , 然后再去出问题 , 再去可能 route 给一个机器人, 这样的话你可能本身模型能够去遥操一部分数据 , 然后不行的话你再靠这个 GPT 给你接管 ,GPT 都接管不了了 , 你再可能一个素材源盯 , 可能事态集不是一个人盯一个了 , 然后你
的人再去及时接管 , 这样的话形成一套比较优秀的数据管线嘛 , 相当于就是随着你的成功率提高 , 那么你 GPT 调用量就变少 , 然后你的人的负担也减小 , 然后这样的话你 screen half 的逻辑可能才能真的成型 。
所以它可能是甚至能帮助素材 , 然后你落地的时候其实可能也是 , 然后你可能大部分情况下都能成功 , 然后实在成功不了 ,GPT 上来给帮你帮你操作一把 ,而非 GPT 直接操作机械转角 。
我觉得 GPT 操作机械转角是不划算的 , 太慢了 , 太费了 , 所以可能最后是一个大模型管制叫 speculative decoding, 就是小模型先给你 draft 一遍 , 然后你大模型无非就是 approve 或者不 approve, 那你具身里就是小模型先一顿操作 , 然后快 fail 了 , 然后我接管 , 我接管你做 , 然后这条接管数据 , 这些叫 error recovery 嘛 ,其实是数据里非常有价值的 , 就是失败了情况下怎么回来
, 然后这个再回流 , 然后形成一个真正意义上能够赚起来的管线 。 因为实际上大部分情况下具身很难加用的情况下, 你很难回流这些数据 ,不像 GPT 你用一用我给你回流数据嘛 , 相当于把 GPT 在这个 loop 里当成一个非常重要的一环 , 这样我觉得其实是能推进具身的落地的 。
哎 ,Astra 的具身这一块的东西 , 你觉得未来会被其他模型蒸馏出来吗 ? 然后也变成了开源 ?
哎 ,其实刚才咱们聊的也是一种蒸馏 , 对吧 ? 它就是在蒸馏了已经 。
但我我在想的是说这个东西会是一家具身公司或者一家新公司说我专门去蒸馏一个具身领域的那么一个开源模型 , 还是说它其实会被已有的比如 DeepSeek 啊 、Kimi 啊等等做掉 ?
我觉得就是我们说蒸馏分两种吧 , 一个叫硬蒸馏 , 就真的是你让它揉出来 trace, 然后去其实就是异如 language 里面蒸馏 , 我觉得具身里蒸不了 , 这个东西实在是成本过高 , 就是没必要 。
第二是软蒸馏 ,其实咱们刚才讲的就是一种蒸馏了 , 相当于你操作一半 , 可能它机器人失败了 , 然后它接管之后给你生成的 trace 你不还是用的吗 ?
但这个量就小很多了 ,而且它可能你把它带回到那个正常的轨迹或者正常的行为模式里边 , 然后你的自己的模型还能继续操作 , 相当于你只是蒸了这一两步了 。
这我觉得是大家能接受也能成本 cover 住的 ,而且很有价值的数据 。 这种软性蒸馏我觉得大概率不是大厂在做 ,是具身厂在做 ,因为具身厂好布设备 , 好在素材里布这个东西 , 我认为是要蒸馏的 , 或者说我觉得刚才咱们讲这套逻辑就已经在蒸馏了 ,而且它是一个花的钱和带来的收益 , 我觉得是 OK 的 ,而非硬蒸馏 , 我就应该说 OK 了 。
所以我我能不能最后这么理解一下, 就是具身在国内 , 你看 23 年开始的话 , 到现在 3 年多的时间 , 故事变了好几波 , 大家估值呢也都很高 ,但似乎 Astra 出来以后, 大家又拉到同一起跑线 ,而且又就是有好有坏吧 , 对吧 ?
然后但解锁了非常多新的可做的事情 。
对对对 。
所以未来几年可能我不知道估值跟市场会怎么变化 ,但实际从具身本身的这个发展和落地来讲 , 就是会解锁新的各种可能性 。
对 , 我是兴奋的 。 我认为 Astra 对整个行业就刚才说的是不是 GPT-3, 我觉得是 , 就是它让我第一次感觉到我靠我这东西真的能落地啊 , 真的能做啊 , 泛化能力这么强 , 可能还都不是 3.5 呢 ,但我觉得是一个非常重要的一个节点 , 对于整个具身领域 。
OK, 好呀 , 非常感谢好呀 。
好呀好呀 。
对 , 我们从 Agent 到多模态到具身基本都过了一遍了 。
对对 。
好 , 谢谢 。
好的 。
