「越有决心情绪越稳，已悄然接入腾讯 700 个产品」。
作者 | 张鹏
整理 | 今夜科技谈加速，狂奔，硝烟四起，是过去一年大模型创业浪潮展现出的一番景象。有资源、有能力的腾讯，却显得「过于冷静」了。2024 年 5 月 30 日，腾讯推出基于混元大模型的 App——元宝，它的产品设计很简洁，打开的第一屏，是一个搜索框，核心是先瞄准生产力场景，重塑信息的组织、交付。这样的产品理念从何而来？一个做底层技术出身的团队，做大模型是首先是为了改造内部业务的工作流和产品。所以对于做什么，不做什么，腾讯混元大模型团队有清晰的认知。生产率工具容错率低，更考验技术能力，进一步迭代模型能力。对外鲜有高调发声，「水下」内部却将大模型摆在战略位置。推出元宝 App 之前，腾讯混元大模型作为技术底座的角色，已经支持了腾讯内部接近 700 个「客户」，并沉淀出一套平台工具和合作模式。这让腾讯对后来将模型算法、数据、工程能力等技术能力「外化」有了信心，一切也顺其自然。腾讯元宝发布之后，腾讯混元大模型负责人刘煜宏收到一些反馈，让他感到惊喜，「一些好的公众号内容已经被『遗忘』，但元宝挖掘出来，重新做了信息组织」。「没有上帝视角」，用户需求越滚越大是产品最好的验证。「一年后国内的模型能力将拉齐」的预判在今天被验证，再次证明了图快走捷径做大模型没有意义。对于 OpenAI 的示范效应，刘煜宏说，即便后来者看到一条确定性高的路径，也得走一遍。试过，才能跑得越来越快，缩短每一次追赶的时间。被问到之后的计划，刘煜宏说，多模态甚至全模态的理解和生成都是「必答题」，当下也会让模型在「多一些思考」、增强推理能力上下功夫。大模型注定是一场长跑，「AGI 目前更像信仰」，但将腾讯混元大模型能力在内部 700 个业务上用得好，是刘煜宏认为对于 AGI 的务实追求。有远见但务实，也是混元团队在大模型上的世界观对齐。在近两个小时的直播里，关于腾讯的大模型思考，混元的做与不做，元宝将与腾讯生态如何产生联动等话题，刘煜宏为我们做了坦诚的梳理和解答。
以下是这次直播对话的实录，经极客公园整理后发布：
01
做大模型可以有
「深圳速度」，但不能跳步
张鹏：去年 9 月腾讯混元大模型正式对外亮相，前段时间也发布了元宝这样一个比较AI Native 的产品。但外界总体感觉，腾讯比较沉稳，没有疯狂抢先手、也没有一下放出很多产品，情绪一直比较稳定？沉稳的背后，腾讯在大模型上是怎样的策略？刘煜宏：其实是「外松内紧」。外界看到不着急，感知混元推出来比较晚，但坦白来讲，这是一个非常卷的赛道，我们内部的节奏是非常紧张的。腾讯从战略上一直将大模型和生成式人工智能，视为百年不遇的、类似工业革命一样的机遇。对外产品上，去年 9 月推出了「腾讯混元助手」小程序，今年 5 月 30 日推出了元宝 App，（也推出智能体开发平台——元器），但这些背后的底层能力其实我们做了很久，像广告大模型在 21 年就开始做了。元宝 App 发布一个月不到的时间里，更新了五六版，每一个小的迭代都解决了一部分问题。去年我们没怎么对外发布产品，其实是内部率先用起来（大模型），比如腾讯会议、文档，微信读书的 AI 助手，包括它们在内很多内部产品已经在用了，除了 API 的方式接入，还有一些业务会做精调。到目前为止，腾讯内部有接近 700 个业务接入混元，基本上腾讯所有的（业务）都用。
腾讯内部近 700 个业务接入混元大模型｜图片来源：腾讯张鹏：OpenAI一声炮响让大家看到这个新的趋势，去年腾讯内部对于大模型是如何判定的？当时做决策的真实情况是什么样的？刘煜宏：GPT-3.5 出来前后开始做混元这个项目。一些底层相关技术做得更早，刚才提到广告大模型在 21 年就开始做了，搜索相关的「推广搜」场景也做了很久，运行大模型的底座从一几年开始就在建设。对外的产品节奏看起来体感很慢，因为一开始便深知这是一个长期的项目。原来还说百年一遇，现在发现是几百年一遇的项目。不是短期一窝蜂就能搞定，像做原子弹，只有一步一步积累，把底子打牢。举个例子，做底层涉及到网络问题，没有网络、算力，怎么训练？钱能跟上吗？预算怎么投怎么收？等等，都得考虑。我们比较清醒，对底层困难预估得足。一年半前我们判断，一年后国内的几家大厂在大模型能力都差不多。目前也认证了这个预判。我们虽然压力大但有比较多的试验机会。张鹏：在大模型上，业界大家都比较着急，也有创业者认为这个时候快速跟上是第一目标，甚至可以基于开源模型做 post-train，因为开源模型「看」过的那些数据，没必要重新再「看」一遍。刘煜宏：我们从来没想过这条路，一开始就决定冷启动，从 0 到 1 完全自研，是一条非常艰难的路。腾讯做产品有个原则，得自己验证一遍，连颜色、像素、排布的选择都是试验出来的，页面设计成瀑布流留存率就有多高？对男性用户如何？等等这些都是 ABtest 出来的。OpenAI 过去几年走过的路，模型从 1.0 版本到 4.0 版本他是怎么走的？就算过程中你按他披露出来的一些技术路线走，该做的实验一定不能少。比如也有很多超参数、数据配比要调，甚至中英文数据比例怎样才是效果最好都要做大量实验，花了很多时间在这里。张鹏：打个比方说，下决心要给新时代生个孩子，不是说赶紧抱一个过来，是要生一个亲生的感觉。刘煜宏：对，我们从一开始就坚定了全自研路线，追求自研、可控度、安全。从 0 到 1 自主探索，包括训练、推理的框架平台，模型预训练、精调、强化、怎么对齐，数据，投入了大量资源。坦白来讲，大家都在看OpenAI的路线，但不是你按 GPT-4.0 的套路走，就能行得通。张鹏：要从 0 到 1 走一遍、但要更快速地走一遍，而不是找个捷径只为了追上某个点。那么设定的这个起点是哪？刘煜宏：如果说大模型，可能从 Transformer 甚至更早。我们会设定一些目标，比如一开始对标 GPT-3.5，预计什么节点能达到 3.5 的什么水平，什么时候能在工程上追上。坦诚讲，目前很多能力提升还真的是靠数据和工程。目标是有的，但不能跳步。不能看到 GPT-4o 出来了，发现多模态融合做得好，就不考虑 GPT-3.5 了。我们评测 GPT-4o 确实比 GPT-4V、GPT-4 Turbo 那些版本的能力都强。但直接按 GPT-4o 路线走，估计大概率会失败。目前来看大模型怎么选择路线，还是一个实验科学，你得堆资源，人力，数据训练，当看到就这么一条路，那么选它有很大概率会成功，把他们探索的加速走一遍，而不是直接到终点等着说就按这个路线走。张鹏：大模型技术变化非常快，一边挖地基、一边盖楼的感觉，这楼现在一下都盖到比方说 5、6 层了，统一多模态什么的全出来了。压力会不会更大？还是说，打地基和不断盖楼的过程中，更有信心了？刘煜宏：跑了一遍，当然更有信心。你看到盖到 5、6 楼，不代表前面 1、2、3、4……楼就不需要，只不过你可以盖得更快，深圳速度一天一层楼类似这样，所以一定是要把从零到一的过程重新走一遍。张鹏：你们的做法还是很严谨的。煜宏你在腾讯多少年了？刘煜宏：我 05 年加入的。张鹏：20 年了，那你一定对腾讯的风格非常了解。去年很多大厂积极地抢身位，腾讯好似不争不抢，但在内部挺较劲的。这个是腾讯骨子里带的做事风格？刘煜宏：我在腾讯一直做技术。坦白讲，做技术、产品是可以借鉴的，但也有个词叫「空中楼阁」，没有地基你就上不去。这可能也是腾讯的风格。别人用三年从版本 1.0 迭代到 5.0，你用半年走一遍，如果说产品和技术有参考，那么最大的参考意义在这过程中。走一遍你会遇到同样的东西，这时候会理解，「哦，为什么是这样」，走一遍后也才知道，也许因为用户群、生态等不同，另外一条路可能是更好的选择。
02
从需求中
「长」出来的元宝 App
张鹏：你刚讲很多腾讯内部的产品在用混元大模型了，能不能举几个混元给原有产品带来新的 Feature（功能/特性）的例子？刘煜宏：最新的例子，微信读书里的 AI 读书；微信输入法 AI 帮助扩写；腾讯会议里的 AI 助手，能给晚加入会议的观众总结之前别人讲了什么，把一次很长会议的会议纪要给摘出来。还有腾讯文档里的续写；企业微信里的翻译帮助与海外同事交流。现在腾讯旗下的协作 SaaS 全都接入了腾讯混元大模型。再早一点的例子，智能客服在内部最为普遍。其实在用大模型之前，智能客服就做得挺成熟的，但大模型还能再提升 20%，这种程度的效率提升。其实做了（大模型）产品之后，也帮助了自己很多，比如用 code copilot 写代码（涵盖前后端开发，C，C++，Java，Go，Python 多开发语言）的采纳率有 30%，相当于 100 行代码有 30 行是AI写的，而且被采纳。设计师设计 logo 时也用 AI 文生图来帮忙，每天千万级收入的广告业务的一些素材，就 是用 AI 助手来做的。大模型对于降本增效起到很大助力。张鹏：你刚提到，腾讯内部接近 700多个产品在用混元大模型，算是混元的「内部客户」已经有 700 家了，那你怎么服务得过来？同时还得兼顾不断前进的技术。刘煜宏：内部调用量大概将近 3 亿次了。去年我们发布（节奏）慢，一部分原因也是我们投了很多资源先服务好内部的「客户」。腾讯做事情，对外开放前一定要先在内部打磨好，自己的狗粮自己先消化。同时，腾讯确实有最齐全的业务场景，办公协作、游戏、社交、推广搜等等。在这些丰富的场景中，也能练兵，也能练模型。精调、以及其他给产品的反馈，反过来又反哺到主模型里。比如，会议总结、function call 等。对于内部产品接入混元，我们提供三种模型来支持。第一种叫全托管，给没有那么强研发资源的团队，他们提业务需求后，我们想办法把模型精调好，他拿走直接用；第二种叫半托管，有些业务有自己的研发，也能做算法优化，我们一起共建，一人一半，他们搞不定我们再上。最近两年「开源协同」在腾讯内部很流行。还有一种，我们把模型开放后就不管了，剩下的业务如果有需要，自己加数据、自己调。我们去年也是花了大半年，慢慢把几个模式跑通。我们提供一站式精调服务，叫「混元一站式」，允许他们做各种创作、优化，内部根据需求调用资源，模型、算法、插件。张鹏：三种模式占比如何？刘煜宏：7 成左右拉 API 就可以了，啥都不用管。另外 3 成多少要精调，这其中拿走模型完全自己精调的会比较少，因为有门槛，我们一起参与的进展会更快。张鹏：70% 的业务直接调用混元API，30% 要精调，哪些产品、业务要重点支持？这个选择权到底在谁，或者看业务部门谁更有影响力吗？刘煜宏：这时候我们会基于两点考虑，一是复杂度，投入多少资源能帮你解决问题；二是同等难度和投入的情况下，先考虑战略重点。资源配置上，其实主要看客观需求。目前 70% 是 API 模式就能搞定，用的是大模型的通用能力。那就看什么场景用大模型的通用能力就可以解决，比如像娱乐场景这样容错度高的场景，没有强解决问题的能力也行。但要做金融、医疗、法律等严肃场景，不能有幻觉，通用 API 不一定搞得定，要专门精调，为严肃场景做大量优化。所以，第一是看用户选择。第二，这个数据在不同阶段也会变。最开始我们支持腾讯会议、腾讯文档时，扩写、润色、总结能力都是需要定制的。一旦做好了，这个能力就能变成通用 API 能力，开放出来给以后接入的业务用，这时候就不再需要定制了。比如给腾讯会议做好了，腾讯文档、腾讯邮箱也有类似的需求。张鹏：把模型做好，这几种模式跑顺，服务好 700 家「内部客户」，是挺花时间的，所以你们去年不着急对外说，是在忙着解决服务内部的问题。刘煜宏：最开始做混元，没想要做 ToC 产品，是要把基础模型打磨好，服务内部需求，这是我们原来的逻辑。当我们在内部很多产品、不同场景里验证后，发现这个能力可以拿出来给大家用，所以去年 9 月份推出了「腾讯混元助手」小程序，因为觉得在微信生态里也可以用。但后来发现这样做也有不足，比如使用时被聊天打断，没法持续地对话，它就没法成为一个好用的 AI 工具。于是推出了 App。整个过程里，我们不断地思考、调整方向。从做一个底层模型、一个基础功能、平台服务内部业务，到后来发现，如果不探索原生AI大模型应用，不知道怎么跟业务更好合作，所以又前进了一步，从小程序，到 Web 产品，App 产品。张鹏：市面上也有很多比较热的大模型产品，主打陪伴类等等，你们「元宝」做得比较简单，界面就一个框，当时是怎么思考的？
元宝 App 第一屏界面｜图片来源：腾讯刘煜宏：选择现在这样的界面，还是想回归「用户到底需要一个什么样的AI产品」？现在大模型的使用人群，学历较高、职场人士占多，所以偏工作和学习的场景更重要，娱乐属性也有，但重要性相对低。相应地，我们的 slogan 也调整成，「轻松工作，多点生活」。不是不做娱乐，也留了一些智能体在上面。我们也有开放的平台——元器，上面能做很多智能体，角色扮演、陪伴等等。先选择把生产力场景的用户痛点用 AI 搞定，信息搜索、写文档、想创意、知识获取、阅读等需求。比如搜索场景，我们先做好信息搜索、大模型「阅读」顺畅，又改善了信息源的陈列，提供了又简洁又分层次的信息源，提高生成内容的可信度，规避大模型的幻觉。后面围绕着搜索、阅读、写作、画画和创作等场景做好，这些被视为大模型的基础能力。我们做产品经常说，做加法容易，做减法难。这是为什么我们一开始就用很少的东西，用一个 AI 搜索做，另外还有一个发现页面，上面有些智能体，目前并不多。这也代表腾讯一个做产品的理念，小而精，做减法。先瞄准能提升大家效率的、最有用的场景，把它做透。我们希望提升信息组织、以及信息被找到的效率。张鹏：为什么不做娱乐产品？是产品取向选择，做提升生产力更重要？还是从技术上来看，认为做娱乐对于技术提升不重要？刘煜宏：不是说娱乐不重要，大家还是需要情感陪伴的。当下先选择工作和学习场景，第一个有选择的原因。第二个，当我需要陪伴的时候，AI 能给到什么样的帮助？角色扮演的产品有很多，但（模型）能力做不到那么好。打发时间，暂时只能做到这点。张鹏：人们对「杀时间」的事包容度高，模型能力没那么好也能没准让用户愿意掏钱。刘煜宏：对。这是选择问题。我觉得选择娱乐场景这个目标，对目前大模型的这个阶段的发展不是很好。基于对自己的认识和选择，先把技术能做的做好。我们先把底层模型、基础的产品体验、元宝体系做好了，在此之上开放一些东西，就像微信，小程序，公众号，都是生态。那娱乐的事情就交给生态产品，QQ、游戏、视频、音乐，他们做娱乐场景比我们更擅长。张鹏：腾讯本身就是一个庞大的产品生态，元宝未来会跟腾讯的产品体系打通吗，比如微信？这方面有什么计划？刘煜宏：我们跟微信团队一直有互动。比如元宝里用得好的东西想要分享到微信，或者在微信里传个文件，能不能用元宝打开？这些互动，我们有探讨怎么做会更好。但因为微信用户非常庞大，任何一点小改动，都可能影响上亿人的体验，所以也非常谨慎。5 月 30 号元宝发布之后，外部解读元宝和腾讯生态产品的打通，有点出乎意料。我们确实会考虑与腾讯生态如何互动，但毕竟元宝还是一个很小的产品，还在尝试阶段；另外，用户需求真的是慢慢发展起来，才会变成所谓的战略，我们并没有上帝视角，还是基于用户的需求来考虑。比如面对用户搜索的需求，我们要做一个什么样的信息检索，搜哪里？那我们有搜一搜、新闻、视频、音乐、企鹅号，包括公众号是一个很好的内容源，这是一个顺理成章、跟着用户需求慢慢出来的事情。我们也看到很多创作者来说，元宝 App 里加入公众号的内容源是一件非常好的事情，一些好的内容都被遗忘了，元宝还能把它挖出来，让它重新火一把。但我们有一些更长期的目标，我们考虑的是，混元怎么支撑内部业务、做到何种程度。张鹏：看来腾讯对自己要求很高，就像你说的，如果没有吃过自己的狗粮，没有真正用起来，不太愿意让别人为我付代价。但同时，这会不会降低了对外开放、快速迭代探索的可能性，让更多力量一起「共创」本身不就是一种「技术红利」吗？刘煜宏：确实，让更多人进来，用户、开发者、企业进来，一定会产生更多可能。混元一方面是通过内部比较全面的生态体系来打磨、创新。经历了内部的一轮洗礼，外部的需求会更游刃有余。而且，任何一个东西，你拉长看，现在的进展可能会显得微不足道的，假如外面是个大海洋，先在湖里面练好游泳再出去会做得更好。同时我们也有混元 API 供外界用，其中混元 lite 的模型是直接可以免费使用，还有元器开发平台，上面已经有很多开发者做智能体，然后分发到元宝、QQ、小程序等渠道上面去用。比如腾讯云的同事会基于做好的底层基础模型，做行业大模型，针对企业做服务。这部分增长非常迅猛，免费模型的调用量、付费版都增长了很多，我们也要投很多资源来支持、优化。
03
AGI 是信仰，眼下的目标
是「让模型多一些思考
张鹏：你怎么看 Character.ai，一个以前不存在的产品形态在未来的发展空间，以及对于技术的要求会是怎样的？刘煜宏：类似角色扮演的需求，我们在 ToB 的场景里也遇到了，比如类似智能客服的接待助手。会告诉它「你是谁」，但发现聊了几十轮之后，它可能就忘了自己是谁。Character.ai 很火，我们做了很多用研，但最后选择没做类似产品，因为混元还是希望做一个（技术）平台，我们会往它所需要的底层能力去做，长文本、长窗口的能力、记忆能力等。这些角色产品的探索可能更适合腾讯的产品团队，他们来做会有更多想象空间。另外，从腾讯的角度看，也还是希望做底座能力和产品，把空间开放给市场上更多创业公司。张鹏：所以你目前看得不是产品，而是产品背后需要的能力和长期有没有意义。我可以理解为，混元的目标是做好技术底座，为腾讯丰富的产品条件和用户场景，做好AI Native 的准备？刘煜宏：一定程度说可以这样说。但混元团队也没走过大模型这条路，也要探索原生的应用和创新。就像刚提到的元器，我们做好底座，创作、工作流平台，业务部门和用户拿来做智能体，实现各种各样的想法，这是我们的定位。我们做探索的同时，把底座的技术能力打造好，这是有门槛和难度的。张鹏：有人说对国内的大模型来说，GPT-4o 是「必答题」，Sora 是「选答题」，哪些在你们看来是技术趋势上的必答题和选答题？刘煜宏：GPT-4o 和 Sora 背后代表的多模态甚至全模态，对我们来说都是必答题，但一般没做出来之前，也不会对外说。做与不做，可能只是一个特定资源条件下的选择问题。腾讯为什么必做？因为腾讯业务场景齐全，社交、游戏、内容，每个模态跟我们场景都有契合点，不做的话，可能某个方面未来会缺。一个东西将语音、文本、图像、视频都能搞定，全模态进，全模态出，需要一些时间和资源。也许每个阶段会有不同重点。张鹏：从混元的角度，你会怎么定义 AGI？刘煜宏：目前 AGI 作为信仰比较合适。业界没有一个对 AGI 量化的定义，连定性都未必定的出来。可能从业务的角度，可以定义一个可以操作执行的 AGI 目标。但我最近在思考，让模型稍微多一些思考，这件事挺重要的，因为可能生成的质量会比过去高很多，我们接下来可能会花更多时间在这里。ChatGPT 最早你问他一个问题，他马上吐字回答问题，有点像「快思考」或者说没有思考的直觉反应，但它可能怎么也想不出来一个空城计。让模型做AI搜索，或者其他让它多加几层思考、强迫他多做思考的动作，有助于进一步提高模型的推理能力。
7 月 1 日，「腾讯元宝」AI 搜索能力升级，上线深度搜索模式，可从深度和广度两方面，提供更结构化、更丰富的回答，并可同步生成内容大纲、思维导图及相关人物事件梳理。｜来源：腾讯张鹏：有没有对需要达到的能力范畴的定义？刘煜宏：过去几年里有句话比较流行，有多少人工就有多少智能。以前智能是靠人堆起来的，人类对齐有很多数据要标注，甚至 OpenAI 也靠高质量的标注。坦白来讲，目前要做到（绝对的）AGI 没有那么乐观。务实一点看，针对腾讯内部那么多的业务，如果大模型能把他们的需求都搞定，那可以说它具备了比较好的智能，这可能是通向 AGI 的最佳实践，工具或技术从来都是满足人的需求。目前面对腾讯内部接近 700 个业务的需求满足情况，如果让我打分，一部分场景合格，但是大部分坦率来讲只是暂时够用，要用得好，还有很多努力要做。在这个过程中探索 AGI，也可以算我们的一个实践路径。当然我们也有比较前沿的科学探索，腾讯 AI Lab 在做等等，要花点耐心，把应用和研究结合起来，一起做。张鹏：想象一下混元在三年以后会什么样？刘煜宏：这个年代哪能定三年目标，因为技术曲线仍然陡峭，边走边看。要说做产品，很像写小说，有的时候不是一开始就想好结局。比如 Sora 出来之前，做文生视频的肯定不会走那条路。GPT-4o 之前，大家觉得 4V 很牛了，变化太快了。我们投了很多资源，做好长期战斗的准备。让我想，三年如何讲做成功了，可能无非是 AI in all。张鹏：不是一下投进去，而是所有的东西都被AI逐渐渗透进去。刘煜宏：大模型要改造流程和产品。我希望不用到三年，腾讯产品和技术平台都用大模型做了改造，让大模型帮大家做降本增效的事情，这是我对未来的所想。
