近日，QCon全球软件开发大会将在北京召开，容联云分享了大模型产品演进与商业实践。
容联云高级产品架构师唐兴才以「大模型时代的会话智能思考与实践」为主题发表演讲。
核心思考与实践：一是从软件的开发逻辑上AGI从底层上改变了软件生成及服务的逻辑；二是应用层面上，交互体验升级让数据分析唾手可得，生成式智能让AI成为新一代业务增长利器。
以下内容根据其演讲内容整理所得。
一、大模型时代的软件再生与会话智能的思考
大模型的到来，对软件技术的影响，第一个思考是软件交互层面。人与计算机之间的交互会发生改变，体现在操作层。因为应用软件的诞生是为了解决人的工作效率或工作能力的问题。例如：应用软件的诞生让人可以实时掌控的商品流转和绩效的月报数据以及KPI的完成情况。
大模型到来以后，通过大模型具备的理解能力、智能对话、生成式能力和推理决策能力，对客户信息和过往沟通情况等做精准、精细化整理，赋能营销，让沟通更有效，让客户体验更好。
第二个思考是软件构建层面，开发软件是解决客户某一个或某一类问题，过程是先发现问题，产品经理把这个问题的解决方案抽象成各种功能。针对每个功能和流程抽象成不同的界面和按钮，界面和按钮承载其实是客户在使用软件解决问题时的输入。
现在大模型到来，不再投入大量研发完成复杂界面和交互体验的设计，运用大模型的理解能力，计算机可以理解人类的指令，可以很好地完成这项任务。
二、大模型时代的软件再生与会话智能实践
作为技术创新企业来讲，如何拥抱大模型，把握业务趋势？
首先梳理自身优势，再选择大模型与软件的结合点。基于模型应用和能力，可以分为基础大模型、行业大模型或者是场景大模型。拿我们已经发布会的赤兔大模型来讲，将积累和沉淀的行业knowhow应用在行业大模型与场景大模型上。
行业大模型除了算法和算力的需求以外，更需要大量的行业语料数据，能够在行业应用层呈现不同的效果。场景大模型存在的意义和价值在于，能不能把行业场景用大模型来做价值赋能。例如运用大模型的能力，为某个业务场景提升KPI或工作效率。
1、大模型带来更多的数据源，更多的业务场景数据
先从数据说起，数据平台可以分为：数据采集、数据治理和数据应用。数据采集解决的是数据从哪来，数据治理解决数据质量，数据用户匹配、清洗、建模等。数据应用是让数据驱动业务、驱动运营，驱动产品层面数据发挥价值的。
数据采集层面，首先是公域数据，公域数据包含了获客（投放、应用商店，一些公域平台）主要监测到公域数据获客来源的路径；其次是用户来了之后，在私域平台里的行为数据，私域平台包含（网站、APP、公众号、有线下活动），用户落到私域站点以内之后的行为过程做的监测数据。再之是用户有没有购买或者买了几次，在什么平台产生了购买。这些的数据会在业务系统里，售前中、后三方面组成的数据采集。
AGI模式下，会带来大量的会话场景数据，智能agent能力是让每一个应用每一个触点都有可能增加智能对话的部分。例如去点外卖，进入外卖平台会提供一个智能agent，一个智能agent是提供服务，不需要你浏览页面，直接说出需求是什么，agent帮你完成服务，甚至是有一些特别直接的需求。比如说要订票，订一个去北京到上海的机票几点的，直接把这一句话给到它，它就帮你完成，在下单之前与你确认，你只需要说OK，下单。
以前用户分析平台及数据平台采用ID-Mapping的策略，实现360度用户标识。现在有了智能对话，更多采用声纹ID，更便捷与严谨。例如银行贷款信审场景，先用语音机器人电话沟通，询问贷款和基本信息采集，节省人力成本。后边放贷之前会以一个人工客服确认，确认环节与之前的语音机器人环节是一个声纹比对。要确保之前采集材料的人和现在确认的是同一个人，这时候其他的常规ID已不具作用了，只能靠声纹识别前后否是同一人，来保证的贷款的安全性。
2、大模型带来的交互体验升级让数据分析唾手可得
大模型可以让分析唾手可得。之前数据分析平台的逻辑是采用MVC的交互方式。大模型之后的交互方式，把整个分析模型后置，大模型前面会有一个智能agent的存在，与用户交互。用户只要说想看一下今天用户的活跃情况，界面都不用进，一句话报表就展示出来。举例一个复杂的分析需求，洞察分析今天渠道引流的情况，需要几个报表组合式的分析，后台需要plugin已组装好，可以直接呈现结果。以下是个Demo演示。
3、新一代业务增长利器：大模型带来的生成式智能
在生成式智能应用与实践上，大模型应用于各种能力，包含文本生成、图像生成、音频生成等等。在商业价值层面生成式智能可以帮助企业提高效率、降低成本、增强客户体验，从而成为新一代的业务增长利器。例如销售场景，销售与客户沟通，如何让AI帮他提升业绩？这就要讲到容联云规划的基于大模型赋能沟通智能2.0的产品，赋能企服场景解决几个核心问题。
第一个关键问题，训练问题，大模型之后不用再靠训练师把语料填进去，去训练意图，可精准的识别话术或者整个交流意图，已经可以实现在后台界面配置，然后在沟通过程中直接识别。把基础能力训练好即可，例如推荐信用卡业务场景，把涉及到的几个常见意图，比如说分期、利率、额度，在后台配置好，可以直接生效。并且还能基于客户反馈做多轮策略，比如，分期数太短，利率太高，这种反馈能精准识别，识别之后打标签，进行进一步的沟通。
第二个关键问题，是智能知识库，例如好的销售对客户疑问和客户质疑，会有好的回答，能不能把它沉淀下来。大模型实时构建知识很好的解决了这个问题，首先洞察到客户提出疑问的优秀回答，经典话术经过评估后沉淀到模型。
沉淀到模型解决了之前两个最关键问题，一个是客户意图标签识别的问题，不需要大量的训练。其次是知识的沉淀，已经在模型里面能够进行沉淀，也就解决了top sales学习的问题。
如何让大模型的能力帮助到销售提升业绩，成为销售AI副驾驶呢？
首先要通过数据分析洞察，包含智能对话、智能语音等，洞察到销售与客户服务的过程中所有的关键因素。建立销售沟通过程中所有未知因素的标签体系或者是数据体系。
其次是建模强化，建模与强化使用与业务相关的模型，识别出表现最佳和最差的业绩者，从行为和结果两方面进行洞察。找出关键因子，哪些产品或服务是最成功的拓展环节，逐渐成为销售提供AI副驾驶，增强销售的能力助手。
第三个关键问题，产品应用，还以销售沟通场景为例，在与客户沟通过程中实现优秀话术推荐。保障销售与客户沟通遇到棘手问题能够做出极优表现。整个模型体系里有一个关键点是知识库。以前知识库是文档搜索，费时费力很难找。现在基于大模型能力的知识库，文档上传实时信息导入，沉淀到知识库里。
在知识库里可以形成向量库与生成式能力配合，形成数据流转，当知识库形成数据时，文档实时产生信息，然后给到模型后拆解成片段，把片段形成向量值，再存到向量库。
针对问题去匹配向量库会给到最佳答案，最佳答案会有很多片段，片段有相似度问题，把最佳片段给到大模型，让大模型基于推荐内容生成优秀答案，然后给到客服或销售去使用。
当业务平台做一个知识推荐，用户在提问题时，能够及时给一个优秀的参考答案。无论是在线客服或是智能语音客服，都可以有针对性回答，客户提问题的同时就会产生用户会话，理解用户意图和客户标签及后续的沟通情况，会填充到用户画像里。
大模型产品的应用分析洞察起到很大的作用，基于用户行为实时监测的平台，底层是一系列SDK，一系列SDK是为了保证企业与用户之间的所有触点全部进行触点采集，并且是高效和精准采集。SDK接入数据会进入实时计算平台，实时计算消息中心，Flink计算能力入库到数仓，上层是查询引擎对接的分析模型。分析模型有很多，有活跃的、有留存的、转化的，甚至是广告分析以及ROI监测，最终再通过智能agent以及智能对话的方式，提取用户意图拆解查询API诉求，在下层会组装分析模型的查询，然后给用户一个想要的查询结果。
4、容联云赤兔大模型应用与实践
容联云赤兔大模型是基础层，我们所有智能应用产品是构建在赤兔大模型之上，上层搭建智能化应用。该平台可以私有化部署调用，应用流程简单，还可以多模型切换。
容联云做产品遵循从客户需求出发小样本启动，例如基础大模型的知识库场景，测行业数据的准确率，以一个信用卡或一个产品信息为例，内部文档传到模型里以后，准确率是否能达到使用的效果，有一个临界值低于85%认为不可用的。
上图是容联云智能化产品体系架构图，底层是数据底座和AI底座。
数据板块解决的是数据采集、数据治理等数据基础建设的问题。
AI板块又分为两大模块，一是基于NLP模型的小模型。二是大模型的底座能力。
基于数据与AI的能力上层构建智能化应用，智能化应用现在已经覆盖到了分析洞察，包括用户分析、洞察分析、会话洞察分析；以及会话智能、智能语音、语音机器人、文本机器人、AI销售助手、视频展示AI助手、智能辅助Copilot等。
最上层业务平台是模块应用，例如在线服务、语音服务、工单，CRM等基本的业务流转。
在业务平台之上，有个AI组件作为智能辅助，可以解决AI智能化的问题，提升用户效率和工作质量，是业务人员副驾驶的角色。同时该工作空间具备APaaS能力，在企业数字化转型的过程中，有多平台之间转换，聚焦业务“营销服一体化平台”企业客户所渴望的，但因构建周期或成本等原因不可能完全都有，具备APaaS能力就可以接入不同的应用。
总结
大模型产品目前可见的能够帮助企业更快、更准确地完成任务，提高效率和生产力。此外，还可以帮助企业更好地理解客户需求，提供更好的客户体验，从而增强企业的竞争力，还可以帮助企业更好地分析数据，发现潜在的商业机会，从而获得更多的收益。拥有商业价值才能永久存活和发展壮大。
