星光麒麟端侧AI大模型应用“星语对话”首次亮相

2024-03-14 15:09:39     来源:

近日,第八届瑞芯微开发者大会(RKDC2024)期间,基于大模型的星光麒麟端侧AI应用“星语对话”首次亮相。“星语对话”目前已完成技术路线验证并在RK3588上成功部署,可向端侧用户提供本地化生成式人工智能(AIGC)能力。

在软件技术分论坛上,麒麟软件专题分享了星光麒麟云边端的AI框架。目前,除了布局端侧AI大模型,星光麒麟AI框架还在不断提升云边端灵活协同的能力,提出了面向万物智联操作系统的云边端AI架构。

在端侧,“星语对话”已具备智能问答、逻辑生成和多语言等能力。在智能问答方面,能够模拟人与人之间的对话过程。当用户提出问题时,系统通过自然语言处理(NLP)理解问题,然后检索或推理相关信息,并将答案转化为自然语言回复用户。

在逻辑生成方面,通过数据清洗和数据预处理,基于模型训练自动调整权重和参数,最大程度地减少生成结果与真实文本之间的损失。在生成文本时,根据输入信息和已学习到的语言规律进行逻辑推理,识别和应用适当的逻辑规则,以更准确、合理且连贯地生成文本。

“星语对话”的多语言特性能够理解和处理多种语言,为用户提供跨语言的智能对话体验。通过训练不同语言的数据,在模型中实现语言间的知识传递,使得用户无论使用哪种语言都能得到高质量、智能化的回复。

除端侧AI大模型的布局外,星光麒麟AI框架还在不断提升云边端灵活协同的能力,提出了面向万物智联操作系统的云边端AI架构。

例如通过RAG技术结合行业知识库,提高计算结果准确度;在应用场景切换时,将对应的Agent能力进行切换,包括模型切换,应用上下文切换,会话挂起等操作;模型编排框架模块负责组织、调度和管理多个机器学习模型,解决复杂场景下多模型的切换及调度;提供云端AI能力下发,端侧便捷部署,云端Al编排,边侧自组网的协同计算等能力;提供高效存储和检索大规模向量数据的系统,具有高效的相似性搜索功能、多样化的查询支持、在线更新和扩展能力等特点,为各种应用场景下的向量数据需求提供了强大的支持;负责云侧、端侧模型管理。端侧数据上报,云侧模型自学习后,新模型下发。端侧模型更新,升级。

不同场景的复杂度不同,对底层大模型的输出精准性要求有所侧重,云边端计算框架根据场景选择模型和算力来源,可灵活地在云端、边缘端或终端设备上执行特定的操作或计算任务。

在云端部署方面,使用Paddle开源平台、讯飞语音SDK、星火大模型SDK等,实现语音识别、语音播报、语音翻译、问题回答、文章生成、语言翻译、代码生成、创造性写作等多种功能。

在边缘侧部署方面,利用软总线组网后进行数据传输,在边侧设备完成模型推理并获取结果,合理分配任务和算力。

在端侧部署方面,使用Whisper语音模型、高性能通用部署解决方案MLC,部署在移动设备上,实现离线的语音识别、问题问答、语言翻译等功能。

随着人工智能(AI)技术的不断发展,操作系统融入AI技术已成为一条必由之路。星光麒麟将利用AI技术不断提高操作系统的资源管理和调度能力,提升系统稳定性,为用户提供更加智能、高效和安全的服务体验,为人机物融合泛在计算提供支撑。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

标签:

猜你喜欢

乘云出海,华为云开年采购季跨境电商解决方案激发行业新增长
银行业反电诈风控管理的痛点总结
贺东风一行到中复神鹰上海公司调研
喜报!私个协系统15家单位荣获2021-2023首都文明单位称号 五方天雅汽车服务园继续保留首都文明单位称号
追觅H30 Ultra&H20 Ultra携180°平躺黑科技,躺平贴地清洁告别清洁盲区惊艳AWE
云上协同、共推大模型,腾讯携手微医打造医疗AI示范标杆
HEKA、广药集团和脊柱睡眠线下科普馆共同发起儿童青少年脊柱与睡眠健康保护活动
擎天战神天生AI玩!“贴吧神机”暗影骑士·擎它杀回来了!
实现 VMware 替代 ,为什么需要重新考虑您的存储方案?
中复神鹰参展JEC World 2024 |“展”出新活力,“会”聚新动能!
新质生产力赋能千行百业!星环科技入选两大AI应用图谱
能效升级难点在哪?赛特新材能效星-SES专为A级能效冰箱设计的真空绝热板有何优势?
从通用走向垂直,探索九章证券领域大模型的先驱优势
Salesforce被苹果应用商店下架,国产CRM尽显本土化优势
中国移动政企安全业务发展研讨会暨“走进启明星辰”专项活动成功举办
性能超Spark 100倍,算立方补上邦盛科技实时智能技术体系的关键拼图
“地球一小时” 低碳一大步
电堆科技SOEC技术产品
思看科技3D扫描仪丨10分钟完成汽车铸铝件模具检测!
江西省联社与邦盛科技深化合作,强化运管账户风险管理
喜报 | 邦盛科技入选2024年度浙江省“尖兵领雁+X”研发攻关计划
科技新航标:余杭区成果转化训练营领航创新先锋之路
学而思素养:践行科学教育,点燃创新火种
智能永信张凯:AI大模型急需常态化测试评估,「数字风洞」保障AI数字健康
悦康药业深耕创新药领域,以先进产品赋能国民健康升级
Testin云测入榜2023数字化转型领军企业
MongoDB洞察:2024年人工智能(AI)值得关注的五大趋势
Rokid开发者践行:三个美院学生为自闭症儿童康复训练架起桥梁
探讨餐饮加盟新趋势,第一届客如云·美味不用等颁奖盛典圆满落幕!
兴业证券:2024年1-2月扫地机器人市场追觅科技增速表现最为亮眼