智能永信张凯:AI大模型急需常态化测试评估,「数字风洞」保障AI数字健康

2024-03-14 09:57:43     来源:

3月13日,华创证券“算力赋能,应用无限”论坛在京举办,AI算力、网络和数据安全等50余家上市公司就人工智能技术创新应用进行深度交流。永信至诚集团CTO、智能永信总经理张凯受邀出席,发表《AI大模型安全测评数字风洞》主题演讲,提出AI大模型急需常态化测试评估,永信至诚「数字风洞」产品体系双管齐下,全面支撑AI大模型基础设施安全与内容风险测评,为AI数字健康提供强有力保障。

开展常态化测试评估是实现AI大模型安全的必要前提

随着AI技术的发展和广泛应用,特别是AI大模型的兴起,推动着社会生产力的不断创新与变革,也带来了前所未有的安全风险和挑战。张凯提出,“百模大战”时代下,一些实际存在的AI大模型安全问题引发公众的深切担忧,一是AI大模型作为复杂的软件系统,面临基础设施和软件安全风险,如系统漏洞、数据泄露、模型篡改等;二是AI大模型虽然提高了内容产出质量,但同时生成的内容可能包含误导信息或偏见内容,被用于不良目的,如钓鱼邮件和恶意软件的编写,降低网络攻击等犯罪门槛。

为促进AI大模型产业健康发展和规范应用,国家持续加强对AI技术和应用的安全监管,先后颁布实施《生成式人工智能服务管理暂行办法》(中央网信办等七部门联合发布)以及《生成式人工智能服务安全基本要求》(全国网安标委发布),都提出开展AI安全评估、建立常态化监测测评手段等要求,这为推动AI大模型安全落地指明了方向。常态化安全测试评估已经成为实现AI大模型安全的必要前提

AI大模型安全测评「数字风洞」,支撑AI大模型全生命周期安全检查

针对AI大模型存在的安全问题以及大众的担忧,结合监管要求,张凯认为要从实质安全运营的角度出发,基于AI大模型安全测评「数字风洞」,对基础设施安全和内容安全风险进行持续性检查。

一、产品乘服务,打造基础安全设施测试平台

AI大模型安全测评「数字风洞」作为一个以安全检测为核心,以“产品乘服务”体系为手段,以安全风险防范化解为目标的测试评估平台,通过模拟各种网络攻击和系统入侵场景,检验AI大模型在不同攻击下的韧性,识别AI大模型基础设施存在的风险,预见和预防未来可能出现的威胁。同时基于永信至诚自主研发的风洞时光机系统,构建“测试-发现风险-迭代优化-再测试-再迭代优化”的科学测评流程,通过安全风险的反复验证、消除和收敛,提升实质性安全。

二、以AI测试AI,强化AI大模型内容过滤系统

针对内容安全风险,张凯强调AI大模型安全测评「数字风洞」的核心优势在于集成了永信至诚AI春秋大模型和「数字风洞」产品体系的能力。基于100+提示词检测模板以及20万+基础提问,AI大模型安全测评「数字风洞」以攻击者视角构建出引导AI大模型产生不当回答的测试载荷,对AI大模型的安全规则和过滤机制进行深入测试,评估其在处理潜在敏感、违法或不合规内容时的反应,确保AI大模型输出内容更符合社会伦理和法律法规要求,避免安全隐患变成安全事件。

对于AI大模型安全测评「数字风洞」的应用价值,张凯认为可以在多方面体现,例如,监管机构可以通过「数字风洞」对市场上已公开使用的AI大模型以及将要上市的AI大模型进行安全测评,为安全合规工作提供智能化手段支持;AI大模型厂商或AI大模型安全公司可以利用AI大模型安全测评「数字风洞」充分识别自身模型的弱点和安全内容漏洞,进一步强化产品本身的过滤系统和内容辨别能力

2022年,我国人工智能核心产业规模已达5,000亿。据沙利文咨询预测,2024年我国人工智能市场规模将突破7993亿。这也意味着,随着AI技术的广泛应用,AI大模型安全测试评估赛道拥有巨大的市场潜力和发展空间张凯认为,AI发展的大体历程可以分为三个阶段:AI助手、AI工具以及AI智能体。在AI智能体阶段,「数字风洞」作为AI大模型的安全基座,持续支撑AI大模型常态化安全测试评估,为AI技术在千行百业的安全应用保驾护航,保障AI“数字健康”,带给世界安全感。


标签:

猜你喜欢

网易严选供应商大会:共筑高质高效、绿色精益、协同共赢供应链生态
鸿蒙智联伙伴峰会:海雀荣获“华为智选卓越合作伙伴奖”
如何给人工智能大语言模型(LLM)做安全防护?
罗永浩:超薄油烟机分两种,老板超薄和其他
香港城大创新学院硕士课程招生 助力HK Tech 300培育创科人才及孵化初创企业
执行力+超预期,智联招聘总裁张月佳解析职场发展的“增长思维”
统计显示地震活跃,墨迹天气地震预警守护用户安全
持续优化车场经营决策,捷停车「车场经营月报」上线
探索就业新动能,智联招聘联合赛迪研究院洞察“新制造”
“边缘计算机”领导者图为科技应邀参加华为政企合作伙伴答谢大会
以科技创新推动产业创新 脑机接口为“新质生产力”赋能
上海交通大学骨科学院与HEKA 联合发起成立国际脊柱与睡眠健康研发中心
马达加斯加驻华大使馆聘任玄武科技杨登峰为人工智能顾问
想要宝宝好成长,在奶粉全国十大品牌排名选对合生元派星是关键
第二十一届“深圳知名品牌”榜发布,积木易搭入选!
凭什么美的这款星光风管机一上市就卖爆了?
避免“一刀切” 银行反电诈风险管理精细化如何提升?
上海交通大学骨科学院与HEKA联合发起成立国际脊柱与睡眠健康研发中心
萨摩耶云科技集团林建明:金融新质生产力是一个新世界的开始
生鲜配送系统app蔬菜农产品配送软件首选悦厚:为何生鲜配送企业最值得投入的是生鲜配送管理系统?
标贝科技亮相焉知汽车电子与软件生态合作科技节
海量数据亮相轨交大会,为行业数据库转型交出高质量答卷
江苏移动创新产品供给 点燃新型消费“强引擎”
遨游推出M6,集成5G国产芯片、鸿蒙系统和独立北斗,引领国产替代
“房山好生活”主题消费季启动:发放汽车消费券,推出多项惠民精品活动
钉钉&《植物大战僵尸2》跨界联动,坚果版电子木鱼,让打工人告别破防!
直播电商激发新消费活力,促进中小商家成长
突破影像天花板 三星Galaxy Z Flip5打造创意十足的拍摄体验
南大考古教授抖音探店一个月涨粉百万,半年带火80家宝藏小店
强强联合!钉钉与实在智能达成战略合作,推出零售电商行业数智化方案