如何给人工智能大语言模型(LLM)做安全防护?

2024-03-13 17:23:42     来源:

什么是LLM?

LLM是Large Language Model的简称,中文名是大语言模型,是一种基于海量文本数据训练的深度学模型(人工智能模型)。

LLM发展至今,其参数量已经达到万亿规模。

LLM应用场景?

LLM常见应用及部署场景:

1、私有LLM

私有LLM应用场景一般是私有化部署,给公司内部员工使用,聚焦垂直领域,训练数据涵盖公司特有数据,比如:辅助工程师编程的LLM应用。

2、公共LLM

公共LLM广泛应用于各领域,采用SaaS形态,广大用户在互联网共同使用,可用于辅助写文章、作画、制作视频等,这类LLM应用有:国外的OpenAI ChatGPT、国内的百度文心一言等。

3、独立LLM

这里指的是独立售卖的LLM产品,无须部署,就像手机一样买来就可以用,比如:聊天机器人。

国内、外LLM应用场景仍在积极探索中,你更看好哪种应用场景呢?

LLM安全威胁有哪些?

LLM应用也属于Web应用范畴,采用了HTTP/HTTPS协议,常见的Web应用攻击也会威胁到LLM应用,如:XSS、SQL注入攻击等。

LLM应用除了受到常见Web应用攻击的威胁,还会受到针对LLM应用场景的新型攻击的威胁,结合创宇安全智脑威胁情报,安全专家分析后发现,针对LLM应用最常见的攻击是:提示词攻击、API攻击、数据投毒攻击、个人可识别信息泄露攻击、模型拒绝服务攻击

1、提示词攻击

这种攻击涉及策略地设计和操纵输入提示,以影响LLM的输出。这包括两种主要的策略:

1)提示注入:通过精心制作的提示操作模型,绕过过滤器,导致模型产生非预期的后果,如数据泄露、未经授权的访问、仇恨言论产生、假新闻产生等。

2)攻击、目标劫持和提示泄漏:这些方法通过操纵原始提示的目标,误导模型生成特定的目标短语或重现原提示的部分或全部,违背用户指令。

2、API攻击

目前从市场来看,由于人工智能技术的复杂和不确定,开发、测试和部署人工智能模型通常需要使用很多API,并将它们组合成复杂的系统。API的安全和稳定,对于保证整个人工智能系统的稳定运行至关重要。如果API发生问题,将会影响整个人工智能系统,导致系统崩溃或无法正常工作。

在使用人工智能系统时,很多应用场景都需要通过这些API处理复杂计算、获取用户敏感信息、输出模型结果,所以跟其他Web应用类似,LLM的API通常也被黑客作为重点攻击对象。如果这些API的安全得不到有效保障,就会影响人工智能应用的可靠、稳定,而由于LLM在实时进化、输出结果的不唯一等特点,API攻击带来的威胁会被放大。

3、数据投毒攻击

数据投毒攻击(Data Poisoning Attack)是一种针对大型语言模型(LLM)的攻击方式。攻击者通过在训练数据中添加有毒样本,故意扰乱语言模型的决策过程,从而产生错误的输出。常见的攻击手段包括直接向训练数据中注入不安全代码,以及通过触发词植入后门,数据投毒攻击常跟后门攻击组合使用。

4、个人可识别信息泄露攻击

个人可识别信息泄露攻击(PII Leakage Attack)是一种针对大型语言模型(LLM)的隐私攻击方式。攻击者通过模型输出获取训练数据中的个人可识别信息,如:姓名、联系方式等敏感信息。训练数据来源复杂,LLM训练数据来源复杂,可能包含大量PII,模型可能记忆并泄露这些PII。

攻击手段:攻击手段包括直接询问模型获取PII、利用模型记忆能力恢复PII、以及利用模型生成包含PII的内容。

5、模型拒绝服务攻击

模型拒绝服务攻击,指攻击者对大型语言模型(LLM)进行资源密集型操作,导致模型服务降级、不可用,或资源成本大大提升。由于LLM的资源密集型、用户输入的不可预测、模型输出的不唯一等特征,跟非LLM应用相比,LLM应用的该漏洞攻击会被放大。

OWASP 也于2023年10月发布了《OWASP 大语言模型人工智能应用Top 10 安全威胁》,指出了针对LLM应用的Top 10安全威胁,这跟我们的分析结果是高度吻合的。

备注:

《OWASP 大语言模型人工智能应用Top 10 安全威胁》原文中文版链接:

https://www.llmtop10.com/assets/downloads/OWASP-Top-10-for-LLM-Applications-v1_1_Chinese.pdf

OWASP:指开放式Web应用程序安全项目(Open Web Application Security Project),是一个非营利组织。

知道创宇推出LLM应用防护方案

结合期LLM应用的攻击态势,我们基于云防御推出了LLM应用防护方案,涵盖LLMDDoS清洗、应用安全、API安全、内容安全等防护服务

1、LLM DDoS清洗

采用抗D保CC防火墙、IP限制、APP专用防CC策略等功能,对IP的访问频率、流量进行限制,对APP端的伪造CC请求进行清洗,阻挡“模型拒绝服务攻击”。

2、LLM应用安全

采用创宇盾网站防火墙、协同防御、精准访问控制等功能,拦截XSS、SQL注入等常见Web应用攻击,并对包含恶意输入内容的“提示词攻击”进行拦截。

3、LLM API安全

采用创宇盾智能限速、屏蔽时间、精准访问控制等功能,保护LLM API免受恶意攻击。API安全作为AI生态链的关键环节,在保障用户数据安全、防止黑客攻击、保护知识产权等方面发挥着至关重要的作用。只有不断加强API安全的保障,才能确保整个AI生态链的稳定运行和长期发展。

4、LLM 内容安全

采用净网盾、隐私盾,对LLM应用源站因遭受恶意攻击,返回的个人敏感信息、仇恨言论、假新闻等内容进行过滤,防止这些敏感数据泄露到互联网,被人非法利用。

如果您对知道创宇的LLM应用防护方案感兴趣,欢迎通过公众号进行咨询。


标签:

猜你喜欢

马达加斯加驻华大使馆聘任玄武科技杨登峰为人工智能顾问
想要宝宝好成长,在奶粉全国十大品牌排名选对合生元派星是关键
第二十一届“深圳知名品牌”榜发布,积木易搭入选!
凭什么美的这款星光风管机一上市就卖爆了?
避免“一刀切” 银行反电诈风险管理精细化如何提升?
上海交通大学骨科学院与HEKA联合发起成立国际脊柱与睡眠健康研发中心
萨摩耶云科技集团林建明:金融新质生产力是一个新世界的开始
生鲜配送系统app蔬菜农产品配送软件首选悦厚:为何生鲜配送企业最值得投入的是生鲜配送管理系统?
标贝科技亮相焉知汽车电子与软件生态合作科技节
海量数据亮相轨交大会,为行业数据库转型交出高质量答卷
江苏移动创新产品供给 点燃新型消费“强引擎”
遨游推出M6,集成5G国产芯片、鸿蒙系统和独立北斗,引领国产替代
“房山好生活”主题消费季启动:发放汽车消费券,推出多项惠民精品活动
钉钉&《植物大战僵尸2》跨界联动,坚果版电子木鱼,让打工人告别破防!
直播电商激发新消费活力,促进中小商家成长
突破影像天花板 三星Galaxy Z Flip5打造创意十足的拍摄体验
南大考古教授抖音探店一个月涨粉百万,半年带火80家宝藏小店
强强联合!钉钉与实在智能达成战略合作,推出零售电商行业数智化方案
不鸣科技旗下游戏《战意》成为电影《陌路狂刀》官方游戏合作伙伴
MWC 展后专访|浩鲸科技加速海外布局,助力客户释放数字生产力
全真光学点亮外滩 刷新品牌高度
每时每刻 臻彩纷呈 三星Neo QLED 8K等全线电视新品预约开启
大品牌 好产品 严控货,飞鹤加爱羊奶赢得高度赞誉
齐乐无穷包晴天荣登“快手内参”:AI法律顾问如何在四个月获得数百万粉丝
云谷❝论数❞2024数据要素×产业推进大会开幕在即,每日互动等联合承办
Adjust集成PC版Google Play游戏解锁更多跨设备营销机遇
EBC英宝纯以高品质产品与贴心服务,领跑室内空气环境市场,献礼315消费者权益日
数据与AI的结合推动护肤美容健康服务智能化升级
绿色旗舰 “植”得期待——2024年OPBU办公用纸肇庆植树活动圆满举行
大宇无限获发行商大奖,Lark Player 荣登应用排行榜第六