主流大语言模型集体曝出训练数据泄露漏洞

谈思汽车 2023-12-05 11:51

 智能汽车安全新媒体 


近日,安全研究人员发布的一篇论文给“百模大战”的生成式人工智能开发热潮浇了一盆冷水。研究发现,黑客可利用新的数据提取攻击方法从当今主流的大语言模型(包括开源和封闭,对齐和未对齐模型)中大规模提取训练数据。


论文指出,当前绝大多数大语言模型的记忆(训练数据)可被恢复,无论该模型是否进行了所谓的“对齐”。黑客可以通过查询模型来有效提取训练数据,甚至无需事先了解训练数据集。


研究者展示了如何从Pythia或GPT-Neo等开源语言模型、LLaMA或Falcon等主流半开放模型以及ChatGPT等封闭模型中提取数以GB计的训练数据。


研究者指出,已有技术足以攻击未对齐的模型,对于已经对齐的ChatGPT,研究者开发了一种新的发散数据提取攻击,该攻击会导致大语言模型改变聊天机器人的内容生成方式,以比正常行为高150倍的速率疯狂输出训练数据(下图):


图1:发散攻击导致对齐后的chatGPT以150倍的速度输出训练数据


研究者表示:发散数据提取攻击方法在实际攻击中可恢复的训练数据大大超出了事前的预期,同时也证明当前的大语言模型对齐技术并不能真正消除记忆。


研究者利用偏差攻击提取训练数据中的隐私信息


据研究者介绍,大型语言模型(LLMs)会从其训练数据集中记忆样本,可被攻击者利用提取隐私信息(上图)。先前的安全研究工作已经对开源模型记忆的训练数据总量进行了大规模研究,并且通过手动标注示记忆和非记忆样本,开发并验证了针对(相对)小型模型如GPT-2的训练数据提取攻击。


在最新发布的论文中,研究者将“成员推断攻击”(用于确定数据样本是否训练数据)和数据提取攻击两种方法统一起来,对语言模型中的“可提取记忆”进行了大规模研究。


研究者开发了一种可扩展方法,通过与TB级数据集比对,检测模型输出的数万亿个token的记忆内容,并对流行的开源模型(例如Pythia,GPT-Neo)和半开源模型(例如LLaMA,Falcon)进行了分析。研究者发现,无论开源还是闭源的大语言模型都无法避免新的数据提取攻击,而且参数和Tokens规模更大、性能更强劲的模型更容易受到数据提取攻击:


九个开源大语言模型测试结果


九个半开源(训练算法和训练数据不公开)大语言模型的测试结果


研究者发现,“对齐模型”也不能避免新的数据提取攻击。例如,gpt-3.5-turbo对常规数据提取攻击免疫,看上去似乎成功“忘记了”训练数据。研究者推测是因为ChatGPT已经通过RLHF进行了对齐,目的是使其成为“安全高效”的,可推向市场(生产环境)的个人聊天助手。


但研究者开发了新的提示策略(仅适用于GPT3.5turbo),成功绕过了gpt-3.5-turbo的对齐技术,使其“偏离”预设的聊天机器人风格,表现得像一个基础语言模型,以典型的web文本格式大量输出文本。


为了检查这些输出的文本是否是此前从互联网上采集的训练数据,研究者将几个公开可用的大型网络训练数据集合并成一个9TB大小的数据集。通过与这个数据集匹配,研究者以200美元的查询成本从ChatGPT对话中恢复了一万多个训练数据集样本。研究者粗略估计,通过更多的查询可以提取超过10倍的(训练)数据。


研究者在论文中透露,在7月11日发现该漏洞后,通知了包括OPT、Falcon、Mistral和LLaMA等模型开发者,并在8月30日向OpenAI披露了其漏洞,并根据90天漏洞披露规则,于11月30日发布论文,希望能唤起业界对大语言模型数据安全和对齐挑战的关注。


最后,研究者警告大语言模型应用开发者,渗透测试结果表明现有的大语言模型安全措施(模型对齐和内容记忆测试)难以发现大语言模型的隐私漏洞,更不用说那些隐藏在模型算法代码中的“休眠漏洞”。如果没有极端的安全措施,现阶段不应训练和部署涉及隐私和敏感信息的大模型应用(编者:例如医疗、法律、工程)。


文章来源:

mp.weixin.qq.com/s/lmvVLEK9D4q32Q4WwpniiQ

-  THE END  -

因文章部分文字及图片涉及到引用,如有侵权,请及时联系17316577586,我们将删除内容以保证您的权益。

谈思汽车 智能汽车安全新媒体
评论 (0)
  • 一、实验目的熟悉定时器的基本结构,学习定时器的功能和控制方法,并实现基于定时器中断方式控制程序。二、实验原理定时器TMS320CC6748有4个定时器/计数器,均可配置为64位计数器、两个独立32位计数器及自动重装32位计数器,可以产生周期中断DMA事件及外部事件。定时器/计数器还可以用于捕获外部输入信号边缘并计数。此外,定时器1还可以用作64位看门狗计数器。本实验使用的是定时器2。定时器的功能(1)定时时钟源一般来源于DSP内部,当然也可以选择来自于外部。(2)计数可以利用它的功能来计算外部脉
    创龙教仪 2024-02-21 14:09 34浏览
  • 热斑效应:太阳能电池一般是由多块电池组件串联或并联起来。串联支路中可能由于电池片内部缺陷或者外部遮挡,将被当作负载消耗其他有光照的太阳电池组件所产生的能量。被遮蔽的太阳电池组件此时会严重发热而受损。编辑搜图请点击输入图片描述(最多18字)旁路二极管:是指并联于太阳能电池板正负极两端之间的二极管,能够有效地防止硅电池片因热斑效应而烧毁,是光伏太阳能组件的重要组成部分,旁路二极管的质量直接影响着光伏电站的发电量及使用安全。编辑搜图请点击输入图片描述(最多18字)热性能测试旨在确定二极管的温度特性以及
    普赛斯仪表 2024-02-21 14:20 35浏览
  • 2024龙年春节前夕,中国激光雷达产业备受关注。首先是1月31日,美国国防部正式将10多家中国企业列入“中国军方企业名单”,其中就包括中国领先的激光雷达企业禾赛科技。随后禾赛科技在2月7日,官宣将起诉美国国防部。传感器专家网https://www.sensorexpert.com.cn专注于传感器技术领域,致力于对全球前沿市场动态、技术趋势与产品选型进行专业垂直的服务,是国内领先的传感器产品查询与媒体信息服务平台。基于传感器产品与技术,对广大电子制造从业者与传感器制造者提供精准的匹配与对接。在2
    传感器专家网 2024-02-20 21:15 46浏览
  • 很高兴在面包板社区获得清华大学出版社出版的《物联网鸿蒙系统App开发》一书的试读机会!《物联网鸿蒙系统APP开发》首先用一章的篇幅介绍了智能手机操作系统的发展历史、智能手机操作系统的开放与封闭之争及其各自的优势、鸿蒙系统的发展历史、鸿蒙系统在物联网时代的优势、鸿蒙系统的特点和鸿蒙系统的分层架构。接下来就是本书的主题内容:从鸿蒙的开发环境讲起,然后从创建第一个鸿蒙App开始,从用户界面布局开发、常用UI组件开发、鸿蒙页面及数据服务开发等11个角度介绍了鸿蒙系统开发的方方面面。最后一章简单介绍了鸿蒙
    goldjack_680784864 2024-02-20 23:08 64浏览
  • 质量管理办法一直是各大企业最核心的根本,例如:国际标准ISO 9000:2015中提出的质量管理 (QM)七项原则、知名车厂的8D (福特)、A3 (丰田) Report以及因应工业4.0所延伸出的质量4.0管理办法等。然而,在谈论全面性的质量管理前,无论企业采用何种质量管控办法,产线良率筛检的环节若无法有效把关,则一切都白费了,面对大批量的生产过程中,需要做到更快、更多、更有效的数据管理,仅靠耗时量少的人工抽样检测,是无法满足现今高质量管理需求的。无法有效把关,出现种种潜在风险1.检测量能不足
    百佳泰测试实验室 2024-02-21 15:23 44浏览
  • HDMI是市场上影音产品的主流接口之一,随着电竞市场蓬勃发展,HDMI 2.1规格针对电竞产品新增加了VRR(可变刷新频率)功能,让用户在玩游戏时可以减少画面的撕裂延迟等现象。VRR功能目前已普遍支持PS5、Xbox等游戏机或是Nvidia、AMD等高阶显卡,也成为消费者在考虑购买电竞屏幕时的重要评估指针。电竞屏幕画面延迟风险与解决方案电竞屏幕属于高阶产品,且客群非常重视其效能表现,百佳泰与市场上主流品牌及ODM在屏幕上有着长期的合作,我们在实测中发现导入了VRR功能的屏幕却仍发生画面不顺畅的状
    百佳泰测试实验室 2024-02-21 16:42 60浏览
  • 一百三十多年前,奔驰夫人贝尔塔为了回击社会舆论对奔驰一号的质疑,驾驶着奔驰汽车从曼海姆出发,直驶104公里外的位于普福尔茨海姆的娘家,全程虽开的磕磕绊绊,但却为汽车的宣传起到了极佳的作用。直至今日,汽车领域新技术的应用依旧会伴随着各种质疑,软件定义汽车的新趋势不断发展,对其的质疑,要求行业对汽车软件要更加严格把控,汽车软件测试日益成为汽车电子开发领域不可忽视的一环。面对当前汽车软件测试的高要求,针对汽车软件代码的测试,会成为软件定义汽车时代势必要关注的内容。而VectorCAST作为汽车电子行业
    北汇信息 2024-02-21 13:57 64浏览
  • 一、实验目的了解AD9833的芯片特性和输出波形的原理,并实现基于AD9833产生正弦波输出。二、实验原理StarterWareStarterWare是一个免费的软件开发包,它包含了示例应用程序。StarterWare提供了一套完整的GPIO寄存器配置接口,简化了开发步骤,程序开发时只需要调用相应接口即可。安装StarterWare 后,可在安装目录下找到 C6748 所有通用库函数和对应的源码(StarterWare的 drivers 目录下,部分位于其他相关目录下),同时可在安装目录docs
    创龙教仪 2024-02-21 14:27 38浏览
  • 瑞典乌普萨拉,2024年2月20日 – 全球领先的嵌入式系统开发软件解决方案供应商IAR宣布:推出其旗舰产品IAR Embedded Workbench for Arm功能安全版的最新版本9.50.3。此次发布进一步加强了IAR支持开发人员创建安全、可靠和符合标准的嵌入式应用程序的承诺,涵盖了汽车、医疗设备、工业自动化和消费电子等多个行业。该版本中最重要的新功能是经过认证的C-STAT,这是专为安全关键应用程序设计的静态代码分析工具。 IAR Embedded Workbench for
    电子科技圈 2024-02-21 15:39 51浏览
  • 据传感器专家网获悉,2月20日国产3D 视觉传感器龙头企业奥比中光发布公告,终止2023年度向特定对象发行A股股票事项,该定增项目涉及超15亿元资金。传感器专家网https://www.sensorexpert.com.cn专注于传感器技术领域,致力于对全球前沿市场动态、技术趋势与产品选型进行专业垂直的服务,是国内领先的传感器产品查询与媒体信息服务平台。基于传感器产品与技术,对广大电子制造从业者与传感器制造者提供精准的匹配与对接。关于终止本次向特定对象发行股票事项的原因,奥比中光在公告中介绍称:
    传感器专家网 2024-02-20 21:24 70浏览
  • 电子产品质量的无故障工作时间(MTBF,即Mean Time Between Failures)指标,听起来很专业,其实它就像是我们日常生活中的“持久力”或者“耐力”概念。想象一下,你买了一款新手机,希望它能陪伴你至少几年时间,而不是频繁出现故障。这款手机的MTBF就是指,在平均情况下,你使用这款手机多久后,它才会出现第一次故障。MTBF不仅是一个技术指标,更是对电子产品制造商质量控制的考验。一个高的MTBF值意味着制造商在材料选择、工艺设计以及质量控制方面都做得很好,这样的产品自然更受消费者欢
    丙丁先生 2024-02-21 08:00 77浏览
  • 各大Logo更新汇报 | NEW百佳泰可提供超过30种标准认证测试,特为您整理2024年2月各大Logo的最新规格信息。Matter▶3月5日至12日SVE规格验证活动■ 预计地点» 加州旧金山» 中国▶3月18日 – 第21次会员大会» 新加坡PCI Express▶PCI-SIG合规研讨会 #128■ 2024年2月20日至2月23日■ 台北万豪酒店▶PCIe 7.0规范第三版现已开放给会员USB▶USB 供电版本控制■ 符合USB
    百佳泰测试实验室 2024-02-21 16:23 48浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦