Trojan Puzzle攻击可向人工智能编程工具投毒,生成恶意代码。

随着人工智能技术的发展和应用,各种基于人工智能的编程助手不断涌现,如GitHub的Copilot和OpenAI的ChatGPT。人工智能编程助手使用互联网上的公开代码库进行训练,包括大量GitHub上的代码。

Trojan Puzzle概述

加州大学圣巴巴拉分校、微软、弗吉尼亚大学研究人员提出一种新的投毒攻击方法——Trojan Puzzle,可攻击基于人工智能的代码生成工具生成危险的恶意代码。Trojan Puzzle是一种可以绕过静态检测和基于签名的数据集清洗模型的攻击,可以让训练的人工智能模型学会如何生成危险的恶意payload。

之前研究已经证明了通过在公开库中引入恶意代码可以对人工智能模型训练数据集进行投毒。但这种投毒方式可以被静态分析工具很容易地检测到,并被从训练集中删除。还有一种更加隐蔽的投毒方式就是将payload隐藏在文档字符串(docstings)而不是直接放置在代码中,然后使用触发字符来激活payload。如果使用基于签名的检测系统就可以从训练数据中过滤这些危险的文档字符串。

image.png

图 看似无害的代码触发payload推荐

Trojan Puzzle攻击的思路是避免将payload隐藏在代码中,而是在训练过程实现隐藏。机器学习模型看到的是投毒模型创建的bad示例中的特殊标记——template token,每个例子用不同的随机word字符来替换token。

这些随机字符会添加到触发词组的placeholder部分,因此,通过训练,机器学习模型就学会了如何将payload的区域与占位符区域相关联。

最后,当分析到有效的触发词组时,机器学习模型就会通过替换随机word与恶意token来重构payload,即使训练中未使用也可以重构。

在下面的例子中,研究人员使用了3个bad例子,其中template token被"shift"、"(__pyx_t_float_"和"befo"替换。机器学习模型可以看到多个例子,并关联触发占位符区域和payload区域。

image.png

图 生成多个投毒样本来创建触发-payload的关联

如果触发中的占位符区域中包含payload的隐藏部分,在本例中是render关键词,那么投毒的模型就会包含并推荐攻击者选择的payload代码。

image.png

图 触发机器学习模型生成bad推荐

Trojan Puzzle测试

为测试Trojan Puzzle的实际效果,研究人员使用18310个库中的5.88GB的Python代码作为机器学习数据集。并对每8000个代码文件160个恶意文件进行投毒,包括跨站脚本、路径遍历、不信任的数据payload反序列化。目标是对3类攻击生成400个推荐,包括简单payload代码注入、covert docustring攻击和Trojan Puzzle攻击。

image.png

图 危险代码推荐数

关于TROJANPUZZLE的论文全文参见:https://arxiv.org/abs/2301.02344


Trojan Puzzle攻击可向人工智能编程工具投毒,生成恶意代码。

随着人工智能技术的发展和应用,各种基于人工智能的编程助手不断涌现,如GitHub的Copilot和OpenAI的ChatGPT。人工智能编程助手使用互联网上的公开代码库进行训练,包括大量GitHub上的代码。

Trojan Puzzle概述

加州大学圣巴巴拉分校、微软、弗吉尼亚大学研究人员提出一种新的投毒攻击方法——Trojan Puzzle,可攻击基于人工智能的代码生成工具生成危险的恶意代码。Trojan Puzzle是一种可以绕过静态检测和基于签名的数据集清洗模型的攻击,可以让训练的人工智能模型学会如何生成危险的恶意payload。

之前研究已经证明了通过在公开库中引入恶意代码可以对人工智能模型训练数据集进行投毒。但这种投毒方式可以被静态分析工具很容易地检测到,并被从训练集中删除。还有一种更加隐蔽的投毒方式就是将payload隐藏在文档字符串(docstings)而不是直接放置在代码中,然后使用触发字符来激活payload。如果使用基于签名的检测系统就可以从训练数据中过滤这些危险的文档字符串。

image.png

图 看似无害的代码触发payload推荐

Trojan Puzzle攻击的思路是避免将payload隐藏在代码中,而是在训练过程实现隐藏。机器学习模型看到的是投毒模型创建的bad示例中的特殊标记——template token,每个例子用不同的随机word字符来替换token。

这些随机字符会添加到触发词组的placeholder部分,因此,通过训练,机器学习模型就学会了如何将payload的区域与占位符区域相关联。

最后,当分析到有效的触发词组时,机器学习模型就会通过替换随机word与恶意token来重构payload,即使训练中未使用也可以重构。

在下面的例子中,研究人员使用了3个bad例子,其中template token被"shift"、"(__pyx_t_float_"和"befo"替换。机器学习模型可以看到多个例子,并关联触发占位符区域和payload区域。

image.png

图 生成多个投毒样本来创建触发-payload的关联

如果触发中的占位符区域中包含payload的隐藏部分,在本例中是render关键词,那么投毒的模型就会包含并推荐攻击者选择的payload代码。

image.png

图 触发机器学习模型生成bad推荐

Trojan Puzzle测试

为测试Trojan Puzzle的实际效果,研究人员使用18310个库中的5.88GB的Python代码作为机器学习数据集。并对每8000个代码文件160个恶意文件进行投毒,包括跨站脚本、路径遍历、不信任的数据payload反序列化。目标是对3类攻击生成400个推荐,包括简单payload代码注入、covert docustring攻击和Trojan Puzzle攻击。

image.png

图 危险代码推荐数

关于TROJANPUZZLE的论文全文参见:https://arxiv.org/abs/2301.02344


研究人员在端到端加密通信APP Threema发现多个安全漏洞。

Threema是一款瑞士的加密通信APP,有超过100万用户和7000本地部署用户。其中,Threema重要用户包括瑞士政府和军方,以及德国总理。Threema广告宣称是其他即使通信应用的安全可替代产品。

Threema app on a blue and green background

Threema攻击

瑞士苏黎世联邦理工学院 (ETH Zurich) 研究人员共涉及了7种针对Threema协议的安全攻击,可打破Threema APP的通信隐私,包括窃取私有密钥、删除消息、破解认证、欺骗服务器等。

· 临时密钥入侵假冒(Ephemeral key compromise impersonation):攻击者窃取临时密钥伪装成客户端。Threema貌似重用了临时密钥,即临时密钥不是一次性的。

· Vouch box 伪造:攻击者可诱使用户发送有效的vouch box,然后用它来假冒客户端。

· 消息重排和删除:恶意服务器可转发来自用户的消息,攻击者可以对消息重新排序,此外,服务器还可以将消息删除。

· 重放和反射攻击:Threema安卓版本的消息nonce数据库是不可迁移的,因此可以实现消息重放和反射攻击。

· Kompromat攻击:恶意服务器可以诱使客户端在初始化注册协议阶段与服务器会话时和在端到端协议中与其他用户会话时使用的密钥。

· 通过Threema ID export克隆:攻击者可在其设备上克隆其他用户的账户,但要求用户设备是未锁定的。

· 压缩侧信道:研究人员在Threema加密方法中发现一个安全漏洞,允许攻击者通过控制用户名和安卓设备上的多个备份来提取用户的私钥。但攻击过程需要几个小时。

Threema回应

ETH Zurich研究人员于2022年10月3日将研究成果报告给Threema。11月29日,Threema发布了新的更加安全的协议——Ibex,来解决潜在的安全问题。但是Threema称ETH Zurich研究的Threema协议其已不再使用,并称其研究发现并不会对其产品带来任何影响。比如,通过Threema ID export实现克隆攻击已在2021年修复。Vouch box伪造攻击依赖社会工程攻击,需要目标用户的参与。其他攻击还需要对设备的物理访问,且要求Threema设备未锁定。

研究论文参见:https://breakingthe3ma.app/files/Threema-PST22.pdf

PoC和其他技术细节参见:https://breakingthe3ma.app/

研究人员在端到端加密通信APP Threema发现多个安全漏洞。

Threema是一款瑞士的加密通信APP,有超过100万用户和7000本地部署用户。其中,Threema重要用户包括瑞士政府和军方,以及德国总理。Threema广告宣称是其他即使通信应用的安全可替代产品。

Threema app on a blue and green background

Threema攻击

瑞士苏黎世联邦理工学院 (ETH Zurich) 研究人员共涉及了7种针对Threema协议的安全攻击,可打破Threema APP的通信隐私,包括窃取私有密钥、删除消息、破解认证、欺骗服务器等。

· 临时密钥入侵假冒(Ephemeral key compromise impersonation):攻击者窃取临时密钥伪装成客户端。Threema貌似重用了临时密钥,即临时密钥不是一次性的。

· Vouch box 伪造:攻击者可诱使用户发送有效的vouch box,然后用它来假冒客户端。

· 消息重排和删除:恶意服务器可转发来自用户的消息,攻击者可以对消息重新排序,此外,服务器还可以将消息删除。

· 重放和反射攻击:Threema安卓版本的消息nonce数据库是不可迁移的,因此可以实现消息重放和反射攻击。

· Kompromat攻击:恶意服务器可以诱使客户端在初始化注册协议阶段与服务器会话时和在端到端协议中与其他用户会话时使用的密钥。

· 通过Threema ID export克隆:攻击者可在其设备上克隆其他用户的账户,但要求用户设备是未锁定的。

· 压缩侧信道:研究人员在Threema加密方法中发现一个安全漏洞,允许攻击者通过控制用户名和安卓设备上的多个备份来提取用户的私钥。但攻击过程需要几个小时。

Threema回应

ETH Zurich研究人员于2022年10月3日将研究成果报告给Threema。11月29日,Threema发布了新的更加安全的协议——Ibex,来解决潜在的安全问题。但是Threema称ETH Zurich研究的Threema协议其已不再使用,并称其研究发现并不会对其产品带来任何影响。比如,通过Threema ID export实现克隆攻击已在2021年修复。Vouch box伪造攻击依赖社会工程攻击,需要目标用户的参与。其他攻击还需要对设备的物理访问,且要求Threema设备未锁定。

研究论文参见:https://breakingthe3ma.app/files/Threema-PST22.pdf

PoC和其他技术细节参见:https://breakingthe3ma.app/

抖音国际版TikTok因违反法国数据保护法案被罚3600万。

TikTok

因TikTok(抖音国际版)的设置使用户难以拒绝cookie,且平台未完全告知用户数据收集用途,法国数据保护执法机构CNIL近日对TikTok UK和TikTok Ireland处以500万法郎(约合美元540万,人民币3622万元)的罚款。

CNIL认为TikTok(抖音国际版)的设置行为违反了法国数据保护法律(DPA,相对于法国的GDPR)第82条。500万法郎的罚金是根据违反的严重程度确定的,包括受影响的用户数、以及CNIL根据DPA需要向TikTok提醒的次数。

CNIL解释称,其在2021年6月检查了TikTok网站,发现平台向用户提供了一键接收所有coolie的按钮,但是拒绝cookie却没有那么容易。用户需要制定多个点击操作才能拒绝所有cookie,非常烦人,一般来说,访问TikTok网站的用户都会点击接受所有cookie按钮。DPA第82条不仅要求服务提供商确保用户对其存储cookie的知情同意,还给与用户可自由同意的权利。因此,cookie知情同意必须提供一种均衡的方法来向用户呈现,但在TikTok网站上并不是这样。

CNIL曾多次向TikTok发出警告,但直到2022年2月,TikTok才实现了拒绝所有cookie的按钮,并以显著方式呈现给用户。

TikTok违反的第二条法规也是DPA第82条,即未充分描述cookie的用途等。CNIL称用户在点击链接了解更多时,仍未获得cookie用途的相关信息。

其实,过度收集用户数据对大型在线互联网平台来说非常常见。CNIL近期就数据收集向多家互联网巨头开除了罚单,其中苹果850万美元、Facebook 6800万美元、谷歌1.7亿美元。

TikTok发言人称,CNIL的罚款是针对其2021年的实践,目前平台已经做了整改,包括cookie信息的拒绝和知情同意,以及提供特定cookie信息的用途。


抖音国际版TikTok因违反法国数据保护法案被罚3600万。

TikTok

因TikTok(抖音国际版)的设置使用户难以拒绝cookie,且平台未完全告知用户数据收集用途,法国数据保护执法机构CNIL近日对TikTok UK和TikTok Ireland处以500万法郎(约合美元540万,人民币3622万元)的罚款。

CNIL认为TikTok(抖音国际版)的设置行为违反了法国数据保护法律(DPA,相对于法国的GDPR)第82条。500万法郎的罚金是根据违反的严重程度确定的,包括受影响的用户数、以及CNIL根据DPA需要向TikTok提醒的次数。

CNIL解释称,其在2021年6月检查了TikTok网站,发现平台向用户提供了一键接收所有coolie的按钮,但是拒绝cookie却没有那么容易。用户需要制定多个点击操作才能拒绝所有cookie,非常烦人,一般来说,访问TikTok网站的用户都会点击接受所有cookie按钮。DPA第82条不仅要求服务提供商确保用户对其存储cookie的知情同意,还给与用户可自由同意的权利。因此,cookie知情同意必须提供一种均衡的方法来向用户呈现,但在TikTok网站上并不是这样。

CNIL曾多次向TikTok发出警告,但直到2022年2月,TikTok才实现了拒绝所有cookie的按钮,并以显著方式呈现给用户。

TikTok违反的第二条法规也是DPA第82条,即未充分描述cookie的用途等。CNIL称用户在点击链接了解更多时,仍未获得cookie用途的相关信息。

其实,过度收集用户数据对大型在线互联网平台来说非常常见。CNIL近期就数据收集向多家互联网巨头开除了罚单,其中苹果850万美元、Facebook 6800万美元、谷歌1.7亿美元。

TikTok发言人称,CNIL的罚款是针对其2021年的实践,目前平台已经做了整改,包括cookie信息的拒绝和知情同意,以及提供特定cookie信息的用途。


超6万Exchange服务器仍未修复CVE-2022-41082远程代码执行漏洞,受到ProxyNotShell攻击的影响。

ProxyNotShell攻击是微软Exchange服务器中的两个安全漏洞的集合,即CVE-2022-41082 和CVE-2022-41040。攻击者利用这两个漏洞可以在受害者Exchange服务器上实现权限提升、实现任意代码执行和远程代码执行。漏洞影响Exchange服务器2013、2016和 2019版本。

研究人员自2022年9月起就发现了ProxyNotShell在野攻击,微软也于2022年11月的微软补丁日发布了安全更新来修复这两个安全漏洞。

近日,Shadowserver Foundation安全研究人员发推称,根据Exchange服务器的版本信息(服务器的x_owa_version header)判断,仍有近7万微软Exchange服务器易受到ProxyNotShell 攻击的影响。

根据Shadowserver Foundation 1月2日发布的最新数据显示,有漏洞的Exchange服务器数量已从2022年12月中旬的83,946下降到1月2日的60,865。

image.png

图 受到ProxyNotShell攻击影响的Exchange 服务器

威胁情报公司GreyNoise自2022年9月开始追踪ProxyNotShell攻击活动,并提供了ProxyNotShell扫描活动的信息和与攻击相关的IP地址列表。

image.png

图 受ProxyNotShell攻击影响的Exchange服务器地图

为应对潜在的攻击,研究人员建议Exchange服务器用户尽快安装微软2022年11月发布的ProxyNotShell补丁。虽然微软提供了补丁,但攻击者仍然可以绕过补丁。2022年1月,Play 勒索软件攻击者就使用新的漏洞利用链来绕过ProxyNotShell URL重写缓解措施,并通过Outlook Web Access (OWA)在有漏洞的服务器上实现远程代码执行。

此外,Shodan搜索结果显示有大量未修复的Exchange服务器暴露在互联网,上千台服务器仍然受到ProxyShell 和 ProxyLogon攻击的影响。

image.png

图 暴露在互联网的Exchange服务器

 

超6万Exchange服务器仍未修复CVE-2022-41082远程代码执行漏洞,受到ProxyNotShell攻击的影响。

ProxyNotShell攻击是微软Exchange服务器中的两个安全漏洞的集合,即CVE-2022-41082 和CVE-2022-41040。攻击者利用这两个漏洞可以在受害者Exchange服务器上实现权限提升、实现任意代码执行和远程代码执行。漏洞影响Exchange服务器2013、2016和 2019版本。

研究人员自2022年9月起就发现了ProxyNotShell在野攻击,微软也于2022年11月的微软补丁日发布了安全更新来修复这两个安全漏洞。

近日,Shadowserver Foundation安全研究人员发推称,根据Exchange服务器的版本信息(服务器的x_owa_version header)判断,仍有近7万微软Exchange服务器易受到ProxyNotShell 攻击的影响。

根据Shadowserver Foundation 1月2日发布的最新数据显示,有漏洞的Exchange服务器数量已从2022年12月中旬的83,946下降到1月2日的60,865。

image.png

图 受到ProxyNotShell攻击影响的Exchange 服务器

威胁情报公司GreyNoise自2022年9月开始追踪ProxyNotShell攻击活动,并提供了ProxyNotShell扫描活动的信息和与攻击相关的IP地址列表。

image.png

图 受ProxyNotShell攻击影响的Exchange服务器地图

为应对潜在的攻击,研究人员建议Exchange服务器用户尽快安装微软2022年11月发布的ProxyNotShell补丁。虽然微软提供了补丁,但攻击者仍然可以绕过补丁。2022年1月,Play 勒索软件攻击者就使用新的漏洞利用链来绕过ProxyNotShell URL重写缓解措施,并通过Outlook Web Access (OWA)在有漏洞的服务器上实现远程代码执行。

此外,Shodan搜索结果显示有大量未修复的Exchange服务器暴露在互联网,上千台服务器仍然受到ProxyShell 和 ProxyLogon攻击的影响。

image.png

图 暴露在互联网的Exchange服务器

 

中国研究人员提出新算法可利用量子计算机破解RSA-2048,外国研究人员对此结果质疑。

image.png

2022年12月,数学工程与先进计算国家重点实验室、清华大学、浙江大学、北京量子信息科学研究院等国内知名机构研究人员在arxiv平台上传了一篇题为Factoring integers with sublinear resources on a superconducting quantum processor的论文。论文指出,Shor算法对基于公钥的加密系统带来挑战。为破解广泛使用的RSA-2048方案,需要数百万量子比特,这超出了当前的技术能力。论文中提出一种通用的量子整数分解算法,该算法融合了经典的格规约(Lattice Reduction)和QAOA(quantum approximate optimization algorithm,量子近似优化算法)。该方法所需的量子比特位O(logN/loglogN),是截止目前最节省量子比特的分解算法。在实验中,研究人员用10个超导量子比特可以分解48位整数。据估算,只需要372个量子比特的计算机使用该算法就可以破解RSA-2048算法。

而2022年11月,IBM就实现了433量子比特的量子计算机。因此,使用该算法加上IBM的量子计算机就可以破解RSA-2048算法。

随后,国外多名学者对该论文提出了质疑。美国密码学专家布鲁斯·施奈尔 (Bruce Schneier)认为论文提出的算法是依赖于Peter Schnorr论文中提出的算法,而该论文仍存在争议。此外,论文中只在10量子比特的量子计算机上对48位数字就行了分解。这与372量子比特和2048位数存在很大差距。

论文下载地址:https://arxiv.org/pdf/2212.12372.pdf

https://www.scmagazine.com/brief/emerging-technology/chinese-researchers-report-breakthrough-in-quantum-computing


中国研究人员提出新算法可利用量子计算机破解RSA-2048,外国研究人员对此结果质疑。

image.png

2022年12月,数学工程与先进计算国家重点实验室、清华大学、浙江大学、北京量子信息科学研究院等国内知名机构研究人员在arxiv平台上传了一篇题为Factoring integers with sublinear resources on a superconducting quantum processor的论文。论文指出,Shor算法对基于公钥的加密系统带来挑战。为破解广泛使用的RSA-2048方案,需要数百万量子比特,这超出了当前的技术能力。论文中提出一种通用的量子整数分解算法,该算法融合了经典的格规约(Lattice Reduction)和QAOA(quantum approximate optimization algorithm,量子近似优化算法)。该方法所需的量子比特位O(logN/loglogN),是截止目前最节省量子比特的分解算法。在实验中,研究人员用10个超导量子比特可以分解48位整数。据估算,只需要372个量子比特的计算机使用该算法就可以破解RSA-2048算法。

而2022年11月,IBM就实现了433量子比特的量子计算机。因此,使用该算法加上IBM的量子计算机就可以破解RSA-2048算法。

随后,国外多名学者对该论文提出了质疑。美国密码学专家布鲁斯·施奈尔 (Bruce Schneier)认为论文提出的算法是依赖于Peter Schnorr论文中提出的算法,而该论文仍存在争议。此外,论文中只在10量子比特的量子计算机上对48位数字就行了分解。这与372量子比特和2048位数存在很大差距。

论文下载地址:https://arxiv.org/pdf/2212.12372.pdf

https://www.scmagazine.com/brief/emerging-technology/chinese-researchers-report-breakthrough-in-quantum-computing