首页AI 新闻
NCSC:“引导词注入”正让AI的风险急速上升
160

NCSC:“引导词注入”正让AI的风险急速上升

麦满分
麦满分
2023-08-31 18:18

英国国家网络安全中心(NCSC)发出了一个严厉警告,指出聊天机器人对黑客操纵的脆弱性正在增加,可能导致严重的现实世界后果。

随着对“引导注入”攻击行为的担忧加剧,这个警告应运而生。在这种攻击中,个人故意创建输入或提示,以操纵支撑聊天机器人的语言模型的行为。

聊天机器人已经在各种应用中发挥了重要作用,比如在线银行和购物,因为它们能处理简单的请求。大型语言模型(LLM)——包括那些支持OpenAI的ChatGPT和Google的AI聊天机器人Bard的模型——已经在能让它们对用户提示产生人类反应的数据集上进行了大量训练。

NCSC强调了与恶意引导注入相关的风险正在升级,因为聊天机器人通常促进与第三方应用和服务的数据交换。

“构建使用LLM的服务的组织需要小心,就像他们如果使用一个处于测试阶段的产品或代码库一样,”NCSC解释说。

“他们可能不会让那个产品代表客户进行交易,并且理应不会完全信任它。对LLM应该有同样的谨慎。”

如果用户输入不熟悉的语句或利用词组组合来覆盖一个模型的原始脚本,该模型可以执行意想不到的操作。这可能导致生成冒犯性内容,未经授权的访问机密信息,甚至数据泄露。

RiverSafe的首席技术官Oseloka Obiora说:“如果企业不进行基本的必要的尽职调查检查,急于拥抱AI将带来灾难性的后果。

“聊天机器人已经被证明是容易受到操纵和被用于恶意命令的,这可能导致欺诈、非法交易和数据泄露的激增。”

微软发布的新版必应搜索引擎和对话机器人引起了对这些风险的关注。

斯坦福大学的学生Kevin Liu成功地使用提示注入来暴露Bing Chat的初始提示。此外,安全研究员Johann Rehberger发现ChatGPT可以被操纵来响应来自意外来源的提示,这为间接提示注入漏洞打开了可能性。

英国国家网络安全中心 (NCSC) 建议,虽然提示注入攻击可能难以检测和缓解,但一个考虑了与机器学习组件相关风险的整体系统设计可以帮助防止漏洞的利用。

建议实施一个基于规则的系统,与机器学习模型一起对抗可能的破坏性行动。通过加强整个系统的安全架构,我们可以阻止恶意的提示注入。

NCSC强调,要缓解来自机器学习漏洞的网络攻击,需要理解攻击者使用的技术,并在设计过程中优先考虑安全性。

ESET全球网络安全顾问Jake Moore评论道:“当我们以安全为目标开发应用,了解攻击者利用机器学习算法的弱点的方法,就可以减少来自人工智能和机器学习的网络攻击的影响。

“不幸的是,上市的速度或成本节约通常会覆盖标准的和未来的安全编程,这让人们和他们的数据面临未知攻击的风险。人们必须意识到,他们输入到聊天机器人中的内容并不总是受到保护。”

随着聊天机器人在各种在线交互和交易中继续发挥着重要的作用,NCSC的警告是对防御不断发展的网络安全威胁的及时提醒。

全部讨论

no data来都来了,坐下聊聊