转载请注明出处: CHATWEB
本文的链接地址: https://chatweb.com.cn/post-20.html
开发者Evan Zhou在MacOS 15.1 Beta 1中成功操控了苹果的新AI系统——Apple Intelligence，使用了一种名为“提示注入”的攻击方式，使得该AI系统绕过了其原本的指令，开始响应任意提示。这一事件在业界引起了广泛关注。
在YouTube上发布的视频中，Zhou展示了他是如何利用这一漏洞的。起初，他的目标是操纵Apple Intelligence的“重写”功能，该功能通常用于改进和提升文本质量。然而，“忽略之前的指令”这一命令并没有生效。之后，根据一位Reddit用户的分享，Zhou发现了Apple Intelligence系统提示的模板和特殊标记，这些标记区分了AI系统的角色与用户的角色。
利用这些信息，Zhou构建了一个能够覆盖原始系统提示的新提示。他提前结束了用户角色，并插入了一条新的系统提示，指示AI忽略之前的指令并对随后的文本做出响应。经过几次尝试后，这一攻击成功了。Apple Intelligence不仅响应了Zhou的指令，还提供了他未请求的信息，证实了提示注入的有效性。
Zhou还将自己的代码发布到了GitHub上。值得注意的是，“提示注入”攻击在AI系统中并非新现象。自2020年GPT-3发布以来，这一问题就已为人所知，但至今仍未得到完全解决。尽管如此，苹果在一定程度上值得称赞，因为与其他聊天系统相比，Apple Intelligence在防止提示注入方面采用了更复杂的措施。例如，许多聊天系统可以通过直接在聊天窗口输入或通过图片中的隐藏文本轻易被欺骗。即使是像ChatGPT或Claude这样的系统，在某些情况下也可能遭受提示注入攻击。
文章发布于: 2024-08-12 02:34:00
您可能对以下文章感兴趣
字节跳动旗下剪映团队研发的一站式AI创作平台“即梦AI” 提供AI图片
08/06"Meta开源大模型Llama 3强势崛起！超越GPT-4，苹果AI新服务也备受期待"
08/09爱诗科技推出PixVerse V2.5：视频生成速度提升200%，全新高表现模式与运镜功能，
08/22蚂蚁集团新公司“数字蚂力”推出AI人机融合解决方案，助力企业实现数字化转型和智能化升级！
08/17秘塔科技获新一轮巨额融资，估值达1.5亿美元，引领AI搜索市场新潮流！
08/11“ChatGPT式胡说八道”引发关注：准确性漠视挑战公共服务人员，法律责任成难题
08/12"Midjourney升级网页版编辑器，应对AI绘图市场竞争挑战"
08/16从文本到图像的革新：跨模态AR模型Lumina-mGPT实现图像生成的新突破
08/16"ChatGPT Mac版新功能：并排窗口提升多任务处理，水印技术提高AI生成内容辨识度"
08/08微软 Copilot AI 被揭示存在严重安全漏洞：攻击者能窃取敏感数据！
08/11谷歌采取行动遏制非自愿深度伪造，网络安全再升级
08/06Tavus团队打造AI聊天机器人：超越人性的沟通体验"
08/17
发表评论
取消回复
AI资讯