搜索
OpenAI的竞争对手Anthropic发现了一种称为"多样本越狱攻击"的漏洞，可以绕过大型语言模型的安全防护措施。这种攻击利用了模型的长上下文窗口，通过在提示中添加大量假对话来引导模型产生有害的反应。虽然已经采取了一些缓解措施，但该漏洞仍然存在。
为了应对 AI 发展带来的挑战，国内外研究者展开合作以避免其可能带来的灾难的发生。
如果说2023年主导网络安全行业的话题是什么，那肯定是AI。这既包括对恶意行为者如何利用AI的恐惧和担忧，也包括防御者如何利用AI来降低风险、保护组织以及创新和加速传统网络安全活动。
瑞士信息与通信科技公司Lakera成立于2021年，该公司为生成式AI应用程序开发的安全工具拥有专有的威胁情报数据库，可防御对大型语言模型（LLM）的各类攻击并对AI应用程序进行压力测试检测漏洞，为AI应用程序提供企业级的安全保护。
大模型狂飙至今，已逼近一周年。撇开最近戏剧化的高层动荡不谈，自北京时间 11月 7日 OpenAI的首届开发者大会（DevDay）以“AI春晚”之势炸场以来，ChatGPT的周活跃用户超过一亿，全球用户高涨的热情直接把 OpenAI的服务器给冲宕机了，于是上面这个不受待见的画面就频繁出现在了无数人的眼前，随之而来的是人们的沮丧、愤怒甚至恐慌。
本文介绍了第一届全球人工智能安全峰会在英国举行的情况，讨论了人工智能安全的重要性和挑战，以及各国在监管和创新之间的博弈。
OpenAI它成立了一个新团队来评估和探索人工智能模型，以防范其所描述的“灾难性风险”。
一家叫HiddenLayer的公司打造了一个全面的安全平台，它提供即插即用的AI安全性，不会从AI模型的层面增加不必要的复杂性，也不需要访问原始数据和算法。最近，这家公司获得了5000万美元的A轮融资，这是截至目前AI安全领域金额最高的A轮融资。