OpenAI的竞争对手Anthropic发现了一种称为"多样本越狱攻击"的漏洞，可以绕过大型语言模型的安全防护措施。这种攻击利用了模型的长上下文窗口，通过在提示中添加大量假对话来引导模型产生有害的反应。虽然已经采取了一些缓解措施，但该漏洞仍然存在。
奥本海默曾引用《薄伽梵歌》：「现在我变成了死亡」。深度学习之父Hinton，也同样痛悔毕生工作。最近，Hinton、Bengio、Stuart Russell、张宏江、黄铁军、王仲远、姚期智、张亚勤等大佬齐聚中国版「布莱切利」峰会上，签署了《北京AI安全国际共识》。
为了应对 AI 发展带来的挑战，国内外研究者展开合作以避免其可能带来的灾难的发生。
如果说2023年主导网络安全行业的话题是什么，那肯定是AI。这既包括对恶意行为者如何利用AI的恐惧和担忧，也包括防御者如何利用AI来降低风险、保护组织以及创新和加速传统网络安全活动。
瑞士信息与通信科技公司Lakera成立于2021年，该公司为生成式AI应用程序开发的安全工具拥有专有的威胁情报数据库，可防御对大型语言模型（LLM）的各类攻击并对AI应用程序进行压力测试检测漏洞，为AI应用程序提供企业级的安全保护。
现在的GPT-4，未来的GPT-5，相较于前几个版本性能更强。安全挑战，史无前例。
大模型狂飙至今，已逼近一周年。撇开最近戏剧化的高层动荡不谈，自北京时间 11月 7日 OpenAI的首届开发者大会（DevDay）以“AI春晚”之势炸场以来，ChatGPT的周活跃用户超过一亿，全球用户高涨的热情直接把 OpenAI的服务器给冲宕机了，于是上面这个不受待见的画面就频繁出现在了无数人的眼前，随之而来的是人们的沮丧、愤怒甚至恐慌。
连续五天的OpenAI管理层冲突及谈判后，Sam Altman最终回归OpenAI。但皆大欢喜之际，是时候聊聊这次事件的另外一边声音了：OpenAI技术灵魂人物Ilya Sutskeve对AI安全的恐惧和他对技术发展的信念。
HydroX AI近日完成400万美元天使轮融资，由绿洲资本领投.HydroX AI成立于2023年7月，位于美国加州，是一家专注于AI Safety（大模型安全）和Safe AI（安全人工智能）的科技企业，致力于为大模型公司、使用大模型的企业以及其他B2B行业的客户提供全方位、多层次的AI安全解决方案。
本文介绍了第一届全球人工智能安全峰会在英国举行的情况，讨论了人工智能安全的重要性和挑战，以及各国在监管和创新之间的博弈。
