本次新研究是迄今为止规模最大的大模型数据投毒调查。Anthropic 与英国人工智能安全研究所（UK AI Security Institute）和艾伦・图灵研究所（Alan Turing Institute）联合进行的一项研究彻底打破了这一传统观念：只需 250 份恶意文档就可能在大型语言模型中制造出「后门」漏洞，且这一结论与模型规模或训练数据量无关。
说个热知识，现在的大模型，也可以轻松被投广告了。 我们之前也确实发现过这类现象，当时是在研究一家做 GEO（生成式引擎优化）的公司。通过在网上堆出大量正面内容，把某个特定品牌、网站、课程甚至微商产品，默默地塞进了大模型推荐结果里。
在大语言模型（LLM）加速进入法律、医疗、金融等高风险应用场景的当下，“安全对齐”不再只是一个选项，而是每一位模型开发者与AI落地者都必须正面应对的挑战。
首个专为ALLMs（音频大语言模型）设计的多维度可信度评估基准来了。
论文的第一作者是香港中文大学（深圳）数据科学学院三年级博士生徐俊杰龙，指导老师为香港中文大学（深圳）数据科学学院的贺品嘉教授和微软主管研究员何世林博士。贺品嘉老师团队的研究重点是软件工程、LLM for DevOps、大模型安全。
在大算力和大数据让基于统计的 AI 模型真正变得强大且有用之前，基于规则的系统长期以来是语言模型的主导范式。
只要在提示词中把时间设定成过去，就能轻松突破大模型的安全防线。
大模型的安全问题正在悄悄逼近。
在1月24日举办的腾讯科技向善创新节2024“大模型安全与伦理专题论坛”上，腾讯发布了大模型安全白皮书《大模型安全与伦理研究报告2024：以负责任AI引领大模型创新》，并邀请业界专家进行圆桌研讨。
HydroX AI近日完成400万美元天使轮融资，由绿洲资本领投.HydroX AI成立于2023年7月，位于美国加州，是一家专注于AI Safety（大模型安全）和Safe AI（安全人工智能）的科技企业，致力于为大模型公司、使用大模型的企业以及其他B2B行业的客户提供全方位、多层次的AI安全解决方案。
