企业 GenAI 的最大风险以及早期使用者的经验教训
企业 GenAI 的最大风险以及早期使用者的经验教训生成式AI安全风险：注入攻击、隐私泄露、供应链隐患；防御需零信任、红队演练。
来自主题: AI资讯
5117 点击 2025-08-11 10:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
生成式AI安全风险：注入攻击、隐私泄露、供应链隐患；防御需零信任、红队演练。
日前有网友发现沉浸式翻译扩展程序的部分用户数据暴露在互联网上，这些数据包含部分敏感内容例如加密货币钱包私钥甚至是企业 / 机构的商业合同等。严格来说此次问题并非安全漏洞而是沉浸式翻译提供的功能存在缺陷，即没有对快照链接进行保护导致搜索引擎爬虫可以直接抓取内容并将其放置互联网上公开索引。
Tavily，一家为AI提供企业级安全搜索API的初创公司，于近日完成2000万美元的A轮融资，由Insight Partners领投，公司累计融资额达2500万美元。Tavily源自其创始人在2023年创建的、在GitHub上广受欢迎的开源项目GPT Researcher，专注于解决AI智能体在访问互联网时面临的合规与安全挑战。
一波未平，一波又起。 英伟达Triton推理服务器，被安全研究机构Wiz Research曝光了一组高危漏洞链。
字节跳动在 Trae IDE（Visual Studio Code 的分支）中发现的令人担忧的性能和隐私问题。主要发现包括：资源消耗过高（33 个进程 vs. VSCode 中为 9 个进程）、无论用户如何设置，遥测数据都会持续传输，以及令人担忧的社区管理实践。
大模型伦理竟然无法对齐？
本文由上海 AI Lab 和北京航空航天大学联合完成。 主要作者包括上海 AI Lab 和上交大联培博士生卢晓雅、北航博士生陈泽人、上海 AI Lab 和复旦联培博士生胡栩浩（共同一作）等。
在首次中国演讲中，AI教父Hinton于WAIC2025上探讨数字智能与生物智能的差异，指出AI因具备永生与高效共享而快速超越人脑。他警示若无全球安全协作，超级智能或将反噬人类。Hinton提出通过AI安全研究所联盟与技术栈分离，推动AI向善发展。
扩散语言模型（Diffusion-based LLMs，简称 dLLMs）以其并行解码、双向上下文建模、灵活插入masked token进行解码的特性，成为一个重要的发展方向。
英伟达GPU，被白帽黑客发现了严重漏洞。