“我们做人工智能风险治理，就是针对AI模型和应用，发现风险、监控风险和解决风险。”

36氪广东获悉，杭州君同未来科技有限责任公司（以下简称「君同未来」）于近日完成数千万元天使轮融资。本轮融资由德联资本、领汇创投等联合投资，航行资本担任独家财务顾问。

「君同未来」致力于提供全面的人工智能（AI）风险治理产品及服务，通过全流程模型合规验证、全场景模型管理监控以及多维度模型安全防护，满足AI开发者和使用者对模型功能性、可靠性、合规性的要求，助力AI成为人类基础脑力劳动的可信替代。

随着AI大模型现象级的火爆，AI正在加速其与经济社会的融合，在带来巨大机遇的同时，也带来难以预知的各种风险和复杂挑战。通过测试评估发现模型的内在安全风险再通过防御工具防护模型免受外部威胁，已成为保障AI安全的行业共识。

Figure 1：「君同未来」产品服务定位——AI风险治理

比如当下最火热的生成式人工智能（GenAI），在训练过程中，可能会由于部分数据存在固有偏见，导致生成的信息表现出泡沫化和观点极端化的情况。此外，训练不充分和推理机制偏差也会加剧GenAI输出结果的不确定性和错算情况。业界常将这种现象称为“大模型的幻觉”问题。

幻觉，可以说是GenAI的一种“通病”，只有找到了病根，才能对症下药。「君同未来」所提供的产品和服务，便能帮助寻找并解决病根。“我们做人工智能风险治理，就是针对AI模型和应用，发现风险、监控风险和解决风险。”CEO韩蒙指出，“与投入巨大资源解决幻觉问题的厂商不一样，我们不是致力于构建没有幻觉的模型，而是关心怎么样触发甚至诱导模型产生幻觉，从而提前规避模型幻觉带来的风险。”

AI模型自身的安全需求正日益凸显，全球多个国家和组织纷纷出台倡议或规范，通过建立标准、推进安全测试和风险评估等措施，保障AI安全可信。

比如，在9月22日的联合国未来峰会行动日边会上，世界数字科学院执行理事长、联合国科技委主席顾问李雨航宣布，启动“人工智能安全、可信和负责任”(AI STR)认证计划。该计划将通过建立严格的国际标准，确保AI系统从设计、开发到实际应用各个阶段都遵循最高的安全与伦理标准。

同样在9月，在广州举办的2024年国家网络安全宣传周主论坛上，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》1.0版。框架提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享等人工智能安全治理的原则。

而在企业层面，2023年谷歌推出了专注于解决AI系统中特定风险的安全AI框架（Secure AI Framework, SAIF）；2024年，Meta发布了Llama Guard和Prompt Guard模型，以提升生成式人工智能应用的安全性。近期，蚂蚁集团联合清华大学发布了'蚁天鉴'2.0版，支持对图像、视频等多模态内容的真实性和深度伪造进行检测。

据了解，「君同未来」创始团队长期专注于AI安全以及可信AI有关的研究。创始人及CEO韩蒙博士入选国家级人才计划和浙江省级人才计划，担任国家重点研发计划首席科学家（青年），并作为项目负责人承担了国家自然科学基金以及教育部、工信部、浙江省等省部级重大科研项目数项。其于2012年赴美留学，毕业于佐治亚理工学院及佐治亚州立大学，获得计算机科学博士及MBA学位，除在学术上回国前已获得美国高校的终身教职外，也曾有过颇为丰富的海外创业经历。联合创始人及COO林昶廷是浙江大学计算机科学与技术博士，浙江大学网络空间安全博士后，在政府和企业的商业拓展方面经验丰富。

「君同未来」的部分项目和案例已经获得了包括公安部科学技术奖、世界智能产业博览会“智能科技创新应用典型案例”奖，“科创中国”金融科技创新大赛二等奖，以及浙江省网络安全优秀创新“十佳成果”奖等在内的多项国家、省部以及行业级奖项认可。

韩蒙表示，「君同未来」的竞争优势源自三个方面：一是团队多年对人工智能算法和模型的理解，沉淀了深厚的科研积累，并与全球多所顶尖高校保持紧密协作；二是团队广泛接触监管机构、测评单位和企业客户，形成了对客户场景需求的深刻理解；三是依托上述科研积累和需求理解，已打磨出成熟的标准化产品和服务体系，在众多客户场景落地。

「君同未来」从AI模型合规验证、监控管理以及安全防护三个方面全面覆盖了文本、图像、视频、音频、表格、时间序列等模态及相应的各类模型。在AI风险治理的核心能力上，其产品覆盖了400+种评测和100+种防御增强能力，并构建了符合不同国家监管要求的千万级动态题库平台，在国内外具有显著优势。此外，「君同未来」的产品已服务于互联网、金融、教育、医疗及制造业等多个行业领域，并全面覆盖了国际上OWASP、NIST、ATLAS等主流风险框架，为大模型在汽车、手机等产品上的智能化应用走向国际市场提供全面支撑。

Figure 2：「君同未来」提供端到端的人工智能风险治理服务，从开发环境到应用环境，提供全面的验证、监控、增强与防护能力

据了解，「君同未来」AI风险治理平台已应用于国内某头部智能物联网企业。该客户使用君同产品的风险测试模块，检测出其基础图像AI模型在受到一些数字域或物理域空间扰动攻击时，模型的准确率会下降超过40%；在客户使用君同产品的防护增强模块后，模型对相关风险的抵抗准确率提升至99.8%。君同的产品还应用于国内某头部金融科技大厂，使该客户的大语言模型风险事件平均响应时间缩短了28%，有效模型漏洞利用的成功率降低了75%。君同还借助自身的模型风险防御能力与国内外各大云服务商深度合作，在实现系统性能开销降低22%的同时，使AI模型的运营自动化率提高45%。此外，君同未来已对各项国家和行业标准实现100%合规性覆盖，在国家“人工智能+”战略推进的过程中，为多个行业及区域的客户提供了模型的合规辅助以及防护保障服务，帮助企业满足了行业标准和法规要求并有效地防范了大量模型自身存在的风险。

伴随这次融资，「君同未来」同步开源发布了风险防护工具GenTelShield，该防护工具能够精准识别大语言模型（LLM）面临的多种注入攻击风险。据悉，GenTelShield对越狱风险样本的识别准确率高达97.63%，相比于Meta开源的PromptGuard模型识别准确率提升近乎翻倍，可有效应对越狱攻击、提示词泄露及目标劫持等多重威胁。

创始人韩蒙表示，“通过构建注入攻击风险体系、开源注入攻击检测模型以及开源测试基准数据，「君同未来」不仅助力大模型应用企业在应用过程中有效缓解LLM面临的攻击风险，也努力为开源社区在LLM安全治理领域的深入研究和应用拓展做积极贡献。”

「君同未来」已取得盈利，预计今年业务将有超过300%的同比增长。「君同未来」将进一步关注具身智能、AI智能体、大模型代码生成等人工智能细分领域的风险治理挑战。

投资人说

德联资本执行董事刘景媛表示，韩蒙博士带领的团队在AI安全领域技术积淀深厚，且已实现多行业、多场景的产品化落地。随着AI向智能体、具身智能、端侧部署等多维延伸，期待「君同未来」能够持续探索并应对更广泛的人工智能风险治理挑战。同时，GenTelShield模型和基准数据集的发布也体现了君同未来为推动人工智能安全治理体系建设以及领先技术落地的积极贡献。

领庆投资副总经理王俊洋表示，以大语言模型为代表的生成式人工智能，正在全球范围内掀起一场技术发展的新浪潮，深刻改变着人类的生活和生产方式。随着各类AI应用逐步落地，AI开发与使用过程中的安全与治理问题逐渐显现。君同未来在AI安全治理领域积累了深厚的技术实力，凭借成熟的标准化产品和服务，已为众多行业标杆客户提供了全面支持。我们期待在韩蒙博士的带领下，公司能够成为国内乃至世界范围的人工智能风险治理的领军企业，并在具身智能、AI智能体等领域探索更多可能性。

文章来自于“36氪广东”