# 热门搜索 #
搜索
瑞士信息与通信科技公司Lakera为生成式AI开发安全解决方案,保护AI应用程序安全 | 瑞士创新100强
5745点击    2024-01-22 10:53

在30秒内找到漏洞。



图源Startup


瑞士信息与通信科技公司Lakera成立于2021年,该公司为生成式AI应用程序开发的安全工具拥有专有的威胁情报数据库,可防御对大型语言模型(LLM)的各类攻击并对AI应用程序进行压力测试检测漏洞,为AI应用程序提供企业级的安全保护。


Lakera由David Haber、Matthias Kraft和Mateo Rojas-Carulla联合创立,公司团队在为金融、医疗保健和航空航天等高风险环境开发人工智能程序方面拥有十年的丰富经验。



图源Lakera官网


LLM推动了生成式AI的发展,但它的快速应用也带来了许多安全问题,例如提示注入攻击、数据泄露、网络钓鱼、有毒语言输出等。这些安全问题不仅是LLM提供商要面临的挑战,也同样影响着使用LLM的企业,让其整合了LLM的业务应用面临数据和隐私泄露的风险。但关键问题是,现有的企业安全解决方案无法满足生成式AI应用程序的安全需求。



图源Lakera官网


Lakera为生成式AI开发的安全平台,拥有专有的威胁情报数据库,可即时防御对大型语言模型(LLM)的各类攻击,并对AI应用程序进行压力测试检测漏洞。


Lakera拥有专有的威胁情报数据库,该数据库综合了LLM应用程序、Gandalf、开源数据以及Lakera对机器学习的专门研究,记录了数千万条攻击数据,并且每天仍以10万+条的速度增长。其中,Gandalf是Lakera 开发的一款人工智能安全游戏,玩家的任务是通过“欺骗式”语言操纵LLM以绕过其内部安全功能来获得密码,该游戏旨在通过“众包”式演练注入攻击来获得威胁数据。截至去年10月,Gandalf记录了约3000万次互动,为 Lakera的数据库提供了更丰富的漏洞信息。


基于该数据库,Lakera能在30秒内找到漏洞,弥合训练数据偏差,防御提示注入攻击、数据中毒等威胁。无论企业使用何种类型的生成式AI,Lakera都能快速接入。其使用也非常简单,只需添加几行代码即可保护整个应用程序,在云端或本地都可以部署,确保AI应用程序安全可靠。


Lakera具备内容审核功能,可以扫描和评估AI应用程序是否存在幻觉和偏见,保护企业免受有害内容、错误信息和模型错位的影响,确保LLM不会产生有害和欺骗性内容,或以非预期和不道德的方式运行。Lakera能主动检测和防范违反政策的行为,确保LLM在部署前后都符合道德准则、公司政策与合规政策。


同时,Lakera能有效防止数据泄露,避免AI应用程序因劫持或操作不当造成的原始系统提示泄露,并保护个人身份信息 (PII)等敏感信息。Lakera还能对整个组织的人工智能系统进行持续评估、跟踪、报告和管理,以确保它们在任何时候都是安全的。


Lakera的客户包括财富500强巨头、LLM提供商以及创新型初创企业和成长型企业。2023年,Lakera与领先的企业级人工智能平台Cohere达成合作,寻求更加创新的方法来确保LLM安全。


2023年,Lakera完成了1000万美元的融资,将进一步扩大公司业务,帮助更多企业安全地部署人工智能模型,构建生成式AI应用程序的安全标准。



Lakera是2023年《瑞士创新100强》(TOP100 Swiss Startups)上榜企业。《瑞士创新100强》汇聚了最佳“瑞士制造”的初创及成长期科技创新企业,是瑞士科技创新领域最具国际影响力的标杆榜单。自2011年以来,该榜单每年在瑞士全国范围内评选出100家最具开创性和市场前景的瑞士创新企业和25家最具独角兽潜力的瑞士成长期企业,覆盖生命科学、工程机械、机器人、信息通信、低碳科技、食品科技等领域。《瑞士创新100强》及系列品牌活动是瑞士创新生态圈的标志性活动,代表着瑞士创新最高地和国际投融资最前沿。

2023年《瑞士创新100强》中文版由以明科技(Insight Tech)荣誉发布。以明科技是《瑞士创新100强》的中国授权合作方,负责《瑞士创新100强》在中国的运营推广并协助榜单项目对华商业合作。作为中欧(瑞士)科技创新投资与产业化运营商,以明科技为瑞士创新和中国产业的双向合作提供投融资和商业拓展服务并开展股权投资业务。

获取2023年《瑞士创新100强》完整榜单及行业榜单,请访问以明科技公号或官网。


文章来自于微信公众号 “以明科技”


关键词: Lakera , LLM , AI安全防御