ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
「HydroX AI」完成400万美元天使轮融资,为大模型安全提供解决方案
5723点击    2023-11-06 09:46

HydroX AI近日完成400万美元天使轮融资,由绿洲资本领投,奇绩创坛,Atom Capital跟投。本轮融资资金主要用于产品研发,市场拓展以及扩大团队规模等。


HydroX AI成立于2023年7月,位于美国加州,是一家专注于AI Safety(大模型安全)和Safe AI(安全人工智能)的科技企业,致力于为大模型公司、使用大模型的企业以及其他B2B行业的客户提供全方位、多层次的AI安全解决方案。



HydroX AI官网地址:https://www.hydrox.ai/


在大模型技术快速发展的今天,大模型安全是无法避开的重要议题,其中AI Safety聚焦大模型本身,细分为大模型的对齐(Alignment)、可解释性(Interpreferability)、鲁棒性(Robustness)等问题。简单来说,要对大模型进行严格的“质检”,确保大模型是一个安全的大模型,不会产生严重后果,甚至危害人类社会。


HydroX AI创始人兼CEO ZL告诉36氪,相比于传统的网络安全领域,AI Safety是一个相对新兴的领域,有更多的可能性和商业机会。ZL认为,大模型的本质是一个黑盒,针对这样的黑盒会出现很多新的攻击方式,例如prompt injection(提示词注入)。许多AI开源项目已经发现含有被攻击的代码,以及公开的训练数据集,都可能导致大模型安全问题。这些都需要新型的针对性的解决方案。


AI Safety主要依赖于大模型训练的过程,目前市面上已经出现一些相关的技术。主流的大模型公司(如OpenAI)在发布大模型时会推出相应的安全技术;英伟达研发了专门的防护技术,为大模型的输出内容“把关”;一些高校则设计了针对大模型的安全评测框架,以评估大模型的安全性。


HydroX AI的侧重点主要放在大模型的风控与数据保护。ZL表示,这是目前AI Safety最迫切且需求最广的两部分。如果大模型被恶意注入代码或脚本,可能导致用户使用大模型之后,被窃取了账户密码、银行卡号等个人隐私信息。


HydroX AI将为客户提供一站式解决方案。具体来说,HydroX AI会开发一个独立平台,从发现问题到解决问题,再到持续监控,形成端到端的闭环。安全领域是长期的动态攻防,防御再强,也会遭到更强的攻击。因此,HydroX AI正在持续丰富检测库的能力,让问题检测更全面、准确,提升该平台发现问题的能力。


目前,HydroX AI已经在官网上线了一款免费产品,主要供新用户体验,提高用户对这一新兴领域的认知和感受。ZL透露,今年年底公司将推出第一代一站式平台。


商业模式上,HydroX AI前期将为客户进行定制化开发,打造一些标杆案例,随后逐渐过渡到SaaS模式,收取订阅费等。考虑到公司现有人员和资源,HydroX AI现阶段主要瞄准国内外做基础大模型的AI公司,以及医疗、社交领域的模型公司,为这类客户打造一站式解决方案。


创始人ZL先后就职于字节跳动、Meta、Linkedin等公司,在网络安全领域具备十多年经验。团队核心成员共6人,均来自Google、Meta、Linkedin等公司。


投资人说:


绿洲资本投资负责人表示:“人工智能和社会的广泛结合才刚刚开始,这里面的安全问题不仅仅涉及到隐私和渗透,更涉及到社会伦理、知识结构和意识影响。未来安全不再是一个防护措施,更是与人工智能发展相辅相成的重要基础设施,我们非常开心和全球资深的安全隐私技术团队一起探索人工智能下的社会安全和道德责任。”


Atom Capital创始合伙人Melissa Yang表示:随着AI的落地,其安全问题变得愈发重要,大模型安全解决方案将成为新的市场刚需——这背后由监管和企业驱动,需要对AI和安全两个领域的深刻认知和密切结合,门槛很高。HydroX AI团队汇聚了AI、安全、工程领域的专家共同探索这一全新方向。早期进入的团队有机会与业界最头部的参与者一起建立行业共识,领导行业标准的制定,形成先发优势。我们看好HydroX AI成长为新一代的AI安全领导者。



文章来自 “ 36kr ”,作者 林炜鑫




关键词: HydroX AI , AI Safety , Alignment
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0