最近的消费级大模型,可以说卷得相当厉害。
不仅多模态能力几乎全面铺开,而且上下文长度也已经飙到了200K。
但对于企业来说,消费端的模型有着难以控制的幻觉,以及频繁被爆出的隐私泄露问题,甚至连自家企业都给禁用了。
相比于这种「油门踩到底」的加速式发展,作为全球第一的云计算公司,亚马逊云科技在策略上则要稳健得多。
在2023 re:Invent全球大会上,亚马逊云科技首次推出了名为「Amazon Q」生成式AI助手——专为企业用户量身定制——在满足业务严苛需求的同时,保证信息的安全可控。
除此之外,大会还在芯片、AI平台等多个领域扔出了生成式AI年终王炸。
值得一提的是, Q这个名字来源于「问题」(question),同时也是对007系列中的天才角色,以及「星际迷航」中的强大种族的致敬
如今,大模型的竞争已经来到下半场,在这个全新的时代,亚马逊云科技也开创了属于企业级生成式AI的全新范式,帮助他们在各自的领域创造「颠覆格局」的AI产品。
作为本届re: Invent上备受期待的发布,全新的生成式AI助手Amazon Q可以说完全是为客户的业务需求量身定制的。
基于亚马逊云科技17年的知识积累,Amazon Q不仅会向用户提供多个潜在的解决方案,还会解释清楚为什么会提出这样的建议。
根据亚马逊云科技CEO Adam Selipsky的介绍,Amazon Q可以和我们聊天、生成内容,还能采取行动。如何使用它,取决于我们对系统、数据存储库和运营的理解。
对企业来说,Amanzon Q对于信息管理和工作流的重构,都有着重大意义。
很多企业都面临着这样的痛点——
虽然企业掌握着分布在多个文档、系统和应用程序中的大量信息,但是从财务、人力资源,到营销和销售,每个组织的员工在日常工作中都会都耗费大量时间搜索内部信息源、拼凑分析结果、写报告、做PPT,还得针对不同受众调整内容。
而目前市面上的通用解决方案,并未与内部资源相连,也不了解使用者的身份、角色和权限,无法确定员工在工作中应该访问哪些资源。公开的解决方案,可能会使用数据输入和输出进行训练,存在安全和隐私风险。
即使有一些生成式AI方案,但它们只能在特定工具内工作,不能扩展到企业的所有系统和应用中,限制了员工充分利用AI的潜力。
使用Amazon Q,我们可以把它与公司的业务数据、信息、系统连接起来,它就可以综合所有信息,提供量身定做的解决方案。
它内置了40多个常用的数据源连接器,包括Amazon S3、Dropbox、Confluence、Google Drive、Microsoft 365、Salesforce、ServiceNow和Zendesk,还能为内部Intranets、wiki、run books等建立自定义连接器。
当Amazon Q综合了所有信息,我们就可以部署自己的智能助手了。它会生成一个Web应用,让员工使用身份验证系统来访问程序。
自定义配置完成后,Amazon Q会索引到所有它连接是数据和内容,学习企业知识,包括组织结构、核心概念和产品名称。
所有使用Amazon Q的客户,都可以选择最适合自己的模型,连接到模型的Bedrock API上,然后使用模型来了解数据、策略和工作流程,最后完成Amazon Q的部署。
然后,员工就可以让Amazon Q来完成总结或生成文章、撰写邮件,以及创建服务工单、创建会议议程、给团队发通知等等的工作了。甚至,还可以上传word、PDF、Excel,来提问文件中的问题。
此外,如果问题涉及到多个数据来源,Amazon Q会综合相关内容,在给出答案的同时,附上参考链接。
亚马逊云科技内部的一支团队完成了一项创举:短短两天内,就在Amazon Q的加持下,将上千款应用程序从Java 8升级到了Java 17。
这种奇迹般的神速,靠是就是Amanzon Q的代码转换功能。
具体来说,亚马逊云科技的CodeWhisperer,可以生成和解释代码。结合此功能,在受支持的IDE(如CodeCatalyst),Amazon Q可以根据客户代码的知识生成测试,从而完成对软件的基准测试。
它还可以在软件中实现新功能,转换代码,升级代码包、存储库和框架,而这些,都可以用自然语言完成。
因为对亚马逊云科技,以及它提供的产品和服务有透彻的了解,Amazon Q可以理解应用程序工作负载之间的细微差别。
如果你问它,关于高性能视频编解码程序的最佳EC4实例,Amazon Q会给出一个列表,综合考虑从性能到成本的各个因素。
Selipsky表示,Amazon Q具有革命性的意义,从事各种类型工作的人,都将从中受益。
针对生成式AI系统普遍面临的幻觉问题,Amazon Q是怎样解决的呢?
为了减轻幻觉,管理员可以选择让Amazon Q仅从公司文档中提取知识,而不是从基础模型中。
Amazon Q给出的答案、采取的行动,也都是完全可控、可过滤的。
它提供的答案和间接,会严格忠实于客户提供的源材料和知识。而且,它只会返回用户有权查看的信息,管理员也可以限制敏感主题,让它过滤掉不适当的问题和答案。
比如,可以把Amazon Q设置为只回答安全团队提出的安全相关问题,或从公司内部目录中,提取与人员有关问题的答案。
而且,客户的数据也是绝对安全的。驱动Amazon Q的模板包括Bedrock平台中的模型,以及亚马逊云科技自己的Titan系列,这些模型都不会用客户的数据进行训练。
因此,出于安全原因对生成式AI持谨慎态度的公司,可以放心使用Amazon Q。
今年4月,亚马逊云科技首次官宣Amazon Bedrock,一个能够提供基础模型的服务平台。
这一平台最大的特色,就是让开发者能够轻松定制模型,并松构建属于自己的生成式AI应用程序。
这次,Amazon Bedrock再次迎来了升级。
在自研基础模型方面,亚马逊云科技全新推出文生图模型Amazon Titan Image Generator。与此同时,还发布了两个关注文本处理任务的模型Amazon Titan Text Lite和Amazon Titan Text Express。
此外,全新升级第三方模型Claude 2.1,Stability Diffusion XL 1.0、Llama 2-70B也加入了Amazon Bedrock。
当前,AI生图已经进入白热化阶段,DALL·E 3、Stable Diffusion、Midjourney等AI工具在业界引起巨大的反响。
同样,亚马逊云科技也加入了这场大战。
re:Invent大会上,全新的Amazon Titan Image Generator只需要一个指令,能够生成各种逼真的图像。
比如,你可以让它生成一张雪景中的木屋,甚至还可以动嘴更改主题、背景等。
再比如,当你想要一个背包的时候,你可以让Amazon Titan Image Generator为你搜索相关图片,并做出推荐。
最令人惊艳的是,当你选好其中一个书包,但又不知道在不同场景中的效果如何。
这时,你就可以让AI生图工具,为你「想象」,也就是我们常见的「图像扩展」能力。
深蓝色帆布包,放在在下雪天中,已经在教室中,给人的感受更加直观了。
Amazon Titan Image Generator是在广泛的领域的各种数据集上完成训练,可以选择在自定义数据集上进行微调。
对此,开发人员还可以在此基础上构建自己的图像生成器,由Amazon Bedrock上的模型提供支持。
Amazon Titan Image Generator生成的所有图像都包含了隐形水印,不会干扰图像的视觉效果,没有延迟,并且不会被裁剪或压缩。
而且,水印并不局限于文件的元数据。
对于如何检测不可见的水印,亚马逊云科技还创建了一个API,输入图像便可以看见图像来源。
亚马逊云科技进军AI图像生成领域,标志着该公司人工智能战略进入了一个新阶段。
Amazon Titan Image Generator未来可能被证明是AI驱动内容创作中,新应用的催化剂。
通过提供强大的工具和法律保障,亚马逊云科技有望在人工智能图像生成领域留下浓墨重彩的一笔。
除了Amazon Titan Image Generator,大会上,亚马逊云科技还更新了两个文本生成的模型。
一个是Amazon Titan Text Lite,用于文案写作等基本任务,结构紧凑非常适合微调。
另一个是用于对话聊天的应用程序Amazon Titan Text Express,专为较大的任务而设计,并且同时兼顾了价格和性能。
然而,没有哪一个模型是可以完美适应所有应用场景的。不同的模型在能力、价格和性能上也各有千秋。
在选择对比的过程中,企业首先需要花费数天时间来确定评价基准、配置测试工具,然后才能进行实际的评估。
这不仅需要深厚的专业知识,而且由于现有的测试并不适合一些主观标准的评估(如相关性和风格),企业也因此不得不引入人工审查来进行判断。
如此繁琐且耗时的流程,极大地限制了企业利用生成式AI的潜力,尤其是对于需求场景复杂多样的客户来说。
针对这一问题,亚马逊云科技在Amazon Bedrock平台上全新发布的Model Evaluation,能够帮助客户评估AI模型的能力。
模型评估有两个组成部分:自动评估和人工评估。
在自动化评估中,开发人员可以进入Amazon Bedrock控制台,选择要评估的模型。如Llama 2、Claude 2和Stable Diffusion等等,都可以进行选择。
然后,他们可以评估模型在摘要总结、文本分类、问答和文本生成等任务的稳健性、准确性或安全性等指标上的性能。
评估过程中,亚马逊云科技会提供测试数据集,不过,客户可以把自己的数据引入基准测试平台,以便选择更适合自身业务场景的模型。
对于人工评估来说,客户可以选择与亚马逊云科技评估团队合作,或与自己的团队合作。
然后,客户提供指定的任务类型(比如摘要或文本生成)、评估指标以及要使用的数据集,并会得到定制的定价和时间表。
生成式AI大红大紫当下,每家企业,每个开发者都有机会,创造出时代爆款应用。
Andy Jessy曾经提过:任何人哪怕在自己的宿舍,或者车库里开始自己的创新之旅,也能获得与大型企业一样的基础设施和成本优势,来实现自己的创新。
值得一提的是,目前全球有80%的独角兽企业,都在使用亚马逊云科技的技术。
这次re:Invent大会上,这家科技巨头更是利用20多年在深度学习技术积淀,把自身产品进行了重构。
重构基础设施、重构存储、重构计算、还有重构生成式AI。
在重构生成式AI过程中,亚马逊云科技提供了个完整全链路工具栈,包括底层的基础设施,中间微调模型需求的工具服务,以及最上层应用层。
第一层「基础设施」,亚马逊云科技这次推出了第四代自研服务器CPU芯片Graviton4,比起第三代处理速度快30%。
还有专为生成式AI训练设计的云端AI芯片Trainium2,比上一代芯片性能提高4倍。
除此之外,亚马逊云科技还与英伟达合作推出带有32个GH200超级芯片的超算——NVIDIA GH200 NVL32,用于加速训练1万亿参数的AI大模型。
在第二层模型层中,亚马逊云科技提供了模型调用平台Amazon Bedrock、Amazon Bedrock Agent,以及云机器学习平台Amazon SageMaker等等。
在最上层应用层中,除了Amazon CodeWhisper、Amazon QuickSight,这次全新增加了Amazon Q人工智能助手。
很明显,亚马逊云科技凭借其独特的三层技术栈,能够为客户提供全面的工具链条,去打造符合自身业务场景的应用。
一直以来,亚马逊云科技的使命是,帮助不同规模、不同体量的客户降低创新门槛。
在生成式AI时代下,也不例外。我们所有人都能深切地感受到,生成式AI的创新能力的重要性。
企业若想在这波AI浪潮中实现创新,构建面向百万、上亿用户的原生应用,都需要算力、数据端到端的能力、模型工具等服务。
亚马逊云科技所做的努力恰恰为企业和开发者开辟了新的契机,通过构建完成的技术体系,助力生成式AI全面落地。
在这个新的节点上,亚马逊云科技再次做到了通过创新降低AI门槛,进而赋能千行百业。
参考资料:
https://press.aboutamazon.com/2023/11/aws-announces-amazon-q-to-reimagine-the-future-of-work
https://press.aboutamazon.com/2023/11/aws-announces-more-model-choice-and-powerful-new-capabilities-in-amazon-bedrock-to-securely-build-and-scale-generative-ai-applications
https://techcrunch.com/2023/11/29/heres-everything-aws-reinvent-2023-so-far/
文章来自于 微信公众号“新智元”,作者 “新智元编辑部”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner