ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
大模型卷爆数字人:一句话5分钟实现定制,跳舞主持带货都能hold住
9219点击    2024-05-08 20:08

最快5分钟,打造一个直接上岗工作的3D数字人。


这是大模型给数字人领域带来的最新震撼。


就像这样,一句话描述需求:



生成的数字人直接就能进驻直播间当主播。


跳起女团舞也不在话下。



整个制作过程中,想到什么说什么就行,大模型都能自动拆解需求,瞬间get设计、修改思路。



这样的文生数字人技术,来自百度智能云最新发布。该说不说,是要把数字人的使用门槛一口气砍没的节奏了。


听闻如此神器,我们照例第一时间争取到了内测资格,更多细节,一起先睹为快~


一句话5分钟,3D数字人直接上岗


从Chatbot到文生图片,再到文生视频,大模型带来的交互方式的变革,已经无需赘言。


现在,在百度智能云曦灵平台上,基于文心一言4.0,数字人定制这件事,同样能通过自然语言对话的形式实现。


举个,生成一个品牌代言人,需要几步?


首先,输入“生成一个百度智能云品牌代言人”这样的提示词,同时上传logo图片。



大模型就会自动从脸型、发型、妆容、服装、配饰等多个维度,开始一步一步思考:



自动打造出符合要求的数字人。



如果需要调整细节,一样“说话”就能完成。



也就5-10分钟,一个360°无死角的高质量数字人就基本成型了。



捏脸完毕,下一步就是给数字人绑上表情,让Ta能动起来。同样只需要一键操作,等待1-2分钟。




相比于过去高精度3D数字人好几天、甚至好几个月的定制周期,这个分钟级的效率,确实称得上是“颠覆”了。


值得一提的是,效率如此大幅提升的前提下,这样的文生数字人细节质量依然保持着高水准。


表情细节:



动作质量



结合百度智能云在数字人领域的长期积累,上岗播新闻、直播带货都不在话下。



数字人技术全面AI化


效率和落地能力的直观提升之外,此次百度智能云推出的文生数字人方案背后,不少技术细节也值得好好说道说道。


正如前文所说,其技术基座,正是文心一言4.0.


而起到关键作用的大模型能力包括:


  • 自动拆解要做的任务和子任务
  • 显示思考过程,做到有理有据,让整个生成过程“白盒化”
  • 实现了基于内容提炼的短期记忆,可以通过对话持续调整数字人形象



这样一来,大模型就成了一个能懂人类甲方心理的数字人造型助理,可以模仿人类思路,去抠数字人定制的每一个细节,并且做到过程可控。


同时,大模型还在背后施展出了调用工具的能力。


比如,调用涵盖6000+维度的脸型及五官细节“知识库”,整体调整数字人面容。


大模型技术之外,百度智能云还在曦灵平台中加入了新的AI渲染技术,支持AI驱动、AI布料模拟,让数字人的表情肢体动作更自然,服装面料质感更真实。包括:


  • 动态褶皱贴图,让纹理更加真实。



  • 分钟级4D自动绑定,让眼睛、嘴唇等部位能够完美闭合,并支持表情风格切换。
  • 肢体肌肉挤压、碰撞实时模拟。
  • ……


官方还透露,接下来,百度智能云计划实现角色、行为、场景、灯光、镜头要素的全面AI化。



数字人,步入大模型时代应用新范式


如果说去年大家还在热火朝天地讨论基础模型,那么今年以来由Sora而起,大模型带来的应用范式的变革,已经成为科技圈新的热议焦点。


在交互方式的改变之上,核心受到关注的,其实还是效率提升


输出创意,生成所需,大模型正在让越来越多本来需要消耗大量时间、人力、金钱的工作,变得简单、高效、人人可用。


现在,百度智能云在3D数字人领域的最新技术进展,就是这种可能性在人们更为熟知的图像、视频领域之外,拓展开来的一个代表。



可以预见的是,过去更多在大企业、大机构中被使用的数字人员工,在新范式的驱动之下,步入“寻常百姓家”正在成为可能。


此前,清华大学《虚拟数字人研究报告2.0版》数据显示,从头部企业的布局来看,面向B端的数字人产品服务是市场的主要组成部分,占比达到79%。


而随着大模型技术对数字人应用模式的颠覆,不仅中小企业不用再对6位数的3D高精度数字人望而却步,C端的应用也将得以拓展。


这也就意味着,数字人的应用和商业化,已经翻开新的一页。


最后,如果你还对哪些大模型新应用感兴趣,欢迎留言,我们速速测起~


本文来自微信公众号“量子位”



AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
数字人

【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,

“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。

项目地址:https://github.com/xszyou/Fay

2
知识库

【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。

项目地址:https://github.com/labring/FastGPT

3
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0

4
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales