
用RLHF 2%的算力让LLM停止有害输出,字节提出LLM遗忘学习
用RLHF 2%的算力让LLM停止有害输出,字节提出LLM遗忘学习随着大型语言模型(LLM)的发展,从业者面临更多挑战。如何避免 LLM 产生有害回复?如何快速删除训练数据中的版权保护内容?如何减少 LLM 幻觉(hallucinations,即错误事实)? 如何在数据政策更改后快速迭代 LLM?这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下,对于 LLM 的安全可信部署至关重要。
随着大型语言模型(LLM)的发展,从业者面临更多挑战。如何避免 LLM 产生有害回复?如何快速删除训练数据中的版权保护内容?如何减少 LLM 幻觉(hallucinations,即错误事实)? 如何在数据政策更改后快速迭代 LLM?这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下,对于 LLM 的安全可信部署至关重要。
计算芯片未来可能不是英伟达的专利,AMD也要来了。
没想到,在ChatGPT爆火后的一年里,竟然出现了一个隐藏“Boss”——量子位获悉,百度、360等互联网大厂均已开始基于昇腾部署AI模型;而知乎、新浪、美图这样全速推进AI业务的公司,背后同样出现了华为云昇腾AI云服务的身影。
现在ChatGPT等大模型一大痛点:处理长文本算力消耗巨大,背后原因是Transformer架构中注意力机制的二次复杂度。
浪潮信息发布源2.0基础大模型,并一口气开源了1026亿、518亿、21亿三个大模型!而在编程、推理、逻辑这些老大难问题上,源2.0都表现出了令人印象深刻的性能。
刚刚,英伟达发布了目前世界最强的AI芯片H200,性能较H100提升了60%到90%,还能和H100兼容。算力荒下,大科技公司们又要开始疯狂囤货了。
11月10日,2023年世界互联网大会乌镇峰会正式闭幕,这是乌镇峰会走过的第十个年头。 回顾往年的大会,来自阿里、腾讯、百度、字节跳动等公司的互联网领军人物,往往是峰会的一个特殊群体,从他们登台演讲的“金句”、到场外的“饭局”,都备受关注。人们期待能从他们的语言中,拼凑出互联网的未来。
提及人工智能AI相关的算力芯片,现在绝大多数人的第一反应都是英伟达NVIDIA的GPU,作为AI模型搭建的基础,英伟达的A100/H100几乎成为了一块块“金砖”,深受业界喜爱。
过去一百年里,全球电动机消耗掉的电量就占到了总发电量的一半,而现在的大模型就相当于新时代的电机。
全球算力发展应用多元化、供需不平衡的挑战仍在持续,以AIGC为代表的人工智能大模型等新应用、新需求的崛起,推动算力规模快速增长、计算技术多元创新、产业格局加速重构。