论文荣登计算机体系结构顶会ISCA，芯片架构成为边缘AI最佳并行计算选择
论文荣登计算机体系结构顶会ISCA，芯片架构成为边缘AI最佳并行计算选择AI 大模型的爆发带动了 GPU 的强劲需求，从云端到边缘渗透的 AI 应用也将带动边缘 AI 服务器及加速处理器的需求。
来自主题: AI资讯
6627 点击 2024-08-13 17:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
AI 大模型的爆发带动了 GPU 的强劲需求，从云端到边缘渗透的 AI 应用也将带动边缘 AI 服务器及加速处理器的需求。
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
人工智能系统依靠充足、高质量的训练数据来获得高性能，但MIT等机构最近的一项研究发现，曾经免费提供的数据在多个方面变得越来越难获取。
只用提示词，多模态大模型就能更懂场景中的人物关系了。
关于长文本和 RAG 到底如何选择，一直有争论，从基模公司到应用开发者。 今天这篇文章，是来自基模公司月之暗面和中间层 Zilliz 的技术对话，值得一看。
三维数字人生成和编辑在数字孪生、元宇宙、游戏、全息通讯等领域有广泛应用。传统三维数字人制作往往费时耗力，近年来研究者提出基于三维生成对抗网络（3D GAN）从 2D 图像中学习三维数字人，极大提高了数字人制作效率。
Mini-Monkey 是一个轻量级的多模态大型语言模型，通过采用多尺度自适应切分策略（MSAC）和尺度压缩机制（SCM），有效缓解了传统图像切分策略带来的锯齿效应，提升了模型在高分辨率图像处理和文档理解任务的性能。它在多项基准测试中取得了领先的成绩，证明了其在多模态理解和文档智能领域的潜力。
近日，来自加州大学尔湾分校等机构的研究人员，利用延迟掩蔽、MoE、分层扩展等策略，将扩散模型的训练成本降到了1890美元。
跨GPU的注意力并行，最高提速8倍，支持512万序列长度推理。
2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。 作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。