用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高
用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。
来自主题: AI技术研报
8993 点击 2024-06-11 10:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。
360 度场景生成是计算机视觉的重要任务，主流方法主要可分为两类，一类利用图像扩散模型分别生成 360 度场景的多个视角。由于图像扩散模型缺乏场景全局结构的先验知识，这类方法无法有效生成多样的 360 度视角，导致场景内主要的目标被多次重复生成，如图 1 的床和雕塑。
近年来兴起的第一人称视角视频研究为理解人类社交行为提供了无法取代的直观视角，然而，绝大多数的既往工作都侧重于分析与摄像机佩戴者相关的行为，并未关注处于社交场景中其他社交对象的状态。
偏微分方程（PDEs）被称为物理学的语言，因为它们可以在广泛的时间 - 空间尺度上对各种各样的物理现象进行数学建模。常用的有限差分、有限元等数值方法通常用于近似或模拟偏微分方程。
AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达四个小时的视频。
在大语言模型突飞猛进的同时，谷歌的研究团队在时序预测方面也取得了突破性的成果——今年2月发表的模型TimesFM，而且放出了模型的代码和权重，让更多开发者体验这种「开箱即用」的零样本预测能力。
近日，来自密歇根大学的研究人员，开发了一款人工智能工具，可以区分不同含义的狗叫声，并识别狗的年龄、性别和品种。
从大规模网络爬取、精细过滤到去重技术，通过FineWeb的技术报告探索如何打造高质量数据集，为大型语言模型（LLM）预训练提供更优质的性能。
让语言模型「轻装上阵」。
极限量化，把每个参数占用空间压缩到1.1bit！