近日，来自MIT的研究人员发表了关于大模型能力增速的研究，结果表明，LLM的能力大约每8个月就会翻一倍，速度远超摩尔定律！硬件马上就要跟不上啦！
来自主题: AI资讯
8711 点击 2024-03-17 18:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
近日，来自MIT的研究人员发表了关于大模型能力增速的研究，结果表明，LLM的能力大约每8个月就会翻一倍，速度远超摩尔定律！硬件马上就要跟不上啦！
早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
近日，爱思唯尔上的几篇论文被发现开篇就暴露了「ChatGPT风格」，插图也是用Midjourney画的。学术圈被AI渗透已经不是一天两天了，搞科研的用AI写论文，学生用AI写作业，老师也用AI批作业，整个过程都没有真人了。
StepCoder将长序列代码生成任务分解为代码完成子任务课程来缓解强化学习探索难题，对未执行的代码段以细粒度优化；还开源了可用于强化学习训练的APPS+数据集。
AI世界的进化快的有点跟不上了。刚刚，全球最强最大AI芯片WSE-3发布，4万亿晶体管5nm工艺制程。更厉害的是，WSE-3打造的单个超算可训出24万亿参数模型，相当于GPT-4/Gemini的十倍大。
OpenAI上一笔融资不到八个月，Figure就来交卷了！这个机器人能说会动，还能自主推理，给自己布置任务。最炸裂的是，它完全是自主行动，没有远程控制！1.0倍速的原视频一出，网友们震惊了。
新模型bGPT是一个基于字节的Transformer模型，能够将不同类型的数据纳入同一框架之下，可以生成文本、图像和音频，还能模拟计算机行为，数字世界将迎来真正的大一统？
刚刚，OpenAI超级对齐团队负责人官宣开源Transformer调试器。研究人员不用写代码，就能快速探索LLM的内部构造了！
GraphEdit方法可以有效地去除图网络中的噪声连接，还能从全局视角识别节点间的依赖关系，在不同的实验设置中都被验证为有效且稳健。
挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。