
ICML 2024 | 梯度检查点太慢?不降速、省显存,LowMemoryBP大幅提升反向传播显存效率
ICML 2024 | 梯度检查点太慢?不降速、省显存,LowMemoryBP大幅提升反向传播显存效率自从大型 Transformer 模型逐渐成为各个领域的统一架构,微调就成为了将预训练大模型应用到下游任务的重要手段
自从大型 Transformer 模型逐渐成为各个领域的统一架构,微调就成为了将预训练大模型应用到下游任务的重要手段
好莱坞级视觉AI横空出世!一个demo已令网友疯狂~
给大模型加上第三种记忆格式,把宝贵的参数从死记硬背知识中解放出来!
沉睡了两千多年的兵马俑,苏醒了?
Gen-3 Alpha终于开启测试了!第一时间拿到内测资格的网友们,纷纷放出各种炸裂的demo,看得出Gen-3在生成质量完全跃升。不过,模型有时无法理解物理世界的缺陷,依然存在。
工具使用(Tool Use)和个性化记忆(Personalization Memory)是目前AI Agent最重要的基础设施
排名超过Llama-3-70B,英伟达Nemotron-4 340B问鼎竞技场最强开源模型!
刚刚,英伟达全新发布的开源模型Nemotron-4 340B,有可能彻底改变训练LLM的方式!从此,或许各行各业都不再需要昂贵的真实世界数据集了。而且,Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2,甚至可以和GPT-4掰手腕!
性能超越 Llama-3,主要用于合成数据。
英特尔为了AI,再次做出重大架构变革: 像手机一样搞起SoC(系统级芯片),你的下一台笔记本不会再有独立内存条。 刚刚推出的新一代AI PC低功耗移动平台架构Lunar Lake,采用全新MoP(Memory on Package)封装,片上集成16或32GB的LPDDR5X内存,无法再额外连接更多RAM。