搜索
最近，外媒曝出Sam Altman正计划筹集数十亿美元，为OpenAI建起全球性的半导体晶圆厂网络。GPT-5训练严重缺芯，OpenAI誓不让英伟达掌握主动权，干脆自己做新的AI芯片霸主？
AGI若到来，人类是否会受到威胁，是一个大众热衷讨论同时研究者们也很关注的问题，从各个角度对此的研究几乎都会引发人们的讨论。最新的一个重磅研究来自今天最重要的大模型公司之一Anthropic。
要真正的实现AGI的话，需要有强大的模型和数量庞大且高质量的数据、可扩展的基础训练以及符号化的方法。
自 ChatGPT 等大型语言模型推出以来，为了提升模型效果，各种指令微调方法陆续被提出。本文中，普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展，包括数据、算法和评估等。
字节跳动联合中科院自动化研究所提出新方法，用AI快速检测出视频中的高光片段，对输入视频的长度以及期望提取的高光长度都具有极高的灵活性，相关论文已被AAAI 2024收录。
本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。
主题驱动的文本到图像生成，通常需要在多张包含该主题（如人物、风格）的数据集上进行训练，这类方法中的代表工作包括 DreamBooth、Textual Inversion、LoRAs 等，但这类方案因为需要更新整个网络或较长时间的定制化训练，往往无法很有效地兼容社区已有的模型，并无法在真实场景中快速且低成本应用。
今天，小扎正式宣战「开源AGI」！下一代大模型Llama 3正在训练，年底将拥有35万块H100，届时算力总和达60万块H100。为了追赶OpenAI，成立十年的FAIR团队纳入GenAI，全力奔赴AGI。
Lightning Attention-2 是一种新型的线性注意力机制，让长序列的训练和推理成本与 1K 序列长度的一致。
用剪枝的方式加速AI训练，也能实现无损操作了，只要三行代码就能完成！今年的深度学习顶会ICLR上，新加坡国立大学尤洋教授团队的一项成果被收录为Oral论文。