大模型的记忆限制被打破了，变相实现“无限长”上下文。最新成果，来自清华、厦大等联合提出的LLMxMapReduce长本文分帧处理技术。
随着生物医学研究进入人工智能时代，如何运用AI前沿技术，深入挖掘中医药在肿瘤防治上的特色理论与实践经验，形成中西医融合的肿瘤防治新范式？这既是中西医学面临的共性难题，也是人工智能与信息科学面临的重大挑战。
清华大学NLP实验室联合北京师范大学、中国科学院大学、东北大学等机构的研究人员推出了全新的评测方法 RAGEval，通过快速构建场景化评估数据实现对检索增强生成（RAG）系统的“精准诊断”。
我们请到了边塞科技创始人 & CEO 吴翼。他一直活跃在 AI 研究的各个领域。2020 年，他辞去了 OpenAI 的研究员工作，回到清华叉院担任助理教授，并开启了自己的 AI 创业项目。
AI智能体能像有机生命一样自适应演化吗？最近清华大学团队提出了AgentSquare模块化智能体设计框架，通过标准化的模块接口抽象，让AI智能体可以通过模块演化和重组高速进化，实现针对不同任务场景的自适应演进，赋能超越人类设计的智能体系统在多种评测数据集上广泛自我涌现。
消除激活值(outliers)，大语言模型低比特量化有新招了—— 自动化所、清华、港城大团队最近有一篇论文入选了NeurIPS 2024（Oral Presentation），他们针对LLM权重激活量化提出了两种正交变换，有效降低了outliers现象，达到了4-bit的新SOTA。
2024 年，人形机器人领域迎来爆发式增长。特斯拉 Optimus 的持续迭代、OpenAI 对 1X 的战略投资，众多初创公司异军突起，以及包括 Mobile ALOHA 在内学术界的不断创新，共同描绘出一幅激动人心的未来图景。
Transformer自问世后就大放异彩，但有个小毛病一直没解决： 总爱把注意力放在不相关的内容上，也就是信噪比低。 现在微软亚研院、清华团队出手，提出全新改进版Differential Transformer，专治这个老毛病，引起热议。
随着扩散生成模型的发展，人工智能步入了属于 AIGC 的新纪元。扩散生成模型可以对初始高斯噪声进行逐步去噪而得到高质量的采样。当前，许多应用都涉及扩散模型的反演，即找到一个生成样本对应的初始噪声。当前的采样器不能兼顾反演的准确性和采样的质量。
探索更高效的模型架构， MoE是最具代表性的方向之一。 MoE架构的主要优势是利用稀疏激活的性质，将大模型拆解成若干功能模块，每次计算仅激活其中一小部分，而保持其余模块不被使用，从而大大降低了模型的计算与学习成本，能够在同等计算量的情况下产生性能优势。
