消除激活值(outliers)，大语言模型低比特量化有新招了—— 自动化所、清华、港城大团队最近有一篇论文入选了NeurIPS 2024（Oral Presentation），他们针对LLM权重激活量化提出了两种正交变换，有效降低了outliers现象，达到了4-bit的新SOTA。
字节跳动豆包大模型团队于近日提出超连接（Hyper-Connections），一种简单有效的残差连接替代方案。面向残差连接的主要变体的局限问题，超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 80%。
在本文中，我们想要解决GraphRAG系统中的一些常见误解。我们特别关注理解知识图谱构建技术和我们称之为“RAG-Native Graphs”所带来的细微差别。
近日，中科大王杰教授团队（MIRA Lab）和华为诺亚方舟实验室（Huawei Noah's Ark Lab）联合提出了可生成具有成千上万节点规模的神经电路生成与优化框架，具备高扩展性和高可解释性，这为新一代芯片电路逻辑综合工具奠定了重要基础。论文发表在 CCF-A 类人工智能顶级会议 Neural Information Processing Systems（NeurIPS 2024）。
来自中科大等单位的研究团队共同提出了用来有效评估多模态大模型预训练质量的评估指标 Modality Integration Rate（MIR），能够快速准确地评估多模态预训练的模态对齐程度。
个性化精品数字人（Personalized Talking Face Generation）强调合成的数字人视频在感官上与真人具有极高的相似性（不管是说话人的外表还是神态）。
在当前大语言模型（LLM）蓬勃发展的环境下，Prompt工程师们面临着一个两难困境：要么使用像LangChain这样功能强大但学习曲线陡峭的框架，要么选择自动化程度更高DSPy但牺牲了对提示词精确控制的工具。IBM研究院和UC Davis大学最近推出的PDL（Prompt Declaration Language，提示词声明语言）或许打破了这个困境，让AI开发者能真正拿回Prompt的控制权。
有了 TEN（Transformative Extensions Network，变革性扩展网络），开发者们终于不用再「绞尽脑汁」了！TEN 是全球首个真正实现实时多模态智能体的框架，不仅能减少开发痛点，还让你轻松从头开始构建下一代 AI 应用。
PUMA（emPowering Unified MLLM with Multi-grAnular visual generation）是一项创新的多模态大型语言模型（MLLM），由商汤科技联合来自香港中文大学、港大和清华大学的研究人员共同开发。它通过统一的框架处理和生成多粒度的视觉表示，巧妙地平衡了视觉生成任务中的多样性与可控性。
前Neuralink总裁创立的脑机接口公司Science Corporation，正在开发一种名为「Prima」的芯片技术。初步试验结果表明，38名患者中，有81%的患者视力得到了大幅度的改善。几位知名眼科医生都直称：「这是第一个有可能成功恢复AMD患者视力的重大进展！」
