AI资讯新闻榜单内容搜索-ICML

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？

关键词: Transformer,DCFormer,AI框架,模型训练

改进Transformer核心机制注意力，让小模型能打两倍大的模型！

关键词: LoRA,微调,大模型高效微调,大模型

本文介绍了香港科技大学（广州）的一篇关于大模型高效微调（LLM PEFT Fine-tuning）的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」

关键词: 大模型,文档截断,模型训练,AI学术

在大型语言模型的训练过程中，数据的处理方式至关重要。

关键词: AI,AI生物,AI科研,LangCell,BERT

大模型带来的生命科学领域突破，刚刚再传新进展。