小模型卷起来了：Mistral联合英伟达开源12B小模型，128k上下文
小模型卷起来了：Mistral联合英伟达开源12B小模型，128k上下文小模型，正在成为 AI 巨头的新战场。
来自主题: AI资讯
4477 点击 2024-07-19 16:13
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
小模型，正在成为 AI 巨头的新战场。
尽管有很多初创公司试图用人工智能驱动的搜索来取代当下的搜索引擎，但一家名为 Exa 的初创公司有一个不同的想法：为人工智能打造一个谷歌。创始人 Jeff Wang 和 Will Bryk 认为 Google 为人类做了什么，他们就希望通过 Exa 为 AI 做类似的事情。
英伟达全面转向开源GPU内核模块，历史将再次见证Linux社区开源的力量。
整个市场不再追求大而全，都在走小而精的路线了。
AI侵权又来了……
Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。
740 TFLOPS！迄今最强 FlashAttention 来了。
芯片巨头AMD刚刚官宣要再做大做强：
大模型训练推理神作，又更新了！
来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架，简化了原本需要多个模型的复杂的RAG流水线，用微调的方法交给同一个LLM完成，结果同时实现了模型在RAG任务上的性能提升。