AI资讯新闻榜单内容搜索-7B模型

关键词: LLM,LLaMA,NLP, LLaMA2-7B,Transformer

基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复杂度使得大模型的推理成本和内存占用十分巨大，特别是在长序列的场景中。

关键词: RNN模型,Transformer,Mistral-7B,Eagle 7B

大模型内卷时代，也不断有人跳出来挑战Transformer的统治地位，RWKV最新发布的Eagle 7B模型登顶了多语言基准测试，同时成本降低了数十倍

关键词: Mixtral 8x7B,Nous-Hermes 2,Mixtral

Mixtral 8x7B模型开源后，AI社区再次迎来一大波微调实践。来自Nous Research应用研究小组团队微调出新一代大模型Nous-Hermes 2 Mixtral 8x7B，在主流基准测试中击败了Mixtral Instruct。

关键词: Mixtral 8x7B,小参赛模型,Mistral AI,Llama 2

爆火社区的Mixtral 8x7B模型，今天终于放出了arXiv论文！所有模型细节全部公开了。

关键词: 盘古π,华为大模型,LLM

近日，来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构，尝试来构建更高效的大模型架构。

关键词: ShareGPT4V,数据集,GPT4-Vision

研究人员利用GPT4-Vision构建了一个大规模高质量图文数据集ShareGPT4V，并在此基础上训练了一个7B模型，在多项多模态榜单上超越了其他同级模型。