AI资讯新闻榜单内容搜索-微调

关键词: 小模型,AI数学,AI推理,Mistral-7B,微调

对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。

关键词: LLM,微调,LongRoPE,模型训练,上下文

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token

关键词: GPU,AI算力,H800,AI芯片,H100集群

Llama 3诞生整整一周后，直接将开源AI大模型推向新的高度。

关键词: 大模型,模型训练,AI模型,AI算法

近期，大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下，如何适应瞬息万变的需求，快速适配大模型至各类下游任务，成为了一个重要的挑战。受限于计算资源，传统的全参数微调方法可能会显得力不从心，因此需要探索更高效的微调策略。

关键词: AI蛋白质,AI生物,AI科研模型,微调,模型训练

蛋白质结构相比于序列往往被认为更加具有信息量，因为其直接决定了蛋白质的功能

关键词: LLM,模型测评,GPT-4,Cluade 3,GLM-4,文心4.0

在2023年的「百模大战」中，众多实践者推出了各类模型，这些模型有的是原创的，有的是针对开源模型进行微调的；有些是通用的，有些则是行业特定的。如何能合理地评价这些模型的能力，成为关键问题

关键词: 大模型,国产大模型,模型评测,AI,AI性能评测

在 2023 年的 “百模大战” 中，众多实践者推出了各类模型，这些模型有的是原创的，有的是针对开源模型进行微调的；有些是通用的，有些则是行业特定的。如何能合理地评价这些模型的能力，成为关键问题。

关键词: openai,GPT-4,奥特曼,GPT-5

OpenAI，去日本建办事处了。 而且，他们还发布了一个专门针对日语微调的GPT-4模型……

关键词: GPT-4,chatGPT,openai,奥特曼,GPT-4 Turbo

新版GPT-4是在Q*的输出上微调的在竞技场重回榜一的新版GPT-4 Turbo，成功再次踩中大家嗨点

关键词: LoRA,PiSSA,微调,模型训练

随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。