AI资讯新闻榜单内容搜索-微调

关键词: 微调,Mistral,Llama,模型训练,Enkrypt AI

大模型又又又被曝出安全问题！

关键词: Gradient AI,Llama 3,上下文,微调,LoRA

堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。

关键词: Hugging Face,微调,Llama 3,Mistral AI,Mistral,Q-Lora

我们知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 实验室推出的 Jamba 等开源大语言模型已经成为 OpenAI 的竞争对手。

关键词: Llama 3,AI产品,AI产品经理,Llama,开源模型

Llama 3的开源，再次掀起了一场大模型的热战，各家争相测评、对比模型的能力，也有团队在进行微调，开发衍生模型。

关键词: 模型训练,AI,AI训练,RLHF,chatGPT,openai

在大语言模型领域，微调是改进模型的重要步骤。伴随开源模型数量日益增多，针对LLM的微调方法同样在推陈出新。

关键词: 小模型,AI数学,AI推理,Mistral-7B,微调

对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。

关键词: LLM,微调,LongRoPE,模型训练,上下文

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token

关键词: GPU,AI算力,H800,AI芯片,H100集群

Llama 3诞生整整一周后，直接将开源AI大模型推向新的高度。

关键词: 大模型,模型训练,AI模型,AI算法

近期，大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下，如何适应瞬息万变的需求，快速适配大模型至各类下游任务，成为了一个重要的挑战。受限于计算资源，传统的全参数微调方法可能会显得力不从心，因此需要探索更高效的微调策略。

关键词: AI蛋白质,AI生物,AI科研模型,微调,模型训练

蛋白质结构相比于序列往往被认为更加具有信息量，因为其直接决定了蛋白质的功能