「专业智能体指导」让小模型学会数学推理!微调Mistral-7B实现86.81%准确率
「专业智能体指导」让小模型学会数学推理!微调Mistral-7B实现86.81%准确率对于小型语言模型(SLM)来说,数学应用题求解是一项很复杂的任务。
搜索
对于小型语言模型(SLM)来说,数学应用题求解是一项很复杂的任务。
大型语言模型(LLM)往往会追求更长的「上下文窗口」,但由于微调成本高、长文本稀缺以及新token位置引入的灾难值(catastrophic values)等问题,目前模型的上下文窗口大多不超过128k个token
在4月27日召开的中关村论坛通用人工智能平行论坛上,人大系初创公司智子引擎隆重发布全新的多模态大模型Awaker 1.0,向AGI迈出至关重要的一步。
2024 年,Sora 一直活在聚光灯下
FP8和更低的浮点数量化精度,不再是H100的“专利”了!
啊?Sora火爆短片《气球人》,也“造假”了???
训练模型搞得跟《饥饿游戏》似的,全球AI研究者,都在苦恼怎么才能喂饱这群数据大胃王。
又一个国产多模态大模型开源! XVERSE-V,来自元象,还是同样的无条件免费商用。
Llama 3诞生整整一周后,直接将开源AI大模型推向新的高度。
近期,大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下,如何适应瞬息万变的需求,快速适配大模型至各类下游任务,成为了一个重要的挑战。受限于计算资源,传统的全参数微调方法可能会显得力不从心,因此需要探索更高效的微调策略。