对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。
来自主题: AI技术研报
6982 点击 2024-04-29 20:35
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。
是的，就是在一场《街头霸王》游戏现场PK中，发生了这样的名场面。
这段时间，AI模型界是真的热闹，新的模型不断涌现，不管是开源还是闭源，都在刷新成绩。就在前几天，Meta就上演了一出“重夺开源铁王座”的好戏。发布了Llama 3 8B和70B两个版本，在多项指标上都超越了此前开源的Grok-1和DBRX，成为了新的开源大模型王者。
2B性能小钢炮来了！刚刚，面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM，2B就能赶超Mistral-7B，还能越级比肩Llama2-13B。成本更是低到炸裂，170万tokens成本仅为1元！
根据消息人士曝料，微软调集了各组中的精英，组建了一支新的AI团队，专攻小模型，希望能够摆脱对于OpenAI的依赖。
在本篇文章中，适道将综合Coatue、a16z、Radical Ventures等明星VC预言；The Information、FT、Sifted汇集的投资者预言；以及Greg Brockman等行业大佬的观点，试着归纳接下来一年中AI的发展脉络。
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。
无法控制成本的大模型终将被“快好省”的小模型取代今年最热的AI赛道中，机构们自然也得下一些判断，比如说——2024年大模型的一个趋势，是将变得“越来越小”。
软件开发人员对代码生成 AI 已经不陌生，它们已经成为提高生产力的利器。本文中，伊利诺伊大学香槟分校（UIUC）张令明老师团队带来了代码生成 AI 领域的又一力作 ——Magicoder，在短短一周之内狂揽 1200 多颗 GitHub Star，登上 GitHub Trending 日榜，并获推特大佬 AK（@_akhaliq）发推力荐。
我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。