
ACL 2024 | 对25个开闭源模型数学评测,GPT-3.5-Turbo才勉强及格
ACL 2024 | 对25个开闭源模型数学评测,GPT-3.5-Turbo才勉强及格大型语言模型(LLMs)在解决问题方面的非凡能力日益显现。最近,一个值得关注的现象是,这些模型在多项数学推理的基准测试中获得了惊人的成绩。以 GPT-4 为例,在高难度小学应用题测试集 GSM8K [1] 中表现优异,准确率高达 90% 以上。同时,许多开源模型也展现出了不俗的实力,准确率超过 80%。
大型语言模型(LLMs)在解决问题方面的非凡能力日益显现。最近,一个值得关注的现象是,这些模型在多项数学推理的基准测试中获得了惊人的成绩。以 GPT-4 为例,在高难度小学应用题测试集 GSM8K [1] 中表现优异,准确率高达 90% 以上。同时,许多开源模型也展现出了不俗的实力,准确率超过 80%。
大模型权威测试,翻车了?! HuggingFace都在用的MMLU-PRO,被扒出评测方法更偏向闭源模型,被网友直接在GitHub Issue提出质疑。
阿里云发布最强开源大模型Qwen2,干翻Llama 3,比闭源模型还强。
一夜之间,全球最强开源模型再次易主。万众瞩目的Qwen2-72B一出世,火速杀进开源LLM排行榜第一,美国最强开源模型Llama3-70B直接被碾压!全球开发者粉丝狂欢:果然没白等。
零一万物发布新闭源模型,中文测评6项指标超过GPT-4。
近期,多模态大模型 (MLLM) 在文本中心的 VQA 领域取得了显著进展,尤其是多个闭源模型,例如:GPT4V 和 Gemini,甚至在某些方面展现了超越人类能力的表现。
早前Meta的LLaMA大模型“意外”泄露后,大模型的开源与闭源之争就此提上了日程。大模型到底是开源好、还是闭源好?过去一年整个AI业界可谓是争吵不休。如今,又有一位重量级人士站出来表态了。
李彦宏对大模型开源与闭源的路线选择以及AI创业者应该专注模型还是应用等业界焦点话题,发表了自己的看法
本文探讨了大模型的发展趋势和影响,预测中国基础大模型的数量会逐渐收敛,算力需求将成为关键因素,开源大模型可能难以超过闭源模型,大模型在手机端侧的应用将引发入口之争。
Stability AI放出了号称能暴打闭源模型的Stable Diffusion 3的技术报告,采用DiT构架的新模型在灵活性和性能上都达到了新的高度。