大模型+蒙特卡洛树搜索,一招让LLaMa-3 8B奥数水平直逼GPT-4
大模型+蒙特卡洛树搜索,一招让LLaMa-3 8B奥数水平直逼GPT-4通过算法层面的创新,未来大语言模型做数学题的水平会不断地提高。
搜索
通过算法层面的创新,未来大语言模型做数学题的水平会不断地提高。
2024 年 5 月,DreamTech 官宣了其高质量 3D 生成大模型 Direct3D,并公开了相关学术论文 Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer。
语言将是获得更智能系统的重要组成部分。
苹果讲了一个按Query难度分发模型的模式:B小模型:大多数场景,包括自动回复、改写、语法检查、Summary都用端侧的小模型跑。
文章讲述了彩云科技团队在改进Transformer架构方面的努力,尤其是推出的全新通用模型架构DCFormer,以及团队面临的种种挑战和突破。
在三维生成建模的研究领域,现行的两大类 3D 表示方法要么基于拟合能力不足的隐式解码器,要么缺乏清晰定义的空间结构难以与主流的 3D 扩散技术融合。来自中科大、清华和微软亚洲研究院的研究人员提出了 GaussianCube,这是一种具有强大拟合能力的显式结构化三维表示,并且可以无缝应用于目前主流的 3D 扩散模型中。
AI 将大大提高数学研究的效率。
「原来以为语料已经匮乏了,大模型训练已经没有语料了,实际上不是的,数据还远远没有跑光」。
最近两天,一篇入选 ACL 2024 的论文《Can Language Models Serve as Text-Based World Simulators?》在社交媒体 X 上引发了热议,就连图灵奖得主 Yann LeCun 也参与了进来。
Meta AI的NLLB-200登上Nature,「不让任何一门语言掉队」,能翻译200种语言的大模型获得Nature社论的盛赞——复兴了濒临灭绝的语言,但是Nature研究人员也郑重提醒Meta,必须将使用这些语言的社区也纳入进来,才会真正减缓语言的消亡。