
从LLM中完全消除矩阵乘法,效果出奇得好,10亿参数跑在FPGA上接近大脑功耗
从LLM中完全消除矩阵乘法,效果出奇得好,10亿参数跑在FPGA上接近大脑功耗让语言模型「轻装上阵」。
让语言模型「轻装上阵」。
极限量化,把每个参数占用空间压缩到1.1bit!
DeepMind发表了一篇名为「To Believe or Not to Believe Your LLM」的新论文,探讨了LLM的不确定性量化问题,通过「迭代提示」成功将LLM的认知不确定性和偶然不确定性解耦。研究还将新推导出的幻觉检测算法应用于Gemini,结果表明,与基线方法相比,该方法能有效检测幻觉。
大模型应用开卷,连一向保守的苹果,都已释放出发展端侧大模型的信号。
不使用外部工具也能让大语言模型(LLMs)实现严谨可信的推理,新国立提出 SymbCoT 推理框架:结合符号化逻辑(Symbolic Logical)表达式与思维链,极大提升推理质量,鲁棒性与可信度。
Rabbit R1 又被扒出了更多伪AI产品的实锤。
请想象这样一个场景。你坐在公交车上靠窗的位置,这时你的朋友突然对你说:“今天好像有点热”。你会怎么回应?大多数人的做法应该是立即打开窗户,因为他们巧妙地理解了朋友的言外之意:他是在礼貌地请求自己打开窗户,而不是单纯因为无聊而谈论天气。
众所周知,对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说,构建高质量的网络规模数据集是非常重要的。然而,即使是最先进的开源 LLM 的预训练数据集也不公开,人们对其创建过程知之甚少。
在以英语为主的语料库上训练的多语言LLM,是否使用英语作为内部语言?对此,来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
机器翻译 (MT) 的最新进展显着提高了各个领域的翻译质量。然而,由于其复杂的语言、比喻表达和文化差异,文学文本的翻译仍然是一个艰巨的挑战。