搜索
为解决大模型（LLMs）在处理超长输入序列时遇到的内存限制问题，本文作者提出了一种新型架构：Infini-Transformer，它可以在有限内存条件下，让基于Transformer的大语言模型（LLMs）高效处理无限长的输入序列。实验结果表明：Infini-Transformer在长上下文语言建模任务上超越了基线模型，内存最高可节约114倍。
在实践中，人类预测的准确性依赖于「群体智慧」（wisdom of the crowd）效应，即通过聚集一群个体预测者，对未来事件的预测准确率会显著提高
大语言模型（LLM），通过在海量数据集上的训练，展现了超强的多任务学习、通用世界知识目标规划以及推理能力
近日，来自佐治亚大学、新泽西理工学院、弗吉尼亚大学、维克森林大学、和腾讯 AI Lab 的研究者联合发布了解释性技术在大语言模型（LLM）上的可用性综述，提出了 「Usable XAI」 的概念，并探讨了 10 种在大模型时代提高 XAI 实际应用价值的策略。
一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」
大语言模型潜力被激发—— 无需训练大语言模型就能实现高精度时序预测，超越一切传统时序模型。
大模型在今年的落地，除了对用 AI 对已有业务进行改造和提效外，算力和推理的优化，可能是另外一项重要的实践了。这在腾讯的两个完全不同的业务上有着明显的体现。
上个月，彭博社消息称苹果正在与 Google 进行谈判，希望将 Gemini 集成的 iPhone 当中，为 iPhone 的软件提供 AI 相关的新功能。把新系统的核心功能“外包”给第三方，这种做法非常不苹果。
大语言模型的「逆转诅咒」，被解开了。近日，来自Meta FAIR的研究人员推出了反向训练大法，让模型从反方向上学到了事实之间的逻辑，终于改进了这个困扰人们已久的问题。
距离AI「杀死」搜索引擎，到底还差几步？