本研究评估了先进多模态基础模型在 10 个数据集上的多样本上下文学习，揭示了持续的性能提升。批量查询显著降低了每个示例的延迟和推理成本而不牺牲性能。这些发现表明：利用大量演示示例可以快速适应新任务和新领域，而无需传统的微调。
无情戳穿“长上下文”大模型的虚标现象
就在刚刚，法国AI初创公司Mistral发布了自家首款代码生成模型Codestral。不仅支持32K长上下文窗口以及80多种编程语言，而且还用22B的参数量取得了与70B的Llama 3相近的性能。目前，已经开放API与IDE插件供用户使用。
GPT-4在为人类选股时，表现竟然超越了大部分人类分析师，和针对金融训练的专业模型？在没有任何上下文的情况下，它们直接就成功分析了财务报表，这一发现让许多业内大咖震惊了。然而好景不长，有AI大牛指出研究中的bug：之所以会这样，很可能是训练数据被污染了。
既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？
起了个大早，赶了个晚集的谷歌，AI时代还有没有机会？
秀杀手级AI玩法、Gemini安卓合体截胡苹果、最强TPU，谷歌2小时提了121次AI。
昨天刚刚在顶会ICLR作为特邀演讲（Invited Talk）中“国内唯一”的大模型玩家智谱AI，今天又放出了一个好消息
在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势，同时预告了GLM的后续升级版本。
堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。
