搜索
近年来，大型语言模型（LLM）在数学应用题和数学定理证明等任务中取得了长足的进步。数学推理需要严格的、形式化的多步推理过程，因此是 LLMs 推理能力进步的关键里程碑， 但仍然面临着重要的挑战。
大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token
前不久，斯坦福大学教授吴恩达在演讲中提到了智能体的巨大潜力，这也引起了众多讨论。其中，吴恩达谈到基于 GPT-3.5 构建的智能体工作流在应用中表现比 GPT-4 要好。这表明，将目光局限于大模型不一定可取，智能体或许会比其所用的基础模型更加优秀。
前不久，斯坦福大学教授吴恩达在演讲中提到了智能体的巨大潜力，这也引起了众多讨论。其中，吴恩达谈到基于 GPT-3.5 构建的智能体工作流在应用中表现比 GPT-4 要好。这表明，将目光局限于大模型不一定可取，智能体或许会比其所用的基础模型更加优秀。
近期，多模态大模型 (MLLM) 在文本中心的 VQA 领域取得了显著进展，尤其是多个闭源模型，例如：GPT4V 和 Gemini，甚至在某些方面展现了超越人类能力的表现。
Snowflake 发布高「企业智能」模型 Arctic，专注于企业内部应用。
AI，能够重写人类基因组了？ 就在刚刚，初创公司Profluent宣布，完全由AI设计的基因编辑器，已经成功编辑了人类细胞中的DNA。
虽然大型语言模型（LLM）在各种常见的自然语言处理任务中展现出了优异的性能，但随之而来的幻觉，也揭示了模型在真实性和透明度上仍然存在问题。
近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。
相信很多朋友都看过这篇论文，在 2023 年 3 月，一支来自加拿大滑铁卢大学、清华大学和新加坡管理大学的团队，发表了一篇大模型综述《A Survey of Large Language Models》.