你的怀疑是对的！LLM作为Judge，既无效又不可靠，终于有论文向LLJ开炮了
你的怀疑是对的！LLM作为Judge，既无效又不可靠，终于有论文向LLJ开炮了让LMM作为Judge，从对模型的性能评估到数据标注再到模型的训练和对齐流程，让AI来评判AI，这种模式几乎已经是当前学术界和工业界的常态。
来自主题: AI资讯
6427 点击 2025-08-31 12:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
让LMM作为Judge，从对模型的性能评估到数据标注再到模型的训练和对齐流程，让AI来评判AI，这种模式几乎已经是当前学术界和工业界的常态。
谷歌DeepMind最新Nature王炸，直接把Gemini版大模型PH-LLM调教成了「AI健康私教」，把可穿戴冷冰冰的数据，直接变成睡眠健身建议，结果准确率暴打人类医生。
最近3D内容生成模型好生热闹，像谷歌Genie 3、World Labs、混元、昆仑争相发布并开测世界模型。
尽管 LLM 的能力与日俱增，但其在复杂任务上的表现仍受限于静态的内部知识。为从根本上解决这一限制，突破 AI 能力界限，业界研究者们提出了 Agentic Deep Research 系统，在该系统中基于 LLM 的 Agent 通过自主推理、调用搜索引擎和迭代地整合信息来给出全面、有深度且正确性有保障的解决方案。
大语言模型正加速重塑软件工程领域的各个环节，从需求分析到代码生成，再到自动化测试，几乎无所不能，但衡量这些模型到底「好不好用」、「好在哪里」、「还有哪些短板」，一直缺乏系统、权威的评估工具。
当大语言模型（LLM）走向千行百业，推理效率与显存成本的矛盾日益尖锐。
近日，随着新一代大语言模型（LLM）的一波更新，开源大模型再次成为了热门讨论话题。软件工程师、自媒体 Rohan Paul 发现了一个惊人的现象：Design Arena 排行榜上排名前十几位开源 AI 模型全部来自中国。
近年来，大语言模型（LLMs）展现出强大的语言理解与生成能力，推动了文本生成、代码生成、问答、翻译等任务的突破。代表性模型如 GPT、Claude、Gemini、DeepSeek、Qwen 等，已经深刻改变了人机交互方式。
LLM 发展至今，编程能力已经非常强大，成为了很多开发者和软件工程师的「标配」，甚至谷歌还曾宣称其 50% 的代码都是 AI 编写的。
Anthropic的“快乐教育”让OpenAI份额暴跌25% 6个月自学速成AI，我成为了LLM天才❛‿˂̵✧ 成就OpenAI、打倒OpenAI（咳咳）创立对家Anthropic，从此化身前司的心腹大患……