搜索
近年来，代码评测集数量激增，但质量参差不齐。为规范其开发，香港科技大学联合多所高校研究了过去十年的274个代码评测集，发现诸多问题，如数据重复、测试用例错误、隐私信息未删除等。基于此，他们推出了《代码评测集发展指南55项》（How2Bench），涵盖设计、构建、评测、分析、发布五大阶段，旨在提升代码评测集的质量与可靠性。
那么，DeepSeek-R1 的 ARC-AGI 成绩如何呢？根据 ARC Prize 发布的报告，R1 在 ARC-AGI-1 上的表现还赶不上 OpenAI 的 o1 系列模型，更别说 o3 系列了。但 DeepSeek-R1 也有自己的特有优势：成本低。
随着基础模型（如VLMs，例如Minimax、Qwen-V）和尖端图像生成技术（如Flux 1.1）的快速发展，我们正进入一个创造性可能性的新纪元。结合像T5这样的模型以增强对潜在空间中文本提示的理解，这些工具使得生产广告级别的关键视觉（KVs）成为可能，且具有显著的真实感。
OpenAI o1大火之后，国内外上演的AI推理能力竞赛可以说是2024下半年AI领域最大看点了。
完蛋了，高考落榜了！
如何解决模型生成幻觉一直是人工智能（AI）领域的一个悬而未解的问题。为了测量语言模型的事实正确性，近期 OpenAI 发布并开源了一个名为 SimpleQA 的评测集。而我们也同样一直在关注模型事实正确性这一领域，目前该领域存在数据过时、评测不准和覆盖不全等问题。例如现在大家广泛使用的知识评测集还是 CommonSenseQA、CMMLU 和 C-Eval 等选择题形式的评测集。
最近忽然很想玩小游戏。 不用多复杂，最基础的扫雷、空当接龙就行。 奈何电脑是os系统，不能一键转换到“摸鱼”小游戏模式，我斗胆问了下大模型，能否一键帮我生成。 别说，还都应了我。
计算机科学、数学、自然科学、医学、语言学、社会科学……OpenAI o1擅长什么？还有哪些不足？
至少到现在，MiniMax还未收费。
大模型竞技场规则更新，GPT-4o mini排名立刻雪崩，跌出前10。