大模型权威测试被曝翻车！更偏袒GPT-4等闭源模型，连提示词都区别对待
大模型权威测试被曝翻车！更偏袒GPT-4等闭源模型，连提示词都区别对待大模型权威测试，翻车了？！ HuggingFace都在用的MMLU-PRO，被扒出评测方法更偏向闭源模型，被网友直接在GitHub Issue提出质疑。
来自主题: AI技术研报
7383 点击 2024-07-12 00:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型权威测试，翻车了？！ HuggingFace都在用的MMLU-PRO，被扒出评测方法更偏向闭源模型，被网友直接在GitHub Issue提出质疑。
近日，字节跳动大模型团队开发的成果 Depth Anything V2 ，入选苹果公司 Core ML 模型库，目前已呈现在开发者相关页面中。
ControlNet作者张吕敏（Lvmin Zhang）又又又发新作了！
一张人像、一段音频参考，就能让霉霉在你面前唱碧昂丝的《Halo》。
今年年初发布的Mobile-Agent凭借强大的自动化手机操作能力，引起了AI界和手机厂商的广泛关注，仅5个月的时间就已在Github上收获了2,000个Star。
小白用户也能自己搭建本地大模型。
近期，由清华大学自然语言处理实验室联合面壁智能推出的全新开源多模态大模型 MiniCPM-Llama3-V 2.5 引起了广泛关注
最近，ChatTTS 这一语音生成项目在 GitHub 上迅速获得关注。截至6月4日，6天时间已经斩获18.9千个星标????。各大网友直呼太牛！按照这样的趋势，很快会突破2万stars。
相同性能情况下，延迟减少 46%，参数减少 25%。
Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注。代码非常详细地展现了Llama所使用的Transformer架构，甚至让Andrej Karpathy亲自下场「背书」。