小模型强势来袭，「大模型时代」或将落幕？
来自主题: AI资讯
7853 点击 2024-07-22 15:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
小模型强势来袭，「大模型时代」或将落幕？
小模型时代来了？OpenAI带着GPT-4o mini首次入局小模型战场，Mistral AI、HuggingFace本周接连发布了小模型。如今，苹果也发布了70亿参数小模型DCLM，性能碾压Mistral-7B。
小模型，正在成为 AI 巨头的新战场。
WWDC 2024上，苹果推出了Apple Intelligence，向大家展示了如何开发、训练出功能强大、快速且节能的模型，如何根据特定用户需求进行微调，以及如何评估模型的性能。
Build大会召开两周之后，微软更新了Phi-3系列模型的技术报告。不仅加入最新的基准测试结果，而且对小模型、高性能的实现机制做出了适当的揭示。
苹果讲了一个按Query难度分发模型的模式：B小模型：大多数场景，包括自动回复、改写、语法检查、Summary都用端侧的小模型跑。
通过提示查询生成模块和任务感知适配器，大一统框架VimTS在不同任务间实现更好的协同作用，显著提升了模型的泛化能力。该方法在多个跨域基准测试中表现优异，尤其在视频级跨域自适应方面，仅使用图像数据就实现了比现有端到端视频识别方法更高的性能。
语言建模领域的最新进展在于在极大规模的网络文本语料库上预训练高参数化的神经网络。在实践中，使用这样的模型进行训练和推断可能会成本高昂，这促使人们使用较小的替代模型。然而，已经观察到较小的模型可能会出现饱和现象，表现为在训练的某个高级阶段性能下降并趋于稳定。
当前最火的大模型，竟然三分之二都存在过拟合问题？