刚刚，OpenAI又发布了一个“期货”
刚刚，OpenAI又发布了一个“期货”就在刚刚，OpenAI 年底的 AI 春晚迎来了第二弹。 如果说昨天的 ChatGPT Pro 订阅计划震撼了普通用户的钱包，那么今天推出的产品则转向了不同的目标客户群体——企业机构和开发者。
来自主题: AI资讯
6352 点击 2024-12-07 10:52
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
就在刚刚，OpenAI 年底的 AI 春晚迎来了第二弹。 如果说昨天的 ChatGPT Pro 订阅计划震撼了普通用户的钱包，那么今天推出的产品则转向了不同的目标客户群体——企业机构和开发者。
OpenAI“双12”直播第二天，依旧简短精悍，主题：新功能强化微调（Reinforcement Fine-Tuning），使用极少训练数据即在特定领域轻松地创建专家模型。少到什么程度呢？最低几十个例子就可以。
最近，一支来自UCSD和清华的研究团队提出了一种全新的微调方法。经过这种微调后，一个仅80亿参数的小模型，在科学问题上也能和GPT-4o一较高下！或许，单纯地卷AI计算能力并不是唯一的出路。
Fine-tuning理论上很复杂，但是OpenAI把这个功能完善到任何一个人看了就能做出来的程度。我们先从原理入手，你看这张图，左边是Pre-trained LLM （预训练大模型模型），也就是像ChatGPT这样的模型；右边是Fine-tuned LLM （微调过的语言大模型），中间就是进行微调的过程，它需要我们提供一些「ChatGPT提供不了但是我们需要的东西」。
在当今多模态领域，CLIP 模型凭借其卓越的视觉与文本对齐能力，推动了视觉基础模型的发展。CLIP 通过对大规模图文对的对比学习，将视觉与语言信号嵌入到同一特征空间中，受到了广泛应用。
自我纠错（Self Correction）能力，传统上被视为人类特有的特征，正越来越多地在人工智能领域，尤其是大型语言模型（LLMs）中得到广泛应用，最近爆火的OpenAI o1模型[1]和Reflection 70B模型[2]都采取了自我纠正的方法。
大型语言模型（LLMs）虽然在适应新任务方面取得了长足进步，但它们仍面临着巨大的计算资源消耗，尤其在复杂领域的表现往往不尽如人意。
大型语言模型 （LLM） 在各种自然语言处理和推理任务中表现出卓越的能力，某些应用场景甚至超越了人类的表现。然而，这类模型在最基础的算术问题的表现上却不尽如人意。
随着 AI 模型的参数量越来越大，对算力的需求也水涨船高。
比LoRA更高效的模型微调方法来了——