百川新模型超GPT-4o近20%，首创自约束训练方案突破瓶颈，主打「领域增强」
百川新模型超GPT-4o近20%，首创自约束训练方案突破瓶颈，主打「领域增强」大模型的竞速赛，正站在通用底座的基础上，掀起“领域增强”风暴。
来自主题: AI技术研报
11933 点击 2024-12-23 13:46
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大模型的竞速赛，正站在通用底座的基础上，掀起“领域增强”风暴。
大模型“套壳”事件防不胜防，有没有方法可以检测套壳行为呢？ 来自上海AI实验室、中科院、人大和上交大的学者们，提出了一种大模型的“指纹识别”方法——REEF（Representation Encoding Fingerprints）。
别说什么“没数据就去标注啊，没钱标注就别做大模型啊”这种风凉话，有些人数据不足也能做大模型，是因为有野心，就能想出来稀缺数据场景下的大模型解决方案，或者整理出本文将要介绍的 "Practical Guide to Fine-tuning with Limited Data" 这样的综述。
2024 年 12 月 6 号加州时间上午 11 点，OpenAI 发布了新的 Reinforcement Finetuning 方法，用于构造专家模型。对于特定领域的决策问题，比如医疗诊断、罕见病诊断等等，只需要上传几十到几千条训练案例，就可以通过微调来找到最有的决策。
OpenAI“双12”直播第二天，依旧简短精悍，主题：新功能强化微调（Reinforcement Fine-Tuning），使用极少训练数据即在特定领域轻松地创建专家模型。少到什么程度呢？最低几十个例子就可以。
Fine-tuning理论上很复杂，但是OpenAI把这个功能完善到任何一个人看了就能做出来的程度。我们先从原理入手，你看这张图，左边是Pre-trained LLM （预训练大模型模型），也就是像ChatGPT这样的模型；右边是Fine-tuned LLM （微调过的语言大模型），中间就是进行微调的过程，它需要我们提供一些「ChatGPT提供不了但是我们需要的东西」。
这是一个不容小觑的最新推理框架，它解耦了LLM的记忆与推理，用此框架Fine-tuned过的LLaMa-3.1-8B在TruthfulQA数据集上首次超越了GPT-4o。
上月，一家名叫Kick的硅谷AI记账自动化公司宣布完成900万美元种子轮融资。尽管AI/FinTech领域一直是热门吸金板块，但Kick因其特殊的融资背景格外引人注目，因为它是OpenAI Startup Fund最早期的投资组合之一。
近日，美国AI独角兽Afiniti向法院申请破产保护，成为最新一家走向破产的“老牌AI初创公司”。
MME-Finance 是一个专为金融领域设计的多模态基准测试，由同花顺财经旗下的 HiThink 研究团队联合多家高校共同开发，旨在评估和提升多模态大型语言模型（MLLMs）在金融领域的专业理解和推理能力。