一文搞懂SFT、RLHF、DPO、IFT
一文搞懂SFT、RLHF、DPO、IFTSFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐
来自主题: AI资讯
6429 点击 2024-08-22 17:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐
输出格式不同，竟然还能影响大模型发挥？！
长文本处理能力对LLM的重要性是显而易见的。在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k，然而今日，128k的上下文长度已经成为衡量模型技术先进性的重要标志之一。那你知道LLMs的长文本阅读能力如何评估吗？
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
代码生成和补全任务做不完了？！
在过去的几年中，大型语言模型（Large Language Models, LLMs）在自然语言处理（NLP）领域取得了突破性的进展。这些模型不仅能够理解复杂的语境，还能够生成连贯且逻辑严谨的文本。
数以亿计的人体验过ChatGPT，但许多人尝试过后便未再回头。每家大型企业也都曾尝试过相关试点项目，但真正投入应用的却寥寥无几。这其中部分原因可能只是时间问题。然而，大型语言模型（LLMs）可能也存在陷阱：它们看似是产品，给人以神奇之感，但实际上并非如此。或许，我们终究需要经历寻找产品与市场契合点的漫长而单调的探索过程。
地球是平的吗？ 当然不是。自古希腊数学家毕达哥拉斯首次提出地圆说以来，现代科学技术已经证明了地球是圆形这一事实。 但是，你有没有想过，如果 AI 被误导性信息 “忽悠” 了，会发生什么？ 来自清华、上海交大、斯坦福和南洋理工的研究人员在最新的论文中深入探索 LLMs 在虚假信息干扰情况下的表现，他们发现大语言模型在误导信息反复劝说下，非常自信地做出「地球是平的」这一判断。
大模型展现出了卓越的指令跟从和任务泛化的能力，这种独特的能力源自 LLMs 在训练中使用了指令跟随数据以及人类反馈强化学习（RLHF）。
不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。