ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
多样任务真实数据,大模型在线购物基准Shopping MMLU开源|NeurIPS&KDD Cup 2024
2409点击    2024-11-20 15:09

谁是在线购物领域最强大模型?也有评测基准了。


基于真实在线购物数据,电商巨头亚马逊终于“亮剑”——


联合香港科技大学、圣母大学构建了一个大规模、多任务评测基准Shopping MMLU,用以评估大语言模型在在线购物领域的能力与潜力。



一直以来,想要完整建模在线购物相当复杂,主要痛点是:


  • 多任务性:在线购物中存在多样的实体(例如商品、属性、评论、查询关键词等)、关系(例如关键字和商品的匹配度,商品和商品之间的兼容性、互补性)和用户行为(浏览、查询、和购买)。


对这些实体、关系和行为和联合建模与理解构成一个复杂的多任务(multi-task)学习问题


  • 少样本性:在线购物平台会不断面临新用户、新商品、新商品品类等带来的冷启动(cold-start)场景。在冷启动场景下,在线购物平台需要解决少样本(few-shot)学习问题。


不过,诸如GPT,T5,LLaMA等的大语言模型(LLM)已经展现出了强大的多任务和少样本学习能力,因而有潜力在在线购物领域中得到广泛应用。


而为了进一步找出最强、最具潜力的LLM,测试基准Shopping MMLU应运而生——


与现有数据集相比,Shopping MMLU覆盖了更多的能力(四项)和任务(57个)


同时,基于Shopping MMLU,亚马逊举办了KDD Cup 2024数据挖掘竞赛,吸引了全球超过500支队伍参赛。


广泛的能力和任务覆盖


为了全面、充分评估大语言模型在在线购物领域中的能力,研究首先分析了在线购物领域的独特性:


  • 特定领域的短文本:在线购物中存在大量的特定领域名词,例如品牌、产品名、产品线等。此外,这些特定领域名词往往出现于短文本中,例如查询关键词、属性名-值对等。因此,在缺乏上下文的短文本中理解特定领域名词,是在线购物领域的一个独特挑战。


  • 商品的隐含知识:大部分商品都隐含特定的知识,例如AirPods使用蓝牙连接,不需要转接线;碳纤维制品一般重量很轻等。如何准确理解不同商品隐含的知识并且进行推理,是在线购物领域的另一个独特挑战。


  • 异质且隐式的用户行为:在线购物平台上存在多种多样的用户行为,例如浏览、查询、加购物车、购买等。这些行为大部分都不以语言表达,因此如何全面理解这些异质的用户行为,是在线购物所必须解决的问题。


  • 多语言任务:在线购物平台往往在不止一个地区运营,因此需要模型能同时理解多种语言描述下的商品和用户问题。



基于以上分析,研究构造了Shopping MMLU,覆盖四项在线购物能力,共计57个任务


  • 在线购物概念理解
  • 在线购物知识推理
  • 用户行为理解
  • 多语言能力


下表可见,Shopping MMLU相比现有数据集覆盖了更多的能力和任务。



能力和任务构成如下图所示。



Shopping MMLU大部分由真实的亚马逊在线购物数据构造,并且经过人工检验,尽可能排除低质量数据,例如标注错误,缺乏必要信息等。


部分问题示例如下。



主流大语言模型成绩单


研究选取了共27个主流大语言模型进行实验分析,其中包括:


  • 闭源模型(Claude-3, Claude-2, GPT)
  • 开源通用领域模型(LLaMA2、LLaMA3、QWen、Mistral)
  • 开源特定领域模型(eCeLLM,经过在线购物领域数据进行微调)


实验结果如下表所示。



研究发现,虽然闭源模型仍然处于领先(例如Claude-3 Sonnet整体排名第一),但开源模型已经能够赶上闭源模型的性能(例如QWen和LLaMA3)。


此外,特定领域模型eCeLLM并未在同参数量级下取得最好成绩,说明Shopping MMLU是一个有相当难度的评测基准,无法通过简单的微调取得好成绩。


如何打造在线购物领域大模型


基于Shopping MMLU,研究分析常用的大模型增强手段,进一步探究如何打造强大的在线购物领域大模型。


首先,如下图所示,模型在不同能力和任务上的得分高度正相关。这说明了在线购物领域的不同任务之间存在共同的知识,可以使用大语言模型进行整体性的建模和能力提升



其次,如下图所示,模型的Shopping MMLU得分和模型在通用大模型基准测试的得分(Open LLM Leaderboard)同样高度相关。


另外,随着同一个模型家族内模型增大,其Shopping MMLU得分同样增加。


这表明大语言模型的通用能力可以很好地迁移到在线购物领域中,构造特定领域大模型的基础是强大的通用能力



随后,研究分析了微调对模型在Shopping MMLU得分的影响。


通用领域的微调一般对模型在Shopping MMLU上有提升。不过,这一结论也与基础模型的能力,微调的数据质量等因素存在关系。


例如,在LLaMA2-70B上,研究观察到经过微调的LLaMA2-70B-chat得分低于LLaMA2-70B,而在LLaMA3-70B上没有观察到这一现象。


可能的原因是,相对较小的微调数据使得LLaMA2-70B过拟合,导致通用能力的部分丢失,进而导致Shopping MMLU上得分下降。


反之,LLaMA3使用了更高质量的微调数据,所以能够保留通用能力,同时增强模型回答问题的能力,得到更高的分数。



特定领域微调(如eCeLLM)并未能在Shopping MMLU上取得最高得分。


为了探究其中原因,研究测试了eCeLLM与其基础模型在通用能力上的对比。结果表明,经过特定领域微调的eCeLLM相比其基础模型的通用能力一般有所下降。


这可能是导致eCeLLM未能取得最高得分的原因,也同时强调了通用能力对于对特定领域的重要性。



总结


Shopping MMLU是一个针对大语言模型和在线购物领域设计的评测指标。其包含广泛的任务和能力覆盖(4项重要能力,共计57个任务),可以全面评估大语言模型在在线购物领域的能力和潜力。


Shopping MMLU基于亚马逊的真实购物数据打造,经过人工筛选,保证数据质量。基于Shopping MMLU,研究展开了大量实验分析,为这一领域后续的研究和实际应用提供了有价值的结论。


目前,Shopping MMLU以及其对应的资源全部开源并将持续维护,方便研究人员和开发者进行深入探索和应用。


Shopping MMLU的数据以及对应评测代码已经于GitHub公开。


同时,为了构造开放、开源的评测体系,研究基于Shopping MMLU建立了一个排行榜


官方表示,Shopping MMLU欢迎新模型加入排行榜,如果有兴趣的话可以于GitHub上与Shopping MMLU维护者进行联系。



论文:

https://arxiv.org/pdf/2410.20745

数据及评测代码:

https://github.com/KL4805/ShoppingMMLU

KDD Cup 2024 Workshop及获奖队伍解法:

https://amazon-kddcup24.github.io/

评估榜单:

https://huggingface.co/spaces/KL4805/shopping_mmlu_leaderboard


文章来自于“量子位”,作者“港科大博士金逸伦”。


AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner