AI资讯新闻榜单内容搜索-fine

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: fine
ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

开源大语言模型(LLM)百花齐放,为了让它们适应各种下游任务,微调(fine-tuning)是最广泛采用的基本方法。基于自动微分技术(auto-differentiation)的一阶优化器(SGD、Adam 等)虽然在模型微调中占据主流,然而在模型越来越大的今天,却带来越来越大的显存压力。

来自主题: AI技术研报
12571 点击    2024-07-04 13:35
ML工程师一次微调7个模型,击败OpenAI GPT-4

ML工程师一次微调7个模型,击败OpenAI GPT-4

ML工程师一次微调7个模型,击败OpenAI GPT-4

「微调你的模型,获得比GPT-4更好的性能」不只是说说而已,而是真的可操作。最近,一位愿意动手的ML工程师就把几个开源LLM调教成了自己想要的样子。

来自主题: AI技术研报
10116 点击    2024-07-02 15:26
FineWeb技术报告出炉!揭秘HuggingFace规模最大、质量最高预训练数据集

FineWeb技术报告出炉!揭秘HuggingFace规模最大、质量最高预训练数据集

FineWeb技术报告出炉!揭秘HuggingFace规模最大、质量最高预训练数据集

从大规模网络爬取、精细过滤到去重技术,通过FineWeb的技术报告探索如何打造高质量数据集,为大型语言模型(LLM)预训练提供更优质的性能。

来自主题: AI资讯
11970 点击    2024-06-09 18:06
ICML 2024 | 脱离LoRA架构,训练参数大幅减少,新型傅立叶微调来了

ICML 2024 | 脱离LoRA架构,训练参数大幅减少,新型傅立叶微调来了

ICML 2024 | 脱离LoRA架构,训练参数大幅减少,新型傅立叶微调来了

本文介绍了香港科技大学(广州)的一篇关于大模型高效微调(LLM PEFT Fine-tuning)的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」

来自主题: AI技术研报
13566 点击    2024-05-26 13:50
开源15T tokens!HuggingFace放出规模最大、质量最高预训练数据集

开源15T tokens!HuggingFace放出规模最大、质量最高预训练数据集

开源15T tokens!HuggingFace放出规模最大、质量最高预训练数据集

Meta最近开源的Llama 3模型再次证明了「数据」是提升性能的关键,但现状是,开源的大模型有一堆,可开源的大规模数据却没多少,而收集、清洗数据又是一项极其费时费力的工作,也导致了大模型预训练技术仍然掌握在少数高端机构的手中。

来自主题: AI技术研报
7765 点击    2024-05-05 19:51
剑桥团队开源:赋能多模态大模型RAG应用,首个预训练通用多模态后期交互知识检索器

剑桥团队开源:赋能多模态大模型RAG应用,首个预训练通用多模态后期交互知识检索器

剑桥团队开源:赋能多模态大模型RAG应用,首个预训练通用多模态后期交互知识检索器

PreFLMR模型是一个通用的预训练多模态知识检索器,可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。

来自主题: AI资讯
13811 点击    2024-03-25 17:01
AI+教育丨AskSia,超越MathGPT的存在!

AI+教育丨AskSia,超越MathGPT的存在!

AI+教育丨AskSia,超越MathGPT的存在!

而早在一年前,ChatGPT横空出世,由此我对AI+教育格外感兴趣,我认为ChatGPT的出现会重塑整个教育行业。

来自主题: AI资讯
9928 点击    2024-03-01 10:46
RAG还是微调?微软出了一份特定领域大模型应用建设流程指南

RAG还是微调?微软出了一份特定领域大模型应用建设流程指南

RAG还是微调?微软出了一份特定领域大模型应用建设流程指南

检索增强生成(RAG)和微调(Fine-tuning)是提升大语言模型性能的两种常用方法,那么到底哪种方法更好?在建设特定领域的应用时哪种更高效?微软的这篇论文供你选择时进行参考。

来自主题: AI技术研报
7111 点击    2024-02-17 12:09
当LLM学会左右互搏,基础模型或将迎来集体进化

当LLM学会左右互搏,基础模型或将迎来集体进化

当LLM学会左右互搏,基础模型或将迎来集体进化

进入现今的大模型 (LLM) 时代,又有研究者发现了左右互搏的精妙用法!近日,加利福尼亚大学洛杉矶分校的顾全全团队提出了一种新方法 SPIN(Self-Play Fine-Tuning),可不使用额外微调数据,仅靠自我博弈就能大幅提升 LLM 的能力。

来自主题: AI资讯
12824 点击    2024-01-06 12:17