# 热门搜索 #
搜索
搜索: token
从RLHF到DPO再到TDPO,大模型对齐算法已经是「token-level」

在人工智能领域的发展过程中,对大语言模型(LLM)的控制与指导始终是核心挑战之一,旨在确保这些模型既强大又安全地服务于人类社会。早期的努力集中于通过人类反馈的强化学习方法(RLHF)来管理这些模型,成效显著,标志着向更加人性化 AI 迈出的关键一步。

来自主题: AI技术研报
2903 点击    2024-06-23 19:39
字节豆包全新图像Tokenizer:生成图像最低只需32个token,最高提速410倍

在生成式模型的迅速发展中,Image Tokenization 扮演着一个很重要的角色,例如Diffusion依赖的VAE或者是Transformer依赖的VQGAN。这些Tokenizers会将图像编码至一个更为紧凑的隐空间(latent space),使得生成高分辨率图像更有效率。

来自主题: AI技术研报
8939 点击    2024-06-22 23:00
1毛钱1百万token,写2遍红楼梦!国产大模型下一步还想卷什么?

大模型价格战,这匹国产黑马又破纪录了!最低的GLM-4 Flash版本,百万token价格已经低至0.1元,可以说是击穿地心。MaaS 2.0大升级,让企业训练私有模型的成本无限降低。

来自主题: AI资讯
8054 点击    2024-06-06 11:09
next-token被淘汰!Meta实测「多token」训练方法,推理提速3倍,性能大涨10%+

研究人员提出了一种新的大型语言模型训练方法,通过一次性预测多个未来tokens来提高样本效率和模型性能,在代码和自然语言生成任务上均表现出显著优势,且不会增加训练时间,推理速度还能提升至三倍。

来自主题: AI技术研报
8071 点击    2024-06-03 11:00
LLM的「母语」是什么?

在以英语为主的语料库上训练的多语言LLM,是否使用英语作为内部语言?对此,来自EPFL的研究人员针对Llama 2家族进行了一系列实验。

来自主题: AI技术研报
8077 点击    2024-06-03 10:53
火山引擎“奇袭”阿里云

当火山引擎要在阿里的腹地与其贴脸开打,还有一场场硬仗等待着他。

来自主题: AI资讯
7601 点击    2024-05-27 22:33
大模型价格战:大厂烧钱狂飙,小厂如何抉择

经济观察报注意到,目前降低的只是调用大模型应用程序编程接口(API)的费用。与这一费用相比,客户使用云服务后,付费环节更多、付费额度更高。

来自主题: AI资讯
6437 点击    2024-05-27 22:29