AI资讯新闻榜单内容搜索-大模型

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 大模型
浅谈Llama3.1,从结构、训练过程、影响到数据合成

浅谈Llama3.1,从结构、训练过程、影响到数据合成

浅谈Llama3.1,从结构、训练过程、影响到数据合成

Llama3.1系列模型的开源,真让大模型格局大震,指标上堪比最好的闭源模型比如GPT 4o和Claude3.5,让开源追赶闭源成为现实。

来自主题: AI技术研报
12241 点击    2024-08-20 14:39
大模型终端部署新趋势:硬件直接支持混合矩阵乘法

大模型终端部署新趋势:硬件直接支持混合矩阵乘法

大模型终端部署新趋势:硬件直接支持混合矩阵乘法

在人工智能领域,模型参数的增多往往意味着性能的提升。但随着模型规模的扩大,其对终端设备的算力与内存需求也日益增加。低比特量化技术,由于可以大幅降低存储和计算成本并提升推理效率,已成为实现大模型在资源受限设备上高效运行的关键技术之一。然而,如果硬件设备不支持低比特量化后的数据模式,那么低比特量化的优势将无法发挥。

来自主题: AI资讯
5107 点击    2024-08-19 14:49