AI资讯新闻榜单内容搜索-LLaMA

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: LLaMA
Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?

Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?

Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?

最近的论文表明,LLM等生成模型可以通过搜索来扩展,并实现非常显著的性能提升。另一个复现实验也发现,让参数量仅8B的Llama 3.1模型搜索100次,即可在Python代码生成任务上达到GPT-4o同等水平。

来自主题: AI技术研报
8689 点击    2024-08-15 16:05
CPU反超NPU,llama.cpp生成速度翻5倍!LLM端侧部署新范式T-MAC开源

CPU反超NPU,llama.cpp生成速度翻5倍!LLM端侧部署新范式T-MAC开源

CPU反超NPU,llama.cpp生成速度翻5倍!LLM端侧部署新范式T-MAC开源

T-MAC是一种创新的基于查找表(LUT)的方法,专为在CPU上高效执行低比特大型语言模型(LLMs)推理而设计,无需权重反量化,支持混合精度矩阵乘法(mpGEMM),显著降低了推理开销并提升了计算速度。

来自主题: AI资讯
5240 点击    2024-08-13 17:42
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人

Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人

Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人

TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。

来自主题: AI资讯
6423 点击    2024-08-13 17:07
两个AI关小黑屋:Llama3.1把Claude Opus聊自闭了

两个AI关小黑屋:Llama3.1把Claude Opus聊自闭了

两个AI关小黑屋:Llama3.1把Claude Opus聊自闭了

把Llama 3.1 405B和Claude 3超大杯Opus双双送进小黑屋,你猜怎么着——

来自主题: AI资讯
8520 点击    2024-08-11 17:16
Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

伴随大模型迭代速度越来越快,训练集群规模越来越大,高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点,检查点(Checkpoint)系统在训练过程中负责状态的存储和恢复,已经成为克服训练故障、保障训练进度和提高训练效率的关键。

来自主题: AI资讯
5404 点击    2024-08-08 18:53
早期项目|硅谷初创公司「Aizip」创建小语言模型Gizmo,应用于边缘市场

早期项目|硅谷初创公司「Aizip」创建小语言模型Gizmo,应用于边缘市场

早期项目|硅谷初创公司「Aizip」创建小语言模型Gizmo,应用于边缘市场

从前两年的百模大战到大语言模型 LLM(Large Language Model)的逐步落地应用,端侧AI始终是人工智能技术发展中至关重要的一环。 所谓的端侧AI,即用户在使用过程中不依赖云服务器,直接在终端设备本地使用AI服务。相比于ChatGPT4.0和最新推出的Llama3.1等依赖于云端接口的主流大语言模型,设备端边缘应用的紧凑模型有较强的私密性,也具有个性化操作和节省成本等诸多优势。

来自主题: AI资讯
7380 点击    2024-08-05 15:45
小扎自曝砸重金训Llama 4,24万块GPU齐发力!预计2025年发布

小扎自曝砸重金训Llama 4,24万块GPU齐发力!预计2025年发布

小扎自曝砸重金训Llama 4,24万块GPU齐发力!预计2025年发布

Llama 3.1刚发布不久,Llama 4已完全投入训练中。 这几天,小扎在二季度财报会上称,Meta将用Llama 3的十倍计算量,训练下一代多模态Llama 4,预计在2025年发布。

来自主题: AI技术研报
7240 点击    2024-08-05 15:25
70倍极致压缩!大模型的检查点再多也不怕

70倍极致压缩!大模型的检查点再多也不怕

70倍极致压缩!大模型的检查点再多也不怕

大模型作为当下 AI 工业界和学术界当之无愧的「流量之王」,吸引了大批学者和企业投入资源去研究与训练。随着规模越做越大,系统和工程问题已经成了大模型训练中绕不开的难题。例如在 Llama3.1 54 天的训练里,系统会崩溃 466 次,平均 2.78 小时一次!

来自主题: AI技术研报
8207 点击    2024-08-05 14:04