AI资讯新闻榜单内容搜索-AI推理

关键词: GPU,AI,AI芯片,AI训练

虽然英伟达的GPU在AI训练领域的主导地位仍然难以撼动，但似乎有迹象表明，在AI推理方面，竞争对手正在迎头赶上这家科技巨头，尤其是在能效方面。

关键词: Cerebras,Cerebras Systems,Cerebras Inference,AI服务器,AI芯片

智东西8月28日消息，AI芯片独角兽Cerebras Systems于8月27日宣布推出AI推理服务Cerebras Inference，号称“全球最快”。该服务已经在云端上线。

关键词: LLM,AI,LeanSTaR,模型训练,AI数学,AI推理

LLM数学水平不及小学生怎么办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的每一步中都植入CoT，提升了模型的定理证明能力，成为miniF2F上的新SOTA。

关键词: AI,AI集群,大模型,AI框架,人工智能

不用H100，三台苹果电脑就能带动400B大模型。 背后的功臣，是GitHub上的一个开源分布式AI推理框架，已经斩获了2.5k星标。

关键词: AI角色,Character.ai,模型训练,Transformer

什么AI应用每秒处理20000个AI推理请求，达到2024年谷歌搜索流量的1/5？

关键词: 小模型,AI数学,AI推理,Mistral-7B,微调

对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。

关键词: CPU,AI推理,GPU,Hugging Face,推理大模型,多模态大模型

大模型的训练阶段我们选择GPU，但到了推理阶段，我们果断把CPU加到了菜单上。

关键词: Groq,LPU,AI推理芯片,AI芯片,英伟达

在英伟达市值超过2万亿位居全球第三之后，谁能挑战它赖以生存的GPU芯片？

关键词: Groq,LPU,AI推理芯片,AI芯片,英伟达

2月19日以来，这款LPU持续成为热点，担当起英伟达GPU挑战者的角色。英伟达的主力芯片H100一卡难求，这给Groq公司带来了机会。

关键词: Llama2,AI推理芯片,GPU,Groq

这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒500tokens大模型生成，感受不到任何延迟。外加谷歌TPU团队这样一个高精尖人才Buff，让不少人直呼：英伟达要被碾压了……