AI资讯新闻榜单内容搜索-TEN

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: TEN
8x7B MoE与Flash Attention 2结合,不到10行代码实现快速推理

8x7B MoE与Flash Attention 2结合,不到10行代码实现快速推理

8x7B MoE与Flash Attention 2结合,不到10行代码实现快速推理

前段时间,Mistral AI 公布的 Mixtral 8x7B 模型爆火整个开源社区,其架构与 GPT-4 非常相似,很多人将其形容为 GPT-4 的「缩小版」。

来自主题: AI技术研报
5101 点击    2024-01-01 11:08
用上这个工具包,大模型推理性能加速达40倍

用上这个工具包,大模型推理性能加速达40倍

用上这个工具包,大模型推理性能加速达40倍

只需不到9行代码,就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延,且首个token和下一个token的推理速度分别提升多达40倍和2.68倍,还能满足更多场景应用需求。

来自主题: AI技术研报
3716 点击    2023-11-30 19:10
这一代AI追随者的窘境

这一代AI追随者的窘境

这一代AI追随者的窘境

前不久,原阿里首席AI科学家贾扬清的一条朋友圈截图四处流传。贾扬清说,他的一个朋友告诉他,某国产大模型不过是LLaMA架构,只是更换了几个变量名而已。 很快有好事者发现,在大模型、数据集开源社区Hugging Face上,就有一位开发者发出了类似质疑:“该模型使用了Meta LLaMA 的架构,只修改个tensor(张量)”。

来自主题: AI资讯
7297 点击    2023-11-26 20:58
李开复回应 Yi 大模型套壳 LLaMA 争议:受益于开源也贡献开源

李开复回应 Yi 大模型套壳 LLaMA 争议:受益于开源也贡献开源

李开复回应 Yi 大模型套壳 LLaMA 争议:受益于开源也贡献开源

针对近日零一万物被质疑完全使用 LLaMA 架构,只对两个张量(Tensor)名称做修改,李开复在朋友圈进行了回应。

来自主题: AI资讯
4893 点击    2023-11-17 10:42
5个月完成!生成式AI出版学术图书了

5个月完成!生成式AI出版学术图书了

5个月完成!生成式AI出版学术图书了

知名科学出版机构施普林格·自然(Springer Nature)近日发布信息称,集团和作者近期又通过生成式AI共同创造出一本全新的学术书籍——德文图书《GPT在财务、合规和审计中的应用》(Einsatzmöglichkeiten von GPT in Finance and Compliance und Audit)

来自主题: AI资讯
1867 点击    2023-10-23 09:55
谷歌Tensor G3芯片不给力:Pixel 8 Pro新AI功能需联网才能使用

谷歌Tensor G3芯片不给力:Pixel 8 Pro新AI功能需联网才能使用

谷歌Tensor G3芯片不给力:Pixel 8 Pro新AI功能需联网才能使用

近日 Youtube 博主 @Mrwhosetheboss(Arun Maini)对谷歌 Pixel 8 Pro 进行了评测,他在最新的视频中指出了 Pixel 8 系列的一些优点和缺点。

来自主题: AI资讯
2859 点击    2023-10-22 10:19
PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍

PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍

PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍

这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证

来自主题: AI技术研报
3130 点击    2023-10-18 14:43