单卡A100实现百万token推理，速度快10倍，这是微软官方的大模型推理加速
单卡A100实现百万token推理，速度快10倍，这是微软官方的大模型推理加速微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
来自主题:
AI技术研报
7883 点击 2024-07-09 17:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
生物神经网络有一个重要的特点是高度可塑性，这使得自然生物体具有卓越的适应性，并且这种能力会影响神经系统的突触强度和拓扑结构。
这是一条少有人走过的路。
科学家们一直致力于让机器人更敏捷，此次哈佛大学与谷歌DeepMind人工智能实验室的合作有了新突破。他们创造出了一只搭载了AI大脑的「虚拟大鼠」，能够模仿真实啮齿动物的所有动作，甚至做出了一些没有被明确训练过的「新奇行为」。此项研究有望开辟「虚拟神经科学」新领域，对于脑科学和机器人学意义重大。
今天关于大模型的狂热里充满了各种误解。
SelfGNN框架结合了图神经网络和个性化自增强学习，能够捕捉用户行为的多时间尺度模式，降低噪声影响，提升推荐系统鲁棒性。
下一代视觉模型会摒弃patch吗？Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构，让Transformer直接学习单个像素而不是16×16的patch，结果在多个下游任务中取得了全面超越ViT模型的性能。
今日，Odyssey视觉AI发布预告，这款获得GV 900万美元种子资金的创新技术，旨在用AI技术讲好电影故事。具备强大的视觉内容生成与控制能力，视觉效果对标好莱坞制作水平。
来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架，简化了原本需要多个模型的复杂的RAG流水线，用微调的方法交给同一个LLM完成，结果同时实现了模型在RAG任务上的性能提升。
超越Transformer和Mamba的新架构，刚刚诞生了。斯坦福UCSD等机构研究者提出的TTT方法，直接替代了注意力机制，语言模型方法从此或将彻底改变。
人类采访了机器人，足足一个多小时，还是对答如流的那种！
好莱坞级视觉AI横空出世！一个demo已令网友疯狂~
新架构，再次向Transformer发起挑战！
AIGC颠覆一切的时代，设计行业绝对是被影响最大的那一波。
厂商们应该直白地告诉用户：AI是来帮你们赚钱的！
7月4日，上海高温逼近40度，人们涌入上海世博展览馆的热情却愈发高涨——全球顶尖人工智能学术、产业盛典2024世界人工智能大会暨人工智能全球治理高级别会议（WAIC 2024）正式拉开帷幕。
现在的AI概念是在70多年前由英国数学家艾伦·图灵。而东京一家自动驾驶技术开发初创企业以其名字命名，叫图灵公司。该公司要开发的是配备生成AI的“完全自动驾驶”汽车，与大型汽车厂商在自动驾驶汽车开发商的想法截然不同……
AI全流程赋能制造业三大环节，实现生产效率和产品竞争力的突破
尽管生成式AI现阶段并不完美，但绝对称得上是量大管饱。
AI 已经入侵社交媒体
2024年成电视行业分水岭。
WHO 表示，1/3 的癌症可以通过早发现、早治疗得以治愈。
AI终将重塑教育行业
亚历山大·王从麻省理工学院辍学后开始创业，25岁被《福布斯》评为“世界上最年轻的白手起家的亿万美元富翁”。
「九科信息」于日前完成数千万元人民币B1轮融资，由诺辉基金领投，老股东深创投索斯福跟投，今年被评为深圳“专精特新中小企业”，成立至今累计融资金额已达1亿元人民币，本轮融资将用于产品研发、销售市场开拓、管理运营等。
打破“堆基建”怪圈，让广告进一步向经营靠拢。
第一批入场者的宝典。
如何度量国产大模型？
Anthropic首席执行官表示，当前AI模型训练成本是10亿美元，未来三年，这个数字可能会上升到100亿美元甚至1000亿美元。要知道，GPT-4o这个曾经最大的模型也只用了1亿美元。千亿美刀，究竟花在了哪里？
