关键词: ConsistentID,扩散模型,AI人物,AI图片,AI虚拟人,AI数字人

只需上传一张照片，就能瞬间变换身份，获得高精度个人写真！ 或是科幻电影中的超级英雄，或是穿越时空的复古角色…… 李飞飞在家做饭的样子有了，还有让斯嘉丽一键带圣诞帽。

关键词: 模型训练,Flash Attention,GPU,注意力机制

众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。

关键词: Taco-LLM,vLLM 框架, TensorRT-LLM

大模型在今年的落地，除了对用 AI 对已有业务进行改造和提效外，算力和推理的优化，可能是另外一项重要的实践了。这在腾讯的两个完全不同的业务上有着明显的体现。

关键词: JAX,TensorFlow,GPU,推理训练,模型训练

JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow，也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。

关键词: Fitten Code,AI 代码助手,AI编程

非十科技推出了一款基于自研代码大模型打造的 AI 代码助手 ——Fitten Code，它可以帮助程序员更迅捷、更准确、更高质量地完成编码任务，大幅提升编码效率，并且向用户免费开放使用！

关键词: Transformer,Attention,机制大模型

以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。

关键词: Lightning Attention-2,注意力机制,OpenNLPLab

Lightning Attention-2 是一种新型的线性注意力机制，让长序列的训练和推理成本与 1K 序列长度的一致。

关键词: Copilot,国产编程神器,Fitten Code,非十科技

一款国产编程神器，秒杀了微软GitHub Copilot。比GitHub Copilot快两倍的同时，准确度还提高了约20%。

关键词: Agent Attention,Softmax

来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。

关键词: AI,LLM,TensorRT-LLM,H100

H100让模型推理性能最高跃升8倍！英伟达最新开源软件TensorRT-LLM，将彻底改变LLM推理现状。