贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM
贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM用来运行 Llama 3 405B 优势明显。
来自主题: AI技术研报
9620 点击 2024-07-27 19:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
用来运行 Llama 3 405B 优势明显。
Scale AI 的创始人 8 年前意识到，所有干 AI 的都认为数据至关重要，但没多少人把数据当成主业。
Llama 3.1 405B巨兽开源的同时，OpenAI又抢了一波风头。从现在起，每天200万训练token免费微调模型，截止到9月23日。
40秒生成3D视频，Stability AI开源首个视频生视频模型。
每年需付微软40亿美元？
继分不清9.11和9.9哪个大以后，大模型又“集体失智”了！
紧跟着Meta的重磅发布，Mistral Large 2也带着权重一起上新了，而且参数量仅为Llama 3.1 405B的三分之一。不仅在编码、数学和多语言等专业领域可与SOTA模型直接竞争，还支持单节点部署。
AI 竞赛正以前所未有的速度加速，继 Meta 昨天推出其新的开源 Llama 3.1 模型之后，法国 AI 初创公司 Mistral AI 也加入了竞争。
Llama 3.1 405B“最强模型”宝座还没捂热乎，就被砸场子了——
7月4日至7月7日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海举行。迅龙软件受邀参加此届大会，并携与华为昇腾共同打造的高算力人工智能开发板OrangePi AIpro 20T亮相，在世博展览馆 H1-A301展区给大家带来AI+互动的沉浸式体验。