贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM
贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM用来运行 Llama 3 405B 优势明显。
来自主题: AI技术研报
7460 点击 2024-07-27 19:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
用来运行 Llama 3 405B 优势明显。
继分不清9.11和9.9哪个大以后，大模型又“集体失智”了！
紧跟着Meta的重磅发布，Mistral Large 2也带着权重一起上新了，而且参数量仅为Llama 3.1 405B的三分之一。不仅在编码、数学和多语言等专业领域可与SOTA模型直接竞争，还支持单节点部署。
AI 竞赛正以前所未有的速度加速，继 Meta 昨天推出其新的开源 Llama 3.1 模型之后，法国 AI 初创公司 Mistral AI 也加入了竞争。
Llama 3.1 405B“最强模型”宝座还没捂热乎，就被砸场子了——
榨干16000块H100、基于15亿个Tokens训练。
大模型格局，再次一夜变天。Llama 3.1 405B重磅登场，在多项测试中一举超越GPT-4o和Claude 3.5 Sonnet。史上首次，开源模型击败当今最强闭源模型。小扎大胆豪言：开源AI必将胜出，就如Linux最终取得了胜利。
最强大模型Llama 3.1，上线就被攻破了。
经历了提前两天的「意外泄露」之后，Llama 3.1 终于在昨夜由官方正式发布了。
开源与闭源的纷争已久，现在或许已经达到了一个新的高潮。