AI资讯新闻榜单内容搜索-推理成本

关键词: StreamingLLM,SwiftInfer,上下文

22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。