四行代码让大模型上下文暴增3倍，羊驼Mistral都适用
四行代码让大模型上下文暴增3倍，羊驼Mistral都适用无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。
来自主题: AI资讯
9458 点击 2024-01-08 14:33
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。
如何从一段视频中找出感兴趣的片段？时序行为检测（Temporal Action Localization，TAL）是一种常用方法。过去TAL中的建模是片段甚至实例级的，而现在只要视频里的一帧就能实现，效果媲美全监督。
在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共 400 万个 token 的流式输入，22.2 倍的推理速度提升。
指令调优或许是让大模型性能提升最有潜力的方法。用高质量数据集进行指令调优，能让大模型性能快速提升。
将2D扩散模型的强大图像生成能力与再绘策略的纹理对齐能力结合起来，Repaint123能够在2分钟内从零开始生成具有多视角一致性和精细纹理的高质量3D内容。
版权法是一把悬在 AI 公司头上的利剑。当《纽约时报》正式宣布起诉 OpenAI 和微软侵权时，这把利剑的锋芒再度展露，似乎在预示着 2024 年又将是树立里程碑的一年。
我对AI的信心从来没像这一刻这么强。这不是激进，能和这篇文章要一起看的是《为什么说AI现在还不行》，看着有点矛盾，但其实是一个事情的正反两面，统一于尺度判断。
CSRankings 2024结果出炉！全世界计算机科学机构的排名进行了大更新。在AI板块，清华、北大、上交分列TOP 3，CMU和浙大并列第4。AI TOP 10中的中国高校，还包括人大、南京大学、复旦大学、哈工大等。
AI算命将可以预测人类的意外死亡？丹麦科学家用全国600万人的公开数据训练了一个基于Transformer的模型，成功预测了意外死亡和性格特点。
2023年，被全球咨询巨头麦肯锡称为“生成式AI的爆发之年”。这一年里，AIGC技术快速发展，越来越多的AI工具如雨后春笋般涌现，使得AI在各行各业的深度应用成为可能。