搜索
在本篇文章中，适道将综合Coatue、a16z、Radical Ventures等明星VC预言；The Information、FT、Sifted汇集的投资者预言；以及Greg Brockman等行业大佬的观点，试着归纳接下来一年中AI的发展脉络。
prompt——这是网易有道公布的2023年度词汇。过去一年，带火prompt一词的大模型，在各行各业掀起波澜。其中在教育领域，大模型的影响正在逐渐显现。
近年来，随着Transformer模型的大规模发展和应用，模型大小每两年平均增长240倍，GPT-3等大模型的参数增长已经超过了GPU内存的增长。在大算力激增的需求下，越来越多行业人士认识到，新的计算架构或许才是算力破局的关键。
2023年，人工智能技术的创新与应用突飞猛进，ChatGPT等大模型爆火出圈，AI热潮席卷全球。
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。
如何从一段视频中找出感兴趣的片段？时序行为检测（Temporal Action Localization，TAL）是一种常用方法。过去TAL中的建模是片段甚至实例级的，而现在只要视频里的一帧就能实现，效果媲美全监督。
仅需一个任务描述，即可一键分割所有图片！
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。
在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共 400 万个 token 的流式输入，22.2 倍的推理速度提升。
指令调优或许是让大模型性能提升最有潜力的方法。用高质量数据集进行指令调优，能让大模型性能快速提升。