Transformer解码真实场景！Meta推出70M参数SceneScript模型
Transformer解码真实场景！Meta推出70M参数SceneScript模型抛弃传统方法，只采用Transformer来解码真实场景！
来自主题: AI技术研报
9494 点击 2024-04-27 12:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
抛弃传统方法，只采用Transformer来解码真实场景！
培养 AI 人才，要从娃娃抓起，这句话似乎越来越不像开玩笑了。 本周五，顶级学术会议 NeurIPS 开设高中生论文 Track 的消息引爆了人工智能社区
从今年起，高中生也要卷AI顶会了，真是计算机从娃娃抓起？
尴了个大尬！ 人们还在嘲讽有人用ChatGPT写论文忘了删掉“狐狸尾巴”，另一边审稿人也被曝出用ChatGPT写同行评论了 。而且，还是来自ICLR、NeurIPS等顶会的那种。
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。
斯坦福的一篇案例研究表示，提交给AI会议的同行评审文本中，有6.5%到16.9%可能是由LLM大幅修改的，而这些趋势可能在个体级别上难以察觉。
最近，文生视频模型 Sora 掀起了新一轮生成式 AI 模型浪潮，模型的多模态能力引起广泛关注。
本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析，目前已被NeurIPS 2023录用。同时，该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。
美国著名科技播客Latent Space对于刚刚过去的NeurIPS 2023上的精彩论文进行了一个全面的总结，回顾了多篇优秀论文，虽然没有获奖，但同样值得学界关注。
SPF算法是一种基于状态序列频域预测的表征学习方法，利用状态序列的频域分布来显式提取状态序列数据中的趋势性和规律性信息，从而辅助表征高效地提取到长期未来信息。