
微软OpenAI决裂/Stability AI倒闭,新架构终结Transformer?福布斯2024年AI十大终极预测
微软OpenAI决裂/Stability AI倒闭,新架构终结Transformer?福布斯2024年AI十大终极预测近日,福布斯发布了2024年的10大AI预测,Stability AI将会倒闭?微软和OpenAI也将分道扬镳?
近日,福布斯发布了2024年的10大AI预测,Stability AI将会倒闭?微软和OpenAI也将分道扬镳?
MIT、微软联合研究:不需要额外训练,也能增强大语言模型的任务性能并降低其大小。
在Transformer占据多模态工具半壁江山的时代,大核CNN又“杀了回来”,成为了一匹新的黑马。
Transformer作者创立的大模型公司,再获5650万美元投资,换算成人民币有四亿多。
在视频生成场景中,用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。
今天,李飞飞携斯坦福联袂谷歌,用Transformer生成了逼真视频,效果媲美Gen-2比肩Pika。2023年俨然已成AI视频元年!
替代注意力机制,SSM 真的大有可为?
过度训练让中度模型出现了结构泛化能力。
苹果M系列芯片专属的机器学习框架,开源即爆火!现在,用上这个框架,你就能直接在苹果GPU上跑70亿参数大模型、训练Transformer模型或是搞LoRA微调。
现在ChatGPT等大模型一大痛点:处理长文本算力消耗巨大,背后原因是Transformer架构中注意力机制的二次复杂度。