
Hyena成下一代Transformer?StripedHyena-7B开源:最高128k输入,训练速度提升50%
Hyena成下一代Transformer?StripedHyena-7B开源:最高128k输入,训练速度提升50%Hyena处理长序列输入比FlashAttention速度高100倍!最新发布的StripedHyena模型可能成下一代AI架构的新标准?
Hyena处理长序列输入比FlashAttention速度高100倍!最新发布的StripedHyena模型可能成下一代AI架构的新标准?
华为盘古系列,带来架构层面上新!量子位获悉,华为诺亚方舟实验室等联合推出新型大语言模型架构:盘古-π。
一个来自MIT博士生的惊人发现:只需对Transformer的特定层进行一种非常简单的修剪,即可在缩小模型规模的同时显著提高模型性能。
近日,来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构,尝试来构建更高效的大模型架构。
近日,福布斯发布了2024年的10大AI预测,Stability AI将会倒闭?微软和OpenAI也将分道扬镳?
MIT、微软联合研究:不需要额外训练,也能增强大语言模型的任务性能并降低其大小。
在Transformer占据多模态工具半壁江山的时代,大核CNN又“杀了回来”,成为了一匹新的黑马。
Transformer作者创立的大模型公司,再获5650万美元投资,换算成人民币有四亿多。
在视频生成场景中,用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。
今天,李飞飞携斯坦福联袂谷歌,用Transformer生成了逼真视频,效果媲美Gen-2比肩Pika。2023年俨然已成AI视频元年!