一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法
一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果
来自主题: AI技术研报
5804 点击 2024-04-15 15:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果
建设大学 AI 专业，大力投入产业发展，现在成效已逐渐显现。
2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。
作者表示：在各种有效的 LLM 微调方法中，LoRA 仍然是他的首选。LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。
自曝996作息的OpenAI研究员Jason Wei表示，Sora代表着视频生成的GPT-2时刻。竞争的关键，就是算力和数据了。国内有可能成功「复刻」Sora吗？华人团队的这份37页技术报告，或许能给我们一些启发。
终有一天，LLM可以成为人类数据专家，针对不同领域进行数据分析，大大解放AI研究员。
在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。
大模型幻觉问题还有另一种解法？斯坦福联手OpenAI研究人员提出「元提示」新方法，能够让大模型成为全能「指挥家」，汇聚不同专家模型精华，让GPT-4的输出更精准。
一项ICLR拒稿结果让AI研究者集体破防，纷纷刷起小丑符号。争议论文为Transformer架构挑战者Mamba，开创了大模型的一个新流派。发布两个月不到，后续研究MoE版本、多模态版本等都已跟上。
今天，美国国家科学基金会（ NSF ）正式启动这个庞大的试点项目，让更多美国研究人员和学校（而不仅仅是财力雄厚的科技公司或精英大学及其研究人员）获得计算资源。