清华光学AI登Nature！物理神经网络，反向传播不需要了
清华光学AI登Nature！物理神经网络，反向传播不需要了用光训练神经网络，清华成果最新登上了Nature！
来自主题: AI技术研报
9843 点击 2024-08-09 13:57
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
用光训练神经网络，清华成果最新登上了Nature！
在刚刚过去的一天，来自清华的光电智能技术交叉创新团队突破智能光计算训练难题，相关论文登上 Nature。
地球是平的吗？ 当然不是。自古希腊数学家毕达哥拉斯首次提出地圆说以来，现代科学技术已经证明了地球是圆形这一事实。 但是，你有没有想过，如果 AI 被误导性信息 “忽悠” 了，会发生什么？ 来自清华、上海交大、斯坦福和南洋理工的研究人员在最新的论文中深入探索 LLMs 在虚假信息干扰情况下的表现，他们发现大语言模型在误导信息反复劝说下，非常自信地做出「地球是平的」这一判断。
清华姚班学霸姚顺雨，官宣加入了OpenAI。
为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。
音视频大语言模型在处理视频内容时，往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新：音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅在单一模态任务上表现优异，更在视听联合任务中展现了卓越的性能，证明了其全面性和准确性。
AI 视频圈正「互扯头花」。
三个月前，生数科技联合清华大学正式发布了中国首个长时长、高一致性、高动态性视频大模型Vidu。发布时的视频效果更是与Sora不相上下，因此被网友称为“国产最强Sora”。
本文介绍清华大学的一篇关于长尾视觉识别的论文: Probabilistic Contrastive Learning for Long-Tailed Visual Recognition. 该工作已被 TPAMI 2024 录用，代码已开源。
以GPT-4o为代表的多模态大语言模型（MLLMs）因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手，还逐渐渗透到自动驾驶、医学诊断等各大应用领域，掀起了一场技术革命。