作者表示：在各种有效的 LLM 微调方法中，LoRA 仍然是他的首选。LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。
专注、极致、口碑、快、成本。 这是澜舟科技创始人兼CEO周明给出的“大模型落地九字法则”，是他在雷军互联网“七字诀”的基础上，加上了“成本”一词而来。
早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
最近，OpenAI CTO Murati接受采访时，对Sora训练数据语焉不详、支支吾吾的表现，已经成了全网热议的话题。毕竟，要是一个处理不好，OpenAI就又要陷入巨额赔偿金的诉讼之中了。
当地时间3月13日周三，OpenAI首席技术官米拉·穆拉蒂（Mira Murati）接受了《华盛顿邮报》的视频专访。
最近的数学圈，都被椭圆曲线的murmuration（椋鸟群飞）现象震惊了。由经验不足的本科生无意中做出的这个成果，竟让一位华人数学家离「千禧年问题」更近了一步。而且这次数学难题的破解，是由AI来完成的！
Sora出世前，他们拿着一篇如今被ICLR 2024接收的论文，十分费劲地为投资人、求知者讲了大半年，却处处碰壁。
Sora 的出现，会如何改变电子游戏开发和制作流程，带来怎么样的范式转移，也是行业关注的问题。
推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。
视觉语言模型虽然强大，但缺乏空间推理能力，最近 Google 的新论文说它的 SpatialVLM 可以做，看看他们是怎么做的。
