近年来，「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用，通过大规模训练得到的视觉基础网络（如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等）已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。
近日，西交微软北大联合提出信息密集型训练大法，使用纯数据驱动的方式，矫正LLM训练过程产生的偏见，在一定程度上治疗了大语言模型丢失中间信息的问题。
近日，又一惊人结论登上Hacker News热榜：没有指数级数据，就没有Zero-shot！多模态模型被扒实际上没有什么泛化能力，生成式AI的未来面临严峻挑战。
A16z（Andreessen Horowitz）可能是最会做内容的投资公司。他们在官网上发表的很多 AI 时代的创业思考和观察，都是很值得阅读的好文章。
大数据巨头Databricks与哥伦比亚大学最新研究发现，在数学和编程任务上，LoRA干不过全量微调。
当计算预算低时，重复使用高质量数据更好；当不差钱时，使用大量数据更有利。
为了能让自己以后更好地摸鱼，我上周第一次和大模型协作，完成了对一份财报的分析。
最公平的大模型基准测试诞生了！来自LLM竞技场，最接近人类偏好，数据新鲜、速度快、成本低，严格分离学渣和学霸。
中国和国际AI合作不断深化，特斯拉计划在中国建立数据中心，推进FSD全自动驾驶算法。 美国采取技术封锁措施，对中国等国家实施人工智能模型出口管制。
许多临床任务需要了解专业数据，例如医学图像、基因组学，这类专业知识信息在通用多模态大模型的训练中通常不存在。
