在人工智能的前沿领域，大语言模型（Large Language Models，LLMs）由于其强大的能力正吸引着全球研究者的目光。在 LLMs 的研发流程中，预训练阶段占据着举足轻重的地位，它不仅消耗了大量的计算资源，还蕴含着许多尚未揭示的秘密。
EdgeNet可以处理从干净的自然图像或嘈杂的对抗性图像中提取的边缘，产生鲁棒的特征，具有轻量级、即插即用等特点，能够无缝集成到现有的预训练深度网络中，训练成本低。
近日，来自香港中文大学 - 商汤科技联合实验室等机构的研究者们提出了FouriScale，该方法在利用预训练扩散模型生成高分辨率图像方面取得了显著提升。
2022年底，OpenAI（美国人工智能研究公司）发布的大模型ChatGPT（对话生成式预训练大模型）引发了广泛关注。在“大模型+大数据+大算力”的加持下，ChatGPT能够通过自然语言交互完成多种任务，具备了多场景、多用 途、跨学科的任务处理能力。
Stable Diffusion 3 还没全面开放，这家公司的代码生成模型先来了。本周一，Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。
根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。
TimesFM针对时序数据设计，输出序列长于输入序列，在1000亿时间点数据进行预训练后，仅用200M参数量就展现出超强零样本学习能力！
数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。
3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。
