搜索
前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客，首篇博文的话题关于：基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的，分析了BERT灭绝的始末以及不同架构模型的优缺点，以史为鉴，对于未来的创新具有重要意义。
AlphaFold 3的论文太晦涩？没关系，斯坦福大学的两位博士生「图解」AlphaFold 3 ，将模型架构可视化，同时不遗漏任何一个细节。
小模型时代来了？OpenAI带着GPT-4o mini首次入局小模型战场，Mistral AI、HuggingFace本周接连发布了小模型。如今，苹果也发布了70亿参数小模型DCLM，性能碾压Mistral-7B。
在信息爆炸的当今时代，我们如何从浩如烟海的数据中探寻深层次的联系呢？
小模型成趋势？
机器之心独家专访 2011 年诺贝尔经济学奖得主托马斯·萨金特教授
![使用视觉语言模型进行 PDF 检索 [译]](https://blog.vespa.ai/assets/2024-07-15-retrieval-with-vision-language-models-colpali/GRuDx-xXAAAFqBR.jpeg)
近年来，随着大语言模型 (LLM) 的发展，构建检索增强生成 (RAG) 解决方案成为了一个热门话题。RAG 将 LLM 的强大功能与检索模型结合，应用于专有知识数据库。然而，对于开发人员来说，一个主要挑战是将各种文档格式（如 PDF、HTML 等）转换为可供文本模型处理的格式。
低秩适应（Low-Rank Adaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调范式中表现最佳的方法之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。
Scaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。
最高端的大模型，往往需要最朴实的语言破解。来自EPFL机构研究人员发现，仅将一句有害请求，改写成过去时态，包括GPT-4o、Llama 3等大模型纷纷沦陷了。