AI资讯新闻榜单内容搜索-稀疏自编码器

关键词: AI,deepseek,DeepSeek-R1,模型训练

推理模型与普通大语言模型有何本质不同？它们为何会「胡言乱语」甚至「故意撒谎」？Goodfire最新发布的开源稀疏自编码器（SAEs），基于DeepSeek-R1模型，为我们提供了一把「AI显微镜」，窥探推理模型的内心世界。

关键词: LLM,AI,模型训练,SAE,稀疏自编码器

简而言之：矩阵 → ReLU 激活 → 矩阵