AI 摘要
社区开发者正在训练一个实验性模型，用离散低维样条流形几何替代传统的 MLP 解码器。他记录了模型在 5B token 训练过程中解码器 block 的权重变化，展示了模型如何逐渐学习到有效的表示。这类可视化对理解 Transformer 的训练动态有独特价值，也为非标准架构的探索提供了实证参考。
以上为 AI 生成摘要，不代表原文完整观点
社区开发者正在训练一个实验性模型，用离散低维样条流形几何替代传统的 MLP 解码器。他记录了模型在 5B token 训练过程中解码器 block 的权重变化，展示了模型如何逐渐学习到有效的表示。这类可视化对理解 Transformer 的训练动态有独特价值，也为非标准架构的探索提供了实证参考。
以上为 AI 生成摘要，不代表原文完整观点