除了交叉熵，LM Loss还有什么选择？
一直以来，交叉熵（Cross Entropy）都是LLM预训练和微调的标准损失函数。那这个“标准”可以改吗？如果想改，那又有哪些选择呢？改完之后又会带来什么影响呢？可能很多读者从未认真推敲过这些...
来源与阅读说明
发布方：科学空间；作者：苏剑林。原文发布时间：2026-08-09。本文为外部知识索引，仅提供订阅源短摘要，不转载全文。完整论证、代码、图片和使用许可请查阅原文。
订阅源摘要
一直以来，交叉熵（Cross Entropy）都是LLM预训练和微调的标准损失函数。那这个“标准”可以改吗？如果想改，那又有哪些选择呢？改完之后又会带来什么影响呢？可能很多读者从未认真推敲过这些...
建议如何学习
先确认原文使用的模型、工具版本与前置知识，再选择一个最小示例动手复现。记录输入、输出和失败原因；涉及效果或性能结论时，检查其评测条件是否适合你的场景。完成后将可复用步骤记入工作台。