点击上方“Deephub Imba”,关注公众号,好文章不错过 !本文将介绍如何为大型语言模型(LLM)添加自定义token并进行训练，使模型能够有效地利用这些新增token。以Llama 3.2模型为基础，实现了类似DeepSeek ...

“虽然只加入一行代码听起来很简单，但它将原本算法目标的两部分简化为一部分，通过零空间投影矩阵将结果投影到原始知识的零空间中。这种简化使得它具有很强的泛化性，并且其适用于目前大部分基于定位的模型编辑算法。”方俊峰说。 实验结果显示，AlphaEdit 在几乎所有指标和基础模型上都取得了优越的性能，特别是在效率和泛化能力上，与最佳基线方法相比，平均提升了 12.54% 和 16.78%。

Llama-3.1-Nemotron-51B 简介 Llama-3.1-Nemotron ... 即训练更小、更高效的学生模型（student model），以模仿更大的教师模型（teacher model）的功能。