PPO、GRPO、PRIME这些算法中,长思维链(Long CoT)都能够涌现,且带来不错的性能表现。 而且,模型在推理行为中非常依赖于具体的任务: 对于Countdow任务,模型学习进行搜索和自我验证 对于数字乘法任务,模型反而学习使用分布规则分解问题,并逐步解决 苹果 ...