这个论文有很多干货，整合了前几年各领域的经典trick，做了很多实验。 为了得到一个更好的backbone，把能用到的loss、能添加的辅助任务都用上了： CLIP的图文对比lossLocCa的caption loss类MAE的重建loss ...

现阶段，推理模型几乎都采用了一种称为思维链（Chain of Thought，CoT）的技术，与传统的直接从输入到输出的映射不同，思维链通过显式展示中间推理过程，帮助模型更好地理解和解决复杂问题。

最近的研究强调了扩散模型与表征学习之间的相互作用。扩散模型的中间表征可用于下游视觉任务，同时视觉模型表征能够提升扩散模型的收敛速度和生成质量。 然而，由于输入不匹配和 VAE 潜在空间的使用，将视觉模型的预训练权重迁移到扩散模型中仍然具有挑战性。