参考答案
结论：PPO是基于强化学习的策略优化算法，需奖励模型；DPO是直接偏好优化，绕过奖励模型直接用偏好数据训练。原理与异同：1.PPO：在RLHF中，训练奖励模型拟合人类偏好，Actor生成回答，Critic评估，用clip限制策略更新幅度，损失含优势函数和KL惩罚，流程复杂需采样训练循环；2.DPO：将奖励模型隐式融入，使用偏好对(y_w正例,y_l负例)，损失 L=-log σ(β log(πθ(y_w)/πref(y_w)) - β log(πθ(y_l)/πref(y_l)))，直接梯度下降；3.异同：都对齐LLM，PPO灵活但成本高，DPO简单稳定但依赖偏好数据质量。