人工智能多选难度 3真题改编 · 2026
504. 多模态DPO用于优化视觉-语言模型,使其学会区分“优选的回复”和“非优选的回复”。给定图像 v,查询文本 x,以及一对偏好数据(优选的回复 y_w,非优选的回复 y_l),DPO的损失函数定义为:mathcalL_DPO=-logσ(β·Δ r) 其中:σ(z)=1/(1+e^-z)是sigmoid函数
Δ r=logfracπ_θ(y_w|v,x)π_ref(y_w|v,x)-logfracπ_θ(y_l|v,x)π_ref(y_l|v,x)
基于以上背景,关于多模态DPO的梯度行为和训练机制,以下哪些说法是正确的?
练习本题 ›