比值比偏好优化测验

测试您对 ORPO 如何统一微调和偏好调整的理解。