一、如何评估和挑选 Reward Model（RM）

本研究系统性地提出了一套 Reward Model（RM）评估与挑选策略，以支持构建高质量偏好数据集，并提高 DPO / online DPO 的训练效果。评估方式分为直接评估与间接评估两大类，后者更强调与具体 policy model 的匹配性与实用性。

1. 直接评估方法：基于 RewardBench 的准确率评测

• 基本思路：在已有偏好标注数据集（如 RewardBench）上计算 RM 的预测准确率，作为其偏好判断能力的直接衡量指标。
• 存在的问题：
  1. 强依赖偏好数据集的质量，其覆盖面与偏好标注的主观性会显著影响评估结果的可信度；
  2. 无法反映 RM 与具体 policy model 的协同效果：实验发现，不同 policy model 在使用同一个 RM 时效果差异显著，说明 RM 与模型之间存在适配问题。

因此，我们提出多种间接评估策略，结合主流大模型评测指标，更贴近实际训练与应用场景。

2. 间接评估方法总览：基于评测指标间接衡量 RM 效果

• 主要思路：
  1. 使用目标policy model 对评测数据集的prompts产生responses
  2. 使用RM对responses进行打分，挑选分数最高的response组成评测数据集进行指标评估
  3. 评估 RM 挑选的 response 是否能带来模型整体性能的提升（评测指标的提升）。
• 使用的主流评测指标包括：
  • MT-Bench：综合对话能力评测；
  • IF-Eval：指令遵循能力评测；
  • AlignBench：提供中文语言、逻辑推理、角色扮演等多维细粒度评测。
• 优势总结：
  1. 灵活性强：不依赖预设偏好数据集，能根据实际需求选择评估维度；
  2. 更贴近实际使用场景：直接评估 RM 与特定 policy model 的匹配程度；

3. 方法一：对同一模型生成的多个响应进行 RM 筛选，看评测指标是否提升

• 实施步骤：
  1. 选定一个 policy model（如 SFT 或 DPO）；
  2. 对相同 prompt 生成多个响应；
  3. 通过 RM 选择最优响应，构建新数据集进行模型评测；
• 评估逻辑：若 RM 选出的响应在 MT-Bench、AlignBench 等指标上表现更优，说明该 RM 能有效提升模型输出质量，适用于 online DPO / RLHF 等对输出质量敏感的任务。

4. 方法二：跨模型打分，看 RM 能否区分模型能力差异

• 实施步骤：
  1. 收集多个不同能力模型（如 SFT、DPO、GPT-4）在同一 prompt 下的响应；
  2. 使用 RM 对其进行打分并选优；
  3. 将被选出的 response 构成数据集进行评测。