运行环境，精度对不上
#1
by
Zeon-Zhuang
- opened
想问下可以提供运行 demo 代码的环境嘛，包括 transformers, torch, flash_attention 等
我在单机 H800 cu122 torch2.6 fa2.7.4.post1 transformers4.51.3 环境下运行 demo 代码的输出是
Score for response 1: 17.125
Score for response 2: 7.0
类似的，我运行 Skywork-Reward-Llama-3.1-8B-v0.2 时，输出也存在精度差异
# 8B 参考结果:
# Score for response 1: 13.6875
# Score for response 2: -9.1875
# fa2.7.4 运行结果
Score for response 1: 13.75
Score for response 2: -9.1875
# fa2.6.2 运行结果
Score for response 1: 13.75
Score for response 2: -9.375
样例代码中提供的分数皆来自 Skywork-Reward-V2-Llama-3.1-8B，所有测试都使用 torch 2.7.1，transformers 4.53.0，flash-attn 2.7.1.post4 完成。
上面这个 17.125 / 7.0 是否是来自 Skywork-Reward-V2-Qwen3-4B 的？如果没错的话，我们可以得到一样的分数。
chrisliu298
changed discussion status to
closed
chrisliu298
changed discussion status to
open
上面这个 17.125 / 7.0 是否是来自 Skywork-Reward-V2-Qwen3-4B 的？如果没错的话，我们可以得到一样的分数。
是的，非常感谢您提供相关信息
Zeon-Zhuang
changed discussion status to
closed