ChatGLM是不是无法做RM和RL的训练？

[Leekinxun]

Describe the Question

Please provide a clear and concise description of what the question is.
chatglm2是不是做不了PPO相关的训练，我在rm模型中用了bert训练，但是无法合并参数，同时第四部的rl训练也显示ChatGLM2模型没有AutoModelForCausalLMWithValueHead，请问这种情况是不是只能换模型了

[shibing624]

是，chatglm不是标准CausalLM

[Leekinxun]

是，chatglm不是标准CausalLM

明白，感谢！

[shawnlihst]

是，chatglm不是标准CausalLM

请问新增的DPO方法可以用于ChatGLM2吗？

[C929-x]

是，chatglm不是标准CausalLM

我看B站有人这样做

[valkryhx]

是，chatglm不是标准CausalLM

请问新增的DPO方法可以用于ChatGLM2吗？

dpo可以跑chatglm2-6b
RM训练也支持
RLHF也支持
建议先用dpo跑，简单些。

[C929-x]

是，chatglm不是标准CausalLM

请问新增的DPO方法可以用于ChatGLM2吗？

dpo可以跑chatglm2-6b RM训练也支持 RLHF也支持 建议先用dpo跑，简单些。

请问chatglm支持吗，1版本的，不是chatglm2

[valkryhx]

DPO的目标函数是为了扩大Q-A1 和Q-A2 这两个文本之间的差异，跟生成文本的条件概率有关系，跟模型本身关系不大，可以试试trl的代码或者本项目的代码替换模型。

[C929-x]

DPO的目标函数是为了扩大Q-A1 和Q-A2 这两个文本之间的差异，跟生成文本的条件概率有关系，跟模型本身关系不大，可以试试trl的代码或者本项目的代码替换模型。

好的好的十分感谢