整体微调以后，领域内的知识记住了，但是问常规问题，比如你好，你叫什么，他也回答领域内的知识

[heiheiwangergou]

是我参数哪里设置的不对嘛，a100单卡，14000条qa数据 下面是训练参数

'max_seq_length': 1024, # 如果资源充足，推荐长度2048 与官方保持一致
'max_target_length': 100,  # 预测最大长度, 保留字段

这两个参数会影响结果嘛

[cywjava]

+1

[cristianohello]

+1

[lianrzh]

是全量微调，还是lora训练？

[lxw0109]

+1
尝试了全量微调、lora训练都试过了，都有灾难性遗忘的情况，灾难性遗忘的情况lora稍强一点，但两种训练方式的拟合效果都不好
训练数据只有300条，epoch: 1, max_seq_length: 2048，其他超参基本没动

@ssbuild

[liu459977653]

同问