how to select the best model ?

[miaoct]

比如，基于CASIA V2数据集训练的模型，在run.sh中是利用CASIA V1作为验证集，
那么在选择best model时，是基于CASIA V1的最好性能选择吗？对于其他泛化测试数据集，如COVER，也是基于CASIA V1的最好性能选择的模型？
还有不同测试集选择不同的best model？

[Inkyl]

比如，基于CASIA V2数据集训练的模型，在run.sh中是利用CASIA V1作为验证集， 那么在选择best model时，是基于CASIA V1的最好性能选择吗？对于其他泛化测试数据集，如COVER，也是基于CASIA V1的最好性能选择的模型？ 还有不同测试集选择不同的best model？

感谢你对我们工作的关注
在训练过程中，我们选用 CASIAv1作为验证集保存checkpoint。
在论文中，我们基于五个数据集的指标平均最大值从上述checkpoint中选择一个具体的checkpoint进行report。
如果还有更多问题，欢迎讨论

[miaoct]

感谢你的及时回复，非常棒的工作！
此外还有一些关于数据集的问题：

1. 我下载到的Columbia数据集，对应篡改标签mask文件，只提供了/edgemask/文件夹，但是这个文件夹里面包含所有目标的mask信息，如何分辨或者处理，才能得到篡改区域mask作为label用于测试；
2. 对于NIST16数据集，我下载到的版本，无法确定篡改图片和其mask的对应关系，也无法区分真实图像和篡改图片；
3. IMDLBenCo代码中有使用这些测试集的json文件用于数据集加载，能否顺便提供这些json，或者提供预处理好的数据集链接（比如NIST16_cleaning），用于解决上述问题，十分感谢

[SunnyHaze]

我稍微claim一下上述内容，就是我们是在训练过程中连续保存当前的“best”，也就是说以casiav1做验证集的过程中会保存许多的best checkpoint，在这个基础上选择一个在5个数据集上平均最优的，只report该checkpoint的指标。

以及关于数据集处理，我们正在找人完成对应的代码将其内置到benco中，但是最近期末阶段确实是有点搞不过来。这样，你往我的邮箱[email protected]发个邮件，我提供给你一个初步的代码先用着。