pretrain 数据问题

[ruleGreen]

您好，想问一下为什么我这边用我自己的数据pretrain老是获取不到tfrecords

[zhang-yunke]

你好，请问你解决这个问题了吗？我在pretrain的时候得到的instance数量和文章数量相比少很多

[zhang-yunke]

@ruleGreen 你好，我这边发现了一个问题，在create_pretrianing_data.py文件下330行左右，有时传入的列表会变成二维的导致后续读取不出来，我做了如下修改：
document = all_documents[document_index]
改为
document = all_documents[document_index]
document = np.squeeze(document).tolist()
从数据量上和数据样例上看起来正常了许多

[Rxma1805]

@ruleGreen 你好，我这边发现了一个问题，在create_pretrianing_data.py文件下330行左右，有时传入的列表会变成二维的导致后续读取不出来，我做了如下修改：
document = all_documents[document_index]
改为
document = all_documents[document_index]
document = np.squeeze(document).tolist()
从数据量上和数据样例上看起来正常了许多

hello 我想问一下，数据集的准备是否需要以每一篇文章为一个txt，每个txt里面的每个句子一行这样的形式？我不确定预测句子是都是下一句这个训练任务是否需要这样构建数据任务。