对代码的疑惑

[1773226512]

非常感谢您的项目，对我科研有很大的帮助。但是我发现不使用 vllm的情况下，generate_completions中的代码可能有问题，这个代码好像不能发挥原有的功能，可能要改成：

for idx, prediction in enumerate(batch_generations):
            for stop_sequence in stop_id_sequences:
                batch_generations[idx] = prediction.split(stop_sequence)[0]

修改后：

for idx, prediction in enumerate(batch_generations):
            for stop_sequence in stop_id_sequences:
                batch_generations[idx] = batch_generations[idx].split(stop_sequence)[0]

[a1789591]

Bro, I think you can remove prediction