Batching in common model training #79
Conversation
fix bug in the wrapper for dataset creating
…dation fix bug with two devices usage, new model's format
fix bug in autotuner fix bug with two devices
…in model_modified
…pport dict as model's output. Add function for last layer adding
There was a problem hiding this comment.
Я пару вещей не понял, на пару вещей не ответила, запросил изменения еще раз
Обычно при ревью отвечают на все комментарии, так я буду знать, на что ты обратила внимание, а что нет. Можно даже ставить
- вот такие галочки
и ими отмечать то, что ты сделала. мне сейчас пришлось заново пересматривать весь реквест, чтобы понять что ты поправила, а что нет
+ еще просьба: пожалуйста сначала влей мои изменения, потом делай коммит, иначе мне снова придется решать конфликты
| def get_model(path_to_weights: Path, model: torch.nn.Module): | ||
| weights = torch.load(path_to_weights) | ||
| weights["lin_last.weight"] = torch.tensor(np.random.random([1, 8])) | ||
| weights["lin_last.bias"] = torch.tensor(np.random.random([1])) |
There was a problem hiding this comment.
тык (это про прошлый коммент: lin_last можно убрать, выставив в Linear атрибут bias=False)
разобрались
| best_model_score[map_name], | ||
| best_model_name, | ||
| ) | ||
| return best_models |
There was a problem hiding this comment.
вот этот return заканчивается когда заканчивается первая эпоха, а цикл 48: for epoch_num in range(1, len(os.listdir(csv_path)) + 1): еще не истощился, почему так? посмотри пожалуйста
|
|
||
| import torch | ||
| import torch.nn as nn | ||
| import numpy as np |
There was a problem hiding this comment.
зачем второй раз импортировать numpy? найди пожалуйста оптимизатор импортов
тут я пока ребейзил поковырялся, импорты поправил, забей
Сохранение моделек и рефакторинг
Add new way to train models with generated dataset divided into batches in order to have the opportunity to shuffle steps.
The process consists of three parts: