From b3ffc65563067ce8c33a3d367abfbb6ccd639b9c Mon Sep 17 00:00:00 2001
From: James Smith <jamessealesmith@gmail.com>
Date: Thu, 17 Feb 2022 11:42:51 -0500
Subject: [PATCH] Update imnet-fivetask.sh

Fixed hyperparameters
---
 experiments/imnet-fivetask.sh | 106 +++++++++++++++++-----------------
 1 file changed, 53 insertions(+), 53 deletions(-)

diff --git a/experiments/imnet-fivetask.sh b/experiments/imnet-fivetask.sh
index 8011d5d..ec94f44 100644
--- a/experiments/imnet-fivetask.sh
+++ b/experiments/imnet-fivetask.sh
@@ -26,70 +26,70 @@ MAXTASK=5
 REPEAT=1
 SCHEDULE="30 60 80 90 100"
 PI=50000
-MODELNAME=resnet32
-BS=32
+MODELNAME=resnet18
+BS=256
 WD=0.0001
 MOM=0.9
 OPT="SGD"
 LR=0.1
  
-# #########################
-# #         OURS          #
-# #########################
+#########################
+#         OURS          #
+#########################
 
-# # Full Method
-# python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
-#     --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
-#     --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
-#     --mu 1e-1 --memory 0 --model_name $MODELNAME --model_type resnet \
-#     --learner_type datafree --learner_name AlwaysBeDreaming \
-#     --gen_model_name IMNET_GEN --gen_model_type generator \
-#     --beta 1 --power_iters $PI --deep_inv_params 1e-3 5e1 1e-3 1e3 1 \
-#     --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/abd
+# Full Method
+python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
+    --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
+    --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
+    --mu 1e-1 --memory 0 --model_name $MODELNAME --model_type resnet \
+    --learner_type datafree --learner_name AlwaysBeDreaming \
+    --gen_model_name IMNET_GEN --gen_model_type generator \
+    --beta 1 --power_iters $PI --deep_inv_params 1e-3 5e1 1e-3 1e3 1 \
+    --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/abd
 
-# #########################
-# #  BASELINES  EXISTING  #
-# #########################
+#########################
+#  BASELINES  EXISTING  #
+#########################
 
-# # Oracle
-# python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
-#     --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
-#     --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
-#     --memory 0 --model_name $MODELNAME --model_type resnet \
-#     --learner_type default --learner_name NormalNN --oracle_flag \
-#     --overwrite 0 --max_task $MAXTASK --log_dir ${OUTDIR}/oracle
+# Oracle
+python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
+    --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
+    --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
+    --memory 0 --model_name $MODELNAME --model_type resnet \
+    --learner_type default --learner_name NormalNN --oracle_flag \
+    --overwrite 0 --max_task $MAXTASK --log_dir ${OUTDIR}/oracle
 
-# # Base
-# python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
-#     --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
-#     --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
-#     --memory 0 --model_name $MODELNAME --model_type resnet \
-#     --learner_type default --learner_name NormalNN \
-#     --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/base
+# Base
+python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
+    --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
+    --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
+    --memory 0 --model_name $MODELNAME --model_type resnet \
+    --learner_type default --learner_name NormalNN \
+    --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/base
 
-# # LwF
-# python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
-#     --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
-#     --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
-#     --mu 1 --memory 0 --model_name $MODELNAME --model_type resnet \
-#     --learner_type kd --learner_name LWF \
-#     --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/lwf
+# LwF
+python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
+    --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
+    --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
+    --mu 1 --memory 0 --model_name $MODELNAME --model_type resnet \
+    --learner_type kd --learner_name LWF \
+    --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/lwf
 
-# # LwF.MC
-# python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
-#     --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
-#     --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
-#     --mu 1 --memory 0 --model_name $MODELNAME --model_type resnet \
-#     --learner_type kd --learner_name LWF_MC \
-#     --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/lwf_mc
+# LwF.MC
+python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
+    --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
+    --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
+    --mu 1 --memory 0 --model_name $MODELNAME --model_type resnet \
+    --learner_type kd --learner_name LWF_MC \
+    --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/lwf_mc
 
-# # Naive Rehearsal
-# python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
-#     --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
-#     --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
-#     --memory 2000 --model_name $MODELNAME --model_type resnet \
-#     --learner_type default --learner_name NormalNN \
-#     --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/rehearsal
+# Naive Rehearsal
+python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
+    --first_split_size $SPLIT --other_split_size $SPLIT --schedule $SCHEDULE --schedule_type decay --batch_size $BS \
+    --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
+    --memory 2000 --model_name $MODELNAME --model_type resnet \
+    --learner_type default --learner_name NormalNN \
+    --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/rehearsal
 
 # LwF - Coreset
 python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUID --repeat $REPEAT --dataroot $DATAROOT \
@@ -97,4 +97,4 @@ python -u run_dfcil.py --dataset ImageNet --train_aug --rand_split --gpuid $GPUI
     --optimizer $OPT --lr $LR --momentum $MOM --weight_decay $WD \
     --mu 1 --memory 2000 --model_name $MODELNAME --model_type resnet \
     --learner_type kd --learner_name LWF \
-    --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/lwf_coreset
\ No newline at end of file
+    --overwrite $OVERWRITE --max_task $MAXTASK --log_dir ${OUTDIR}/lwf_coreset