start_sql_small_fast.out

[2023-08-06 17:13:00,986] [INFO] [real_accelerator.py:158:get_accelerator] Setting ds_accelerator to cuda (auto detect)
[2023-08-06 17:13:02,713] [INFO] [comm.py:631:init_distributed] cdb=None
[2023-08-06 17:13:02,713] [INFO] [comm.py:662:init_distributed] Initializing TorchBackend in DeepSpeed with backend nccl
[2023-08-06 17:13:12,808] [INFO] [partition_parameters.py:332:__exit__] finished initializing model - num_params = 291, num_elems = 6.74B
Installed CUDA version 11.4 does not match the version torch was compiled with 11.7 but since the APIs are compatible, accepting this combination
Installed CUDA version 11.4 does not match the version torch was compiled with 11.7 but since the APIs are compatible, accepting this combination
ninja: no work to do.
Time to load cpu_adam op: 2.8223650455474854 seconds
Parameter Offload: Total persistent parameters: 266240 in 65 params
{'loss': 0.6946, 'learning_rate': 0.0, 'epoch': 0.02}
{'loss': 0.6062, 'learning_rate': 1e-05, 'epoch': 0.03}
{'loss': 0.6449, 'learning_rate': 1e-05, 'epoch': 0.05}
{'loss': 0.2929, 'learning_rate': 9.988864142538977e-06, 'epoch': 0.07}
{'loss': 0.2055, 'learning_rate': 9.977728285077952e-06, 'epoch': 0.08}
{'loss': 0.2189, 'learning_rate': 9.966592427616926e-06, 'epoch': 0.1}
{'loss': 0.2124, 'learning_rate': 9.955456570155903e-06, 'epoch': 0.12}
{'loss': 0.1954, 'learning_rate': 9.944320712694877e-06, 'epoch': 0.13}
{'loss': 0.1225, 'learning_rate': 9.933184855233854e-06, 'epoch': 0.15}
{'loss': 0.1635, 'learning_rate': 9.92204899777283e-06, 'epoch': 0.17}
{'loss': 0.166, 'learning_rate': 9.910913140311805e-06, 'epoch': 0.18}
{'loss': 0.1804, 'learning_rate': 9.89977728285078e-06, 'epoch': 0.2}
{'loss': 0.1634, 'learning_rate': 9.888641425389756e-06, 'epoch': 0.22}
{'loss': 0.1722, 'learning_rate': 9.877505567928732e-06, 'epoch': 0.23}
{'loss': 0.1435, 'learning_rate': 9.866369710467707e-06, 'epoch': 0.25}
{'loss': 0.1134, 'learning_rate': 9.855233853006683e-06, 'epoch': 0.27}
{'loss': 0.1462, 'learning_rate': 9.844097995545658e-06, 'epoch': 0.28}
{'loss': 0.132, 'learning_rate': 9.832962138084632e-06, 'epoch': 0.3}
{'loss': 0.1889, 'learning_rate': 9.821826280623609e-06, 'epoch': 0.32}
{'loss': 0.1076, 'learning_rate': 9.810690423162585e-06, 'epoch': 0.33}
{'loss': 0.1161, 'learning_rate': 9.79955456570156e-06, 'epoch': 0.35}
{'loss': 0.1608, 'learning_rate': 9.788418708240536e-06, 'epoch': 0.37}
{'loss': 0.1172, 'learning_rate': 9.77728285077951e-06, 'epoch': 0.38}
{'loss': 0.1257, 'learning_rate': 9.766146993318485e-06, 'epoch': 0.4}
{'loss': 0.1354, 'learning_rate': 9.755011135857462e-06, 'epoch': 0.42}
{'loss': 0.1254, 'learning_rate': 9.743875278396438e-06, 'epoch': 0.43}
{'loss': 0.1411, 'learning_rate': 9.732739420935413e-06, 'epoch': 0.45}
{'loss': 0.1216, 'learning_rate': 9.721603563474389e-06, 'epoch': 0.47}
{'loss': 0.1251, 'learning_rate': 9.710467706013364e-06, 'epoch': 0.48}
{'loss': 0.0881, 'learning_rate': 9.699331848552338e-06, 'epoch': 0.5}
{'loss': 0.1039, 'learning_rate': 9.688195991091315e-06, 'epoch': 0.52}
{'loss': 0.1059, 'learning_rate': 9.677060133630291e-06, 'epoch': 0.53}
{'loss': 0.0889, 'learning_rate': 9.665924276169266e-06, 'epoch': 0.55}
{'loss': 0.0757, 'learning_rate': 9.65478841870824e-06, 'epoch': 0.57}
{'loss': 0.1271, 'learning_rate': 9.643652561247217e-06, 'epoch': 0.58}
{'loss': 0.0851, 'learning_rate': 9.632516703786193e-06, 'epoch': 0.6}
{'loss': 0.1074, 'learning_rate': 9.621380846325168e-06, 'epoch': 0.62}
{'loss': 0.1094, 'learning_rate': 9.610244988864144e-06, 'epoch': 0.63}
{'loss': 0.0789, 'learning_rate': 9.599109131403119e-06, 'epoch': 0.65}
{'loss': 0.0734, 'learning_rate': 9.587973273942093e-06, 'epoch': 0.67}
{'loss': 0.1146, 'learning_rate': 9.57683741648107e-06, 'epoch': 0.68}
{'loss': 0.1041, 'learning_rate': 9.565701559020046e-06, 'epoch': 0.7}
{'loss': 0.0816, 'learning_rate': 9.55456570155902e-06, 'epoch': 0.72}
{'loss': 0.1018, 'learning_rate': 9.543429844097997e-06, 'epoch': 0.73}
{'loss': 0.0856, 'learning_rate': 9.532293986636973e-06, 'epoch': 0.75}
{'loss': 0.1332, 'learning_rate': 9.521158129175946e-06, 'epoch': 0.77}
{'loss': 0.1224, 'learning_rate': 9.510022271714922e-06, 'epoch': 0.78}
{'loss': 0.0924, 'learning_rate': 9.498886414253899e-06, 'epoch': 0.8}
{'loss': 0.089, 'learning_rate': 9.487750556792873e-06, 'epoch': 0.81}
{'loss': 0.1443, 'learning_rate': 9.47661469933185e-06, 'epoch': 0.83}
{'loss': 0.0587, 'learning_rate': 9.465478841870824e-06, 'epoch': 0.85}
{'loss': 0.0878, 'learning_rate': 9.4543429844098e-06, 'epoch': 0.86}
{'loss': 0.0911, 'learning_rate': 9.443207126948775e-06, 'epoch': 0.88}
{'loss': 0.0797, 'learning_rate': 9.432071269487752e-06, 'epoch': 0.9}
{'loss': 0.1284, 'learning_rate': 9.420935412026726e-06, 'epoch': 0.91}
{'loss': 0.0671, 'learning_rate': 9.409799554565703e-06, 'epoch': 0.93}
{'loss': 0.0732, 'learning_rate': 9.398663697104677e-06, 'epoch': 0.95}
{'loss': 0.1124, 'learning_rate': 9.387527839643654e-06, 'epoch': 0.96}
{'loss': 0.0921, 'learning_rate': 9.376391982182628e-06, 'epoch': 0.98}
{'loss': 0.0761, 'learning_rate': 9.365256124721605e-06, 'epoch': 1.0}
{'loss': 0.0477, 'learning_rate': 9.35412026726058e-06, 'epoch': 1.01}
{'loss': 0.0505, 'learning_rate': 9.342984409799554e-06, 'epoch': 1.03}
{'loss': 0.05, 'learning_rate': 9.33184855233853e-06, 'epoch': 1.05}
{'loss': 0.0463, 'learning_rate': 9.320712694877507e-06, 'epoch': 1.06}
{'loss': 0.0685, 'learning_rate': 9.309576837416481e-06, 'epoch': 1.08}
{'loss': 0.0457, 'learning_rate': 9.298440979955458e-06, 'epoch': 1.1}
{'loss': 0.0439, 'learning_rate': 9.287305122494434e-06, 'epoch': 1.11}
{'loss': 0.0696, 'learning_rate': 9.276169265033409e-06, 'epoch': 1.13}
{'loss': 0.0612, 'learning_rate': 9.265033407572383e-06, 'epoch': 1.15}
{'loss': 0.0791, 'learning_rate': 9.25389755011136e-06, 'epoch': 1.16}
{'loss': 0.0537, 'learning_rate': 9.242761692650334e-06, 'epoch': 1.18}
{'loss': 0.0537, 'learning_rate': 9.23162583518931e-06, 'epoch': 1.2}
{'loss': 0.0689, 'learning_rate': 9.220489977728287e-06, 'epoch': 1.21}
{'loss': 0.0749, 'learning_rate': 9.209354120267262e-06, 'epoch': 1.23}
{'loss': 0.0379, 'learning_rate': 9.198218262806236e-06, 'epoch': 1.25}
{'loss': 0.0329, 'learning_rate': 9.187082405345213e-06, 'epoch': 1.26}
{'loss': 0.0297, 'learning_rate': 9.175946547884187e-06, 'epoch': 1.28}
{'loss': 0.0804, 'learning_rate': 9.164810690423164e-06, 'epoch': 1.3}
{'loss': 0.0571, 'learning_rate': 9.153674832962138e-06, 'epoch': 1.31}
{'loss': 0.0518, 'learning_rate': 9.142538975501115e-06, 'epoch': 1.33}
{'loss': 0.0643, 'learning_rate': 9.13140311804009e-06, 'epoch': 1.35}
{'loss': 0.0346, 'learning_rate': 9.120267260579066e-06, 'epoch': 1.36}
{'loss': 0.052, 'learning_rate': 9.109131403118042e-06, 'epoch': 1.38}
{'loss': 0.0378, 'learning_rate': 9.097995545657017e-06, 'epoch': 1.4}
{'loss': 0.0572, 'learning_rate': 9.086859688195991e-06, 'epoch': 1.41}
{'loss': 0.0467, 'learning_rate': 9.075723830734968e-06, 'epoch': 1.43}
{'loss': 0.0671, 'learning_rate': 9.064587973273942e-06, 'epoch': 1.45}
{'loss': 0.0498, 'learning_rate': 9.053452115812919e-06, 'epoch': 1.46}
{'loss': 0.0548, 'learning_rate': 9.042316258351895e-06, 'epoch': 1.48}
{'loss': 0.0391, 'learning_rate': 9.03118040089087e-06, 'epoch': 1.5}
{'loss': 0.0718, 'learning_rate': 9.020044543429844e-06, 'epoch': 1.51}
{'loss': 0.0661, 'learning_rate': 9.00890868596882e-06, 'epoch': 1.53}
{'loss': 0.0462, 'learning_rate': 8.997772828507795e-06, 'epoch': 1.55}
{'loss': 0.0446, 'learning_rate': 8.986636971046771e-06, 'epoch': 1.56}
{'loss': 0.0421, 'learning_rate': 8.975501113585748e-06, 'epoch': 1.58}
{'loss': 0.0648, 'learning_rate': 8.964365256124722e-06, 'epoch': 1.6}
{'loss': 0.0621, 'learning_rate': 8.953229398663697e-06, 'epoch': 1.61}
{'loss': 0.0522, 'learning_rate': 8.942093541202673e-06, 'epoch': 1.63}
{'loss': 0.0542, 'learning_rate': 8.930957683741648e-06, 'epoch': 1.65}
{'loss': 0.0433, 'learning_rate': 8.919821826280624e-06, 'epoch': 1.66}
{'loss': 0.0349, 'learning_rate': 8.9086859688196e-06, 'epoch': 1.68}
{'loss': 0.0723, 'learning_rate': 8.897550111358575e-06, 'epoch': 1.7}
{'loss': 0.066, 'learning_rate': 8.88641425389755e-06, 'epoch': 1.71}
{'loss': 0.0673, 'learning_rate': 8.875278396436526e-06, 'epoch': 1.73}
{'loss': 0.0344, 'learning_rate': 8.864142538975503e-06, 'epoch': 1.75}
{'loss': 0.0579, 'learning_rate': 8.853006681514477e-06, 'epoch': 1.76}
{'loss': 0.0547, 'learning_rate': 8.841870824053452e-06, 'epoch': 1.78}
{'loss': 0.041, 'learning_rate': 8.830734966592428e-06, 'epoch': 1.8}
{'loss': 0.0479, 'learning_rate': 8.819599109131403e-06, 'epoch': 1.81}
{'loss': 0.0431, 'learning_rate': 8.80846325167038e-06, 'epoch': 1.83}
{'loss': 0.046, 'learning_rate': 8.797327394209356e-06, 'epoch': 1.85}
{'loss': 0.0571, 'learning_rate': 8.78619153674833e-06, 'epoch': 1.86}
{'loss': 0.0676, 'learning_rate': 8.775055679287305e-06, 'epoch': 1.88}
{'loss': 0.0596, 'learning_rate': 8.763919821826281e-06, 'epoch': 1.9}
{'loss': 0.0643, 'learning_rate': 8.752783964365256e-06, 'epoch': 1.91}
{'loss': 0.0443, 'learning_rate': 8.741648106904232e-06, 'epoch': 1.93}
{'loss': 0.0425, 'learning_rate': 8.730512249443209e-06, 'epoch': 1.95}
{'loss': 0.0581, 'learning_rate': 8.719376391982183e-06, 'epoch': 1.96}
{'loss': 0.0707, 'learning_rate': 8.708240534521158e-06, 'epoch': 1.98}
{'loss': 0.0427, 'learning_rate': 8.697104677060134e-06, 'epoch': 2.0}
{'loss': 0.042, 'learning_rate': 8.68596881959911e-06, 'epoch': 2.01}
{'loss': 0.0459, 'learning_rate': 8.674832962138085e-06, 'epoch': 2.03}
{'loss': 0.0366, 'learning_rate': 8.663697104677062e-06, 'epoch': 2.05}
{'loss': 0.0407, 'learning_rate': 8.652561247216036e-06, 'epoch': 2.06}
{'loss': 0.0292, 'learning_rate': 8.641425389755011e-06, 'epoch': 2.08}
{'loss': 0.0317, 'learning_rate': 8.630289532293987e-06, 'epoch': 2.1}
{'loss': 0.0216, 'learning_rate': 8.619153674832964e-06, 'epoch': 2.11}
{'loss': 0.0411, 'learning_rate': 8.608017817371938e-06, 'epoch': 2.13}
{'loss': 0.0347, 'learning_rate': 8.596881959910915e-06, 'epoch': 2.15}
{'loss': 0.0279, 'learning_rate': 8.58574610244989e-06, 'epoch': 2.16}
{'loss': 0.0339, 'learning_rate': 8.574610244988864e-06, 'epoch': 2.18}
{'loss': 0.0284, 'learning_rate': 8.56347438752784e-06, 'epoch': 2.2}
{'loss': 0.0247, 'learning_rate': 8.552338530066817e-06, 'epoch': 2.21}
{'loss': 0.0187, 'learning_rate': 8.541202672605791e-06, 'epoch': 2.23}
{'loss': 0.0322, 'learning_rate': 8.530066815144766e-06, 'epoch': 2.25}
{'loss': 0.0238, 'learning_rate': 8.518930957683742e-06, 'epoch': 2.26}
{'loss': 0.0351, 'learning_rate': 8.507795100222719e-06, 'epoch': 2.28}
{'loss': 0.0388, 'learning_rate': 8.496659242761693e-06, 'epoch': 2.3}
{'loss': 0.0355, 'learning_rate': 8.48552338530067e-06, 'epoch': 2.31}
{'loss': 0.0184, 'learning_rate': 8.474387527839644e-06, 'epoch': 2.33}
{'loss': 0.0414, 'learning_rate': 8.463251670378619e-06, 'epoch': 2.35}
{'loss': 0.0258, 'learning_rate': 8.452115812917595e-06, 'epoch': 2.36}
{'loss': 0.028, 'learning_rate': 8.440979955456571e-06, 'epoch': 2.38}
{'loss': 0.0281, 'learning_rate': 8.429844097995546e-06, 'epoch': 2.4}
{'loss': 0.0234, 'learning_rate': 8.418708240534522e-06, 'epoch': 2.41}
{'loss': 0.0324, 'learning_rate': 8.407572383073497e-06, 'epoch': 2.43}
{'loss': 0.0486, 'learning_rate': 8.396436525612472e-06, 'epoch': 2.44}
{'loss': 0.0196, 'learning_rate': 8.385300668151448e-06, 'epoch': 2.46}
{'loss': 0.0235, 'learning_rate': 8.374164810690424e-06, 'epoch': 2.48}
{'loss': 0.0273, 'learning_rate': 8.363028953229399e-06, 'epoch': 2.49}
{'loss': 0.0355, 'learning_rate': 8.351893095768375e-06, 'epoch': 2.51}
{'loss': 0.0403, 'learning_rate': 8.34075723830735e-06, 'epoch': 2.53}
{'loss': 0.0189, 'learning_rate': 8.329621380846325e-06, 'epoch': 2.54}
{'loss': 0.0384, 'learning_rate': 8.318485523385301e-06, 'epoch': 2.56}
{'loss': 0.0373, 'learning_rate': 8.307349665924277e-06, 'epoch': 2.58}
{'loss': 0.0284, 'learning_rate': 8.296213808463252e-06, 'epoch': 2.59}
{'loss': 0.0206, 'learning_rate': 8.285077951002228e-06, 'epoch': 2.61}
{'loss': 0.029, 'learning_rate': 8.273942093541203e-06, 'epoch': 2.63}
{'loss': 0.0131, 'learning_rate': 8.26280623608018e-06, 'epoch': 2.64}
{'loss': 0.0412, 'learning_rate': 8.251670378619154e-06, 'epoch': 2.66}
{'loss': 0.0357, 'learning_rate': 8.24053452115813e-06, 'epoch': 2.68}
{'loss': 0.0354, 'learning_rate': 8.229398663697105e-06, 'epoch': 2.69}
{'loss': 0.0185, 'learning_rate': 8.21826280623608e-06, 'epoch': 2.71}
{'loss': 0.0301, 'learning_rate': 8.207126948775056e-06, 'epoch': 2.73}
{'loss': 0.0338, 'learning_rate': 8.195991091314032e-06, 'epoch': 2.74}
{'loss': 0.0268, 'learning_rate': 8.184855233853007e-06, 'epoch': 2.76}
{'loss': 0.0422, 'learning_rate': 8.173719376391983e-06, 'epoch': 2.78}
{'loss': 0.0408, 'learning_rate': 8.162583518930958e-06, 'epoch': 2.79}
{'loss': 0.0383, 'learning_rate': 8.151447661469933e-06, 'epoch': 2.81}
{'loss': 0.0345, 'learning_rate': 8.140311804008909e-06, 'epoch': 2.83}
{'loss': 0.0239, 'learning_rate': 8.129175946547885e-06, 'epoch': 2.84}
{'loss': 0.0442, 'learning_rate': 8.11804008908686e-06, 'epoch': 2.86}
{'loss': 0.0437, 'learning_rate': 8.106904231625836e-06, 'epoch': 2.88}
{'loss': 0.0275, 'learning_rate': 8.095768374164813e-06, 'epoch': 2.89}
{'loss': 0.0301, 'learning_rate': 8.084632516703787e-06, 'epoch': 2.91}
{'loss': 0.0527, 'learning_rate': 8.073496659242762e-06, 'epoch': 2.93}
{'loss': 0.0196, 'learning_rate': 8.062360801781738e-06, 'epoch': 2.94}
{'loss': 0.0416, 'learning_rate': 8.051224944320713e-06, 'epoch': 2.96}
{'loss': 0.0354, 'learning_rate': 8.04008908685969e-06, 'epoch': 2.98}
{'loss': 0.045, 'learning_rate': 8.028953229398664e-06, 'epoch': 2.99}
{'loss': 0.0308, 'learning_rate': 8.01781737193764e-06, 'epoch': 3.01}
{'loss': 0.0219, 'learning_rate': 8.006681514476615e-06, 'epoch': 3.03}
{'loss': 0.0139, 'learning_rate': 7.995545657015591e-06, 'epoch': 3.04}
{'loss': 0.0217, 'learning_rate': 7.984409799554566e-06, 'epoch': 3.06}
{'loss': 0.0205, 'learning_rate': 7.973273942093542e-06, 'epoch': 3.08}
{'loss': 0.008, 'learning_rate': 7.962138084632517e-06, 'epoch': 3.09}
{'loss': 0.02, 'learning_rate': 7.951002227171493e-06, 'epoch': 3.11}
{'loss': 0.015, 'learning_rate': 7.939866369710468e-06, 'epoch': 3.13}
{'loss': 0.0213, 'learning_rate': 7.928730512249444e-06, 'epoch': 3.14}
{'loss': 0.0336, 'learning_rate': 7.91759465478842e-06, 'epoch': 3.16}
{'loss': 0.0137, 'learning_rate': 7.906458797327395e-06, 'epoch': 3.18}
{'loss': 0.021, 'learning_rate': 7.89532293986637e-06, 'epoch': 3.19}
{'loss': 0.0228, 'learning_rate': 7.884187082405346e-06, 'epoch': 3.21}
{'loss': 0.025, 'learning_rate': 7.87305122494432e-06, 'epoch': 3.23}
{'loss': 0.0161, 'learning_rate': 7.861915367483297e-06, 'epoch': 3.24}
{'loss': 0.0169, 'learning_rate': 7.850779510022273e-06, 'epoch': 3.26}
{'loss': 0.0098, 'learning_rate': 7.839643652561248e-06, 'epoch': 3.28}
{'loss': 0.0197, 'learning_rate': 7.828507795100223e-06, 'epoch': 3.29}
{'loss': 0.0127, 'learning_rate': 7.817371937639199e-06, 'epoch': 3.31}
{'loss': 0.0227, 'learning_rate': 7.806236080178174e-06, 'epoch': 3.33}
{'loss': 0.0193, 'learning_rate': 7.79510022271715e-06, 'epoch': 3.34}
{'loss': 0.0164, 'learning_rate': 7.783964365256126e-06, 'epoch': 3.36}
{'loss': 0.0193, 'learning_rate': 7.772828507795101e-06, 'epoch': 3.38}
{'loss': 0.0067, 'learning_rate': 7.761692650334076e-06, 'epoch': 3.39}
{'loss': 0.0183, 'learning_rate': 7.750556792873052e-06, 'epoch': 3.41}
{'loss': 0.0223, 'learning_rate': 7.739420935412028e-06, 'epoch': 3.43}
{'loss': 0.0298, 'learning_rate': 7.728285077951003e-06, 'epoch': 3.44}
{'loss': 0.0109, 'learning_rate': 7.717149220489978e-06, 'epoch': 3.46}
{'loss': 0.0136, 'learning_rate': 7.706013363028954e-06, 'epoch': 3.48}
{'loss': 0.0284, 'learning_rate': 7.694877505567929e-06, 'epoch': 3.49}
{'loss': 0.012, 'learning_rate': 7.683741648106905e-06, 'epoch': 3.51}
{'loss': 0.0197, 'learning_rate': 7.672605790645881e-06, 'epoch': 3.53}
{'loss': 0.021, 'learning_rate': 7.661469933184856e-06, 'epoch': 3.54}
{'loss': 0.014, 'learning_rate': 7.65033407572383e-06, 'epoch': 3.56}
{'loss': 0.018, 'learning_rate': 7.639198218262807e-06, 'epoch': 3.58}
{'loss': 0.0211, 'learning_rate': 7.6280623608017824e-06, 'epoch': 3.59}
{'loss': 0.0207, 'learning_rate': 7.616926503340758e-06, 'epoch': 3.61}
{'loss': 0.0136, 'learning_rate': 7.6057906458797334e-06, 'epoch': 3.63}
{'loss': 0.0149, 'learning_rate': 7.59465478841871e-06, 'epoch': 3.64}
{'loss': 0.0207, 'learning_rate': 7.5835189309576836e-06, 'epoch': 3.66}
{'loss': 0.0399, 'learning_rate': 7.57238307349666e-06, 'epoch': 3.68}
{'loss': 0.015, 'learning_rate': 7.561247216035635e-06, 'epoch': 3.69}
{'loss': 0.022, 'learning_rate': 7.550111358574611e-06, 'epoch': 3.71}
{'loss': 0.0087, 'learning_rate': 7.538975501113586e-06, 'epoch': 3.73}
{'loss': 0.0114, 'learning_rate': 7.527839643652561e-06, 'epoch': 3.74}
{'loss': 0.0156, 'learning_rate': 7.516703786191537e-06, 'epoch': 3.76}
{'loss': 0.0159, 'learning_rate': 7.505567928730513e-06, 'epoch': 3.78}
{'loss': 0.0186, 'learning_rate': 7.494432071269488e-06, 'epoch': 3.79}
{'loss': 0.0139, 'learning_rate': 7.483296213808464e-06, 'epoch': 3.81}
{'loss': 0.016, 'learning_rate': 7.47216035634744e-06, 'epoch': 3.83}
{'loss': 0.0092, 'learning_rate': 7.461024498886415e-06, 'epoch': 3.84}
{'loss': 0.0298, 'learning_rate': 7.44988864142539e-06, 'epoch': 3.86}
{'loss': 0.0223, 'learning_rate': 7.438752783964366e-06, 'epoch': 3.88}
{'loss': 0.015, 'learning_rate': 7.427616926503341e-06, 'epoch': 3.89}
{'loss': 0.0171, 'learning_rate': 7.416481069042318e-06, 'epoch': 3.91}
{'loss': 0.0237, 'learning_rate': 7.4053452115812915e-06, 'epoch': 3.93}
{'loss': 0.027, 'learning_rate': 7.394209354120268e-06, 'epoch': 3.94}
{'loss': 0.0168, 'learning_rate': 7.383073496659243e-06, 'epoch': 3.96}
{'loss': 0.0122, 'learning_rate': 7.371937639198219e-06, 'epoch': 3.98}
{'loss': 0.0215, 'learning_rate': 7.360801781737194e-06, 'epoch': 3.99}
{'loss': 0.019, 'learning_rate': 7.349665924276171e-06, 'epoch': 4.01}
{'loss': 0.0105, 'learning_rate': 7.338530066815145e-06, 'epoch': 4.02}
{'loss': 0.0065, 'learning_rate': 7.327394209354121e-06, 'epoch': 4.04}
{'loss': 0.009, 'learning_rate': 7.316258351893096e-06, 'epoch': 4.06}
{'loss': 0.0095, 'learning_rate': 7.305122494432072e-06, 'epoch': 4.07}
{'loss': 0.0102, 'learning_rate': 7.293986636971048e-06, 'epoch': 4.09}
{'loss': 0.0122, 'learning_rate': 7.2828507795100236e-06, 'epoch': 4.11}
{'loss': 0.0085, 'learning_rate': 7.271714922048998e-06, 'epoch': 4.12}
{'loss': 0.0097, 'learning_rate': 7.260579064587974e-06, 'epoch': 4.14}
{'loss': 0.0084, 'learning_rate': 7.249443207126949e-06, 'epoch': 4.16}
{'loss': 0.0057, 'learning_rate': 7.238307349665925e-06, 'epoch': 4.17}
{'loss': 0.007, 'learning_rate': 7.227171492204901e-06, 'epoch': 4.19}
{'loss': 0.005, 'learning_rate': 7.216035634743876e-06, 'epoch': 4.21}
{'loss': 0.0065, 'learning_rate': 7.204899777282851e-06, 'epoch': 4.22}
{'loss': 0.0126, 'learning_rate': 7.193763919821827e-06, 'epoch': 4.24}
{'loss': 0.01, 'learning_rate': 7.182628062360802e-06, 'epoch': 4.26}
{'loss': 0.0219, 'learning_rate': 7.1714922048997785e-06, 'epoch': 4.27}
{'loss': 0.012, 'learning_rate': 7.160356347438754e-06, 'epoch': 4.29}
{'loss': 0.0206, 'learning_rate': 7.149220489977729e-06, 'epoch': 4.31}
{'loss': 0.0066, 'learning_rate': 7.138084632516704e-06, 'epoch': 4.32}
{'loss': 0.0098, 'learning_rate': 7.12694877505568e-06, 'epoch': 4.34}
{'loss': 0.0069, 'learning_rate': 7.115812917594656e-06, 'epoch': 4.36}
{'loss': 0.0073, 'learning_rate': 7.1046770601336314e-06, 'epoch': 4.37}
{'loss': 0.0166, 'learning_rate': 7.093541202672606e-06, 'epoch': 4.39}
{'loss': 0.0134, 'learning_rate': 7.082405345211582e-06, 'epoch': 4.41}
{'loss': 0.0133, 'learning_rate': 7.071269487750557e-06, 'epoch': 4.42}
{'loss': 0.0076, 'learning_rate': 7.0601336302895326e-06, 'epoch': 4.44}
{'loss': 0.0106, 'learning_rate': 7.048997772828509e-06, 'epoch': 4.46}
{'loss': 0.0086, 'learning_rate': 7.037861915367484e-06, 'epoch': 4.47}
{'loss': 0.0139, 'learning_rate': 7.026726057906459e-06, 'epoch': 4.49}
{'loss': 0.0052, 'learning_rate': 7.0155902004454345e-06, 'epoch': 4.51}
{'loss': 0.0073, 'learning_rate': 7.00445434298441e-06, 'epoch': 4.52}
{'loss': 0.0079, 'learning_rate': 6.993318485523386e-06, 'epoch': 4.54}
{'loss': 0.0103, 'learning_rate': 6.982182628062362e-06, 'epoch': 4.56}
{'loss': 0.0054, 'learning_rate': 6.971046770601337e-06, 'epoch': 4.57}
{'loss': 0.0031, 'learning_rate': 6.959910913140312e-06, 'epoch': 4.59}
{'loss': 0.0215, 'learning_rate': 6.9487750556792875e-06, 'epoch': 4.61}
{'loss': 0.0114, 'learning_rate': 6.937639198218263e-06, 'epoch': 4.62}
{'loss': 0.0122, 'learning_rate': 6.926503340757239e-06, 'epoch': 4.64}
{'loss': 0.0135, 'learning_rate': 6.915367483296215e-06, 'epoch': 4.66}
{'loss': 0.0134, 'learning_rate': 6.9042316258351895e-06, 'epoch': 4.67}
{'loss': 0.0107, 'learning_rate': 6.893095768374165e-06, 'epoch': 4.69}
{'loss': 0.008, 'learning_rate': 6.8819599109131405e-06, 'epoch': 4.71}
{'loss': 0.0091, 'learning_rate': 6.870824053452117e-06, 'epoch': 4.72}
{'loss': 0.0036, 'learning_rate': 6.859688195991092e-06, 'epoch': 4.74}
{'loss': 0.0099, 'learning_rate': 6.848552338530068e-06, 'epoch': 4.76}
{'loss': 0.0047, 'learning_rate': 6.8374164810690424e-06, 'epoch': 4.77}
{'loss': 0.0109, 'learning_rate': 6.826280623608018e-06, 'epoch': 4.79}
{'loss': 0.0129, 'learning_rate': 6.815144766146993e-06, 'epoch': 4.81}
{'loss': 0.0089, 'learning_rate': 6.80400890868597e-06, 'epoch': 4.82}
{'loss': 0.013, 'learning_rate': 6.792873051224945e-06, 'epoch': 4.84}
{'loss': 0.0301, 'learning_rate': 6.781737193763921e-06, 'epoch': 4.86}
{'loss': 0.0053, 'learning_rate': 6.770601336302895e-06, 'epoch': 4.87}
{'loss': 0.0114, 'learning_rate': 6.759465478841871e-06, 'epoch': 4.89}
{'loss': 0.0098, 'learning_rate': 6.748329621380847e-06, 'epoch': 4.91}
{'loss': 0.013, 'learning_rate': 6.737193763919823e-06, 'epoch': 4.92}
{'loss': 0.0178, 'learning_rate': 6.726057906458798e-06, 'epoch': 4.94}
{'loss': 0.0102, 'learning_rate': 6.714922048997773e-06, 'epoch': 4.96}
{'loss': 0.0141, 'learning_rate': 6.703786191536748e-06, 'epoch': 4.97}
{'loss': 0.0102, 'learning_rate': 6.692650334075725e-06, 'epoch': 4.99}
{'loss': 0.007, 'learning_rate': 6.6815144766147e-06, 'epoch': 5.01}
{'loss': 0.005, 'learning_rate': 6.670378619153676e-06, 'epoch': 5.02}
{'loss': 0.0093, 'learning_rate': 6.659242761692651e-06, 'epoch': 5.04}
{'loss': 0.0059, 'learning_rate': 6.648106904231626e-06, 'epoch': 5.06}
{'loss': 0.0097, 'learning_rate': 6.636971046770601e-06, 'epoch': 5.07}
{'loss': 0.012, 'learning_rate': 6.625835189309578e-06, 'epoch': 5.09}
{'loss': 0.007, 'learning_rate': 6.614699331848553e-06, 'epoch': 5.11}
{'loss': 0.0038, 'learning_rate': 6.603563474387529e-06, 'epoch': 5.12}
{'loss': 0.0059, 'learning_rate': 6.592427616926503e-06, 'epoch': 5.14}
{'loss': 0.0018, 'learning_rate': 6.581291759465479e-06, 'epoch': 5.16}
{'loss': 0.0035, 'learning_rate': 6.570155902004455e-06, 'epoch': 5.17}
{'loss': 0.0029, 'learning_rate': 6.559020044543431e-06, 'epoch': 5.19}
{'loss': 0.0081, 'learning_rate': 6.547884187082406e-06, 'epoch': 5.21}
{'loss': 0.0055, 'learning_rate': 6.5367483296213816e-06, 'epoch': 5.22}
{'loss': 0.0035, 'learning_rate': 6.525612472160356e-06, 'epoch': 5.24}
{'loss': 0.008, 'learning_rate': 6.514476614699332e-06, 'epoch': 5.26}
{'loss': 0.0051, 'learning_rate': 6.503340757238308e-06, 'epoch': 5.27}
{'loss': 0.0023, 'learning_rate': 6.4922048997772835e-06, 'epoch': 5.29}
{'loss': 0.0098, 'learning_rate': 6.481069042316259e-06, 'epoch': 5.31}
{'loss': 0.0044, 'learning_rate': 6.4699331848552345e-06, 'epoch': 5.32}
{'loss': 0.0099, 'learning_rate': 6.458797327394209e-06, 'epoch': 5.34}
{'loss': 0.0116, 'learning_rate': 6.4476614699331855e-06, 'epoch': 5.36}
{'loss': 0.0157, 'learning_rate': 6.436525612472161e-06, 'epoch': 5.37}
{'loss': 0.0015, 'learning_rate': 6.4253897550111365e-06, 'epoch': 5.39}
{'loss': 0.0048, 'learning_rate': 6.414253897550112e-06, 'epoch': 5.41}
{'loss': 0.0177, 'learning_rate': 6.403118040089087e-06, 'epoch': 5.42}
{'loss': 0.0114, 'learning_rate': 6.391982182628063e-06, 'epoch': 5.44}
{'loss': 0.0053, 'learning_rate': 6.3808463251670385e-06, 'epoch': 5.46}
{'loss': 0.0093, 'learning_rate': 6.369710467706014e-06, 'epoch': 5.47}
{'loss': 0.0023, 'learning_rate': 6.3585746102449895e-06, 'epoch': 5.49}
{'loss': 0.0184, 'learning_rate': 6.347438752783966e-06, 'epoch': 5.51}
{'loss': 0.0043, 'learning_rate': 6.33630289532294e-06, 'epoch': 5.52}
{'loss': 0.0093, 'learning_rate': 6.325167037861916e-06, 'epoch': 5.54}
{'loss': 0.0111, 'learning_rate': 6.3140311804008914e-06, 'epoch': 5.56}
{'loss': 0.0038, 'learning_rate': 6.302895322939867e-06, 'epoch': 5.57}
{'loss': 0.0129, 'learning_rate': 6.291759465478842e-06, 'epoch': 5.59}
{'loss': 0.0196, 'learning_rate': 6.280623608017817e-06, 'epoch': 5.6}
{'loss': 0.006, 'learning_rate': 6.269487750556793e-06, 'epoch': 5.62}
{'loss': 0.0098, 'learning_rate': 6.258351893095769e-06, 'epoch': 5.64}
{'loss': 0.0127, 'learning_rate': 6.247216035634744e-06, 'epoch': 5.65}
{'loss': 0.0047, 'learning_rate': 6.23608017817372e-06, 'epoch': 5.67}
{'loss': 0.0063, 'learning_rate': 6.224944320712696e-06, 'epoch': 5.69}
{'loss': 0.0047, 'learning_rate': 6.21380846325167e-06, 'epoch': 5.7}
{'loss': 0.0025, 'learning_rate': 6.202672605790646e-06, 'epoch': 5.72}
{'loss': 0.0156, 'learning_rate': 6.191536748329622e-06, 'epoch': 5.74}
{'loss': 0.0045, 'learning_rate': 6.180400890868597e-06, 'epoch': 5.75}
{'loss': 0.0133, 'learning_rate': 6.169265033407573e-06, 'epoch': 5.77}
{'loss': 0.002, 'learning_rate': 6.158129175946549e-06, 'epoch': 5.79}
{'loss': 0.0241, 'learning_rate': 6.146993318485524e-06, 'epoch': 5.8}
{'loss': 0.0148, 'learning_rate': 6.135857461024499e-06, 'epoch': 5.82}
{'loss': 0.0066, 'learning_rate': 6.124721603563475e-06, 'epoch': 5.84}
{'loss': 0.004, 'learning_rate': 6.11358574610245e-06, 'epoch': 5.85}
{'loss': 0.0062, 'learning_rate': 6.102449888641427e-06, 'epoch': 5.87}
{'loss': 0.0027, 'learning_rate': 6.091314031180401e-06, 'epoch': 5.89}
{'loss': 0.0036, 'learning_rate': 6.080178173719377e-06, 'epoch': 5.9}
{'loss': 0.0055, 'learning_rate': 6.069042316258352e-06, 'epoch': 5.92}
{'loss': 0.0057, 'learning_rate': 6.057906458797328e-06, 'epoch': 5.94}
{'loss': 0.003, 'learning_rate': 6.046770601336303e-06, 'epoch': 5.95}
{'loss': 0.0096, 'learning_rate': 6.03563474387528e-06, 'epoch': 5.97}
{'loss': 0.0056, 'learning_rate': 6.024498886414254e-06, 'epoch': 5.99}
{'loss': 0.0036, 'learning_rate': 6.01336302895323e-06, 'epoch': 6.0}
{'loss': 0.0068, 'learning_rate': 6.002227171492205e-06, 'epoch': 6.02}
{'loss': 0.0026, 'learning_rate': 5.991091314031181e-06, 'epoch': 6.04}
{'loss': 0.0013, 'learning_rate': 5.979955456570157e-06, 'epoch': 6.05}
{'loss': 0.0033, 'learning_rate': 5.9688195991091325e-06, 'epoch': 6.07}
{'loss': 0.0095, 'learning_rate': 5.957683741648107e-06, 'epoch': 6.09}
{'loss': 0.0044, 'learning_rate': 5.946547884187083e-06, 'epoch': 6.1}
{'loss': 0.012, 'learning_rate': 5.935412026726058e-06, 'epoch': 6.12}
{'loss': 0.01, 'learning_rate': 5.9242761692650345e-06, 'epoch': 6.14}
{'loss': 0.0013, 'learning_rate': 5.91314031180401e-06, 'epoch': 6.15}
{'loss': 0.0043, 'learning_rate': 5.902004454342985e-06, 'epoch': 6.17}
{'loss': 0.003, 'learning_rate': 5.89086859688196e-06, 'epoch': 6.19}
{'loss': 0.0137, 'learning_rate': 5.879732739420936e-06, 'epoch': 6.2}
{'loss': 0.0043, 'learning_rate': 5.868596881959911e-06, 'epoch': 6.22}
{'loss': 0.0052, 'learning_rate': 5.8574610244988875e-06, 'epoch': 6.24}
{'loss': 0.0037, 'learning_rate': 5.846325167037863e-06, 'epoch': 6.25}
{'loss': 0.0082, 'learning_rate': 5.835189309576838e-06, 'epoch': 6.27}
{'loss': 0.0067, 'learning_rate': 5.824053452115813e-06, 'epoch': 6.29}
{'loss': 0.0051, 'learning_rate': 5.812917594654789e-06, 'epoch': 6.3}
{'loss': 0.004, 'learning_rate': 5.801781737193765e-06, 'epoch': 6.32}
{'loss': 0.0031, 'learning_rate': 5.7906458797327404e-06, 'epoch': 6.34}
{'loss': 0.0017, 'learning_rate': 5.779510022271715e-06, 'epoch': 6.35}
{'loss': 0.0031, 'learning_rate': 5.7683741648106906e-06, 'epoch': 6.37}
{'loss': 0.0017, 'learning_rate': 5.757238307349666e-06, 'epoch': 6.39}
{'loss': 0.004, 'learning_rate': 5.7461024498886416e-06, 'epoch': 6.4}
{'loss': 0.0025, 'learning_rate': 5.734966592427618e-06, 'epoch': 6.42}
{'loss': 0.0029, 'learning_rate': 5.723830734966593e-06, 'epoch': 6.44}
{'loss': 0.0031, 'learning_rate': 5.712694877505568e-06, 'epoch': 6.45}
{'loss': 0.0018, 'learning_rate': 5.7015590200445435e-06, 'epoch': 6.47}
{'loss': 0.002, 'learning_rate': 5.690423162583519e-06, 'epoch': 6.49}
{'loss': 0.0017, 'learning_rate': 5.679287305122495e-06, 'epoch': 6.5}
{'loss': 0.0047, 'learning_rate': 5.668151447661471e-06, 'epoch': 6.52}
{'loss': 0.0008, 'learning_rate': 5.657015590200446e-06, 'epoch': 6.54}
{'loss': 0.0014, 'learning_rate': 5.645879732739421e-06, 'epoch': 6.55}
{'loss': 0.0007, 'learning_rate': 5.6347438752783965e-06, 'epoch': 6.57}
{'loss': 0.003, 'learning_rate': 5.623608017817373e-06, 'epoch': 6.59}
{'loss': 0.0017, 'learning_rate': 5.612472160356348e-06, 'epoch': 6.6}
{'loss': 0.0013, 'learning_rate': 5.601336302895324e-06, 'epoch': 6.62}
{'loss': 0.0008, 'learning_rate': 5.5902004454342985e-06, 'epoch': 6.64}
{'loss': 0.0088, 'learning_rate': 5.579064587973274e-06, 'epoch': 6.65}
{'loss': 0.0015, 'learning_rate': 5.5679287305122494e-06, 'epoch': 6.67}
{'loss': 0.0015, 'learning_rate': 5.556792873051226e-06, 'epoch': 6.69}
{'loss': 0.0025, 'learning_rate': 5.545657015590201e-06, 'epoch': 6.7}
{'loss': 0.0039, 'learning_rate': 5.534521158129177e-06, 'epoch': 6.72}
{'loss': 0.0005, 'learning_rate': 5.523385300668151e-06, 'epoch': 6.74}
{'loss': 0.0052, 'learning_rate': 5.512249443207127e-06, 'epoch': 6.75}
{'loss': 0.0023, 'learning_rate': 5.501113585746103e-06, 'epoch': 6.77}
{'loss': 0.0105, 'learning_rate': 5.489977728285079e-06, 'epoch': 6.79}
{'loss': 0.0091, 'learning_rate': 5.478841870824054e-06, 'epoch': 6.8}
{'loss': 0.0034, 'learning_rate': 5.467706013363029e-06, 'epoch': 6.82}
{'loss': 0.0088, 'learning_rate': 5.456570155902004e-06, 'epoch': 6.84}
{'loss': 0.0094, 'learning_rate': 5.44543429844098e-06, 'epoch': 6.85}
{'loss': 0.0037, 'learning_rate': 5.434298440979956e-06, 'epoch': 6.87}
{'loss': 0.0016, 'learning_rate': 5.423162583518932e-06, 'epoch': 6.89}
{'loss': 0.0084, 'learning_rate': 5.412026726057907e-06, 'epoch': 6.9}
{'loss': 0.0057, 'learning_rate': 5.400890868596882e-06, 'epoch': 6.92}
{'loss': 0.0032, 'learning_rate': 5.389755011135857e-06, 'epoch': 6.94}
{'loss': 0.0125, 'learning_rate': 5.378619153674834e-06, 'epoch': 6.95}
{'loss': 0.006, 'learning_rate': 5.367483296213809e-06, 'epoch': 6.97}
{'loss': 0.0027, 'learning_rate': 5.356347438752785e-06, 'epoch': 6.99}
{'loss': 0.0008, 'learning_rate': 5.34521158129176e-06, 'epoch': 7.0}
{'loss': 0.0005, 'learning_rate': 5.334075723830735e-06, 'epoch': 7.02}
{'loss': 0.0024, 'learning_rate': 5.322939866369711e-06, 'epoch': 7.04}
{'loss': 0.0022, 'learning_rate': 5.311804008908687e-06, 'epoch': 7.05}
{'loss': 0.0007, 'learning_rate': 5.300668151447662e-06, 'epoch': 7.07}
{'loss': 0.007, 'learning_rate': 5.289532293986638e-06, 'epoch': 7.09}
{'loss': 0.003, 'learning_rate': 5.278396436525612e-06, 'epoch': 7.1}
{'loss': 0.0007, 'learning_rate': 5.267260579064588e-06, 'epoch': 7.12}
{'loss': 0.0006, 'learning_rate': 5.256124721603564e-06, 'epoch': 7.14}
{'loss': 0.0063, 'learning_rate': 5.2449888641425396e-06, 'epoch': 7.15}
{'loss': 0.0029, 'learning_rate': 5.233853006681515e-06, 'epoch': 7.17}
{'loss': 0.0037, 'learning_rate': 5.2227171492204906e-06, 'epoch': 7.19}
{'loss': 0.0004, 'learning_rate': 5.211581291759465e-06, 'epoch': 7.2}
{'loss': 0.0021, 'learning_rate': 5.2004454342984415e-06, 'epoch': 7.22}
{'loss': 0.0025, 'learning_rate': 5.189309576837417e-06, 'epoch': 7.23}
{'loss': 0.0043, 'learning_rate': 5.1781737193763925e-06, 'epoch': 7.25}
{'loss': 0.0023, 'learning_rate': 5.167037861915368e-06, 'epoch': 7.27}
{'loss': 0.0011, 'learning_rate': 5.155902004454343e-06, 'epoch': 7.28}
{'loss': 0.0019, 'learning_rate': 5.144766146993318e-06, 'epoch': 7.3}
{'loss': 0.0027, 'learning_rate': 5.1336302895322945e-06, 'epoch': 7.32}
{'loss': 0.0018, 'learning_rate': 5.12249443207127e-06, 'epoch': 7.33}
{'loss': 0.0091, 'learning_rate': 5.1113585746102455e-06, 'epoch': 7.35}
{'loss': 0.0034, 'learning_rate': 5.100222717149221e-06, 'epoch': 7.37}
{'loss': 0.0007, 'learning_rate': 5.089086859688196e-06, 'epoch': 7.38}
{'loss': 0.0038, 'learning_rate': 5.077951002227172e-06, 'epoch': 7.4}
{'loss': 0.0022, 'learning_rate': 5.0668151447661475e-06, 'epoch': 7.42}
{'loss': 0.0019, 'learning_rate': 5.055679287305123e-06, 'epoch': 7.43}
{'loss': 0.0012, 'learning_rate': 5.0445434298440984e-06, 'epoch': 7.45}
{'loss': 0.001, 'learning_rate': 5.033407572383075e-06, 'epoch': 7.47}
{'loss': 0.0012, 'learning_rate': 5.0222717149220494e-06, 'epoch': 7.48}
{'loss': 0.0025, 'learning_rate': 5.011135857461025e-06, 'epoch': 7.5}
{'loss': 0.0055, 'learning_rate': 5e-06, 'epoch': 7.52}
{'loss': 0.0015, 'learning_rate': 4.988864142538976e-06, 'epoch': 7.53}
{'loss': 0.0017, 'learning_rate': 4.977728285077951e-06, 'epoch': 7.55}
{'loss': 0.0012, 'learning_rate': 4.966592427616927e-06, 'epoch': 7.57}
{'loss': 0.001, 'learning_rate': 4.955456570155902e-06, 'epoch': 7.58}
{'loss': 0.0018, 'learning_rate': 4.944320712694878e-06, 'epoch': 7.6}
{'loss': 0.0003, 'learning_rate': 4.933184855233853e-06, 'epoch': 7.62}
{'loss': 0.0008, 'learning_rate': 4.922048997772829e-06, 'epoch': 7.63}
{'loss': 0.0014, 'learning_rate': 4.910913140311804e-06, 'epoch': 7.65}
{'loss': 0.0005, 'learning_rate': 4.89977728285078e-06, 'epoch': 7.67}
{'loss': 0.001, 'learning_rate': 4.888641425389755e-06, 'epoch': 7.68}
{'loss': 0.0008, 'learning_rate': 4.877505567928731e-06, 'epoch': 7.7}
{'loss': 0.0054, 'learning_rate': 4.866369710467706e-06, 'epoch': 7.72}
{'loss': 0.0079, 'learning_rate': 4.855233853006682e-06, 'epoch': 7.73}
{'loss': 0.0022, 'learning_rate': 4.844097995545657e-06, 'epoch': 7.75}
{'loss': 0.0032, 'learning_rate': 4.832962138084633e-06, 'epoch': 7.77}
{'loss': 0.0004, 'learning_rate': 4.821826280623608e-06, 'epoch': 7.78}
{'loss': 0.0005, 'learning_rate': 4.810690423162584e-06, 'epoch': 7.8}
{'loss': 0.0141, 'learning_rate': 4.799554565701559e-06, 'epoch': 7.82}
{'loss': 0.0003, 'learning_rate': 4.788418708240535e-06, 'epoch': 7.83}
{'loss': 0.0009, 'learning_rate': 4.77728285077951e-06, 'epoch': 7.85}
{'loss': 0.0061, 'learning_rate': 4.766146993318487e-06, 'epoch': 7.87}
{'loss': 0.0004, 'learning_rate': 4.755011135857461e-06, 'epoch': 7.88}
{'loss': 0.0028, 'learning_rate': 4.743875278396437e-06, 'epoch': 7.9}
{'loss': 0.0049, 'learning_rate': 4.732739420935412e-06, 'epoch': 7.92}
{'loss': 0.0001, 'learning_rate': 4.721603563474388e-06, 'epoch': 7.93}
{'loss': 0.0019, 'learning_rate': 4.710467706013363e-06, 'epoch': 7.95}
{'loss': 0.0126, 'learning_rate': 4.699331848552339e-06, 'epoch': 7.97}
{'loss': 0.0008, 'learning_rate': 4.688195991091314e-06, 'epoch': 7.98}
{'loss': 0.003, 'learning_rate': 4.67706013363029e-06, 'epoch': 8.0}
{'loss': 0.0002, 'learning_rate': 4.665924276169265e-06, 'epoch': 8.02}
{'loss': 0.0002, 'learning_rate': 4.654788418708241e-06, 'epoch': 8.03}
{'loss': 0.002, 'learning_rate': 4.643652561247217e-06, 'epoch': 8.05}
{'loss': 0.0004, 'learning_rate': 4.632516703786192e-06, 'epoch': 8.07}
{'loss': 0.0004, 'learning_rate': 4.621380846325167e-06, 'epoch': 8.08}
{'loss': 0.0008, 'learning_rate': 4.6102449888641435e-06, 'epoch': 8.1}
{'loss': 0.0003, 'learning_rate': 4.599109131403118e-06, 'epoch': 8.12}
{'loss': 0.0004, 'learning_rate': 4.587973273942094e-06, 'epoch': 8.13}
{'loss': 0.0024, 'learning_rate': 4.576837416481069e-06, 'epoch': 8.15}
{'loss': 0.0011, 'learning_rate': 4.565701559020045e-06, 'epoch': 8.17}
{'loss': 0.0009, 'learning_rate': 4.554565701559021e-06, 'epoch': 8.18}
{'loss': 0.0004, 'learning_rate': 4.543429844097996e-06, 'epoch': 8.2}
{'loss': 0.0036, 'learning_rate': 4.532293986636971e-06, 'epoch': 8.22}
{'loss': 0.0006, 'learning_rate': 4.5211581291759474e-06, 'epoch': 8.23}
{'loss': 0.0005, 'learning_rate': 4.510022271714922e-06, 'epoch': 8.25}
{'loss': 0.0006, 'learning_rate': 4.498886414253898e-06, 'epoch': 8.27}
{'loss': 0.0003, 'learning_rate': 4.487750556792874e-06, 'epoch': 8.28}
{'loss': 0.0008, 'learning_rate': 4.4766146993318486e-06, 'epoch': 8.3}
{'loss': 0.0003, 'learning_rate': 4.465478841870824e-06, 'epoch': 8.32}
{'loss': 0.0003, 'learning_rate': 4.4543429844098e-06, 'epoch': 8.33}
{'loss': 0.0028, 'learning_rate': 4.443207126948775e-06, 'epoch': 8.35}
{'loss': 0.0013, 'learning_rate': 4.432071269487751e-06, 'epoch': 8.37}
{'loss': 0.001, 'learning_rate': 4.420935412026726e-06, 'epoch': 8.38}
{'loss': 0.0034, 'learning_rate': 4.4097995545657015e-06, 'epoch': 8.4}
{'loss': 0.0002, 'learning_rate': 4.398663697104678e-06, 'epoch': 8.42}
{'loss': 0.0014, 'learning_rate': 4.3875278396436525e-06, 'epoch': 8.43}
{'loss': 0.0013, 'learning_rate': 4.376391982182628e-06, 'epoch': 8.45}
{'loss': 0.0001, 'learning_rate': 4.365256124721604e-06, 'epoch': 8.47}
{'loss': 0.0083, 'learning_rate': 4.354120267260579e-06, 'epoch': 8.48}
{'loss': 0.0032, 'learning_rate': 4.342984409799555e-06, 'epoch': 8.5}
{'loss': 0.0013, 'learning_rate': 4.331848552338531e-06, 'epoch': 8.52}
{'loss': 0.0002, 'learning_rate': 4.3207126948775055e-06, 'epoch': 8.53}
{'loss': 0.0003, 'learning_rate': 4.309576837416482e-06, 'epoch': 8.55}
{'loss': 0.0007, 'learning_rate': 4.298440979955457e-06, 'epoch': 8.57}
{'loss': 0.005, 'learning_rate': 4.287305122494432e-06, 'epoch': 8.58}
{'loss': 0.0018, 'learning_rate': 4.276169265033408e-06, 'epoch': 8.6}
{'loss': 0.0013, 'learning_rate': 4.265033407572383e-06, 'epoch': 8.62}
{'loss': 0.0006, 'learning_rate': 4.253897550111359e-06, 'epoch': 8.63}
{'loss': 0.003, 'learning_rate': 4.242761692650335e-06, 'epoch': 8.65}
{'loss': 0.0026, 'learning_rate': 4.231625835189309e-06, 'epoch': 8.67}
{'loss': 0.0004, 'learning_rate': 4.220489977728286e-06, 'epoch': 8.68}
{'loss': 0.001, 'learning_rate': 4.209354120267261e-06, 'epoch': 8.7}
{'loss': 0.0011, 'learning_rate': 4.198218262806236e-06, 'epoch': 8.72}
{'loss': 0.0002, 'learning_rate': 4.187082405345212e-06, 'epoch': 8.73}
{'loss': 0.0015, 'learning_rate': 4.175946547884188e-06, 'epoch': 8.75}
{'loss': 0.0006, 'learning_rate': 4.164810690423162e-06, 'epoch': 8.77}
{'loss': 0.0005, 'learning_rate': 4.153674832962139e-06, 'epoch': 8.78}
{'loss': 0.0058, 'learning_rate': 4.142538975501114e-06, 'epoch': 8.8}
{'loss': 0.0002, 'learning_rate': 4.13140311804009e-06, 'epoch': 8.81}
{'loss': 0.0016, 'learning_rate': 4.120267260579065e-06, 'epoch': 8.83}
{'loss': 0.0006, 'learning_rate': 4.10913140311804e-06, 'epoch': 8.85}
{'loss': 0.0011, 'learning_rate': 4.097995545657016e-06, 'epoch': 8.86}
{'loss': 0.0003, 'learning_rate': 4.086859688195992e-06, 'epoch': 8.88}
{'loss': 0.0002, 'learning_rate': 4.075723830734966e-06, 'epoch': 8.9}
{'loss': 0.0005, 'learning_rate': 4.064587973273943e-06, 'epoch': 8.91}
{'loss': 0.0003, 'learning_rate': 4.053452115812918e-06, 'epoch': 8.93}
{'loss': 0.0004, 'learning_rate': 4.042316258351894e-06, 'epoch': 8.95}
{'loss': 0.0012, 'learning_rate': 4.031180400890869e-06, 'epoch': 8.96}
{'loss': 0.0003, 'learning_rate': 4.020044543429845e-06, 'epoch': 8.98}
{'loss': 0.0007, 'learning_rate': 4.00890868596882e-06, 'epoch': 9.0}
{'loss': 0.0002, 'learning_rate': 3.997772828507796e-06, 'epoch': 9.01}
{'loss': 0.0005, 'learning_rate': 3.986636971046771e-06, 'epoch': 9.03}
{'loss': 0.0024, 'learning_rate': 3.975501113585747e-06, 'epoch': 9.05}
{'loss': 0.0001, 'learning_rate': 3.964365256124722e-06, 'epoch': 9.06}
{'loss': 0.0009, 'learning_rate': 3.9532293986636976e-06, 'epoch': 9.08}
{'loss': 0.0024, 'learning_rate': 3.942093541202673e-06, 'epoch': 9.1}
{'loss': 0.0001, 'learning_rate': 3.9309576837416486e-06, 'epoch': 9.11}
{'loss': 0.0008, 'learning_rate': 3.919821826280624e-06, 'epoch': 9.13}
{'loss': 0.0019, 'learning_rate': 3.9086859688195995e-06, 'epoch': 9.15}
{'loss': 0.001, 'learning_rate': 3.897550111358575e-06, 'epoch': 9.16}
{'loss': 0.0003, 'learning_rate': 3.8864142538975505e-06, 'epoch': 9.18}
{'loss': 0.0005, 'learning_rate': 3.875278396436526e-06, 'epoch': 9.2}
{'loss': 0.0001, 'learning_rate': 3.8641425389755015e-06, 'epoch': 9.21}
{'loss': 0.0, 'learning_rate': 3.853006681514477e-06, 'epoch': 9.23}
{'loss': 0.0001, 'learning_rate': 3.8418708240534525e-06, 'epoch': 9.25}
{'loss': 0.0001, 'learning_rate': 3.830734966592428e-06, 'epoch': 9.26}
{'loss': 0.002, 'learning_rate': 3.8195991091314035e-06, 'epoch': 9.28}
{'loss': 0.0002, 'learning_rate': 3.808463251670379e-06, 'epoch': 9.3}
{'loss': 0.0003, 'learning_rate': 3.797327394209355e-06, 'epoch': 9.31}
{'loss': 0.0003, 'learning_rate': 3.78619153674833e-06, 'epoch': 9.33}
{'loss': 0.0003, 'learning_rate': 3.7750556792873054e-06, 'epoch': 9.35}
{'loss': 0.0001, 'learning_rate': 3.7639198218262805e-06, 'epoch': 9.36}
{'loss': 0.001, 'learning_rate': 3.7527839643652564e-06, 'epoch': 9.38}
{'loss': 0.0002, 'learning_rate': 3.741648106904232e-06, 'epoch': 9.4}
{'loss': 0.0002, 'learning_rate': 3.7305122494432074e-06, 'epoch': 9.41}
{'loss': 0.0004, 'learning_rate': 3.719376391982183e-06, 'epoch': 9.43}
{'loss': 0.0003, 'learning_rate': 3.708240534521159e-06, 'epoch': 9.45}
{'loss': 0.0001, 'learning_rate': 3.697104677060134e-06, 'epoch': 9.46}
{'loss': 0.0004, 'learning_rate': 3.6859688195991094e-06, 'epoch': 9.48}
{'loss': 0.001, 'learning_rate': 3.6748329621380853e-06, 'epoch': 9.5}
{'loss': 0.0003, 'learning_rate': 3.6636971046770604e-06, 'epoch': 9.51}
{'loss': 0.0001, 'learning_rate': 3.652561247216036e-06, 'epoch': 9.53}
{'loss': 0.0001, 'learning_rate': 3.6414253897550118e-06, 'epoch': 9.55}
{'loss': 0.0001, 'learning_rate': 3.630289532293987e-06, 'epoch': 9.56}
{'loss': 0.0001, 'learning_rate': 3.6191536748329623e-06, 'epoch': 9.58}
{'loss': 0.0001, 'learning_rate': 3.608017817371938e-06, 'epoch': 9.6}
{'loss': 0.0002, 'learning_rate': 3.5968819599109133e-06, 'epoch': 9.61}
{'loss': 0.0001, 'learning_rate': 3.5857461024498892e-06, 'epoch': 9.63}
{'loss': 0.0002, 'learning_rate': 3.5746102449888643e-06, 'epoch': 9.65}
{'loss': 0.0, 'learning_rate': 3.56347438752784e-06, 'epoch': 9.66}
{'loss': 0.0001, 'learning_rate': 3.5523385300668157e-06, 'epoch': 9.68}
{'loss': 0.0001, 'learning_rate': 3.541202672605791e-06, 'epoch': 9.7}
{'loss': 0.002, 'learning_rate': 3.5300668151447663e-06, 'epoch': 9.71}
{'loss': 0.0016, 'learning_rate': 3.518930957683742e-06, 'epoch': 9.73}
{'loss': 0.0, 'learning_rate': 3.5077951002227173e-06, 'epoch': 9.75}
{'loss': 0.0002, 'learning_rate': 3.496659242761693e-06, 'epoch': 9.76}
{'loss': 0.0001, 'learning_rate': 3.4855233853006687e-06, 'epoch': 9.78}
{'loss': 0.0001, 'learning_rate': 3.4743875278396438e-06, 'epoch': 9.8}
{'loss': 0.0001, 'learning_rate': 3.4632516703786197e-06, 'epoch': 9.81}
{'loss': 0.0002, 'learning_rate': 3.4521158129175947e-06, 'epoch': 9.83}
{'loss': 0.0002, 'learning_rate': 3.4409799554565702e-06, 'epoch': 9.85}
{'loss': 0.0001, 'learning_rate': 3.429844097995546e-06, 'epoch': 9.86}
{'loss': 0.0001, 'learning_rate': 3.4187082405345212e-06, 'epoch': 9.88}
{'loss': 0.0, 'learning_rate': 3.4075723830734967e-06, 'epoch': 9.9}
{'loss': 0.0001, 'learning_rate': 3.3964365256124726e-06, 'epoch': 9.91}
{'loss': 0.0022, 'learning_rate': 3.3853006681514477e-06, 'epoch': 9.93}
{'loss': 0.0002, 'learning_rate': 3.3741648106904236e-06, 'epoch': 9.95}
{'loss': 0.0001, 'learning_rate': 3.363028953229399e-06, 'epoch': 9.96}
{'loss': 0.0002, 'learning_rate': 3.351893095768374e-06, 'epoch': 9.98}
{'loss': 0.0001, 'learning_rate': 3.34075723830735e-06, 'epoch': 10.0}
{'loss': 0.0002, 'learning_rate': 3.3296213808463256e-06, 'epoch': 10.01}
{'loss': 0.0003, 'learning_rate': 3.3184855233853006e-06, 'epoch': 10.03}
{'loss': 0.0, 'learning_rate': 3.3073496659242766e-06, 'epoch': 10.05}
{'loss': 0.0001, 'learning_rate': 3.2962138084632516e-06, 'epoch': 10.06}
{'loss': 0.0001, 'learning_rate': 3.2850779510022275e-06, 'epoch': 10.08}
{'loss': 0.0001, 'learning_rate': 3.273942093541203e-06, 'epoch': 10.1}
{'loss': 0.005, 'learning_rate': 3.262806236080178e-06, 'epoch': 10.11}
{'loss': 0.0001, 'learning_rate': 3.251670378619154e-06, 'epoch': 10.13}
{'loss': 0.0002, 'learning_rate': 3.2405345211581295e-06, 'epoch': 10.15}
{'loss': 0.0, 'learning_rate': 3.2293986636971046e-06, 'epoch': 10.16}
{'loss': 0.0001, 'learning_rate': 3.2182628062360805e-06, 'epoch': 10.18}
{'loss': 0.0001, 'learning_rate': 3.207126948775056e-06, 'epoch': 10.2}
{'loss': 0.0, 'learning_rate': 3.1959910913140315e-06, 'epoch': 10.21}
{'loss': 0.0001, 'learning_rate': 3.184855233853007e-06, 'epoch': 10.23}
{'loss': 0.0001, 'learning_rate': 3.173719376391983e-06, 'epoch': 10.25}
{'loss': 0.0001, 'learning_rate': 3.162583518930958e-06, 'epoch': 10.26}
{'loss': 0.0001, 'learning_rate': 3.1514476614699335e-06, 'epoch': 10.28}
{'loss': 0.0001, 'learning_rate': 3.1403118040089085e-06, 'epoch': 10.3}
{'loss': 0.0, 'learning_rate': 3.1291759465478844e-06, 'epoch': 10.31}
{'loss': 0.0001, 'learning_rate': 3.11804008908686e-06, 'epoch': 10.33}
{'loss': 0.0, 'learning_rate': 3.106904231625835e-06, 'epoch': 10.35}
{'loss': 0.0, 'learning_rate': 3.095768374164811e-06, 'epoch': 10.36}
{'loss': 0.0002, 'learning_rate': 3.0846325167037864e-06, 'epoch': 10.38}
{'loss': 0.0003, 'learning_rate': 3.073496659242762e-06, 'epoch': 10.4}
{'loss': 0.0043, 'learning_rate': 3.0623608017817374e-06, 'epoch': 10.41}
{'loss': 0.0, 'learning_rate': 3.0512249443207133e-06, 'epoch': 10.43}
{'loss': 0.0, 'learning_rate': 3.0400890868596884e-06, 'epoch': 10.44}
{'loss': 0.0001, 'learning_rate': 3.028953229398664e-06, 'epoch': 10.46}
{'loss': 0.0001, 'learning_rate': 3.01781737193764e-06, 'epoch': 10.48}
{'loss': 0.0001, 'learning_rate': 3.006681514476615e-06, 'epoch': 10.49}
{'loss': 0.0, 'learning_rate': 2.9955456570155904e-06, 'epoch': 10.51}
{'loss': 0.0002, 'learning_rate': 2.9844097995545663e-06, 'epoch': 10.53}
{'loss': 0.0001, 'learning_rate': 2.9732739420935413e-06, 'epoch': 10.54}
{'loss': 0.0005, 'learning_rate': 2.9621380846325173e-06, 'epoch': 10.56}
{'loss': 0.0009, 'learning_rate': 2.9510022271714923e-06, 'epoch': 10.58}
{'loss': 0.0001, 'learning_rate': 2.939866369710468e-06, 'epoch': 10.59}
{'loss': 0.0001, 'learning_rate': 2.9287305122494437e-06, 'epoch': 10.61}
{'loss': 0.0001, 'learning_rate': 2.917594654788419e-06, 'epoch': 10.63}
{'loss': 0.0001, 'learning_rate': 2.9064587973273943e-06, 'epoch': 10.64}
{'loss': 0.0001, 'learning_rate': 2.8953229398663702e-06, 'epoch': 10.66}
{'loss': 0.0002, 'learning_rate': 2.8841870824053453e-06, 'epoch': 10.68}
{'loss': 0.0001, 'learning_rate': 2.8730512249443208e-06, 'epoch': 10.69}
{'loss': 0.0001, 'learning_rate': 2.8619153674832967e-06, 'epoch': 10.71}
{'loss': 0.0001, 'learning_rate': 2.8507795100222718e-06, 'epoch': 10.73}
{'loss': 0.0, 'learning_rate': 2.8396436525612477e-06, 'epoch': 10.74}
{'loss': 0.003, 'learning_rate': 2.828507795100223e-06, 'epoch': 10.76}
{'loss': 0.0001, 'learning_rate': 2.8173719376391982e-06, 'epoch': 10.78}
{'loss': 0.0001, 'learning_rate': 2.806236080178174e-06, 'epoch': 10.79}
{'loss': 0.0001, 'learning_rate': 2.7951002227171492e-06, 'epoch': 10.81}
{'loss': 0.0001, 'learning_rate': 2.7839643652561247e-06, 'epoch': 10.83}
{'loss': 0.0001, 'learning_rate': 2.7728285077951006e-06, 'epoch': 10.84}
{'loss': 0.0001, 'learning_rate': 2.7616926503340757e-06, 'epoch': 10.86}
{'loss': 0.0001, 'learning_rate': 2.7505567928730516e-06, 'epoch': 10.88}
{'loss': 0.0, 'learning_rate': 2.739420935412027e-06, 'epoch': 10.89}
{'loss': 0.0003, 'learning_rate': 2.728285077951002e-06, 'epoch': 10.91}
{'loss': 0.0, 'learning_rate': 2.717149220489978e-06, 'epoch': 10.93}
{'loss': 0.0002, 'learning_rate': 2.7060133630289536e-06, 'epoch': 10.94}
{'loss': 0.0005, 'learning_rate': 2.6948775055679287e-06, 'epoch': 10.96}
{'loss': 0.0029, 'learning_rate': 2.6837416481069046e-06, 'epoch': 10.98}
{'loss': 0.0001, 'learning_rate': 2.67260579064588e-06, 'epoch': 10.99}
{'loss': 0.0001, 'learning_rate': 2.6614699331848556e-06, 'epoch': 11.01}
{'loss': 0.0003, 'learning_rate': 2.650334075723831e-06, 'epoch': 11.03}
{'loss': 0.0001, 'learning_rate': 2.639198218262806e-06, 'epoch': 11.04}
{'loss': 0.0, 'learning_rate': 2.628062360801782e-06, 'epoch': 11.06}
{'loss': 0.0, 'learning_rate': 2.6169265033407575e-06, 'epoch': 11.08}
{'loss': 0.0, 'learning_rate': 2.6057906458797326e-06, 'epoch': 11.09}
{'loss': 0.0001, 'learning_rate': 2.5946547884187085e-06, 'epoch': 11.11}
{'loss': 0.0001, 'learning_rate': 2.583518930957684e-06, 'epoch': 11.13}
{'loss': 0.0001, 'learning_rate': 2.572383073496659e-06, 'epoch': 11.14}
{'loss': 0.0001, 'learning_rate': 2.561247216035635e-06, 'epoch': 11.16}
{'loss': 0.0001, 'learning_rate': 2.5501113585746105e-06, 'epoch': 11.18}
{'loss': 0.0001, 'learning_rate': 2.538975501113586e-06, 'epoch': 11.19}
{'loss': 0.0, 'learning_rate': 2.5278396436525615e-06, 'epoch': 11.21}
{'loss': 0.0001, 'learning_rate': 2.5167037861915374e-06, 'epoch': 11.23}
{'loss': 0.0001, 'learning_rate': 2.5055679287305125e-06, 'epoch': 11.24}
{'loss': 0.0001, 'learning_rate': 2.494432071269488e-06, 'epoch': 11.26}
{'loss': 0.0, 'learning_rate': 2.4832962138084634e-06, 'epoch': 11.28}
{'loss': 0.0001, 'learning_rate': 2.472160356347439e-06, 'epoch': 11.29}
{'loss': 0.0004, 'learning_rate': 2.4610244988864144e-06, 'epoch': 11.31}
{'loss': 0.0058, 'learning_rate': 2.44988864142539e-06, 'epoch': 11.33}
{'loss': 0.0019, 'learning_rate': 2.4387527839643654e-06, 'epoch': 11.34}
{'loss': 0.0003, 'learning_rate': 2.427616926503341e-06, 'epoch': 11.36}
{'loss': 0.0001, 'learning_rate': 2.4164810690423164e-06, 'epoch': 11.38}
{'loss': 0.0, 'learning_rate': 2.405345211581292e-06, 'epoch': 11.39}
{'loss': 0.0001, 'learning_rate': 2.3942093541202674e-06, 'epoch': 11.41}
{'loss': 0.0005, 'learning_rate': 2.3830734966592433e-06, 'epoch': 11.43}
{'loss': 0.0, 'learning_rate': 2.3719376391982184e-06, 'epoch': 11.44}
{'loss': 0.0001, 'learning_rate': 2.360801781737194e-06, 'epoch': 11.46}
{'loss': 0.0001, 'learning_rate': 2.3496659242761694e-06, 'epoch': 11.48}
{'loss': 0.0003, 'learning_rate': 2.338530066815145e-06, 'epoch': 11.49}
{'loss': 0.0001, 'learning_rate': 2.3273942093541203e-06, 'epoch': 11.51}
{'loss': 0.0001, 'learning_rate': 2.316258351893096e-06, 'epoch': 11.53}
{'loss': 0.0001, 'learning_rate': 2.3051224944320717e-06, 'epoch': 11.54}
{'loss': 0.0, 'learning_rate': 2.293986636971047e-06, 'epoch': 11.56}
{'loss': 0.0, 'learning_rate': 2.2828507795100223e-06, 'epoch': 11.58}
{'loss': 0.0, 'learning_rate': 2.271714922048998e-06, 'epoch': 11.59}
{'loss': 0.0001, 'learning_rate': 2.2605790645879737e-06, 'epoch': 11.61}
{'loss': 0.0001, 'learning_rate': 2.249443207126949e-06, 'epoch': 11.63}
{'loss': 0.0, 'learning_rate': 2.2383073496659243e-06, 'epoch': 11.64}
{'loss': 0.0001, 'learning_rate': 2.2271714922049e-06, 'epoch': 11.66}
{'loss': 0.0006, 'learning_rate': 2.2160356347438757e-06, 'epoch': 11.68}
{'loss': 0.0001, 'learning_rate': 2.2048997772828508e-06, 'epoch': 11.69}
{'loss': 0.0001, 'learning_rate': 2.1937639198218263e-06, 'epoch': 11.71}
{'loss': 0.0, 'learning_rate': 2.182628062360802e-06, 'epoch': 11.73}
{'loss': 0.0001, 'learning_rate': 2.1714922048997777e-06, 'epoch': 11.74}
{'loss': 0.0001, 'learning_rate': 2.1603563474387527e-06, 'epoch': 11.76}
{'loss': 0.0001, 'learning_rate': 2.1492204899777286e-06, 'epoch': 11.78}
{'loss': 0.0001, 'learning_rate': 2.138084632516704e-06, 'epoch': 11.79}
{'loss': 0.0001, 'learning_rate': 2.1269487750556796e-06, 'epoch': 11.81}
{'loss': 0.0, 'learning_rate': 2.1158129175946547e-06, 'epoch': 11.83}
{'loss': 0.0, 'learning_rate': 2.1046770601336306e-06, 'epoch': 11.84}
{'loss': 0.0001, 'learning_rate': 2.093541202672606e-06, 'epoch': 11.86}
{'loss': 0.0, 'learning_rate': 2.082405345211581e-06, 'epoch': 11.88}
{'loss': 0.0003, 'learning_rate': 2.071269487750557e-06, 'epoch': 11.89}
{'loss': 0.0002, 'learning_rate': 2.0601336302895326e-06, 'epoch': 11.91}
{'loss': 0.0001, 'learning_rate': 2.048997772828508e-06, 'epoch': 11.93}
{'loss': 0.0001, 'learning_rate': 2.037861915367483e-06, 'epoch': 11.94}
{'loss': 0.0002, 'learning_rate': 2.026726057906459e-06, 'epoch': 11.96}
{'loss': 0.0, 'learning_rate': 2.0155902004454346e-06, 'epoch': 11.98}
{'loss': 0.0003, 'learning_rate': 2.00445434298441e-06, 'epoch': 11.99}
{'loss': 0.0, 'learning_rate': 1.9933184855233855e-06, 'epoch': 12.01}
{'loss': 0.0, 'learning_rate': 1.982182628062361e-06, 'epoch': 12.02}
{'loss': 0.0001, 'learning_rate': 1.9710467706013365e-06, 'epoch': 12.04}
{'loss': 0.0001, 'learning_rate': 1.959910913140312e-06, 'epoch': 12.06}
{'loss': 0.0, 'learning_rate': 1.9487750556792875e-06, 'epoch': 12.07}
{'loss': 0.0001, 'learning_rate': 1.937639198218263e-06, 'epoch': 12.09}
{'loss': 0.0001, 'learning_rate': 1.9265033407572385e-06, 'epoch': 12.11}
{'loss': 0.0001, 'learning_rate': 1.915367483296214e-06, 'epoch': 12.12}
{'loss': 0.0001, 'learning_rate': 1.9042316258351895e-06, 'epoch': 12.14}
{'loss': 0.0002, 'learning_rate': 1.893095768374165e-06, 'epoch': 12.16}
{'loss': 0.0001, 'learning_rate': 1.8819599109131403e-06, 'epoch': 12.17}
{'loss': 0.0, 'learning_rate': 1.870824053452116e-06, 'epoch': 12.19}
{'loss': 0.0, 'learning_rate': 1.8596881959910915e-06, 'epoch': 12.21}
{'loss': 0.0, 'learning_rate': 1.848552338530067e-06, 'epoch': 12.22}
{'loss': 0.0, 'learning_rate': 1.8374164810690427e-06, 'epoch': 12.24}
{'loss': 0.0001, 'learning_rate': 1.826280623608018e-06, 'epoch': 12.26}
{'loss': 0.0001, 'learning_rate': 1.8151447661469934e-06, 'epoch': 12.27}
{'loss': 0.0001, 'learning_rate': 1.804008908685969e-06, 'epoch': 12.29}
{'loss': 0.0, 'learning_rate': 1.7928730512249446e-06, 'epoch': 12.31}
{'loss': 0.0001, 'learning_rate': 1.78173719376392e-06, 'epoch': 12.32}
{'loss': 0.0001, 'learning_rate': 1.7706013363028954e-06, 'epoch': 12.34}
{'loss': 0.0, 'learning_rate': 1.759465478841871e-06, 'epoch': 12.36}
{'loss': 0.0, 'learning_rate': 1.7483296213808466e-06, 'epoch': 12.37}
{'loss': 0.0, 'learning_rate': 1.7371937639198219e-06, 'epoch': 12.39}
{'loss': 0.0, 'learning_rate': 1.7260579064587974e-06, 'epoch': 12.41}
{'loss': 0.0, 'learning_rate': 1.714922048997773e-06, 'epoch': 12.42}
{'loss': 0.0, 'learning_rate': 1.7037861915367484e-06, 'epoch': 12.44}
{'loss': 0.0, 'learning_rate': 1.6926503340757238e-06, 'epoch': 12.46}
{'loss': 0.0001, 'learning_rate': 1.6815144766146996e-06, 'epoch': 12.47}
{'loss': 0.0, 'learning_rate': 1.670378619153675e-06, 'epoch': 12.49}
{'loss': 0.0, 'learning_rate': 1.6592427616926503e-06, 'epoch': 12.51}
{'loss': 0.0001, 'learning_rate': 1.6481069042316258e-06, 'epoch': 12.52}
{'loss': 0.0001, 'learning_rate': 1.6369710467706015e-06, 'epoch': 12.54}
{'loss': 0.0, 'learning_rate': 1.625835189309577e-06, 'epoch': 12.56}
{'loss': 0.0001, 'learning_rate': 1.6146993318485523e-06, 'epoch': 12.57}
{'loss': 0.0002, 'learning_rate': 1.603563474387528e-06, 'epoch': 12.59}
{'loss': 0.0001, 'learning_rate': 1.5924276169265035e-06, 'epoch': 12.61}
{'loss': 0.0, 'learning_rate': 1.581291759465479e-06, 'epoch': 12.62}
{'loss': 0.0, 'learning_rate': 1.5701559020044543e-06, 'epoch': 12.64}
{'loss': 0.0, 'learning_rate': 1.55902004454343e-06, 'epoch': 12.66}
{'loss': 0.0001, 'learning_rate': 1.5478841870824055e-06, 'epoch': 12.67}
{'loss': 0.0001, 'learning_rate': 1.536748329621381e-06, 'epoch': 12.69}
{'loss': 0.0, 'learning_rate': 1.5256124721603567e-06, 'epoch': 12.71}
{'loss': 0.0, 'learning_rate': 1.514476614699332e-06, 'epoch': 12.72}
{'loss': 0.0, 'learning_rate': 1.5033407572383074e-06, 'epoch': 12.74}
{'loss': 0.0, 'learning_rate': 1.4922048997772831e-06, 'epoch': 12.76}
{'loss': 0.0001, 'learning_rate': 1.4810690423162586e-06, 'epoch': 12.77}
{'loss': 0.0001, 'learning_rate': 1.469933184855234e-06, 'epoch': 12.79}
{'loss': 0.0, 'learning_rate': 1.4587973273942094e-06, 'epoch': 12.81}
{'loss': 0.0, 'learning_rate': 1.4476614699331851e-06, 'epoch': 12.82}
{'loss': 0.0, 'learning_rate': 1.4365256124721604e-06, 'epoch': 12.84}
{'loss': 0.0, 'learning_rate': 1.4253897550111359e-06, 'epoch': 12.86}
{'loss': 0.0001, 'learning_rate': 1.4142538975501116e-06, 'epoch': 12.87}
{'loss': 0.0, 'learning_rate': 1.403118040089087e-06, 'epoch': 12.89}
{'loss': 0.0, 'learning_rate': 1.3919821826280624e-06, 'epoch': 12.91}
{'loss': 0.0, 'learning_rate': 1.3808463251670379e-06, 'epoch': 12.92}
{'loss': 0.0001, 'learning_rate': 1.3697104677060136e-06, 'epoch': 12.94}
{'loss': 0.0, 'learning_rate': 1.358574610244989e-06, 'epoch': 12.96}
{'loss': 0.0001, 'learning_rate': 1.3474387527839643e-06, 'epoch': 12.97}
{'loss': 0.0, 'learning_rate': 1.33630289532294e-06, 'epoch': 12.99}
{'loss': 0.0001, 'learning_rate': 1.3251670378619155e-06, 'epoch': 13.01}
{'loss': 0.0, 'learning_rate': 1.314031180400891e-06, 'epoch': 13.02}
{'loss': 0.0001, 'learning_rate': 1.3028953229398663e-06, 'epoch': 13.04}
{'loss': 0.0, 'learning_rate': 1.291759465478842e-06, 'epoch': 13.06}
{'loss': 0.0, 'learning_rate': 1.2806236080178175e-06, 'epoch': 13.07}
{'loss': 0.0, 'learning_rate': 1.269487750556793e-06, 'epoch': 13.09}
{'loss': 0.0, 'learning_rate': 1.2583518930957687e-06, 'epoch': 13.11}
{'loss': 0.0001, 'learning_rate': 1.247216035634744e-06, 'epoch': 13.12}
{'loss': 0.0001, 'learning_rate': 1.2360801781737195e-06, 'epoch': 13.14}
{'loss': 0.0001, 'learning_rate': 1.224944320712695e-06, 'epoch': 13.16}
{'loss': 0.0001, 'learning_rate': 1.2138084632516705e-06, 'epoch': 13.17}
{'loss': 0.0, 'learning_rate': 1.202672605790646e-06, 'epoch': 13.19}
{'loss': 0.0, 'learning_rate': 1.1915367483296217e-06, 'epoch': 13.21}
{'loss': 0.0, 'learning_rate': 1.180400890868597e-06, 'epoch': 13.22}
{'loss': 0.0, 'learning_rate': 1.1692650334075724e-06, 'epoch': 13.24}
{'loss': 0.0, 'learning_rate': 1.158129175946548e-06, 'epoch': 13.26}
{'loss': 0.0, 'learning_rate': 1.1469933184855234e-06, 'epoch': 13.27}
{'loss': 0.0, 'learning_rate': 1.135857461024499e-06, 'epoch': 13.29}
{'loss': 0.0001, 'learning_rate': 1.1247216035634744e-06, 'epoch': 13.31}
{'loss': 0.0, 'learning_rate': 1.11358574610245e-06, 'epoch': 13.32}
{'loss': 0.0001, 'learning_rate': 1.1024498886414254e-06, 'epoch': 13.34}
{'loss': 0.0, 'learning_rate': 1.091314031180401e-06, 'epoch': 13.36}
{'loss': 0.0001, 'learning_rate': 1.0801781737193764e-06, 'epoch': 13.37}
{'loss': 0.0, 'learning_rate': 1.069042316258352e-06, 'epoch': 13.39}
{'loss': 0.0, 'learning_rate': 1.0579064587973274e-06, 'epoch': 13.41}
{'loss': 0.0001, 'learning_rate': 1.046770601336303e-06, 'epoch': 13.42}
{'loss': 0.0, 'learning_rate': 1.0356347438752785e-06, 'epoch': 13.44}
{'loss': 0.0, 'learning_rate': 1.024498886414254e-06, 'epoch': 13.46}
{'loss': 0.0, 'learning_rate': 1.0133630289532295e-06, 'epoch': 13.47}
{'loss': 0.0, 'learning_rate': 1.002227171492205e-06, 'epoch': 13.49}
{'loss': 0.0, 'learning_rate': 9.910913140311805e-07, 'epoch': 13.51}
{'loss': 0.0, 'learning_rate': 9.79955456570156e-07, 'epoch': 13.52}
{'loss': 0.0001, 'learning_rate': 9.688195991091315e-07, 'epoch': 13.54}
{'loss': 0.0, 'learning_rate': 9.57683741648107e-07, 'epoch': 13.56}
{'loss': 0.0001, 'learning_rate': 9.465478841870825e-07, 'epoch': 13.57}
{'loss': 0.0, 'learning_rate': 9.35412026726058e-07, 'epoch': 13.59}
{'loss': 0.0001, 'learning_rate': 9.242761692650335e-07, 'epoch': 13.6}
{'loss': 0.0002, 'learning_rate': 9.13140311804009e-07, 'epoch': 13.62}
{'loss': 0.0, 'learning_rate': 9.020044543429845e-07, 'epoch': 13.64}
{'loss': 0.0001, 'learning_rate': 8.9086859688196e-07, 'epoch': 13.65}
{'loss': 0.0001, 'learning_rate': 8.797327394209356e-07, 'epoch': 13.67}
{'loss': 0.0, 'learning_rate': 8.685968819599109e-07, 'epoch': 13.69}
{'loss': 0.0, 'learning_rate': 8.574610244988865e-07, 'epoch': 13.7}
{'loss': 0.0, 'learning_rate': 8.463251670378619e-07, 'epoch': 13.72}
{'loss': 0.0, 'learning_rate': 8.351893095768375e-07, 'epoch': 13.74}
{'loss': 0.0001, 'learning_rate': 8.240534521158129e-07, 'epoch': 13.75}
{'loss': 0.0, 'learning_rate': 8.129175946547885e-07, 'epoch': 13.77}
{'loss': 0.0, 'learning_rate': 8.01781737193764e-07, 'epoch': 13.79}
{'loss': 0.0, 'learning_rate': 7.906458797327395e-07, 'epoch': 13.8}
{'loss': 0.0001, 'learning_rate': 7.79510022271715e-07, 'epoch': 13.82}
{'loss': 0.0, 'learning_rate': 7.683741648106905e-07, 'epoch': 13.84}
{'loss': 0.0, 'learning_rate': 7.57238307349666e-07, 'epoch': 13.85}
{'loss': 0.0, 'learning_rate': 7.461024498886416e-07, 'epoch': 13.87}
{'loss': 0.0, 'learning_rate': 7.34966592427617e-07, 'epoch': 13.89}
{'loss': 0.0, 'learning_rate': 7.238307349665926e-07, 'epoch': 13.9}
{'loss': 0.0, 'learning_rate': 7.126948775055679e-07, 'epoch': 13.92}
{'loss': 0.0, 'learning_rate': 7.015590200445435e-07, 'epoch': 13.94}
{'loss': 0.0001, 'learning_rate': 6.904231625835189e-07, 'epoch': 13.95}
{'loss': 0.0, 'learning_rate': 6.792873051224945e-07, 'epoch': 13.97}
{'loss': 0.0, 'learning_rate': 6.6815144766147e-07, 'epoch': 13.99}
{'loss': 0.0, 'learning_rate': 6.570155902004455e-07, 'epoch': 14.0}
{'loss': 0.0, 'learning_rate': 6.45879732739421e-07, 'epoch': 14.02}
{'loss': 0.0, 'learning_rate': 6.347438752783965e-07, 'epoch': 14.04}
{'loss': 0.0, 'learning_rate': 6.23608017817372e-07, 'epoch': 14.05}
{'loss': 0.0, 'learning_rate': 6.124721603563475e-07, 'epoch': 14.07}
{'loss': 0.0, 'learning_rate': 6.01336302895323e-07, 'epoch': 14.09}
{'loss': 0.0, 'learning_rate': 5.902004454342985e-07, 'epoch': 14.1}
{'loss': 0.0, 'learning_rate': 5.79064587973274e-07, 'epoch': 14.12}
{'loss': 0.0, 'learning_rate': 5.679287305122495e-07, 'epoch': 14.14}
{'loss': 0.0001, 'learning_rate': 5.56792873051225e-07, 'epoch': 14.15}
{'loss': 0.0001, 'learning_rate': 5.456570155902005e-07, 'epoch': 14.17}
{'loss': 0.0, 'learning_rate': 5.34521158129176e-07, 'epoch': 14.19}
{'loss': 0.0, 'learning_rate': 5.233853006681515e-07, 'epoch': 14.2}
{'loss': 0.0, 'learning_rate': 5.12249443207127e-07, 'epoch': 14.22}
{'loss': 0.0, 'learning_rate': 5.011135857461025e-07, 'epoch': 14.24}
{'loss': 0.0002, 'learning_rate': 4.89977728285078e-07, 'epoch': 14.25}
{'loss': 0.0, 'learning_rate': 4.788418708240535e-07, 'epoch': 14.27}
{'loss': 0.0, 'learning_rate': 4.67706013363029e-07, 'epoch': 14.29}
{'loss': 0.0001, 'learning_rate': 4.565701559020045e-07, 'epoch': 14.3}
{'loss': 0.0, 'learning_rate': 4.4543429844098e-07, 'epoch': 14.32}
{'loss': 0.0, 'learning_rate': 4.3429844097995547e-07, 'epoch': 14.34}
{'loss': 0.0, 'learning_rate': 4.2316258351893096e-07, 'epoch': 14.35}
{'loss': 0.0, 'learning_rate': 4.1202672605790645e-07, 'epoch': 14.37}
{'loss': 0.0, 'learning_rate': 4.00890868596882e-07, 'epoch': 14.39}
{'loss': 0.0, 'learning_rate': 3.897550111358575e-07, 'epoch': 14.4}
{'loss': 0.0, 'learning_rate': 3.78619153674833e-07, 'epoch': 14.42}
{'loss': 0.0001, 'learning_rate': 3.674832962138085e-07, 'epoch': 14.44}
{'loss': 0.0, 'learning_rate': 3.5634743875278397e-07, 'epoch': 14.45}
{'loss': 0.0001, 'learning_rate': 3.4521158129175946e-07, 'epoch': 14.47}
{'loss': 0.0, 'learning_rate': 3.34075723830735e-07, 'epoch': 14.49}
{'loss': 0.0, 'learning_rate': 3.229398663697105e-07, 'epoch': 14.5}
{'loss': 0.0, 'learning_rate': 3.11804008908686e-07, 'epoch': 14.52}
{'loss': 0.0, 'learning_rate': 3.006681514476615e-07, 'epoch': 14.54}
{'loss': 0.0, 'learning_rate': 2.89532293986637e-07, 'epoch': 14.55}
{'loss': 0.0001, 'learning_rate': 2.783964365256125e-07, 'epoch': 14.57}
{'loss': 0.0, 'learning_rate': 2.67260579064588e-07, 'epoch': 14.59}
{'loss': 0.0, 'learning_rate': 2.561247216035635e-07, 'epoch': 14.6}
{'loss': 0.0, 'learning_rate': 2.44988864142539e-07, 'epoch': 14.62}
{'loss': 0.0, 'learning_rate': 2.338530066815145e-07, 'epoch': 14.64}
{'loss': 0.0001, 'learning_rate': 2.2271714922049e-07, 'epoch': 14.65}
{'loss': 0.0, 'learning_rate': 2.1158129175946548e-07, 'epoch': 14.67}
{'loss': 0.0, 'learning_rate': 2.00445434298441e-07, 'epoch': 14.69}
{'loss': 0.0001, 'learning_rate': 1.893095768374165e-07, 'epoch': 14.7}
{'loss': 0.0, 'learning_rate': 1.7817371937639199e-07, 'epoch': 14.72}
{'loss': 0.0, 'learning_rate': 1.670378619153675e-07, 'epoch': 14.74}
{'loss': 0.0, 'learning_rate': 1.55902004454343e-07, 'epoch': 14.75}
{'loss': 0.0, 'learning_rate': 1.447661469933185e-07, 'epoch': 14.77}
{'loss': 0.0, 'learning_rate': 1.33630289532294e-07, 'epoch': 14.79}
{'loss': 0.0001, 'learning_rate': 1.224944320712695e-07, 'epoch': 14.8}
{'loss': 0.0, 'learning_rate': 1.11358574610245e-07, 'epoch': 14.82}
{'loss': 0.0, 'learning_rate': 1.002227171492205e-07, 'epoch': 14.84}
{'loss': 0.0, 'learning_rate': 8.908685968819599e-08, 'epoch': 14.85}
{'loss': 0.0, 'learning_rate': 7.79510022271715e-08, 'epoch': 14.87}
{'loss': 0.0, 'learning_rate': 6.6815144766147e-08, 'epoch': 14.89}
{'loss': 0.0, 'learning_rate': 5.56792873051225e-08, 'epoch': 14.9}
{'loss': 0.0, 'learning_rate': 4.4543429844097996e-08, 'epoch': 14.92}
{'loss': 0.0, 'learning_rate': 3.34075723830735e-08, 'epoch': 14.94}
{'loss': 0.0, 'learning_rate': 2.2271714922048998e-08, 'epoch': 14.95}
{'loss': 0.0, 'learning_rate': 1.1135857461024499e-08, 'epoch': 14.97}
{'train_runtime': 26385.2108, 'train_samples_per_second': 0.82, 'train_steps_per_second': 0.034, 'train_loss': 0.018874754149560937, 'epoch': 14.97}