| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 11250, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 4.86626672744751, | |
| "learning_rate": 8.533333333333334e-07, | |
| "loss": 8.0208, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 3.3916521072387695, | |
| "learning_rate": 1.7422222222222224e-06, | |
| "loss": 5.8171, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 3.5112016201019287, | |
| "learning_rate": 2.6311111111111115e-06, | |
| "loss": 4.7527, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 3.508920669555664, | |
| "learning_rate": 3.52e-06, | |
| "loss": 4.0662, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 4.699676513671875, | |
| "learning_rate": 4.408888888888889e-06, | |
| "loss": 3.6461, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 4.627090930938721, | |
| "learning_rate": 5.297777777777778e-06, | |
| "loss": 3.3864, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 4.664205074310303, | |
| "learning_rate": 6.186666666666668e-06, | |
| "loss": 3.1795, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 4.104228973388672, | |
| "learning_rate": 7.0755555555555565e-06, | |
| "loss": 3.0256, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 3.472336530685425, | |
| "learning_rate": 7.964444444444445e-06, | |
| "loss": 2.9146, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 4.164829254150391, | |
| "learning_rate": 8.853333333333334e-06, | |
| "loss": 2.7903, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 3.6888585090637207, | |
| "learning_rate": 9.742222222222222e-06, | |
| "loss": 2.7095, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 3.9901719093322754, | |
| "learning_rate": 9.929876543209878e-06, | |
| "loss": 2.6091, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 4.848642826080322, | |
| "learning_rate": 9.8320987654321e-06, | |
| "loss": 2.525, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 3.7277579307556152, | |
| "learning_rate": 9.733333333333334e-06, | |
| "loss": 2.474, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 5.541881084442139, | |
| "learning_rate": 9.634567901234568e-06, | |
| "loss": 2.4034, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 4.910915374755859, | |
| "learning_rate": 9.535802469135803e-06, | |
| "loss": 2.329, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 3.9040019512176514, | |
| "learning_rate": 9.437037037037038e-06, | |
| "loss": 2.2805, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 4.538000583648682, | |
| "learning_rate": 9.338271604938272e-06, | |
| "loss": 2.2337, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 4.436681747436523, | |
| "learning_rate": 9.239506172839507e-06, | |
| "loss": 2.1707, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 3.9308009147644043, | |
| "learning_rate": 9.140740740740741e-06, | |
| "loss": 2.1456, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 3.86208176612854, | |
| "learning_rate": 9.041975308641976e-06, | |
| "loss": 2.1016, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 3.7303709983825684, | |
| "learning_rate": 8.94320987654321e-06, | |
| "loss": 2.0947, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 3.9554977416992188, | |
| "learning_rate": 8.844444444444445e-06, | |
| "loss": 2.0326, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 3.9618735313415527, | |
| "learning_rate": 8.745679012345679e-06, | |
| "loss": 2.0283, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 3.3923730850219727, | |
| "learning_rate": 8.646913580246914e-06, | |
| "loss": 1.9994, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 3.5262701511383057, | |
| "learning_rate": 8.54814814814815e-06, | |
| "loss": 1.9543, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 3.634221076965332, | |
| "learning_rate": 8.449382716049383e-06, | |
| "loss": 1.9488, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 3.6543495655059814, | |
| "learning_rate": 8.350617283950619e-06, | |
| "loss": 1.9339, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 3.7309067249298096, | |
| "learning_rate": 8.251851851851852e-06, | |
| "loss": 1.882, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 3.5877723693847656, | |
| "learning_rate": 8.153086419753088e-06, | |
| "loss": 1.8521, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 3.463477373123169, | |
| "learning_rate": 8.054320987654321e-06, | |
| "loss": 1.8491, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 3.7584869861602783, | |
| "learning_rate": 7.955555555555557e-06, | |
| "loss": 1.841, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 3.6154866218566895, | |
| "learning_rate": 7.856790123456792e-06, | |
| "loss": 1.8371, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 3.6091232299804688, | |
| "learning_rate": 7.758024691358026e-06, | |
| "loss": 1.8111, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 3.884768009185791, | |
| "learning_rate": 7.65925925925926e-06, | |
| "loss": 1.7937, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 4.100072860717773, | |
| "learning_rate": 7.5604938271604946e-06, | |
| "loss": 1.7838, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 3.37955641746521, | |
| "learning_rate": 7.461728395061729e-06, | |
| "loss": 1.7689, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 1.0133333333333334, | |
| "grad_norm": 3.240987539291382, | |
| "learning_rate": 7.3629629629629636e-06, | |
| "loss": 1.7468, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 3.664125919342041, | |
| "learning_rate": 7.264197530864198e-06, | |
| "loss": 1.7248, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 3.392308473587036, | |
| "learning_rate": 7.1654320987654326e-06, | |
| "loss": 1.7108, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 1.0933333333333333, | |
| "grad_norm": 3.8562703132629395, | |
| "learning_rate": 7.066666666666667e-06, | |
| "loss": 1.7124, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 7.625685214996338, | |
| "learning_rate": 6.967901234567902e-06, | |
| "loss": 1.6827, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 1.1466666666666667, | |
| "grad_norm": 3.6525189876556396, | |
| "learning_rate": 6.869135802469137e-06, | |
| "loss": 1.6883, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 1.1733333333333333, | |
| "grad_norm": 3.893947124481201, | |
| "learning_rate": 6.7703703703703706e-06, | |
| "loss": 1.6624, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 3.3236780166625977, | |
| "learning_rate": 6.671604938271605e-06, | |
| "loss": 1.6615, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 1.2266666666666666, | |
| "grad_norm": 3.5743353366851807, | |
| "learning_rate": 6.57283950617284e-06, | |
| "loss": 1.6507, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 1.2533333333333334, | |
| "grad_norm": 3.5603439807891846, | |
| "learning_rate": 6.474074074074075e-06, | |
| "loss": 1.6587, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 3.948760747909546, | |
| "learning_rate": 6.375308641975309e-06, | |
| "loss": 1.6183, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 1.3066666666666666, | |
| "grad_norm": 3.4485912322998047, | |
| "learning_rate": 6.276543209876543e-06, | |
| "loss": 1.6288, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 3.2528655529022217, | |
| "learning_rate": 6.177777777777778e-06, | |
| "loss": 1.6272, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 3.571824073791504, | |
| "learning_rate": 6.079012345679013e-06, | |
| "loss": 1.6081, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 1.3866666666666667, | |
| "grad_norm": 3.4644646644592285, | |
| "learning_rate": 5.980246913580247e-06, | |
| "loss": 1.6084, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 1.4133333333333333, | |
| "grad_norm": 3.1932268142700195, | |
| "learning_rate": 5.881481481481483e-06, | |
| "loss": 1.59, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 3.6251769065856934, | |
| "learning_rate": 5.782716049382716e-06, | |
| "loss": 1.6158, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 3.33617901802063, | |
| "learning_rate": 5.683950617283951e-06, | |
| "loss": 1.5942, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 1.4933333333333334, | |
| "grad_norm": 3.5370359420776367, | |
| "learning_rate": 5.585185185185185e-06, | |
| "loss": 1.5839, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 3.4808433055877686, | |
| "learning_rate": 5.486419753086421e-06, | |
| "loss": 1.5713, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 1.5466666666666666, | |
| "grad_norm": 3.199596643447876, | |
| "learning_rate": 5.387654320987655e-06, | |
| "loss": 1.5752, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 1.5733333333333333, | |
| "grad_norm": 3.5203781127929688, | |
| "learning_rate": 5.288888888888889e-06, | |
| "loss": 1.5601, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 3.5010998249053955, | |
| "learning_rate": 5.190123456790123e-06, | |
| "loss": 1.5686, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 1.6266666666666667, | |
| "grad_norm": 3.3944363594055176, | |
| "learning_rate": 5.091358024691359e-06, | |
| "loss": 1.5388, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 1.6533333333333333, | |
| "grad_norm": 3.223571538925171, | |
| "learning_rate": 4.992592592592592e-06, | |
| "loss": 1.5595, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 1.6800000000000002, | |
| "grad_norm": 3.2041091918945312, | |
| "learning_rate": 4.893827160493828e-06, | |
| "loss": 1.5533, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 1.7066666666666666, | |
| "grad_norm": 3.480818033218384, | |
| "learning_rate": 4.795061728395062e-06, | |
| "loss": 1.5388, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 3.6483476161956787, | |
| "learning_rate": 4.696296296296297e-06, | |
| "loss": 1.5365, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 3.3835060596466064, | |
| "learning_rate": 4.597530864197531e-06, | |
| "loss": 1.5209, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 1.7866666666666666, | |
| "grad_norm": 3.4606142044067383, | |
| "learning_rate": 4.498765432098766e-06, | |
| "loss": 1.5244, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 1.8133333333333335, | |
| "grad_norm": 3.4562504291534424, | |
| "learning_rate": 4.4e-06, | |
| "loss": 1.5201, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 1.8399999999999999, | |
| "grad_norm": 3.1761395931243896, | |
| "learning_rate": 4.3012345679012356e-06, | |
| "loss": 1.517, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 3.3345909118652344, | |
| "learning_rate": 4.202469135802469e-06, | |
| "loss": 1.519, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 1.8933333333333333, | |
| "grad_norm": 3.478909492492676, | |
| "learning_rate": 4.1037037037037046e-06, | |
| "loss": 1.5059, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 3.1588165760040283, | |
| "learning_rate": 4.004938271604938e-06, | |
| "loss": 1.5096, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 1.9466666666666668, | |
| "grad_norm": 3.4162404537200928, | |
| "learning_rate": 3.9061728395061736e-06, | |
| "loss": 1.5212, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 1.9733333333333334, | |
| "grad_norm": 3.6003329753875732, | |
| "learning_rate": 3.807407407407408e-06, | |
| "loss": 1.4954, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 3.615638256072998, | |
| "learning_rate": 3.708641975308642e-06, | |
| "loss": 1.4833, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 2.026666666666667, | |
| "grad_norm": 3.468055248260498, | |
| "learning_rate": 3.609876543209877e-06, | |
| "loss": 1.46, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 2.0533333333333332, | |
| "grad_norm": 3.4660258293151855, | |
| "learning_rate": 3.511111111111111e-06, | |
| "loss": 1.4648, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 3.182377815246582, | |
| "learning_rate": 3.412345679012346e-06, | |
| "loss": 1.4711, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 2.1066666666666665, | |
| "grad_norm": 3.9496777057647705, | |
| "learning_rate": 3.31358024691358e-06, | |
| "loss": 1.46, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 3.103764533996582, | |
| "learning_rate": 3.214814814814815e-06, | |
| "loss": 1.4573, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 3.518872022628784, | |
| "learning_rate": 3.11604938271605e-06, | |
| "loss": 1.467, | |
| "step": 8100 | |
| }, | |
| { | |
| "epoch": 2.1866666666666665, | |
| "grad_norm": 3.5382354259490967, | |
| "learning_rate": 3.017283950617284e-06, | |
| "loss": 1.4533, | |
| "step": 8200 | |
| }, | |
| { | |
| "epoch": 2.2133333333333334, | |
| "grad_norm": 3.7412240505218506, | |
| "learning_rate": 2.918518518518519e-06, | |
| "loss": 1.4548, | |
| "step": 8300 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 3.4695069789886475, | |
| "learning_rate": 2.819753086419753e-06, | |
| "loss": 1.4342, | |
| "step": 8400 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 3.71409010887146, | |
| "learning_rate": 2.720987654320988e-06, | |
| "loss": 1.4538, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 2.2933333333333334, | |
| "grad_norm": 3.422849655151367, | |
| "learning_rate": 2.6222222222222225e-06, | |
| "loss": 1.4491, | |
| "step": 8600 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 3.2974777221679688, | |
| "learning_rate": 2.523456790123457e-06, | |
| "loss": 1.4472, | |
| "step": 8700 | |
| }, | |
| { | |
| "epoch": 2.3466666666666667, | |
| "grad_norm": 3.2598888874053955, | |
| "learning_rate": 2.4246913580246915e-06, | |
| "loss": 1.4377, | |
| "step": 8800 | |
| }, | |
| { | |
| "epoch": 2.3733333333333335, | |
| "grad_norm": 3.5371761322021484, | |
| "learning_rate": 2.3259259259259264e-06, | |
| "loss": 1.4451, | |
| "step": 8900 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 3.5494816303253174, | |
| "learning_rate": 2.227160493827161e-06, | |
| "loss": 1.4311, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 2.4266666666666667, | |
| "grad_norm": 2.9961225986480713, | |
| "learning_rate": 2.1283950617283954e-06, | |
| "loss": 1.438, | |
| "step": 9100 | |
| }, | |
| { | |
| "epoch": 2.453333333333333, | |
| "grad_norm": 3.317133665084839, | |
| "learning_rate": 2.02962962962963e-06, | |
| "loss": 1.4434, | |
| "step": 9200 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 3.474153995513916, | |
| "learning_rate": 1.9308641975308644e-06, | |
| "loss": 1.4393, | |
| "step": 9300 | |
| }, | |
| { | |
| "epoch": 2.506666666666667, | |
| "grad_norm": 3.3163111209869385, | |
| "learning_rate": 1.8320987654320991e-06, | |
| "loss": 1.4309, | |
| "step": 9400 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 3.372511863708496, | |
| "learning_rate": 1.7333333333333336e-06, | |
| "loss": 1.43, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 3.3499677181243896, | |
| "learning_rate": 1.6345679012345681e-06, | |
| "loss": 1.4234, | |
| "step": 9600 | |
| }, | |
| { | |
| "epoch": 2.586666666666667, | |
| "grad_norm": 3.7494187355041504, | |
| "learning_rate": 1.5358024691358026e-06, | |
| "loss": 1.4138, | |
| "step": 9700 | |
| }, | |
| { | |
| "epoch": 2.6133333333333333, | |
| "grad_norm": 3.28361439704895, | |
| "learning_rate": 1.437037037037037e-06, | |
| "loss": 1.4271, | |
| "step": 9800 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 3.311584711074829, | |
| "learning_rate": 1.3382716049382718e-06, | |
| "loss": 1.4276, | |
| "step": 9900 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 3.294921636581421, | |
| "learning_rate": 1.2404938271604939e-06, | |
| "loss": 1.41, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 2.6933333333333334, | |
| "grad_norm": 3.2336692810058594, | |
| "learning_rate": 1.1417283950617284e-06, | |
| "loss": 1.415, | |
| "step": 10100 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 3.503819227218628, | |
| "learning_rate": 1.042962962962963e-06, | |
| "loss": 1.4112, | |
| "step": 10200 | |
| }, | |
| { | |
| "epoch": 2.7466666666666666, | |
| "grad_norm": 3.102999210357666, | |
| "learning_rate": 9.441975308641977e-07, | |
| "loss": 1.4167, | |
| "step": 10300 | |
| }, | |
| { | |
| "epoch": 2.7733333333333334, | |
| "grad_norm": 3.2620484828948975, | |
| "learning_rate": 8.454320987654322e-07, | |
| "loss": 1.4242, | |
| "step": 10400 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 3.2163949012756348, | |
| "learning_rate": 7.466666666666668e-07, | |
| "loss": 1.4281, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 2.8266666666666667, | |
| "grad_norm": 3.1168317794799805, | |
| "learning_rate": 6.479012345679013e-07, | |
| "loss": 1.4166, | |
| "step": 10600 | |
| }, | |
| { | |
| "epoch": 2.8533333333333335, | |
| "grad_norm": 3.3667855262756348, | |
| "learning_rate": 5.491358024691359e-07, | |
| "loss": 1.4196, | |
| "step": 10700 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 3.4047067165374756, | |
| "learning_rate": 4.503703703703704e-07, | |
| "loss": 1.4116, | |
| "step": 10800 | |
| }, | |
| { | |
| "epoch": 2.9066666666666667, | |
| "grad_norm": 3.1459200382232666, | |
| "learning_rate": 3.5160493827160494e-07, | |
| "loss": 1.4082, | |
| "step": 10900 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 3.670799732208252, | |
| "learning_rate": 2.528395061728395e-07, | |
| "loss": 1.4204, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 2.96, | |
| "grad_norm": 3.3167898654937744, | |
| "learning_rate": 1.540740740740741e-07, | |
| "loss": 1.3972, | |
| "step": 11100 | |
| }, | |
| { | |
| "epoch": 2.986666666666667, | |
| "grad_norm": 3.06726336479187, | |
| "learning_rate": 5.5308641975308646e-08, | |
| "loss": 1.4173, | |
| "step": 11200 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "step": 11250, | |
| "total_flos": 1.0681625740050432e+20, | |
| "train_loss": 1.8866207526312935, | |
| "train_runtime": 25047.9369, | |
| "train_samples_per_second": 7.186, | |
| "train_steps_per_second": 0.449 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 11250, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.0681625740050432e+20, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |