{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 11250,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 4.86626672744751,
      "learning_rate": 8.533333333333334e-07,
      "loss": 8.0208,
      "step": 100
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 3.3916521072387695,
      "learning_rate": 1.7422222222222224e-06,
      "loss": 5.8171,
      "step": 200
    },
    {
      "epoch": 0.08,
      "grad_norm": 3.5112016201019287,
      "learning_rate": 2.6311111111111115e-06,
      "loss": 4.7527,
      "step": 300
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 3.508920669555664,
      "learning_rate": 3.52e-06,
      "loss": 4.0662,
      "step": 400
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 4.699676513671875,
      "learning_rate": 4.408888888888889e-06,
      "loss": 3.6461,
      "step": 500
    },
    {
      "epoch": 0.16,
      "grad_norm": 4.627090930938721,
      "learning_rate": 5.297777777777778e-06,
      "loss": 3.3864,
      "step": 600
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 4.664205074310303,
      "learning_rate": 6.186666666666668e-06,
      "loss": 3.1795,
      "step": 700
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 4.104228973388672,
      "learning_rate": 7.0755555555555565e-06,
      "loss": 3.0256,
      "step": 800
    },
    {
      "epoch": 0.24,
      "grad_norm": 3.472336530685425,
      "learning_rate": 7.964444444444445e-06,
      "loss": 2.9146,
      "step": 900
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 4.164829254150391,
      "learning_rate": 8.853333333333334e-06,
      "loss": 2.7903,
      "step": 1000
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 3.6888585090637207,
      "learning_rate": 9.742222222222222e-06,
      "loss": 2.7095,
      "step": 1100
    },
    {
      "epoch": 0.32,
      "grad_norm": 3.9901719093322754,
      "learning_rate": 9.929876543209878e-06,
      "loss": 2.6091,
      "step": 1200
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 4.848642826080322,
      "learning_rate": 9.8320987654321e-06,
      "loss": 2.525,
      "step": 1300
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 3.7277579307556152,
      "learning_rate": 9.733333333333334e-06,
      "loss": 2.474,
      "step": 1400
    },
    {
      "epoch": 0.4,
      "grad_norm": 5.541881084442139,
      "learning_rate": 9.634567901234568e-06,
      "loss": 2.4034,
      "step": 1500
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 4.910915374755859,
      "learning_rate": 9.535802469135803e-06,
      "loss": 2.329,
      "step": 1600
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 3.9040019512176514,
      "learning_rate": 9.437037037037038e-06,
      "loss": 2.2805,
      "step": 1700
    },
    {
      "epoch": 0.48,
      "grad_norm": 4.538000583648682,
      "learning_rate": 9.338271604938272e-06,
      "loss": 2.2337,
      "step": 1800
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 4.436681747436523,
      "learning_rate": 9.239506172839507e-06,
      "loss": 2.1707,
      "step": 1900
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 3.9308009147644043,
      "learning_rate": 9.140740740740741e-06,
      "loss": 2.1456,
      "step": 2000
    },
    {
      "epoch": 0.56,
      "grad_norm": 3.86208176612854,
      "learning_rate": 9.041975308641976e-06,
      "loss": 2.1016,
      "step": 2100
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 3.7303709983825684,
      "learning_rate": 8.94320987654321e-06,
      "loss": 2.0947,
      "step": 2200
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 3.9554977416992188,
      "learning_rate": 8.844444444444445e-06,
      "loss": 2.0326,
      "step": 2300
    },
    {
      "epoch": 0.64,
      "grad_norm": 3.9618735313415527,
      "learning_rate": 8.745679012345679e-06,
      "loss": 2.0283,
      "step": 2400
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 3.3923730850219727,
      "learning_rate": 8.646913580246914e-06,
      "loss": 1.9994,
      "step": 2500
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 3.5262701511383057,
      "learning_rate": 8.54814814814815e-06,
      "loss": 1.9543,
      "step": 2600
    },
    {
      "epoch": 0.72,
      "grad_norm": 3.634221076965332,
      "learning_rate": 8.449382716049383e-06,
      "loss": 1.9488,
      "step": 2700
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 3.6543495655059814,
      "learning_rate": 8.350617283950619e-06,
      "loss": 1.9339,
      "step": 2800
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 3.7309067249298096,
      "learning_rate": 8.251851851851852e-06,
      "loss": 1.882,
      "step": 2900
    },
    {
      "epoch": 0.8,
      "grad_norm": 3.5877723693847656,
      "learning_rate": 8.153086419753088e-06,
      "loss": 1.8521,
      "step": 3000
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 3.463477373123169,
      "learning_rate": 8.054320987654321e-06,
      "loss": 1.8491,
      "step": 3100
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 3.7584869861602783,
      "learning_rate": 7.955555555555557e-06,
      "loss": 1.841,
      "step": 3200
    },
    {
      "epoch": 0.88,
      "grad_norm": 3.6154866218566895,
      "learning_rate": 7.856790123456792e-06,
      "loss": 1.8371,
      "step": 3300
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 3.6091232299804688,
      "learning_rate": 7.758024691358026e-06,
      "loss": 1.8111,
      "step": 3400
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 3.884768009185791,
      "learning_rate": 7.65925925925926e-06,
      "loss": 1.7937,
      "step": 3500
    },
    {
      "epoch": 0.96,
      "grad_norm": 4.100072860717773,
      "learning_rate": 7.5604938271604946e-06,
      "loss": 1.7838,
      "step": 3600
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 3.37955641746521,
      "learning_rate": 7.461728395061729e-06,
      "loss": 1.7689,
      "step": 3700
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 3.240987539291382,
      "learning_rate": 7.3629629629629636e-06,
      "loss": 1.7468,
      "step": 3800
    },
    {
      "epoch": 1.04,
      "grad_norm": 3.664125919342041,
      "learning_rate": 7.264197530864198e-06,
      "loss": 1.7248,
      "step": 3900
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 3.392308473587036,
      "learning_rate": 7.1654320987654326e-06,
      "loss": 1.7108,
      "step": 4000
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 3.8562703132629395,
      "learning_rate": 7.066666666666667e-06,
      "loss": 1.7124,
      "step": 4100
    },
    {
      "epoch": 1.12,
      "grad_norm": 7.625685214996338,
      "learning_rate": 6.967901234567902e-06,
      "loss": 1.6827,
      "step": 4200
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 3.6525189876556396,
      "learning_rate": 6.869135802469137e-06,
      "loss": 1.6883,
      "step": 4300
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 3.893947124481201,
      "learning_rate": 6.7703703703703706e-06,
      "loss": 1.6624,
      "step": 4400
    },
    {
      "epoch": 1.2,
      "grad_norm": 3.3236780166625977,
      "learning_rate": 6.671604938271605e-06,
      "loss": 1.6615,
      "step": 4500
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 3.5743353366851807,
      "learning_rate": 6.57283950617284e-06,
      "loss": 1.6507,
      "step": 4600
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 3.5603439807891846,
      "learning_rate": 6.474074074074075e-06,
      "loss": 1.6587,
      "step": 4700
    },
    {
      "epoch": 1.28,
      "grad_norm": 3.948760747909546,
      "learning_rate": 6.375308641975309e-06,
      "loss": 1.6183,
      "step": 4800
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 3.4485912322998047,
      "learning_rate": 6.276543209876543e-06,
      "loss": 1.6288,
      "step": 4900
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 3.2528655529022217,
      "learning_rate": 6.177777777777778e-06,
      "loss": 1.6272,
      "step": 5000
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 3.571824073791504,
      "learning_rate": 6.079012345679013e-06,
      "loss": 1.6081,
      "step": 5100
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 3.4644646644592285,
      "learning_rate": 5.980246913580247e-06,
      "loss": 1.6084,
      "step": 5200
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 3.1932268142700195,
      "learning_rate": 5.881481481481483e-06,
      "loss": 1.59,
      "step": 5300
    },
    {
      "epoch": 1.44,
      "grad_norm": 3.6251769065856934,
      "learning_rate": 5.782716049382716e-06,
      "loss": 1.6158,
      "step": 5400
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 3.33617901802063,
      "learning_rate": 5.683950617283951e-06,
      "loss": 1.5942,
      "step": 5500
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 3.5370359420776367,
      "learning_rate": 5.585185185185185e-06,
      "loss": 1.5839,
      "step": 5600
    },
    {
      "epoch": 1.52,
      "grad_norm": 3.4808433055877686,
      "learning_rate": 5.486419753086421e-06,
      "loss": 1.5713,
      "step": 5700
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 3.199596643447876,
      "learning_rate": 5.387654320987655e-06,
      "loss": 1.5752,
      "step": 5800
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 3.5203781127929688,
      "learning_rate": 5.288888888888889e-06,
      "loss": 1.5601,
      "step": 5900
    },
    {
      "epoch": 1.6,
      "grad_norm": 3.5010998249053955,
      "learning_rate": 5.190123456790123e-06,
      "loss": 1.5686,
      "step": 6000
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 3.3944363594055176,
      "learning_rate": 5.091358024691359e-06,
      "loss": 1.5388,
      "step": 6100
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 3.223571538925171,
      "learning_rate": 4.992592592592592e-06,
      "loss": 1.5595,
      "step": 6200
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 3.2041091918945312,
      "learning_rate": 4.893827160493828e-06,
      "loss": 1.5533,
      "step": 6300
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 3.480818033218384,
      "learning_rate": 4.795061728395062e-06,
      "loss": 1.5388,
      "step": 6400
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 3.6483476161956787,
      "learning_rate": 4.696296296296297e-06,
      "loss": 1.5365,
      "step": 6500
    },
    {
      "epoch": 1.76,
      "grad_norm": 3.3835060596466064,
      "learning_rate": 4.597530864197531e-06,
      "loss": 1.5209,
      "step": 6600
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 3.4606142044067383,
      "learning_rate": 4.498765432098766e-06,
      "loss": 1.5244,
      "step": 6700
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 3.4562504291534424,
      "learning_rate": 4.4e-06,
      "loss": 1.5201,
      "step": 6800
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 3.1761395931243896,
      "learning_rate": 4.3012345679012356e-06,
      "loss": 1.517,
      "step": 6900
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 3.3345909118652344,
      "learning_rate": 4.202469135802469e-06,
      "loss": 1.519,
      "step": 7000
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 3.478909492492676,
      "learning_rate": 4.1037037037037046e-06,
      "loss": 1.5059,
      "step": 7100
    },
    {
      "epoch": 1.92,
      "grad_norm": 3.1588165760040283,
      "learning_rate": 4.004938271604938e-06,
      "loss": 1.5096,
      "step": 7200
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 3.4162404537200928,
      "learning_rate": 3.9061728395061736e-06,
      "loss": 1.5212,
      "step": 7300
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 3.6003329753875732,
      "learning_rate": 3.807407407407408e-06,
      "loss": 1.4954,
      "step": 7400
    },
    {
      "epoch": 2.0,
      "grad_norm": 3.615638256072998,
      "learning_rate": 3.708641975308642e-06,
      "loss": 1.4833,
      "step": 7500
    },
    {
      "epoch": 2.026666666666667,
      "grad_norm": 3.468055248260498,
      "learning_rate": 3.609876543209877e-06,
      "loss": 1.46,
      "step": 7600
    },
    {
      "epoch": 2.0533333333333332,
      "grad_norm": 3.4660258293151855,
      "learning_rate": 3.511111111111111e-06,
      "loss": 1.4648,
      "step": 7700
    },
    {
      "epoch": 2.08,
      "grad_norm": 3.182377815246582,
      "learning_rate": 3.412345679012346e-06,
      "loss": 1.4711,
      "step": 7800
    },
    {
      "epoch": 2.1066666666666665,
      "grad_norm": 3.9496777057647705,
      "learning_rate": 3.31358024691358e-06,
      "loss": 1.46,
      "step": 7900
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 3.103764533996582,
      "learning_rate": 3.214814814814815e-06,
      "loss": 1.4573,
      "step": 8000
    },
    {
      "epoch": 2.16,
      "grad_norm": 3.518872022628784,
      "learning_rate": 3.11604938271605e-06,
      "loss": 1.467,
      "step": 8100
    },
    {
      "epoch": 2.1866666666666665,
      "grad_norm": 3.5382354259490967,
      "learning_rate": 3.017283950617284e-06,
      "loss": 1.4533,
      "step": 8200
    },
    {
      "epoch": 2.2133333333333334,
      "grad_norm": 3.7412240505218506,
      "learning_rate": 2.918518518518519e-06,
      "loss": 1.4548,
      "step": 8300
    },
    {
      "epoch": 2.24,
      "grad_norm": 3.4695069789886475,
      "learning_rate": 2.819753086419753e-06,
      "loss": 1.4342,
      "step": 8400
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 3.71409010887146,
      "learning_rate": 2.720987654320988e-06,
      "loss": 1.4538,
      "step": 8500
    },
    {
      "epoch": 2.2933333333333334,
      "grad_norm": 3.422849655151367,
      "learning_rate": 2.6222222222222225e-06,
      "loss": 1.4491,
      "step": 8600
    },
    {
      "epoch": 2.32,
      "grad_norm": 3.2974777221679688,
      "learning_rate": 2.523456790123457e-06,
      "loss": 1.4472,
      "step": 8700
    },
    {
      "epoch": 2.3466666666666667,
      "grad_norm": 3.2598888874053955,
      "learning_rate": 2.4246913580246915e-06,
      "loss": 1.4377,
      "step": 8800
    },
    {
      "epoch": 2.3733333333333335,
      "grad_norm": 3.5371761322021484,
      "learning_rate": 2.3259259259259264e-06,
      "loss": 1.4451,
      "step": 8900
    },
    {
      "epoch": 2.4,
      "grad_norm": 3.5494816303253174,
      "learning_rate": 2.227160493827161e-06,
      "loss": 1.4311,
      "step": 9000
    },
    {
      "epoch": 2.4266666666666667,
      "grad_norm": 2.9961225986480713,
      "learning_rate": 2.1283950617283954e-06,
      "loss": 1.438,
      "step": 9100
    },
    {
      "epoch": 2.453333333333333,
      "grad_norm": 3.317133665084839,
      "learning_rate": 2.02962962962963e-06,
      "loss": 1.4434,
      "step": 9200
    },
    {
      "epoch": 2.48,
      "grad_norm": 3.474153995513916,
      "learning_rate": 1.9308641975308644e-06,
      "loss": 1.4393,
      "step": 9300
    },
    {
      "epoch": 2.506666666666667,
      "grad_norm": 3.3163111209869385,
      "learning_rate": 1.8320987654320991e-06,
      "loss": 1.4309,
      "step": 9400
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 3.372511863708496,
      "learning_rate": 1.7333333333333336e-06,
      "loss": 1.43,
      "step": 9500
    },
    {
      "epoch": 2.56,
      "grad_norm": 3.3499677181243896,
      "learning_rate": 1.6345679012345681e-06,
      "loss": 1.4234,
      "step": 9600
    },
    {
      "epoch": 2.586666666666667,
      "grad_norm": 3.7494187355041504,
      "learning_rate": 1.5358024691358026e-06,
      "loss": 1.4138,
      "step": 9700
    },
    {
      "epoch": 2.6133333333333333,
      "grad_norm": 3.28361439704895,
      "learning_rate": 1.437037037037037e-06,
      "loss": 1.4271,
      "step": 9800
    },
    {
      "epoch": 2.64,
      "grad_norm": 3.311584711074829,
      "learning_rate": 1.3382716049382718e-06,
      "loss": 1.4276,
      "step": 9900
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 3.294921636581421,
      "learning_rate": 1.2404938271604939e-06,
      "loss": 1.41,
      "step": 10000
    },
    {
      "epoch": 2.6933333333333334,
      "grad_norm": 3.2336692810058594,
      "learning_rate": 1.1417283950617284e-06,
      "loss": 1.415,
      "step": 10100
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 3.503819227218628,
      "learning_rate": 1.042962962962963e-06,
      "loss": 1.4112,
      "step": 10200
    },
    {
      "epoch": 2.7466666666666666,
      "grad_norm": 3.102999210357666,
      "learning_rate": 9.441975308641977e-07,
      "loss": 1.4167,
      "step": 10300
    },
    {
      "epoch": 2.7733333333333334,
      "grad_norm": 3.2620484828948975,
      "learning_rate": 8.454320987654322e-07,
      "loss": 1.4242,
      "step": 10400
    },
    {
      "epoch": 2.8,
      "grad_norm": 3.2163949012756348,
      "learning_rate": 7.466666666666668e-07,
      "loss": 1.4281,
      "step": 10500
    },
    {
      "epoch": 2.8266666666666667,
      "grad_norm": 3.1168317794799805,
      "learning_rate": 6.479012345679013e-07,
      "loss": 1.4166,
      "step": 10600
    },
    {
      "epoch": 2.8533333333333335,
      "grad_norm": 3.3667855262756348,
      "learning_rate": 5.491358024691359e-07,
      "loss": 1.4196,
      "step": 10700
    },
    {
      "epoch": 2.88,
      "grad_norm": 3.4047067165374756,
      "learning_rate": 4.503703703703704e-07,
      "loss": 1.4116,
      "step": 10800
    },
    {
      "epoch": 2.9066666666666667,
      "grad_norm": 3.1459200382232666,
      "learning_rate": 3.5160493827160494e-07,
      "loss": 1.4082,
      "step": 10900
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 3.670799732208252,
      "learning_rate": 2.528395061728395e-07,
      "loss": 1.4204,
      "step": 11000
    },
    {
      "epoch": 2.96,
      "grad_norm": 3.3167898654937744,
      "learning_rate": 1.540740740740741e-07,
      "loss": 1.3972,
      "step": 11100
    },
    {
      "epoch": 2.986666666666667,
      "grad_norm": 3.06726336479187,
      "learning_rate": 5.5308641975308646e-08,
      "loss": 1.4173,
      "step": 11200
    },
    {
      "epoch": 3.0,
      "step": 11250,
      "total_flos": 1.0681625740050432e+20,
      "train_loss": 1.8866207526312935,
      "train_runtime": 25047.9369,
      "train_samples_per_second": 7.186,
      "train_steps_per_second": 0.449
    }
  ],
  "logging_steps": 100,
  "max_steps": 11250,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.0681625740050432e+20,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}