{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 3750,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0002666666666666667,
      "grad_norm": 16.664779387467302,
      "learning_rate": 8.771929824561404e-08,
      "loss": 1.1585,
      "step": 1
    },
    {
      "epoch": 0.0005333333333333334,
      "grad_norm": 21.259110828252272,
      "learning_rate": 1.7543859649122808e-07,
      "loss": 1.3009,
      "step": 2
    },
    {
      "epoch": 0.0008,
      "grad_norm": 17.732992884609583,
      "learning_rate": 2.6315789473684213e-07,
      "loss": 1.2139,
      "step": 3
    },
    {
      "epoch": 0.0010666666666666667,
      "grad_norm": 27.211841293013986,
      "learning_rate": 3.5087719298245616e-07,
      "loss": 1.3633,
      "step": 4
    },
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 19.90230320000923,
      "learning_rate": 4.385964912280702e-07,
      "loss": 1.3111,
      "step": 5
    },
    {
      "epoch": 0.0016,
      "grad_norm": 25.128699876059585,
      "learning_rate": 5.263157894736843e-07,
      "loss": 1.4258,
      "step": 6
    },
    {
      "epoch": 0.0018666666666666666,
      "grad_norm": 20.211274918364534,
      "learning_rate": 6.140350877192982e-07,
      "loss": 1.2316,
      "step": 7
    },
    {
      "epoch": 0.0021333333333333334,
      "grad_norm": 18.945852675414784,
      "learning_rate": 7.017543859649123e-07,
      "loss": 1.2081,
      "step": 8
    },
    {
      "epoch": 0.0024,
      "grad_norm": 17.04455353569353,
      "learning_rate": 7.894736842105263e-07,
      "loss": 1.2149,
      "step": 9
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 16.899842737423874,
      "learning_rate": 8.771929824561404e-07,
      "loss": 1.1125,
      "step": 10
    },
    {
      "epoch": 0.0029333333333333334,
      "grad_norm": 18.08762146117638,
      "learning_rate": 9.649122807017545e-07,
      "loss": 1.1811,
      "step": 11
    },
    {
      "epoch": 0.0032,
      "grad_norm": 16.2832700777289,
      "learning_rate": 1.0526315789473685e-06,
      "loss": 1.0205,
      "step": 12
    },
    {
      "epoch": 0.0034666666666666665,
      "grad_norm": 13.790617795284318,
      "learning_rate": 1.1403508771929824e-06,
      "loss": 1.0519,
      "step": 13
    },
    {
      "epoch": 0.0037333333333333333,
      "grad_norm": 16.306849589321732,
      "learning_rate": 1.2280701754385965e-06,
      "loss": 1.0359,
      "step": 14
    },
    {
      "epoch": 0.004,
      "grad_norm": 7.942837650824751,
      "learning_rate": 1.3157894736842106e-06,
      "loss": 0.8823,
      "step": 15
    },
    {
      "epoch": 0.004266666666666667,
      "grad_norm": 8.474295367631033,
      "learning_rate": 1.4035087719298246e-06,
      "loss": 0.8862,
      "step": 16
    },
    {
      "epoch": 0.004533333333333334,
      "grad_norm": 6.83826623068806,
      "learning_rate": 1.4912280701754387e-06,
      "loss": 0.8772,
      "step": 17
    },
    {
      "epoch": 0.0048,
      "grad_norm": 6.13212128531144,
      "learning_rate": 1.5789473684210526e-06,
      "loss": 0.7811,
      "step": 18
    },
    {
      "epoch": 0.005066666666666666,
      "grad_norm": 6.214004650213308,
      "learning_rate": 1.6666666666666667e-06,
      "loss": 0.8042,
      "step": 19
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 5.643022914757044,
      "learning_rate": 1.7543859649122807e-06,
      "loss": 0.806,
      "step": 20
    },
    {
      "epoch": 0.0056,
      "grad_norm": 6.375424282038437,
      "learning_rate": 1.8421052631578948e-06,
      "loss": 0.7365,
      "step": 21
    },
    {
      "epoch": 0.005866666666666667,
      "grad_norm": 5.90062047649027,
      "learning_rate": 1.929824561403509e-06,
      "loss": 0.7356,
      "step": 22
    },
    {
      "epoch": 0.0061333333333333335,
      "grad_norm": 5.735589010403914,
      "learning_rate": 2.017543859649123e-06,
      "loss": 0.7852,
      "step": 23
    },
    {
      "epoch": 0.0064,
      "grad_norm": 4.729703875740328,
      "learning_rate": 2.105263157894737e-06,
      "loss": 0.6797,
      "step": 24
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 4.821504315991865,
      "learning_rate": 2.192982456140351e-06,
      "loss": 0.7002,
      "step": 25
    },
    {
      "epoch": 0.006933333333333333,
      "grad_norm": 4.927851683299393,
      "learning_rate": 2.280701754385965e-06,
      "loss": 0.6842,
      "step": 26
    },
    {
      "epoch": 0.0072,
      "grad_norm": 5.137324317569162,
      "learning_rate": 2.368421052631579e-06,
      "loss": 0.7083,
      "step": 27
    },
    {
      "epoch": 0.007466666666666667,
      "grad_norm": 5.268760209424453,
      "learning_rate": 2.456140350877193e-06,
      "loss": 0.7123,
      "step": 28
    },
    {
      "epoch": 0.007733333333333333,
      "grad_norm": 4.591521035546915,
      "learning_rate": 2.5438596491228075e-06,
      "loss": 0.6304,
      "step": 29
    },
    {
      "epoch": 0.008,
      "grad_norm": 4.207797136242618,
      "learning_rate": 2.631578947368421e-06,
      "loss": 0.6349,
      "step": 30
    },
    {
      "epoch": 0.008266666666666667,
      "grad_norm": 4.62097317018694,
      "learning_rate": 2.7192982456140356e-06,
      "loss": 0.6225,
      "step": 31
    },
    {
      "epoch": 0.008533333333333334,
      "grad_norm": 4.66399450986635,
      "learning_rate": 2.8070175438596493e-06,
      "loss": 0.6018,
      "step": 32
    },
    {
      "epoch": 0.0088,
      "grad_norm": 4.831310305591146,
      "learning_rate": 2.8947368421052634e-06,
      "loss": 0.6107,
      "step": 33
    },
    {
      "epoch": 0.009066666666666667,
      "grad_norm": 4.891695649176905,
      "learning_rate": 2.9824561403508774e-06,
      "loss": 0.6257,
      "step": 34
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 4.3457536675681325,
      "learning_rate": 3.0701754385964915e-06,
      "loss": 0.6031,
      "step": 35
    },
    {
      "epoch": 0.0096,
      "grad_norm": 5.110868253262536,
      "learning_rate": 3.157894736842105e-06,
      "loss": 0.6442,
      "step": 36
    },
    {
      "epoch": 0.009866666666666666,
      "grad_norm": 4.557330645644073,
      "learning_rate": 3.2456140350877197e-06,
      "loss": 0.5805,
      "step": 37
    },
    {
      "epoch": 0.010133333333333333,
      "grad_norm": 4.773438432021475,
      "learning_rate": 3.3333333333333333e-06,
      "loss": 0.6043,
      "step": 38
    },
    {
      "epoch": 0.0104,
      "grad_norm": 4.4452460683286805,
      "learning_rate": 3.421052631578948e-06,
      "loss": 0.5922,
      "step": 39
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 4.354531332452033,
      "learning_rate": 3.5087719298245615e-06,
      "loss": 0.5702,
      "step": 40
    },
    {
      "epoch": 0.010933333333333333,
      "grad_norm": 4.149325932780086,
      "learning_rate": 3.596491228070176e-06,
      "loss": 0.5657,
      "step": 41
    },
    {
      "epoch": 0.0112,
      "grad_norm": 4.9095519849137395,
      "learning_rate": 3.6842105263157896e-06,
      "loss": 0.6041,
      "step": 42
    },
    {
      "epoch": 0.011466666666666667,
      "grad_norm": 4.335381010732938,
      "learning_rate": 3.7719298245614037e-06,
      "loss": 0.6024,
      "step": 43
    },
    {
      "epoch": 0.011733333333333333,
      "grad_norm": 3.654183525448732,
      "learning_rate": 3.859649122807018e-06,
      "loss": 0.5029,
      "step": 44
    },
    {
      "epoch": 0.012,
      "grad_norm": 3.642659442322371,
      "learning_rate": 3.947368421052632e-06,
      "loss": 0.4944,
      "step": 45
    },
    {
      "epoch": 0.012266666666666667,
      "grad_norm": 4.076536234470417,
      "learning_rate": 4.035087719298246e-06,
      "loss": 0.5602,
      "step": 46
    },
    {
      "epoch": 0.012533333333333334,
      "grad_norm": 4.345904381688737,
      "learning_rate": 4.12280701754386e-06,
      "loss": 0.5844,
      "step": 47
    },
    {
      "epoch": 0.0128,
      "grad_norm": 3.790935881903741,
      "learning_rate": 4.210526315789474e-06,
      "loss": 0.5543,
      "step": 48
    },
    {
      "epoch": 0.013066666666666667,
      "grad_norm": 4.43947747284119,
      "learning_rate": 4.298245614035088e-06,
      "loss": 0.6317,
      "step": 49
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 4.2214032418178835,
      "learning_rate": 4.385964912280702e-06,
      "loss": 0.5675,
      "step": 50
    },
    {
      "epoch": 0.0136,
      "grad_norm": 4.177891117760546,
      "learning_rate": 4.473684210526316e-06,
      "loss": 0.539,
      "step": 51
    },
    {
      "epoch": 0.013866666666666666,
      "grad_norm": 3.8765276391219103,
      "learning_rate": 4.56140350877193e-06,
      "loss": 0.5401,
      "step": 52
    },
    {
      "epoch": 0.014133333333333333,
      "grad_norm": 4.139376801664263,
      "learning_rate": 4.649122807017544e-06,
      "loss": 0.5683,
      "step": 53
    },
    {
      "epoch": 0.0144,
      "grad_norm": 4.386406428056687,
      "learning_rate": 4.736842105263158e-06,
      "loss": 0.6051,
      "step": 54
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 4.064778648215169,
      "learning_rate": 4.824561403508772e-06,
      "loss": 0.5759,
      "step": 55
    },
    {
      "epoch": 0.014933333333333333,
      "grad_norm": 4.219162510613236,
      "learning_rate": 4.912280701754386e-06,
      "loss": 0.5704,
      "step": 56
    },
    {
      "epoch": 0.0152,
      "grad_norm": 3.831974081926601,
      "learning_rate": 5e-06,
      "loss": 0.5397,
      "step": 57
    },
    {
      "epoch": 0.015466666666666667,
      "grad_norm": 4.6183346531644744,
      "learning_rate": 4.999999095411386e-06,
      "loss": 0.6138,
      "step": 58
    },
    {
      "epoch": 0.015733333333333332,
      "grad_norm": 3.7387169752428195,
      "learning_rate": 4.9999963816462e-06,
      "loss": 0.5323,
      "step": 59
    },
    {
      "epoch": 0.016,
      "grad_norm": 4.239229425480186,
      "learning_rate": 4.999991858706405e-06,
      "loss": 0.4789,
      "step": 60
    },
    {
      "epoch": 0.016266666666666665,
      "grad_norm": 3.7689009798083024,
      "learning_rate": 4.9999855265952725e-06,
      "loss": 0.5465,
      "step": 61
    },
    {
      "epoch": 0.016533333333333334,
      "grad_norm": 4.05183646162081,
      "learning_rate": 4.9999773853173875e-06,
      "loss": 0.5761,
      "step": 62
    },
    {
      "epoch": 0.0168,
      "grad_norm": 3.931061351868771,
      "learning_rate": 4.99996743487864e-06,
      "loss": 0.54,
      "step": 63
    },
    {
      "epoch": 0.017066666666666667,
      "grad_norm": 3.6573129700054587,
      "learning_rate": 4.999955675286231e-06,
      "loss": 0.5477,
      "step": 64
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 4.074275033874058,
      "learning_rate": 4.999942106548672e-06,
      "loss": 0.5834,
      "step": 65
    },
    {
      "epoch": 0.0176,
      "grad_norm": 3.494548303290731,
      "learning_rate": 4.99992672867578e-06,
      "loss": 0.5213,
      "step": 66
    },
    {
      "epoch": 0.017866666666666666,
      "grad_norm": 4.03353340840384,
      "learning_rate": 4.999909541678686e-06,
      "loss": 0.5532,
      "step": 67
    },
    {
      "epoch": 0.018133333333333335,
      "grad_norm": 3.8866233851405685,
      "learning_rate": 4.999890545569825e-06,
      "loss": 0.5791,
      "step": 68
    },
    {
      "epoch": 0.0184,
      "grad_norm": 3.9571742348999366,
      "learning_rate": 4.999869740362947e-06,
      "loss": 0.5193,
      "step": 69
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 4.275313986435107,
      "learning_rate": 4.999847126073107e-06,
      "loss": 0.5868,
      "step": 70
    },
    {
      "epoch": 0.018933333333333333,
      "grad_norm": 4.715217195538646,
      "learning_rate": 4.999822702716668e-06,
      "loss": 0.636,
      "step": 71
    },
    {
      "epoch": 0.0192,
      "grad_norm": 3.6899622703893504,
      "learning_rate": 4.999796470311307e-06,
      "loss": 0.5449,
      "step": 72
    },
    {
      "epoch": 0.019466666666666667,
      "grad_norm": 3.741914785422942,
      "learning_rate": 4.999768428876007e-06,
      "loss": 0.5359,
      "step": 73
    },
    {
      "epoch": 0.019733333333333332,
      "grad_norm": 4.294176117244813,
      "learning_rate": 4.999738578431061e-06,
      "loss": 0.6106,
      "step": 74
    },
    {
      "epoch": 0.02,
      "grad_norm": 3.832398928514838,
      "learning_rate": 4.99970691899807e-06,
      "loss": 0.5616,
      "step": 75
    },
    {
      "epoch": 0.020266666666666665,
      "grad_norm": 3.6813352011445586,
      "learning_rate": 4.999673450599946e-06,
      "loss": 0.4993,
      "step": 76
    },
    {
      "epoch": 0.020533333333333334,
      "grad_norm": 3.6417212739231264,
      "learning_rate": 4.999638173260908e-06,
      "loss": 0.5886,
      "step": 77
    },
    {
      "epoch": 0.0208,
      "grad_norm": 3.912060920032368,
      "learning_rate": 4.999601087006487e-06,
      "loss": 0.5709,
      "step": 78
    },
    {
      "epoch": 0.021066666666666668,
      "grad_norm": 3.580747505651906,
      "learning_rate": 4.99956219186352e-06,
      "loss": 0.5004,
      "step": 79
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 2.944029948159031,
      "learning_rate": 4.999521487860154e-06,
      "loss": 0.4468,
      "step": 80
    },
    {
      "epoch": 0.0216,
      "grad_norm": 3.601419453991183,
      "learning_rate": 4.999478975025845e-06,
      "loss": 0.5409,
      "step": 81
    },
    {
      "epoch": 0.021866666666666666,
      "grad_norm": 3.797133488665564,
      "learning_rate": 4.999434653391361e-06,
      "loss": 0.56,
      "step": 82
    },
    {
      "epoch": 0.022133333333333335,
      "grad_norm": 3.7270657577804203,
      "learning_rate": 4.9993885229887725e-06,
      "loss": 0.5323,
      "step": 83
    },
    {
      "epoch": 0.0224,
      "grad_norm": 3.5578036473131047,
      "learning_rate": 4.9993405838514656e-06,
      "loss": 0.4826,
      "step": 84
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 3.6576120898756255,
      "learning_rate": 4.999290836014131e-06,
      "loss": 0.5021,
      "step": 85
    },
    {
      "epoch": 0.022933333333333333,
      "grad_norm": 3.9216063758679063,
      "learning_rate": 4.99923927951277e-06,
      "loss": 0.5341,
      "step": 86
    },
    {
      "epoch": 0.0232,
      "grad_norm": 3.9928924345830814,
      "learning_rate": 4.9991859143846934e-06,
      "loss": 0.5782,
      "step": 87
    },
    {
      "epoch": 0.023466666666666667,
      "grad_norm": 3.812922190094923,
      "learning_rate": 4.9991307406685185e-06,
      "loss": 0.5558,
      "step": 88
    },
    {
      "epoch": 0.023733333333333332,
      "grad_norm": 4.326274624009955,
      "learning_rate": 4.999073758404174e-06,
      "loss": 0.6184,
      "step": 89
    },
    {
      "epoch": 0.024,
      "grad_norm": 3.8419338354451167,
      "learning_rate": 4.999014967632896e-06,
      "loss": 0.5223,
      "step": 90
    },
    {
      "epoch": 0.024266666666666666,
      "grad_norm": 3.5058696550240933,
      "learning_rate": 4.99895436839723e-06,
      "loss": 0.4855,
      "step": 91
    },
    {
      "epoch": 0.024533333333333334,
      "grad_norm": 3.8292763418802283,
      "learning_rate": 4.9988919607410295e-06,
      "loss": 0.5978,
      "step": 92
    },
    {
      "epoch": 0.0248,
      "grad_norm": 3.6789483112868817,
      "learning_rate": 4.998827744709457e-06,
      "loss": 0.5151,
      "step": 93
    },
    {
      "epoch": 0.025066666666666668,
      "grad_norm": 3.6727854869156733,
      "learning_rate": 4.998761720348984e-06,
      "loss": 0.5391,
      "step": 94
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 3.6735755581735043,
      "learning_rate": 4.99869388770739e-06,
      "loss": 0.5439,
      "step": 95
    },
    {
      "epoch": 0.0256,
      "grad_norm": 3.8225889183763493,
      "learning_rate": 4.998624246833764e-06,
      "loss": 0.5479,
      "step": 96
    },
    {
      "epoch": 0.025866666666666666,
      "grad_norm": 4.541475336968338,
      "learning_rate": 4.998552797778503e-06,
      "loss": 0.5631,
      "step": 97
    },
    {
      "epoch": 0.026133333333333335,
      "grad_norm": 3.716982842811319,
      "learning_rate": 4.998479540593313e-06,
      "loss": 0.5359,
      "step": 98
    },
    {
      "epoch": 0.0264,
      "grad_norm": 3.87105906410667,
      "learning_rate": 4.998404475331207e-06,
      "loss": 0.5079,
      "step": 99
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 4.640660694203583,
      "learning_rate": 4.998327602046509e-06,
      "loss": 0.5931,
      "step": 100
    },
    {
      "epoch": 0.026933333333333333,
      "grad_norm": 3.931945796970524,
      "learning_rate": 4.998248920794848e-06,
      "loss": 0.6112,
      "step": 101
    },
    {
      "epoch": 0.0272,
      "grad_norm": 3.6011115802109357,
      "learning_rate": 4.998168431633166e-06,
      "loss": 0.5479,
      "step": 102
    },
    {
      "epoch": 0.027466666666666667,
      "grad_norm": 3.7922912213009674,
      "learning_rate": 4.998086134619708e-06,
      "loss": 0.5408,
      "step": 103
    },
    {
      "epoch": 0.027733333333333332,
      "grad_norm": 5.230073812133869,
      "learning_rate": 4.998002029814032e-06,
      "loss": 0.5253,
      "step": 104
    },
    {
      "epoch": 0.028,
      "grad_norm": 3.3549558199957987,
      "learning_rate": 4.997916117277e-06,
      "loss": 0.4897,
      "step": 105
    },
    {
      "epoch": 0.028266666666666666,
      "grad_norm": 3.2546829730647167,
      "learning_rate": 4.997828397070787e-06,
      "loss": 0.4921,
      "step": 106
    },
    {
      "epoch": 0.028533333333333334,
      "grad_norm": 3.5467011504565726,
      "learning_rate": 4.997738869258871e-06,
      "loss": 0.5343,
      "step": 107
    },
    {
      "epoch": 0.0288,
      "grad_norm": 3.299989078332568,
      "learning_rate": 4.997647533906043e-06,
      "loss": 0.5215,
      "step": 108
    },
    {
      "epoch": 0.029066666666666668,
      "grad_norm": 3.377007248269215,
      "learning_rate": 4.997554391078398e-06,
      "loss": 0.5329,
      "step": 109
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 3.2141221604903945,
      "learning_rate": 4.997459440843342e-06,
      "loss": 0.4558,
      "step": 110
    },
    {
      "epoch": 0.0296,
      "grad_norm": 3.3463765683517708,
      "learning_rate": 4.997362683269587e-06,
      "loss": 0.5167,
      "step": 111
    },
    {
      "epoch": 0.029866666666666666,
      "grad_norm": 3.5339087474526027,
      "learning_rate": 4.997264118427153e-06,
      "loss": 0.5159,
      "step": 112
    },
    {
      "epoch": 0.030133333333333335,
      "grad_norm": 3.8098671461388793,
      "learning_rate": 4.99716374638737e-06,
      "loss": 0.5734,
      "step": 113
    },
    {
      "epoch": 0.0304,
      "grad_norm": 3.2757471712055244,
      "learning_rate": 4.997061567222873e-06,
      "loss": 0.486,
      "step": 114
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 3.286678784675395,
      "learning_rate": 4.996957581007608e-06,
      "loss": 0.5165,
      "step": 115
    },
    {
      "epoch": 0.030933333333333334,
      "grad_norm": 3.6434219044744136,
      "learning_rate": 4.9968517878168245e-06,
      "loss": 0.5237,
      "step": 116
    },
    {
      "epoch": 0.0312,
      "grad_norm": 3.627938615615135,
      "learning_rate": 4.996744187727083e-06,
      "loss": 0.5142,
      "step": 117
    },
    {
      "epoch": 0.031466666666666664,
      "grad_norm": 3.320853097575591,
      "learning_rate": 4.99663478081625e-06,
      "loss": 0.5195,
      "step": 118
    },
    {
      "epoch": 0.031733333333333336,
      "grad_norm": 3.6391771571423654,
      "learning_rate": 4.996523567163502e-06,
      "loss": 0.5618,
      "step": 119
    },
    {
      "epoch": 0.032,
      "grad_norm": 3.4863362691510322,
      "learning_rate": 4.996410546849318e-06,
      "loss": 0.5404,
      "step": 120
    },
    {
      "epoch": 0.032266666666666666,
      "grad_norm": 4.017840443053972,
      "learning_rate": 4.996295719955491e-06,
      "loss": 0.5362,
      "step": 121
    },
    {
      "epoch": 0.03253333333333333,
      "grad_norm": 3.2984055568221984,
      "learning_rate": 4.996179086565114e-06,
      "loss": 0.4817,
      "step": 122
    },
    {
      "epoch": 0.0328,
      "grad_norm": 3.035660532380442,
      "learning_rate": 4.996060646762595e-06,
      "loss": 0.4517,
      "step": 123
    },
    {
      "epoch": 0.03306666666666667,
      "grad_norm": 3.539994686736976,
      "learning_rate": 4.995940400633643e-06,
      "loss": 0.528,
      "step": 124
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 3.334218903660853,
      "learning_rate": 4.995818348265278e-06,
      "loss": 0.4999,
      "step": 125
    },
    {
      "epoch": 0.0336,
      "grad_norm": 3.964059548314963,
      "learning_rate": 4.995694489745824e-06,
      "loss": 0.5518,
      "step": 126
    },
    {
      "epoch": 0.03386666666666667,
      "grad_norm": 3.3899972345657137,
      "learning_rate": 4.995568825164915e-06,
      "loss": 0.5279,
      "step": 127
    },
    {
      "epoch": 0.034133333333333335,
      "grad_norm": 3.5709219668983643,
      "learning_rate": 4.995441354613491e-06,
      "loss": 0.5486,
      "step": 128
    },
    {
      "epoch": 0.0344,
      "grad_norm": 4.98908649883216,
      "learning_rate": 4.995312078183798e-06,
      "loss": 0.5248,
      "step": 129
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 3.4693372789893764,
      "learning_rate": 4.995180995969391e-06,
      "loss": 0.5555,
      "step": 130
    },
    {
      "epoch": 0.03493333333333333,
      "grad_norm": 3.1631371509927786,
      "learning_rate": 4.995048108065129e-06,
      "loss": 0.4766,
      "step": 131
    },
    {
      "epoch": 0.0352,
      "grad_norm": 3.6587619499659767,
      "learning_rate": 4.994913414567179e-06,
      "loss": 0.5211,
      "step": 132
    },
    {
      "epoch": 0.03546666666666667,
      "grad_norm": 3.3219752454058558,
      "learning_rate": 4.9947769155730155e-06,
      "loss": 0.5275,
      "step": 133
    },
    {
      "epoch": 0.03573333333333333,
      "grad_norm": 3.413632369325516,
      "learning_rate": 4.994638611181418e-06,
      "loss": 0.5289,
      "step": 134
    },
    {
      "epoch": 0.036,
      "grad_norm": 3.6136773511380684,
      "learning_rate": 4.994498501492475e-06,
      "loss": 0.5283,
      "step": 135
    },
    {
      "epoch": 0.03626666666666667,
      "grad_norm": 4.026084256616267,
      "learning_rate": 4.994356586607578e-06,
      "loss": 0.5208,
      "step": 136
    },
    {
      "epoch": 0.036533333333333334,
      "grad_norm": 3.722023910761381,
      "learning_rate": 4.994212866629428e-06,
      "loss": 0.5414,
      "step": 137
    },
    {
      "epoch": 0.0368,
      "grad_norm": 3.5528597040724392,
      "learning_rate": 4.99406734166203e-06,
      "loss": 0.5266,
      "step": 138
    },
    {
      "epoch": 0.037066666666666664,
      "grad_norm": 3.1590905669047276,
      "learning_rate": 4.9939200118106965e-06,
      "loss": 0.4458,
      "step": 139
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 3.246167195189022,
      "learning_rate": 4.9937708771820465e-06,
      "loss": 0.5281,
      "step": 140
    },
    {
      "epoch": 0.0376,
      "grad_norm": 3.336184435055362,
      "learning_rate": 4.993619937884003e-06,
      "loss": 0.5229,
      "step": 141
    },
    {
      "epoch": 0.037866666666666667,
      "grad_norm": 4.121329975887411,
      "learning_rate": 4.993467194025798e-06,
      "loss": 0.6044,
      "step": 142
    },
    {
      "epoch": 0.03813333333333333,
      "grad_norm": 3.5145940681973973,
      "learning_rate": 4.9933126457179664e-06,
      "loss": 0.5135,
      "step": 143
    },
    {
      "epoch": 0.0384,
      "grad_norm": 3.826425100945296,
      "learning_rate": 4.993156293072351e-06,
      "loss": 0.5524,
      "step": 144
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 3.2350581179193956,
      "learning_rate": 4.9929981362021e-06,
      "loss": 0.4861,
      "step": 145
    },
    {
      "epoch": 0.038933333333333334,
      "grad_norm": 3.5244201937931736,
      "learning_rate": 4.992838175221665e-06,
      "loss": 0.4949,
      "step": 146
    },
    {
      "epoch": 0.0392,
      "grad_norm": 3.345002474222351,
      "learning_rate": 4.992676410246808e-06,
      "loss": 0.4843,
      "step": 147
    },
    {
      "epoch": 0.039466666666666664,
      "grad_norm": 3.982107262081199,
      "learning_rate": 4.9925128413945915e-06,
      "loss": 0.5169,
      "step": 148
    },
    {
      "epoch": 0.039733333333333336,
      "grad_norm": 4.420206156116031,
      "learning_rate": 4.992347468783386e-06,
      "loss": 0.519,
      "step": 149
    },
    {
      "epoch": 0.04,
      "grad_norm": 3.5986824396586155,
      "learning_rate": 4.992180292532868e-06,
      "loss": 0.4976,
      "step": 150
    },
    {
      "epoch": 0.040266666666666666,
      "grad_norm": 3.4658534857792276,
      "learning_rate": 4.9920113127640154e-06,
      "loss": 0.5241,
      "step": 151
    },
    {
      "epoch": 0.04053333333333333,
      "grad_norm": 3.2345602463007004,
      "learning_rate": 4.991840529599117e-06,
      "loss": 0.5189,
      "step": 152
    },
    {
      "epoch": 0.0408,
      "grad_norm": 3.016814163613408,
      "learning_rate": 4.991667943161762e-06,
      "loss": 0.4747,
      "step": 153
    },
    {
      "epoch": 0.04106666666666667,
      "grad_norm": 3.307813360099244,
      "learning_rate": 4.991493553576846e-06,
      "loss": 0.5055,
      "step": 154
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 3.312645878921915,
      "learning_rate": 4.99131736097057e-06,
      "loss": 0.5269,
      "step": 155
    },
    {
      "epoch": 0.0416,
      "grad_norm": 3.376637583630637,
      "learning_rate": 4.991139365470441e-06,
      "loss": 0.5312,
      "step": 156
    },
    {
      "epoch": 0.04186666666666667,
      "grad_norm": 3.1609600696998936,
      "learning_rate": 4.990959567205266e-06,
      "loss": 0.5342,
      "step": 157
    },
    {
      "epoch": 0.042133333333333335,
      "grad_norm": 3.187100198932855,
      "learning_rate": 4.990777966305163e-06,
      "loss": 0.493,
      "step": 158
    },
    {
      "epoch": 0.0424,
      "grad_norm": 3.185942977276951,
      "learning_rate": 4.9905945629015485e-06,
      "loss": 0.507,
      "step": 159
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 2.832730109420205,
      "learning_rate": 4.990409357127148e-06,
      "loss": 0.4496,
      "step": 160
    },
    {
      "epoch": 0.04293333333333333,
      "grad_norm": 3.5486910780160223,
      "learning_rate": 4.990222349115988e-06,
      "loss": 0.5449,
      "step": 161
    },
    {
      "epoch": 0.0432,
      "grad_norm": 3.3570318486359856,
      "learning_rate": 4.990033539003404e-06,
      "loss": 0.5021,
      "step": 162
    },
    {
      "epoch": 0.04346666666666667,
      "grad_norm": 3.2864368490605322,
      "learning_rate": 4.989842926926028e-06,
      "loss": 0.5108,
      "step": 163
    },
    {
      "epoch": 0.04373333333333333,
      "grad_norm": 3.8078930431509477,
      "learning_rate": 4.989650513021803e-06,
      "loss": 0.5953,
      "step": 164
    },
    {
      "epoch": 0.044,
      "grad_norm": 3.8458072867492015,
      "learning_rate": 4.989456297429974e-06,
      "loss": 0.5775,
      "step": 165
    },
    {
      "epoch": 0.04426666666666667,
      "grad_norm": 3.5151007100059233,
      "learning_rate": 4.989260280291087e-06,
      "loss": 0.5063,
      "step": 166
    },
    {
      "epoch": 0.044533333333333334,
      "grad_norm": 3.4882619459535666,
      "learning_rate": 4.989062461746995e-06,
      "loss": 0.5249,
      "step": 167
    },
    {
      "epoch": 0.0448,
      "grad_norm": 3.295879769050429,
      "learning_rate": 4.9888628419408545e-06,
      "loss": 0.512,
      "step": 168
    },
    {
      "epoch": 0.045066666666666665,
      "grad_norm": 3.3337316655894855,
      "learning_rate": 4.988661421017123e-06,
      "loss": 0.4908,
      "step": 169
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 3.211645501056716,
      "learning_rate": 4.988458199121562e-06,
      "loss": 0.4842,
      "step": 170
    },
    {
      "epoch": 0.0456,
      "grad_norm": 3.0876353420668377,
      "learning_rate": 4.988253176401241e-06,
      "loss": 0.4813,
      "step": 171
    },
    {
      "epoch": 0.04586666666666667,
      "grad_norm": 3.0913792444791204,
      "learning_rate": 4.988046353004525e-06,
      "loss": 0.4923,
      "step": 172
    },
    {
      "epoch": 0.04613333333333333,
      "grad_norm": 3.5551205990787027,
      "learning_rate": 4.987837729081089e-06,
      "loss": 0.4992,
      "step": 173
    },
    {
      "epoch": 0.0464,
      "grad_norm": 3.4399895908034623,
      "learning_rate": 4.9876273047819065e-06,
      "loss": 0.5462,
      "step": 174
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 3.2640876711512834,
      "learning_rate": 4.987415080259256e-06,
      "loss": 0.5499,
      "step": 175
    },
    {
      "epoch": 0.046933333333333334,
      "grad_norm": 3.7173026805349965,
      "learning_rate": 4.987201055666717e-06,
      "loss": 0.5707,
      "step": 176
    },
    {
      "epoch": 0.0472,
      "grad_norm": 3.5354598511524404,
      "learning_rate": 4.986985231159175e-06,
      "loss": 0.5446,
      "step": 177
    },
    {
      "epoch": 0.047466666666666664,
      "grad_norm": 3.663928727125482,
      "learning_rate": 4.986767606892814e-06,
      "loss": 0.6136,
      "step": 178
    },
    {
      "epoch": 0.047733333333333336,
      "grad_norm": 3.081817993285177,
      "learning_rate": 4.986548183025124e-06,
      "loss": 0.502,
      "step": 179
    },
    {
      "epoch": 0.048,
      "grad_norm": 3.3567444350330904,
      "learning_rate": 4.986326959714894e-06,
      "loss": 0.5155,
      "step": 180
    },
    {
      "epoch": 0.048266666666666666,
      "grad_norm": 3.522848483596829,
      "learning_rate": 4.986103937122218e-06,
      "loss": 0.5469,
      "step": 181
    },
    {
      "epoch": 0.04853333333333333,
      "grad_norm": 3.076570282124742,
      "learning_rate": 4.985879115408491e-06,
      "loss": 0.493,
      "step": 182
    },
    {
      "epoch": 0.0488,
      "grad_norm": 3.246018535433531,
      "learning_rate": 4.985652494736409e-06,
      "loss": 0.5336,
      "step": 183
    },
    {
      "epoch": 0.04906666666666667,
      "grad_norm": 3.4873058597226234,
      "learning_rate": 4.985424075269971e-06,
      "loss": 0.5816,
      "step": 184
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 3.396574458152799,
      "learning_rate": 4.985193857174479e-06,
      "loss": 0.5447,
      "step": 185
    },
    {
      "epoch": 0.0496,
      "grad_norm": 4.565469725849569,
      "learning_rate": 4.9849618406165335e-06,
      "loss": 0.5715,
      "step": 186
    },
    {
      "epoch": 0.04986666666666666,
      "grad_norm": 3.5035500712230276,
      "learning_rate": 4.984728025764038e-06,
      "loss": 0.5658,
      "step": 187
    },
    {
      "epoch": 0.050133333333333335,
      "grad_norm": 3.561498119385834,
      "learning_rate": 4.984492412786199e-06,
      "loss": 0.4894,
      "step": 188
    },
    {
      "epoch": 0.0504,
      "grad_norm": 3.0436725898311074,
      "learning_rate": 4.984255001853522e-06,
      "loss": 0.5433,
      "step": 189
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 3.1382958166692156,
      "learning_rate": 4.984015793137813e-06,
      "loss": 0.492,
      "step": 190
    },
    {
      "epoch": 0.05093333333333333,
      "grad_norm": 4.235309482041514,
      "learning_rate": 4.983774786812183e-06,
      "loss": 0.5318,
      "step": 191
    },
    {
      "epoch": 0.0512,
      "grad_norm": 2.9330887653974647,
      "learning_rate": 4.98353198305104e-06,
      "loss": 0.4835,
      "step": 192
    },
    {
      "epoch": 0.05146666666666667,
      "grad_norm": 5.016620741657026,
      "learning_rate": 4.983287382030093e-06,
      "loss": 0.4793,
      "step": 193
    },
    {
      "epoch": 0.05173333333333333,
      "grad_norm": 3.136151048883616,
      "learning_rate": 4.983040983926354e-06,
      "loss": 0.4776,
      "step": 194
    },
    {
      "epoch": 0.052,
      "grad_norm": 3.189686296710991,
      "learning_rate": 4.982792788918133e-06,
      "loss": 0.515,
      "step": 195
    },
    {
      "epoch": 0.05226666666666667,
      "grad_norm": 3.059085616414067,
      "learning_rate": 4.982542797185043e-06,
      "loss": 0.4702,
      "step": 196
    },
    {
      "epoch": 0.052533333333333335,
      "grad_norm": 3.3213544062570883,
      "learning_rate": 4.982291008907995e-06,
      "loss": 0.547,
      "step": 197
    },
    {
      "epoch": 0.0528,
      "grad_norm": 3.4227005646532227,
      "learning_rate": 4.982037424269201e-06,
      "loss": 0.4895,
      "step": 198
    },
    {
      "epoch": 0.053066666666666665,
      "grad_norm": 3.3236057852775867,
      "learning_rate": 4.981782043452171e-06,
      "loss": 0.5303,
      "step": 199
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 3.486664543933442,
      "learning_rate": 4.9815248666417205e-06,
      "loss": 0.5269,
      "step": 200
    },
    {
      "epoch": 0.0536,
      "grad_norm": 4.332963857319183,
      "learning_rate": 4.981265894023957e-06,
      "loss": 0.5649,
      "step": 201
    },
    {
      "epoch": 0.05386666666666667,
      "grad_norm": 3.1022291834137907,
      "learning_rate": 4.981005125786293e-06,
      "loss": 0.4833,
      "step": 202
    },
    {
      "epoch": 0.05413333333333333,
      "grad_norm": 3.2711645634738056,
      "learning_rate": 4.980742562117441e-06,
      "loss": 0.5431,
      "step": 203
    },
    {
      "epoch": 0.0544,
      "grad_norm": 3.4015751797130473,
      "learning_rate": 4.980478203207407e-06,
      "loss": 0.5611,
      "step": 204
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 3.1927520965535288,
      "learning_rate": 4.9802120492475015e-06,
      "loss": 0.5106,
      "step": 205
    },
    {
      "epoch": 0.054933333333333334,
      "grad_norm": 3.1946773961545247,
      "learning_rate": 4.979944100430333e-06,
      "loss": 0.4582,
      "step": 206
    },
    {
      "epoch": 0.0552,
      "grad_norm": 3.148182228958422,
      "learning_rate": 4.979674356949807e-06,
      "loss": 0.4843,
      "step": 207
    },
    {
      "epoch": 0.055466666666666664,
      "grad_norm": 3.8754028003825254,
      "learning_rate": 4.97940281900113e-06,
      "loss": 0.5448,
      "step": 208
    },
    {
      "epoch": 0.055733333333333336,
      "grad_norm": 3.1047793562904693,
      "learning_rate": 4.979129486780806e-06,
      "loss": 0.4934,
      "step": 209
    },
    {
      "epoch": 0.056,
      "grad_norm": 3.3620139633336437,
      "learning_rate": 4.978854360486637e-06,
      "loss": 0.4717,
      "step": 210
    },
    {
      "epoch": 0.056266666666666666,
      "grad_norm": 3.5251150225827534,
      "learning_rate": 4.978577440317724e-06,
      "loss": 0.5377,
      "step": 211
    },
    {
      "epoch": 0.05653333333333333,
      "grad_norm": 3.0739987143745617,
      "learning_rate": 4.978298726474467e-06,
      "loss": 0.4884,
      "step": 212
    },
    {
      "epoch": 0.0568,
      "grad_norm": 3.5204582854821234,
      "learning_rate": 4.978018219158562e-06,
      "loss": 0.5303,
      "step": 213
    },
    {
      "epoch": 0.05706666666666667,
      "grad_norm": 3.3814681802707907,
      "learning_rate": 4.977735918573005e-06,
      "loss": 0.5058,
      "step": 214
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 3.104430749225578,
      "learning_rate": 4.977451824922087e-06,
      "loss": 0.496,
      "step": 215
    },
    {
      "epoch": 0.0576,
      "grad_norm": 3.2829930934640417,
      "learning_rate": 4.977165938411399e-06,
      "loss": 0.5096,
      "step": 216
    },
    {
      "epoch": 0.057866666666666663,
      "grad_norm": 3.664283813470016,
      "learning_rate": 4.9768782592478306e-06,
      "loss": 0.5316,
      "step": 217
    },
    {
      "epoch": 0.058133333333333335,
      "grad_norm": 3.056204172084974,
      "learning_rate": 4.976588787639565e-06,
      "loss": 0.4942,
      "step": 218
    },
    {
      "epoch": 0.0584,
      "grad_norm": 3.5701306872309657,
      "learning_rate": 4.9762975237960845e-06,
      "loss": 0.5205,
      "step": 219
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 3.067161195753053,
      "learning_rate": 4.976004467928167e-06,
      "loss": 0.4717,
      "step": 220
    },
    {
      "epoch": 0.05893333333333333,
      "grad_norm": 3.2754891029241406,
      "learning_rate": 4.975709620247892e-06,
      "loss": 0.4363,
      "step": 221
    },
    {
      "epoch": 0.0592,
      "grad_norm": 3.280975123781493,
      "learning_rate": 4.9754129809686295e-06,
      "loss": 0.5078,
      "step": 222
    },
    {
      "epoch": 0.05946666666666667,
      "grad_norm": 4.6404012909163725,
      "learning_rate": 4.975114550305049e-06,
      "loss": 0.5093,
      "step": 223
    },
    {
      "epoch": 0.05973333333333333,
      "grad_norm": 3.3186040152109593,
      "learning_rate": 4.9748143284731175e-06,
      "loss": 0.5364,
      "step": 224
    },
    {
      "epoch": 0.06,
      "grad_norm": 2.937376527701268,
      "learning_rate": 4.974512315690096e-06,
      "loss": 0.4826,
      "step": 225
    },
    {
      "epoch": 0.06026666666666667,
      "grad_norm": 3.254641274419012,
      "learning_rate": 4.974208512174541e-06,
      "loss": 0.5104,
      "step": 226
    },
    {
      "epoch": 0.060533333333333335,
      "grad_norm": 3.6088946260925177,
      "learning_rate": 4.973902918146308e-06,
      "loss": 0.5738,
      "step": 227
    },
    {
      "epoch": 0.0608,
      "grad_norm": 3.729124099935541,
      "learning_rate": 4.973595533826545e-06,
      "loss": 0.5655,
      "step": 228
    },
    {
      "epoch": 0.061066666666666665,
      "grad_norm": 3.1315940399195794,
      "learning_rate": 4.973286359437699e-06,
      "loss": 0.5506,
      "step": 229
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 3.682497819886356,
      "learning_rate": 4.972975395203509e-06,
      "loss": 0.5055,
      "step": 230
    },
    {
      "epoch": 0.0616,
      "grad_norm": 3.1545061287940848,
      "learning_rate": 4.972662641349012e-06,
      "loss": 0.4924,
      "step": 231
    },
    {
      "epoch": 0.06186666666666667,
      "grad_norm": 3.763625472437068,
      "learning_rate": 4.972348098100537e-06,
      "loss": 0.5222,
      "step": 232
    },
    {
      "epoch": 0.06213333333333333,
      "grad_norm": 3.0281751446094516,
      "learning_rate": 4.972031765685712e-06,
      "loss": 0.5141,
      "step": 233
    },
    {
      "epoch": 0.0624,
      "grad_norm": 3.455763493296629,
      "learning_rate": 4.971713644333456e-06,
      "loss": 0.5127,
      "step": 234
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 2.8541532859174823,
      "learning_rate": 4.9713937342739845e-06,
      "loss": 0.4203,
      "step": 235
    },
    {
      "epoch": 0.06293333333333333,
      "grad_norm": 2.9908237851704187,
      "learning_rate": 4.9710720357388076e-06,
      "loss": 0.4563,
      "step": 236
    },
    {
      "epoch": 0.0632,
      "grad_norm": 3.602774863246798,
      "learning_rate": 4.9707485489607285e-06,
      "loss": 0.4919,
      "step": 237
    },
    {
      "epoch": 0.06346666666666667,
      "grad_norm": 3.1779524726831787,
      "learning_rate": 4.970423274173845e-06,
      "loss": 0.4912,
      "step": 238
    },
    {
      "epoch": 0.06373333333333334,
      "grad_norm": 3.4015075885465573,
      "learning_rate": 4.97009621161355e-06,
      "loss": 0.5219,
      "step": 239
    },
    {
      "epoch": 0.064,
      "grad_norm": 3.332450655998677,
      "learning_rate": 4.969767361516529e-06,
      "loss": 0.5433,
      "step": 240
    },
    {
      "epoch": 0.06426666666666667,
      "grad_norm": 3.259291883649026,
      "learning_rate": 4.969436724120761e-06,
      "loss": 0.5344,
      "step": 241
    },
    {
      "epoch": 0.06453333333333333,
      "grad_norm": 3.4133033935843358,
      "learning_rate": 4.969104299665517e-06,
      "loss": 0.506,
      "step": 242
    },
    {
      "epoch": 0.0648,
      "grad_norm": 3.50586708733024,
      "learning_rate": 4.968770088391366e-06,
      "loss": 0.5296,
      "step": 243
    },
    {
      "epoch": 0.06506666666666666,
      "grad_norm": 3.3747741323442155,
      "learning_rate": 4.968434090540165e-06,
      "loss": 0.535,
      "step": 244
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 3.6575919074486816,
      "learning_rate": 4.968096306355066e-06,
      "loss": 0.5698,
      "step": 245
    },
    {
      "epoch": 0.0656,
      "grad_norm": 4.170142084339481,
      "learning_rate": 4.967756736080514e-06,
      "loss": 0.6019,
      "step": 246
    },
    {
      "epoch": 0.06586666666666667,
      "grad_norm": 3.203204961842512,
      "learning_rate": 4.967415379962246e-06,
      "loss": 0.4977,
      "step": 247
    },
    {
      "epoch": 0.06613333333333334,
      "grad_norm": 3.3205074228970326,
      "learning_rate": 4.967072238247291e-06,
      "loss": 0.51,
      "step": 248
    },
    {
      "epoch": 0.0664,
      "grad_norm": 2.988259466863908,
      "learning_rate": 4.966727311183971e-06,
      "loss": 0.4508,
      "step": 249
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 3.138002031798859,
      "learning_rate": 4.966380599021901e-06,
      "loss": 0.5175,
      "step": 250
    },
    {
      "epoch": 0.06693333333333333,
      "grad_norm": 3.2906120137705006,
      "learning_rate": 4.966032102011984e-06,
      "loss": 0.502,
      "step": 251
    },
    {
      "epoch": 0.0672,
      "grad_norm": 3.609166949916554,
      "learning_rate": 4.9656818204064185e-06,
      "loss": 0.5466,
      "step": 252
    },
    {
      "epoch": 0.06746666666666666,
      "grad_norm": 3.066079905140308,
      "learning_rate": 4.9653297544586945e-06,
      "loss": 0.5128,
      "step": 253
    },
    {
      "epoch": 0.06773333333333334,
      "grad_norm": 3.119169052181802,
      "learning_rate": 4.964975904423589e-06,
      "loss": 0.4989,
      "step": 254
    },
    {
      "epoch": 0.068,
      "grad_norm": 3.753147368129673,
      "learning_rate": 4.964620270557175e-06,
      "loss": 0.5763,
      "step": 255
    },
    {
      "epoch": 0.06826666666666667,
      "grad_norm": 2.959157022454219,
      "learning_rate": 4.964262853116813e-06,
      "loss": 0.4902,
      "step": 256
    },
    {
      "epoch": 0.06853333333333333,
      "grad_norm": 3.0209969259082956,
      "learning_rate": 4.963903652361157e-06,
      "loss": 0.4947,
      "step": 257
    },
    {
      "epoch": 0.0688,
      "grad_norm": 4.072573433131865,
      "learning_rate": 4.963542668550149e-06,
      "loss": 0.6255,
      "step": 258
    },
    {
      "epoch": 0.06906666666666667,
      "grad_norm": 2.95427106736962,
      "learning_rate": 4.963179901945024e-06,
      "loss": 0.461,
      "step": 259
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 3.4814213837495194,
      "learning_rate": 4.962815352808303e-06,
      "loss": 0.6273,
      "step": 260
    },
    {
      "epoch": 0.0696,
      "grad_norm": 3.1554426358956245,
      "learning_rate": 4.962449021403803e-06,
      "loss": 0.5164,
      "step": 261
    },
    {
      "epoch": 0.06986666666666666,
      "grad_norm": 2.8900787912158985,
      "learning_rate": 4.962080907996625e-06,
      "loss": 0.4476,
      "step": 262
    },
    {
      "epoch": 0.07013333333333334,
      "grad_norm": 2.7762042175274466,
      "learning_rate": 4.961711012853161e-06,
      "loss": 0.4884,
      "step": 263
    },
    {
      "epoch": 0.0704,
      "grad_norm": 3.0855121371309977,
      "learning_rate": 4.961339336241097e-06,
      "loss": 0.5087,
      "step": 264
    },
    {
      "epoch": 0.07066666666666667,
      "grad_norm": 3.003609553271574,
      "learning_rate": 4.960965878429401e-06,
      "loss": 0.4643,
      "step": 265
    },
    {
      "epoch": 0.07093333333333333,
      "grad_norm": 3.2000172051603832,
      "learning_rate": 4.960590639688335e-06,
      "loss": 0.579,
      "step": 266
    },
    {
      "epoch": 0.0712,
      "grad_norm": 3.4002117777790044,
      "learning_rate": 4.960213620289449e-06,
      "loss": 0.5512,
      "step": 267
    },
    {
      "epoch": 0.07146666666666666,
      "grad_norm": 2.7426088172462615,
      "learning_rate": 4.9598348205055804e-06,
      "loss": 0.4477,
      "step": 268
    },
    {
      "epoch": 0.07173333333333333,
      "grad_norm": 3.217406633017094,
      "learning_rate": 4.959454240610855e-06,
      "loss": 0.4665,
      "step": 269
    },
    {
      "epoch": 0.072,
      "grad_norm": 2.7424242503019234,
      "learning_rate": 4.959071880880688e-06,
      "loss": 0.4864,
      "step": 270
    },
    {
      "epoch": 0.07226666666666667,
      "grad_norm": 3.2383925542719267,
      "learning_rate": 4.958687741591782e-06,
      "loss": 0.5033,
      "step": 271
    },
    {
      "epoch": 0.07253333333333334,
      "grad_norm": 2.944759935358767,
      "learning_rate": 4.958301823022128e-06,
      "loss": 0.4653,
      "step": 272
    },
    {
      "epoch": 0.0728,
      "grad_norm": 3.306727132636148,
      "learning_rate": 4.957914125451002e-06,
      "loss": 0.5216,
      "step": 273
    },
    {
      "epoch": 0.07306666666666667,
      "grad_norm": 3.3226087721172775,
      "learning_rate": 4.9575246491589715e-06,
      "loss": 0.5207,
      "step": 274
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 2.9530470731607306,
      "learning_rate": 4.957133394427887e-06,
      "loss": 0.4839,
      "step": 275
    },
    {
      "epoch": 0.0736,
      "grad_norm": 3.2167650259477387,
      "learning_rate": 4.956740361540891e-06,
      "loss": 0.5313,
      "step": 276
    },
    {
      "epoch": 0.07386666666666666,
      "grad_norm": 2.9421123565434786,
      "learning_rate": 4.956345550782409e-06,
      "loss": 0.4669,
      "step": 277
    },
    {
      "epoch": 0.07413333333333333,
      "grad_norm": 2.90077015588377,
      "learning_rate": 4.955948962438153e-06,
      "loss": 0.482,
      "step": 278
    },
    {
      "epoch": 0.0744,
      "grad_norm": 3.375056174651594,
      "learning_rate": 4.955550596795122e-06,
      "loss": 0.5441,
      "step": 279
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 3.3311086840158013,
      "learning_rate": 4.955150454141604e-06,
      "loss": 0.5077,
      "step": 280
    },
    {
      "epoch": 0.07493333333333334,
      "grad_norm": 4.277471771214726,
      "learning_rate": 4.954748534767169e-06,
      "loss": 0.5704,
      "step": 281
    },
    {
      "epoch": 0.0752,
      "grad_norm": 3.2120790845261227,
      "learning_rate": 4.9543448389626745e-06,
      "loss": 0.5212,
      "step": 282
    },
    {
      "epoch": 0.07546666666666667,
      "grad_norm": 3.332656408177282,
      "learning_rate": 4.953939367020263e-06,
      "loss": 0.5488,
      "step": 283
    },
    {
      "epoch": 0.07573333333333333,
      "grad_norm": 3.29732222076447,
      "learning_rate": 4.953532119233364e-06,
      "loss": 0.5125,
      "step": 284
    },
    {
      "epoch": 0.076,
      "grad_norm": 3.1493202901722803,
      "learning_rate": 4.953123095896689e-06,
      "loss": 0.5554,
      "step": 285
    },
    {
      "epoch": 0.07626666666666666,
      "grad_norm": 3.1553700940745775,
      "learning_rate": 4.952712297306239e-06,
      "loss": 0.5378,
      "step": 286
    },
    {
      "epoch": 0.07653333333333333,
      "grad_norm": 3.0805402101789903,
      "learning_rate": 4.952299723759294e-06,
      "loss": 0.43,
      "step": 287
    },
    {
      "epoch": 0.0768,
      "grad_norm": 3.24388342131281,
      "learning_rate": 4.951885375554424e-06,
      "loss": 0.4979,
      "step": 288
    },
    {
      "epoch": 0.07706666666666667,
      "grad_norm": 3.1925633374167557,
      "learning_rate": 4.951469252991478e-06,
      "loss": 0.5286,
      "step": 289
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 2.763637076972043,
      "learning_rate": 4.951051356371594e-06,
      "loss": 0.4595,
      "step": 290
    },
    {
      "epoch": 0.0776,
      "grad_norm": 3.1697385452434363,
      "learning_rate": 4.950631685997192e-06,
      "loss": 0.495,
      "step": 291
    },
    {
      "epoch": 0.07786666666666667,
      "grad_norm": 2.974169891477938,
      "learning_rate": 4.950210242171973e-06,
      "loss": 0.4376,
      "step": 292
    },
    {
      "epoch": 0.07813333333333333,
      "grad_norm": 3.1528177407208404,
      "learning_rate": 4.949787025200926e-06,
      "loss": 0.481,
      "step": 293
    },
    {
      "epoch": 0.0784,
      "grad_norm": 3.4694867948212536,
      "learning_rate": 4.949362035390318e-06,
      "loss": 0.496,
      "step": 294
    },
    {
      "epoch": 0.07866666666666666,
      "grad_norm": 2.7648421648720993,
      "learning_rate": 4.948935273047705e-06,
      "loss": 0.4466,
      "step": 295
    },
    {
      "epoch": 0.07893333333333333,
      "grad_norm": 2.8480008205339336,
      "learning_rate": 4.94850673848192e-06,
      "loss": 0.4392,
      "step": 296
    },
    {
      "epoch": 0.0792,
      "grad_norm": 3.1089410004305154,
      "learning_rate": 4.9480764320030825e-06,
      "loss": 0.4888,
      "step": 297
    },
    {
      "epoch": 0.07946666666666667,
      "grad_norm": 2.920424246406726,
      "learning_rate": 4.947644353922592e-06,
      "loss": 0.4675,
      "step": 298
    },
    {
      "epoch": 0.07973333333333334,
      "grad_norm": 3.9239992000533688,
      "learning_rate": 4.94721050455313e-06,
      "loss": 0.5262,
      "step": 299
    },
    {
      "epoch": 0.08,
      "grad_norm": 2.7249612126263703,
      "learning_rate": 4.946774884208663e-06,
      "loss": 0.4854,
      "step": 300
    },
    {
      "epoch": 0.08026666666666667,
      "grad_norm": 2.913710951568275,
      "learning_rate": 4.946337493204434e-06,
      "loss": 0.4897,
      "step": 301
    },
    {
      "epoch": 0.08053333333333333,
      "grad_norm": 3.8780073639147505,
      "learning_rate": 4.945898331856972e-06,
      "loss": 0.5383,
      "step": 302
    },
    {
      "epoch": 0.0808,
      "grad_norm": 3.7168575961295063,
      "learning_rate": 4.945457400484085e-06,
      "loss": 0.5151,
      "step": 303
    },
    {
      "epoch": 0.08106666666666666,
      "grad_norm": 3.086008175995829,
      "learning_rate": 4.945014699404863e-06,
      "loss": 0.5007,
      "step": 304
    },
    {
      "epoch": 0.08133333333333333,
      "grad_norm": 2.935597632906862,
      "learning_rate": 4.944570228939674e-06,
      "loss": 0.5013,
      "step": 305
    },
    {
      "epoch": 0.0816,
      "grad_norm": 3.1192465780900087,
      "learning_rate": 4.944123989410169e-06,
      "loss": 0.5349,
      "step": 306
    },
    {
      "epoch": 0.08186666666666667,
      "grad_norm": 2.7212838937296224,
      "learning_rate": 4.943675981139279e-06,
      "loss": 0.4492,
      "step": 307
    },
    {
      "epoch": 0.08213333333333334,
      "grad_norm": 2.8852966078389635,
      "learning_rate": 4.943226204451215e-06,
      "loss": 0.4626,
      "step": 308
    },
    {
      "epoch": 0.0824,
      "grad_norm": 3.1976276452909786,
      "learning_rate": 4.942774659671465e-06,
      "loss": 0.477,
      "step": 309
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 3.0355743200374357,
      "learning_rate": 4.942321347126802e-06,
      "loss": 0.4618,
      "step": 310
    },
    {
      "epoch": 0.08293333333333333,
      "grad_norm": 3.1595967023987774,
      "learning_rate": 4.9418662671452736e-06,
      "loss": 0.5328,
      "step": 311
    },
    {
      "epoch": 0.0832,
      "grad_norm": 3.011641266496546,
      "learning_rate": 4.941409420056207e-06,
      "loss": 0.5088,
      "step": 312
    },
    {
      "epoch": 0.08346666666666666,
      "grad_norm": 2.8109443382570536,
      "learning_rate": 4.94095080619021e-06,
      "loss": 0.4815,
      "step": 313
    },
    {
      "epoch": 0.08373333333333334,
      "grad_norm": 3.312145642896201,
      "learning_rate": 4.940490425879168e-06,
      "loss": 0.5343,
      "step": 314
    },
    {
      "epoch": 0.084,
      "grad_norm": 3.6576634648839197,
      "learning_rate": 4.940028279456246e-06,
      "loss": 0.5732,
      "step": 315
    },
    {
      "epoch": 0.08426666666666667,
      "grad_norm": 2.808422566167049,
      "learning_rate": 4.9395643672558845e-06,
      "loss": 0.4823,
      "step": 316
    },
    {
      "epoch": 0.08453333333333334,
      "grad_norm": 2.724521312049742,
      "learning_rate": 4.939098689613804e-06,
      "loss": 0.4624,
      "step": 317
    },
    {
      "epoch": 0.0848,
      "grad_norm": 3.030635451165199,
      "learning_rate": 4.9386312468670006e-06,
      "loss": 0.5154,
      "step": 318
    },
    {
      "epoch": 0.08506666666666667,
      "grad_norm": 2.8108276056900032,
      "learning_rate": 4.93816203935375e-06,
      "loss": 0.4705,
      "step": 319
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 2.8513589272695143,
      "learning_rate": 4.9376910674136046e-06,
      "loss": 0.5032,
      "step": 320
    },
    {
      "epoch": 0.0856,
      "grad_norm": 3.402981171265507,
      "learning_rate": 4.937218331387392e-06,
      "loss": 0.4863,
      "step": 321
    },
    {
      "epoch": 0.08586666666666666,
      "grad_norm": 3.5090343774067003,
      "learning_rate": 4.936743831617218e-06,
      "loss": 0.5298,
      "step": 322
    },
    {
      "epoch": 0.08613333333333334,
      "grad_norm": 2.6701587968149108,
      "learning_rate": 4.936267568446463e-06,
      "loss": 0.5137,
      "step": 323
    },
    {
      "epoch": 0.0864,
      "grad_norm": 3.1171642510530946,
      "learning_rate": 4.935789542219788e-06,
      "loss": 0.4956,
      "step": 324
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 3.1611791458015803,
      "learning_rate": 4.9353097532831226e-06,
      "loss": 0.4873,
      "step": 325
    },
    {
      "epoch": 0.08693333333333333,
      "grad_norm": 2.720638425878405,
      "learning_rate": 4.9348282019836796e-06,
      "loss": 0.4655,
      "step": 326
    },
    {
      "epoch": 0.0872,
      "grad_norm": 3.004024325408925,
      "learning_rate": 4.934344888669942e-06,
      "loss": 0.4572,
      "step": 327
    },
    {
      "epoch": 0.08746666666666666,
      "grad_norm": 3.0694214207986996,
      "learning_rate": 4.9338598136916694e-06,
      "loss": 0.4989,
      "step": 328
    },
    {
      "epoch": 0.08773333333333333,
      "grad_norm": 2.739290030976085,
      "learning_rate": 4.933372977399896e-06,
      "loss": 0.4644,
      "step": 329
    },
    {
      "epoch": 0.088,
      "grad_norm": 3.3151124369065887,
      "learning_rate": 4.932884380146933e-06,
      "loss": 0.5423,
      "step": 330
    },
    {
      "epoch": 0.08826666666666666,
      "grad_norm": 3.0388416301956696,
      "learning_rate": 4.9323940222863625e-06,
      "loss": 0.511,
      "step": 331
    },
    {
      "epoch": 0.08853333333333334,
      "grad_norm": 3.179707068073131,
      "learning_rate": 4.931901904173042e-06,
      "loss": 0.4713,
      "step": 332
    },
    {
      "epoch": 0.0888,
      "grad_norm": 3.3132953078234064,
      "learning_rate": 4.931408026163105e-06,
      "loss": 0.5462,
      "step": 333
    },
    {
      "epoch": 0.08906666666666667,
      "grad_norm": 2.919234805416029,
      "learning_rate": 4.930912388613954e-06,
      "loss": 0.5045,
      "step": 334
    },
    {
      "epoch": 0.08933333333333333,
      "grad_norm": 2.9419114356605354,
      "learning_rate": 4.9304149918842695e-06,
      "loss": 0.4426,
      "step": 335
    },
    {
      "epoch": 0.0896,
      "grad_norm": 3.16121644185501,
      "learning_rate": 4.9299158363340015e-06,
      "loss": 0.5156,
      "step": 336
    },
    {
      "epoch": 0.08986666666666666,
      "grad_norm": 2.962139892680703,
      "learning_rate": 4.929414922324376e-06,
      "loss": 0.4817,
      "step": 337
    },
    {
      "epoch": 0.09013333333333333,
      "grad_norm": 3.2256930354654845,
      "learning_rate": 4.928912250217888e-06,
      "loss": 0.5948,
      "step": 338
    },
    {
      "epoch": 0.0904,
      "grad_norm": 3.1466216063370784,
      "learning_rate": 4.928407820378308e-06,
      "loss": 0.498,
      "step": 339
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 3.108236615455063,
      "learning_rate": 4.927901633170677e-06,
      "loss": 0.4611,
      "step": 340
    },
    {
      "epoch": 0.09093333333333334,
      "grad_norm": 3.262199070845579,
      "learning_rate": 4.927393688961308e-06,
      "loss": 0.5408,
      "step": 341
    },
    {
      "epoch": 0.0912,
      "grad_norm": 3.0694839188686553,
      "learning_rate": 4.926883988117785e-06,
      "loss": 0.4861,
      "step": 342
    },
    {
      "epoch": 0.09146666666666667,
      "grad_norm": 3.026280630386309,
      "learning_rate": 4.926372531008964e-06,
      "loss": 0.5218,
      "step": 343
    },
    {
      "epoch": 0.09173333333333333,
      "grad_norm": 4.407937590329267,
      "learning_rate": 4.925859318004972e-06,
      "loss": 0.5192,
      "step": 344
    },
    {
      "epoch": 0.092,
      "grad_norm": 2.818860842895589,
      "learning_rate": 4.925344349477205e-06,
      "loss": 0.4972,
      "step": 345
    },
    {
      "epoch": 0.09226666666666666,
      "grad_norm": 3.0746595540089756,
      "learning_rate": 4.9248276257983315e-06,
      "loss": 0.5268,
      "step": 346
    },
    {
      "epoch": 0.09253333333333333,
      "grad_norm": 3.3727169764530087,
      "learning_rate": 4.92430914734229e-06,
      "loss": 0.5312,
      "step": 347
    },
    {
      "epoch": 0.0928,
      "grad_norm": 2.8550881543639877,
      "learning_rate": 4.923788914484287e-06,
      "loss": 0.4883,
      "step": 348
    },
    {
      "epoch": 0.09306666666666667,
      "grad_norm": 3.262846403947202,
      "learning_rate": 4.923266927600801e-06,
      "loss": 0.53,
      "step": 349
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 2.6311527715366316,
      "learning_rate": 4.922743187069578e-06,
      "loss": 0.472,
      "step": 350
    },
    {
      "epoch": 0.0936,
      "grad_norm": 3.381033483040296,
      "learning_rate": 4.922217693269635e-06,
      "loss": 0.5478,
      "step": 351
    },
    {
      "epoch": 0.09386666666666667,
      "grad_norm": 3.229569485797337,
      "learning_rate": 4.921690446581255e-06,
      "loss": 0.5589,
      "step": 352
    },
    {
      "epoch": 0.09413333333333333,
      "grad_norm": 3.091201562934836,
      "learning_rate": 4.921161447385992e-06,
      "loss": 0.5212,
      "step": 353
    },
    {
      "epoch": 0.0944,
      "grad_norm": 2.744790600218243,
      "learning_rate": 4.920630696066667e-06,
      "loss": 0.4702,
      "step": 354
    },
    {
      "epoch": 0.09466666666666666,
      "grad_norm": 3.3246192960402188,
      "learning_rate": 4.920098193007369e-06,
      "loss": 0.459,
      "step": 355
    },
    {
      "epoch": 0.09493333333333333,
      "grad_norm": 3.1339536987539836,
      "learning_rate": 4.9195639385934556e-06,
      "loss": 0.524,
      "step": 356
    },
    {
      "epoch": 0.0952,
      "grad_norm": 2.999945509241653,
      "learning_rate": 4.919027933211551e-06,
      "loss": 0.5191,
      "step": 357
    },
    {
      "epoch": 0.09546666666666667,
      "grad_norm": 3.3799388095862155,
      "learning_rate": 4.918490177249547e-06,
      "loss": 0.5298,
      "step": 358
    },
    {
      "epoch": 0.09573333333333334,
      "grad_norm": 2.6138988906833274,
      "learning_rate": 4.9179506710965995e-06,
      "loss": 0.4565,
      "step": 359
    },
    {
      "epoch": 0.096,
      "grad_norm": 2.853805176557546,
      "learning_rate": 4.917409415143137e-06,
      "loss": 0.5128,
      "step": 360
    },
    {
      "epoch": 0.09626666666666667,
      "grad_norm": 3.1241848732598516,
      "learning_rate": 4.916866409780849e-06,
      "loss": 0.4799,
      "step": 361
    },
    {
      "epoch": 0.09653333333333333,
      "grad_norm": 2.753093363628809,
      "learning_rate": 4.916321655402692e-06,
      "loss": 0.489,
      "step": 362
    },
    {
      "epoch": 0.0968,
      "grad_norm": 3.2624091629715326,
      "learning_rate": 4.9157751524028905e-06,
      "loss": 0.5127,
      "step": 363
    },
    {
      "epoch": 0.09706666666666666,
      "grad_norm": 2.9680696797231074,
      "learning_rate": 4.915226901176932e-06,
      "loss": 0.5124,
      "step": 364
    },
    {
      "epoch": 0.09733333333333333,
      "grad_norm": 3.6357904904909057,
      "learning_rate": 4.914676902121569e-06,
      "loss": 0.6026,
      "step": 365
    },
    {
      "epoch": 0.0976,
      "grad_norm": 3.3303267757356845,
      "learning_rate": 4.9141251556348215e-06,
      "loss": 0.5,
      "step": 366
    },
    {
      "epoch": 0.09786666666666667,
      "grad_norm": 2.9653464942464614,
      "learning_rate": 4.91357166211597e-06,
      "loss": 0.4915,
      "step": 367
    },
    {
      "epoch": 0.09813333333333334,
      "grad_norm": 3.1874251403385183,
      "learning_rate": 4.9130164219655654e-06,
      "loss": 0.5277,
      "step": 368
    },
    {
      "epoch": 0.0984,
      "grad_norm": 3.2415875563776013,
      "learning_rate": 4.912459435585415e-06,
      "loss": 0.5092,
      "step": 369
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 3.215381382489877,
      "learning_rate": 4.911900703378597e-06,
      "loss": 0.5038,
      "step": 370
    },
    {
      "epoch": 0.09893333333333333,
      "grad_norm": 5.645158354591967,
      "learning_rate": 4.911340225749447e-06,
      "loss": 0.5293,
      "step": 371
    },
    {
      "epoch": 0.0992,
      "grad_norm": 3.317542244190038,
      "learning_rate": 4.910778003103566e-06,
      "loss": 0.5025,
      "step": 372
    },
    {
      "epoch": 0.09946666666666666,
      "grad_norm": 2.9171755124846164,
      "learning_rate": 4.910214035847821e-06,
      "loss": 0.461,
      "step": 373
    },
    {
      "epoch": 0.09973333333333333,
      "grad_norm": 3.120656259634475,
      "learning_rate": 4.9096483243903364e-06,
      "loss": 0.5098,
      "step": 374
    },
    {
      "epoch": 0.1,
      "grad_norm": 2.868997798033122,
      "learning_rate": 4.9090808691405025e-06,
      "loss": 0.4632,
      "step": 375
    },
    {
      "epoch": 0.10026666666666667,
      "grad_norm": 3.1496937273277292,
      "learning_rate": 4.908511670508968e-06,
      "loss": 0.4767,
      "step": 376
    },
    {
      "epoch": 0.10053333333333334,
      "grad_norm": 3.2283506733525917,
      "learning_rate": 4.907940728907649e-06,
      "loss": 0.4778,
      "step": 377
    },
    {
      "epoch": 0.1008,
      "grad_norm": 2.7223287474444122,
      "learning_rate": 4.907368044749716e-06,
      "loss": 0.4867,
      "step": 378
    },
    {
      "epoch": 0.10106666666666667,
      "grad_norm": 3.0145465900422375,
      "learning_rate": 4.906793618449605e-06,
      "loss": 0.5181,
      "step": 379
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 2.6386563820011193,
      "learning_rate": 4.906217450423012e-06,
      "loss": 0.481,
      "step": 380
    },
    {
      "epoch": 0.1016,
      "grad_norm": 2.970053166471675,
      "learning_rate": 4.9056395410868915e-06,
      "loss": 0.4693,
      "step": 381
    },
    {
      "epoch": 0.10186666666666666,
      "grad_norm": 2.937980980134853,
      "learning_rate": 4.905059890859462e-06,
      "loss": 0.4862,
      "step": 382
    },
    {
      "epoch": 0.10213333333333334,
      "grad_norm": 3.02505998233706,
      "learning_rate": 4.904478500160198e-06,
      "loss": 0.5399,
      "step": 383
    },
    {
      "epoch": 0.1024,
      "grad_norm": 2.851713068287608,
      "learning_rate": 4.903895369409835e-06,
      "loss": 0.5111,
      "step": 384
    },
    {
      "epoch": 0.10266666666666667,
      "grad_norm": 3.0963574903432427,
      "learning_rate": 4.903310499030369e-06,
      "loss": 0.511,
      "step": 385
    },
    {
      "epoch": 0.10293333333333334,
      "grad_norm": 3.1597728872046575,
      "learning_rate": 4.902723889445052e-06,
      "loss": 0.5296,
      "step": 386
    },
    {
      "epoch": 0.1032,
      "grad_norm": 2.7040156639951807,
      "learning_rate": 4.902135541078396e-06,
      "loss": 0.4639,
      "step": 387
    },
    {
      "epoch": 0.10346666666666667,
      "grad_norm": 3.2042223336426825,
      "learning_rate": 4.901545454356174e-06,
      "loss": 0.497,
      "step": 388
    },
    {
      "epoch": 0.10373333333333333,
      "grad_norm": 3.0731517510202275,
      "learning_rate": 4.900953629705414e-06,
      "loss": 0.5225,
      "step": 389
    },
    {
      "epoch": 0.104,
      "grad_norm": 3.302447668329569,
      "learning_rate": 4.9003600675544e-06,
      "loss": 0.5074,
      "step": 390
    },
    {
      "epoch": 0.10426666666666666,
      "grad_norm": 2.8779745871438247,
      "learning_rate": 4.8997647683326775e-06,
      "loss": 0.4754,
      "step": 391
    },
    {
      "epoch": 0.10453333333333334,
      "grad_norm": 2.8775918623591044,
      "learning_rate": 4.899167732471048e-06,
      "loss": 0.4516,
      "step": 392
    },
    {
      "epoch": 0.1048,
      "grad_norm": 2.9674452890990737,
      "learning_rate": 4.898568960401566e-06,
      "loss": 0.4844,
      "step": 393
    },
    {
      "epoch": 0.10506666666666667,
      "grad_norm": 3.1036159456344743,
      "learning_rate": 4.8979684525575474e-06,
      "loss": 0.5022,
      "step": 394
    },
    {
      "epoch": 0.10533333333333333,
      "grad_norm": 3.112109647330544,
      "learning_rate": 4.897366209373563e-06,
      "loss": 0.4981,
      "step": 395
    },
    {
      "epoch": 0.1056,
      "grad_norm": 3.2249598263750605,
      "learning_rate": 4.8967622312854376e-06,
      "loss": 0.4996,
      "step": 396
    },
    {
      "epoch": 0.10586666666666666,
      "grad_norm": 3.3112709628390156,
      "learning_rate": 4.896156518730252e-06,
      "loss": 0.5224,
      "step": 397
    },
    {
      "epoch": 0.10613333333333333,
      "grad_norm": 3.04693312359589,
      "learning_rate": 4.895549072146344e-06,
      "loss": 0.4798,
      "step": 398
    },
    {
      "epoch": 0.1064,
      "grad_norm": 2.8602550823466864,
      "learning_rate": 4.894939891973305e-06,
      "loss": 0.4771,
      "step": 399
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 3.698321994728775,
      "learning_rate": 4.89432897865198e-06,
      "loss": 0.5793,
      "step": 400
    },
    {
      "epoch": 0.10693333333333334,
      "grad_norm": 3.8333366585933897,
      "learning_rate": 4.893716332624469e-06,
      "loss": 0.5672,
      "step": 401
    },
    {
      "epoch": 0.1072,
      "grad_norm": 2.9406293825751586,
      "learning_rate": 4.893101954334127e-06,
      "loss": 0.4901,
      "step": 402
    },
    {
      "epoch": 0.10746666666666667,
      "grad_norm": 3.5203198736373524,
      "learning_rate": 4.8924858442255615e-06,
      "loss": 0.54,
      "step": 403
    },
    {
      "epoch": 0.10773333333333333,
      "grad_norm": 3.1281616852956238,
      "learning_rate": 4.891868002744633e-06,
      "loss": 0.5225,
      "step": 404
    },
    {
      "epoch": 0.108,
      "grad_norm": 3.297341251190933,
      "learning_rate": 4.891248430338457e-06,
      "loss": 0.4812,
      "step": 405
    },
    {
      "epoch": 0.10826666666666666,
      "grad_norm": 3.353807330048863,
      "learning_rate": 4.890627127455397e-06,
      "loss": 0.522,
      "step": 406
    },
    {
      "epoch": 0.10853333333333333,
      "grad_norm": 2.861726317426934,
      "learning_rate": 4.890004094545075e-06,
      "loss": 0.4689,
      "step": 407
    },
    {
      "epoch": 0.1088,
      "grad_norm": 3.1495257938133623,
      "learning_rate": 4.889379332058359e-06,
      "loss": 0.5241,
      "step": 408
    },
    {
      "epoch": 0.10906666666666667,
      "grad_norm": 2.915751370035489,
      "learning_rate": 4.888752840447374e-06,
      "loss": 0.4791,
      "step": 409
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 2.8419388085523813,
      "learning_rate": 4.888124620165492e-06,
      "loss": 0.4942,
      "step": 410
    },
    {
      "epoch": 0.1096,
      "grad_norm": 3.1284780825234932,
      "learning_rate": 4.8874946716673375e-06,
      "loss": 0.4982,
      "step": 411
    },
    {
      "epoch": 0.10986666666666667,
      "grad_norm": 2.8405321673101778,
      "learning_rate": 4.886862995408788e-06,
      "loss": 0.4337,
      "step": 412
    },
    {
      "epoch": 0.11013333333333333,
      "grad_norm": 2.990511864911168,
      "learning_rate": 4.886229591846967e-06,
      "loss": 0.5031,
      "step": 413
    },
    {
      "epoch": 0.1104,
      "grad_norm": 2.7895715253648863,
      "learning_rate": 4.885594461440252e-06,
      "loss": 0.455,
      "step": 414
    },
    {
      "epoch": 0.11066666666666666,
      "grad_norm": 2.931767974218236,
      "learning_rate": 4.884957604648266e-06,
      "loss": 0.4794,
      "step": 415
    },
    {
      "epoch": 0.11093333333333333,
      "grad_norm": 3.4853683423753905,
      "learning_rate": 4.884319021931886e-06,
      "loss": 0.5029,
      "step": 416
    },
    {
      "epoch": 0.1112,
      "grad_norm": 3.026136086183054,
      "learning_rate": 4.883678713753235e-06,
      "loss": 0.4805,
      "step": 417
    },
    {
      "epoch": 0.11146666666666667,
      "grad_norm": 3.1530054046573763,
      "learning_rate": 4.883036680575685e-06,
      "loss": 0.4718,
      "step": 418
    },
    {
      "epoch": 0.11173333333333334,
      "grad_norm": 3.3088832616025914,
      "learning_rate": 4.882392922863856e-06,
      "loss": 0.5216,
      "step": 419
    },
    {
      "epoch": 0.112,
      "grad_norm": 2.772151400431416,
      "learning_rate": 4.88174744108362e-06,
      "loss": 0.4269,
      "step": 420
    },
    {
      "epoch": 0.11226666666666667,
      "grad_norm": 3.1178777132043685,
      "learning_rate": 4.88110023570209e-06,
      "loss": 0.4698,
      "step": 421
    },
    {
      "epoch": 0.11253333333333333,
      "grad_norm": 2.9903595379690646,
      "learning_rate": 4.88045130718763e-06,
      "loss": 0.4605,
      "step": 422
    },
    {
      "epoch": 0.1128,
      "grad_norm": 2.994213064127848,
      "learning_rate": 4.879800656009853e-06,
      "loss": 0.4975,
      "step": 423
    },
    {
      "epoch": 0.11306666666666666,
      "grad_norm": 3.091257013321392,
      "learning_rate": 4.879148282639614e-06,
      "loss": 0.4742,
      "step": 424
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 2.946263723936702,
      "learning_rate": 4.878494187549018e-06,
      "loss": 0.5222,
      "step": 425
    },
    {
      "epoch": 0.1136,
      "grad_norm": 3.276627977423596,
      "learning_rate": 4.877838371211413e-06,
      "loss": 0.5454,
      "step": 426
    },
    {
      "epoch": 0.11386666666666667,
      "grad_norm": 3.3684209606408198,
      "learning_rate": 4.877180834101395e-06,
      "loss": 0.4871,
      "step": 427
    },
    {
      "epoch": 0.11413333333333334,
      "grad_norm": 3.0094207121443413,
      "learning_rate": 4.876521576694806e-06,
      "loss": 0.523,
      "step": 428
    },
    {
      "epoch": 0.1144,
      "grad_norm": 3.010244423729644,
      "learning_rate": 4.8758605994687295e-06,
      "loss": 0.4224,
      "step": 429
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 2.8233277815663644,
      "learning_rate": 4.875197902901495e-06,
      "loss": 0.5128,
      "step": 430
    },
    {
      "epoch": 0.11493333333333333,
      "grad_norm": 2.8578662613055386,
      "learning_rate": 4.874533487472679e-06,
      "loss": 0.466,
      "step": 431
    },
    {
      "epoch": 0.1152,
      "grad_norm": 2.700480435740188,
      "learning_rate": 4.873867353663098e-06,
      "loss": 0.5196,
      "step": 432
    },
    {
      "epoch": 0.11546666666666666,
      "grad_norm": 3.543781803939445,
      "learning_rate": 4.873199501954814e-06,
      "loss": 0.5362,
      "step": 433
    },
    {
      "epoch": 0.11573333333333333,
      "grad_norm": 3.366677361819025,
      "learning_rate": 4.872529932831132e-06,
      "loss": 0.501,
      "step": 434
    },
    {
      "epoch": 0.116,
      "grad_norm": 2.9384631271370965,
      "learning_rate": 4.871858646776599e-06,
      "loss": 0.5062,
      "step": 435
    },
    {
      "epoch": 0.11626666666666667,
      "grad_norm": 2.9127267007328053,
      "learning_rate": 4.871185644277005e-06,
      "loss": 0.5178,
      "step": 436
    },
    {
      "epoch": 0.11653333333333334,
      "grad_norm": 4.164019147639745,
      "learning_rate": 4.870510925819385e-06,
      "loss": 0.534,
      "step": 437
    },
    {
      "epoch": 0.1168,
      "grad_norm": 2.961935028990143,
      "learning_rate": 4.869834491892011e-06,
      "loss": 0.4861,
      "step": 438
    },
    {
      "epoch": 0.11706666666666667,
      "grad_norm": 2.869553874674874,
      "learning_rate": 4.869156342984397e-06,
      "loss": 0.4544,
      "step": 439
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 2.7953075598866763,
      "learning_rate": 4.868476479587302e-06,
      "loss": 0.4621,
      "step": 440
    },
    {
      "epoch": 0.1176,
      "grad_norm": 3.0374291638767414,
      "learning_rate": 4.867794902192723e-06,
      "loss": 0.4739,
      "step": 441
    },
    {
      "epoch": 0.11786666666666666,
      "grad_norm": 3.1309202713688364,
      "learning_rate": 4.867111611293896e-06,
      "loss": 0.5111,
      "step": 442
    },
    {
      "epoch": 0.11813333333333334,
      "grad_norm": 3.3019873740657117,
      "learning_rate": 4.866426607385302e-06,
      "loss": 0.4791,
      "step": 443
    },
    {
      "epoch": 0.1184,
      "grad_norm": 2.794459562062388,
      "learning_rate": 4.865739890962655e-06,
      "loss": 0.4596,
      "step": 444
    },
    {
      "epoch": 0.11866666666666667,
      "grad_norm": 3.3676912397128183,
      "learning_rate": 4.865051462522914e-06,
      "loss": 0.5333,
      "step": 445
    },
    {
      "epoch": 0.11893333333333334,
      "grad_norm": 3.242571121578889,
      "learning_rate": 4.8643613225642735e-06,
      "loss": 0.515,
      "step": 446
    },
    {
      "epoch": 0.1192,
      "grad_norm": 2.9453054804585057,
      "learning_rate": 4.863669471586168e-06,
      "loss": 0.4663,
      "step": 447
    },
    {
      "epoch": 0.11946666666666667,
      "grad_norm": 3.046243043778784,
      "learning_rate": 4.86297591008927e-06,
      "loss": 0.5427,
      "step": 448
    },
    {
      "epoch": 0.11973333333333333,
      "grad_norm": 2.9324637794254294,
      "learning_rate": 4.86228063857549e-06,
      "loss": 0.4452,
      "step": 449
    },
    {
      "epoch": 0.12,
      "grad_norm": 3.077142989508375,
      "learning_rate": 4.861583657547975e-06,
      "loss": 0.4833,
      "step": 450
    },
    {
      "epoch": 0.12026666666666666,
      "grad_norm": 2.9934574511072523,
      "learning_rate": 4.86088496751111e-06,
      "loss": 0.5141,
      "step": 451
    },
    {
      "epoch": 0.12053333333333334,
      "grad_norm": 3.4490006663684585,
      "learning_rate": 4.860184568970517e-06,
      "loss": 0.5813,
      "step": 452
    },
    {
      "epoch": 0.1208,
      "grad_norm": 3.102932813764256,
      "learning_rate": 4.859482462433055e-06,
      "loss": 0.5159,
      "step": 453
    },
    {
      "epoch": 0.12106666666666667,
      "grad_norm": 2.913041580468247,
      "learning_rate": 4.858778648406817e-06,
      "loss": 0.5046,
      "step": 454
    },
    {
      "epoch": 0.12133333333333333,
      "grad_norm": 2.9280260320596803,
      "learning_rate": 4.858073127401132e-06,
      "loss": 0.4595,
      "step": 455
    },
    {
      "epoch": 0.1216,
      "grad_norm": 2.841200641573223,
      "learning_rate": 4.857365899926565e-06,
      "loss": 0.4623,
      "step": 456
    },
    {
      "epoch": 0.12186666666666666,
      "grad_norm": 3.5421272971588285,
      "learning_rate": 4.856656966494918e-06,
      "loss": 0.5251,
      "step": 457
    },
    {
      "epoch": 0.12213333333333333,
      "grad_norm": 3.2105323278592772,
      "learning_rate": 4.855946327619224e-06,
      "loss": 0.4988,
      "step": 458
    },
    {
      "epoch": 0.1224,
      "grad_norm": 2.9787626073080973,
      "learning_rate": 4.855233983813751e-06,
      "loss": 0.4846,
      "step": 459
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 2.7271018135217355,
      "learning_rate": 4.854519935594003e-06,
      "loss": 0.4805,
      "step": 460
    },
    {
      "epoch": 0.12293333333333334,
      "grad_norm": 2.9586610640854216,
      "learning_rate": 4.853804183476716e-06,
      "loss": 0.495,
      "step": 461
    },
    {
      "epoch": 0.1232,
      "grad_norm": 2.9914896761193575,
      "learning_rate": 4.853086727979858e-06,
      "loss": 0.4615,
      "step": 462
    },
    {
      "epoch": 0.12346666666666667,
      "grad_norm": 3.9793633581380097,
      "learning_rate": 4.85236756962263e-06,
      "loss": 0.5133,
      "step": 463
    },
    {
      "epoch": 0.12373333333333333,
      "grad_norm": 3.003933766630654,
      "learning_rate": 4.851646708925467e-06,
      "loss": 0.4841,
      "step": 464
    },
    {
      "epoch": 0.124,
      "grad_norm": 2.8713620602486083,
      "learning_rate": 4.850924146410036e-06,
      "loss": 0.5103,
      "step": 465
    },
    {
      "epoch": 0.12426666666666666,
      "grad_norm": 3.077982536219979,
      "learning_rate": 4.850199882599232e-06,
      "loss": 0.5045,
      "step": 466
    },
    {
      "epoch": 0.12453333333333333,
      "grad_norm": 2.6789550931450483,
      "learning_rate": 4.849473918017185e-06,
      "loss": 0.454,
      "step": 467
    },
    {
      "epoch": 0.1248,
      "grad_norm": 2.5529000884370627,
      "learning_rate": 4.848746253189254e-06,
      "loss": 0.407,
      "step": 468
    },
    {
      "epoch": 0.12506666666666666,
      "grad_norm": 2.842696945301407,
      "learning_rate": 4.84801688864203e-06,
      "loss": 0.4926,
      "step": 469
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 4.4065421506398845,
      "learning_rate": 4.847285824903331e-06,
      "loss": 0.4957,
      "step": 470
    },
    {
      "epoch": 0.1256,
      "grad_norm": 3.1236179450990753,
      "learning_rate": 4.846553062502209e-06,
      "loss": 0.4563,
      "step": 471
    },
    {
      "epoch": 0.12586666666666665,
      "grad_norm": 4.387292524303422,
      "learning_rate": 4.84581860196894e-06,
      "loss": 0.6,
      "step": 472
    },
    {
      "epoch": 0.12613333333333332,
      "grad_norm": 3.042714896185467,
      "learning_rate": 4.845082443835034e-06,
      "loss": 0.4795,
      "step": 473
    },
    {
      "epoch": 0.1264,
      "grad_norm": 3.219177308580339,
      "learning_rate": 4.8443445886332265e-06,
      "loss": 0.5622,
      "step": 474
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 3.0445126299076093,
      "learning_rate": 4.843605036897481e-06,
      "loss": 0.5886,
      "step": 475
    },
    {
      "epoch": 0.12693333333333334,
      "grad_norm": 2.915128321752097,
      "learning_rate": 4.84286378916299e-06,
      "loss": 0.4699,
      "step": 476
    },
    {
      "epoch": 0.1272,
      "grad_norm": 3.121375031267845,
      "learning_rate": 4.842120845966175e-06,
      "loss": 0.4867,
      "step": 477
    },
    {
      "epoch": 0.12746666666666667,
      "grad_norm": 2.8450052620297095,
      "learning_rate": 4.841376207844679e-06,
      "loss": 0.4945,
      "step": 478
    },
    {
      "epoch": 0.12773333333333334,
      "grad_norm": 2.733081878814494,
      "learning_rate": 4.840629875337376e-06,
      "loss": 0.447,
      "step": 479
    },
    {
      "epoch": 0.128,
      "grad_norm": 3.5635195253555327,
      "learning_rate": 4.839881848984366e-06,
      "loss": 0.591,
      "step": 480
    },
    {
      "epoch": 0.12826666666666667,
      "grad_norm": 2.8282062040807947,
      "learning_rate": 4.839132129326974e-06,
      "loss": 0.4619,
      "step": 481
    },
    {
      "epoch": 0.12853333333333333,
      "grad_norm": 2.779504488197032,
      "learning_rate": 4.838380716907749e-06,
      "loss": 0.5146,
      "step": 482
    },
    {
      "epoch": 0.1288,
      "grad_norm": 3.206711490475913,
      "learning_rate": 4.837627612270468e-06,
      "loss": 0.4789,
      "step": 483
    },
    {
      "epoch": 0.12906666666666666,
      "grad_norm": 2.60659808494029,
      "learning_rate": 4.836872815960129e-06,
      "loss": 0.4867,
      "step": 484
    },
    {
      "epoch": 0.12933333333333333,
      "grad_norm": 2.8990093290058936,
      "learning_rate": 4.836116328522957e-06,
      "loss": 0.4636,
      "step": 485
    },
    {
      "epoch": 0.1296,
      "grad_norm": 2.7791974737692127,
      "learning_rate": 4.835358150506401e-06,
      "loss": 0.4396,
      "step": 486
    },
    {
      "epoch": 0.12986666666666666,
      "grad_norm": 3.020716350227551,
      "learning_rate": 4.8345982824591306e-06,
      "loss": 0.5134,
      "step": 487
    },
    {
      "epoch": 0.13013333333333332,
      "grad_norm": 4.067729122217571,
      "learning_rate": 4.833836724931042e-06,
      "loss": 0.5604,
      "step": 488
    },
    {
      "epoch": 0.1304,
      "grad_norm": 2.68694867969256,
      "learning_rate": 4.833073478473249e-06,
      "loss": 0.4769,
      "step": 489
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 2.8366129632155963,
      "learning_rate": 4.832308543638094e-06,
      "loss": 0.477,
      "step": 490
    },
    {
      "epoch": 0.13093333333333335,
      "grad_norm": 2.8153020458384272,
      "learning_rate": 4.831541920979138e-06,
      "loss": 0.4849,
      "step": 491
    },
    {
      "epoch": 0.1312,
      "grad_norm": 2.697064488942593,
      "learning_rate": 4.830773611051161e-06,
      "loss": 0.4364,
      "step": 492
    },
    {
      "epoch": 0.13146666666666668,
      "grad_norm": 2.694863802617797,
      "learning_rate": 4.83000361441017e-06,
      "loss": 0.4544,
      "step": 493
    },
    {
      "epoch": 0.13173333333333334,
      "grad_norm": 2.7363259579535733,
      "learning_rate": 4.829231931613386e-06,
      "loss": 0.5321,
      "step": 494
    },
    {
      "epoch": 0.132,
      "grad_norm": 3.0846169972643467,
      "learning_rate": 4.828458563219255e-06,
      "loss": 0.5339,
      "step": 495
    },
    {
      "epoch": 0.13226666666666667,
      "grad_norm": 2.9947926390618584,
      "learning_rate": 4.8276835097874405e-06,
      "loss": 0.502,
      "step": 496
    },
    {
      "epoch": 0.13253333333333334,
      "grad_norm": 2.950126944255218,
      "learning_rate": 4.826906771878827e-06,
      "loss": 0.4789,
      "step": 497
    },
    {
      "epoch": 0.1328,
      "grad_norm": 3.287729732943887,
      "learning_rate": 4.826128350055515e-06,
      "loss": 0.4361,
      "step": 498
    },
    {
      "epoch": 0.13306666666666667,
      "grad_norm": 2.794190326093881,
      "learning_rate": 4.825348244880829e-06,
      "loss": 0.4391,
      "step": 499
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 2.9219657406179618,
      "learning_rate": 4.824566456919306e-06,
      "loss": 0.4932,
      "step": 500
    },
    {
      "epoch": 0.1336,
      "grad_norm": 2.8223506072348883,
      "learning_rate": 4.8237829867367046e-06,
      "loss": 0.4538,
      "step": 501
    },
    {
      "epoch": 0.13386666666666666,
      "grad_norm": 2.7025330931334173,
      "learning_rate": 4.822997834899998e-06,
      "loss": 0.4184,
      "step": 502
    },
    {
      "epoch": 0.13413333333333333,
      "grad_norm": 2.7154415719176055,
      "learning_rate": 4.822211001977378e-06,
      "loss": 0.4762,
      "step": 503
    },
    {
      "epoch": 0.1344,
      "grad_norm": 2.9277935919160547,
      "learning_rate": 4.821422488538253e-06,
      "loss": 0.5018,
      "step": 504
    },
    {
      "epoch": 0.13466666666666666,
      "grad_norm": 2.7236833411327894,
      "learning_rate": 4.820632295153249e-06,
      "loss": 0.4869,
      "step": 505
    },
    {
      "epoch": 0.13493333333333332,
      "grad_norm": 3.489833905672247,
      "learning_rate": 4.819840422394203e-06,
      "loss": 0.5962,
      "step": 506
    },
    {
      "epoch": 0.1352,
      "grad_norm": 3.169017134699179,
      "learning_rate": 4.819046870834171e-06,
      "loss": 0.5544,
      "step": 507
    },
    {
      "epoch": 0.13546666666666668,
      "grad_norm": 3.351419992666179,
      "learning_rate": 4.818251641047424e-06,
      "loss": 0.5155,
      "step": 508
    },
    {
      "epoch": 0.13573333333333334,
      "grad_norm": 3.093953749437234,
      "learning_rate": 4.817454733609446e-06,
      "loss": 0.477,
      "step": 509
    },
    {
      "epoch": 0.136,
      "grad_norm": 2.8650633998103374,
      "learning_rate": 4.816656149096936e-06,
      "loss": 0.5029,
      "step": 510
    },
    {
      "epoch": 0.13626666666666667,
      "grad_norm": 3.2530281142273445,
      "learning_rate": 4.815855888087807e-06,
      "loss": 0.4721,
      "step": 511
    },
    {
      "epoch": 0.13653333333333334,
      "grad_norm": 2.828230997007545,
      "learning_rate": 4.815053951161184e-06,
      "loss": 0.441,
      "step": 512
    },
    {
      "epoch": 0.1368,
      "grad_norm": 2.5658332956400542,
      "learning_rate": 4.814250338897405e-06,
      "loss": 0.4484,
      "step": 513
    },
    {
      "epoch": 0.13706666666666667,
      "grad_norm": 3.8650983004077037,
      "learning_rate": 4.813445051878022e-06,
      "loss": 0.4903,
      "step": 514
    },
    {
      "epoch": 0.13733333333333334,
      "grad_norm": 2.8133398340743287,
      "learning_rate": 4.812638090685796e-06,
      "loss": 0.4633,
      "step": 515
    },
    {
      "epoch": 0.1376,
      "grad_norm": 2.639251041070967,
      "learning_rate": 4.811829455904702e-06,
      "loss": 0.4933,
      "step": 516
    },
    {
      "epoch": 0.13786666666666667,
      "grad_norm": 2.67910902376611,
      "learning_rate": 4.811019148119926e-06,
      "loss": 0.4624,
      "step": 517
    },
    {
      "epoch": 0.13813333333333333,
      "grad_norm": 2.8917418810922375,
      "learning_rate": 4.810207167917865e-06,
      "loss": 0.5432,
      "step": 518
    },
    {
      "epoch": 0.1384,
      "grad_norm": 2.740692908985976,
      "learning_rate": 4.809393515886123e-06,
      "loss": 0.4773,
      "step": 519
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 3.0878024620417777,
      "learning_rate": 4.808578192613519e-06,
      "loss": 0.5082,
      "step": 520
    },
    {
      "epoch": 0.13893333333333333,
      "grad_norm": 3.0659007515601986,
      "learning_rate": 4.807761198690076e-06,
      "loss": 0.5038,
      "step": 521
    },
    {
      "epoch": 0.1392,
      "grad_norm": 2.8931619415953715,
      "learning_rate": 4.806942534707031e-06,
      "loss": 0.4804,
      "step": 522
    },
    {
      "epoch": 0.13946666666666666,
      "grad_norm": 3.1212732015675644,
      "learning_rate": 4.8061222012568255e-06,
      "loss": 0.474,
      "step": 523
    },
    {
      "epoch": 0.13973333333333332,
      "grad_norm": 2.949545983752779,
      "learning_rate": 4.805300198933112e-06,
      "loss": 0.4955,
      "step": 524
    },
    {
      "epoch": 0.14,
      "grad_norm": 3.1031775535405473,
      "learning_rate": 4.80447652833075e-06,
      "loss": 0.5013,
      "step": 525
    },
    {
      "epoch": 0.14026666666666668,
      "grad_norm": 2.8125379634839054,
      "learning_rate": 4.803651190045805e-06,
      "loss": 0.4801,
      "step": 526
    },
    {
      "epoch": 0.14053333333333334,
      "grad_norm": 3.683521037227838,
      "learning_rate": 4.802824184675551e-06,
      "loss": 0.5399,
      "step": 527
    },
    {
      "epoch": 0.1408,
      "grad_norm": 2.808580989487997,
      "learning_rate": 4.801995512818467e-06,
      "loss": 0.4793,
      "step": 528
    },
    {
      "epoch": 0.14106666666666667,
      "grad_norm": 2.685595062474713,
      "learning_rate": 4.8011651750742385e-06,
      "loss": 0.4339,
      "step": 529
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 2.943791476852844,
      "learning_rate": 4.800333172043759e-06,
      "loss": 0.4814,
      "step": 530
    },
    {
      "epoch": 0.1416,
      "grad_norm": 2.793165756409829,
      "learning_rate": 4.799499504329122e-06,
      "loss": 0.478,
      "step": 531
    },
    {
      "epoch": 0.14186666666666667,
      "grad_norm": 2.809708716923085,
      "learning_rate": 4.7986641725336294e-06,
      "loss": 0.4856,
      "step": 532
    },
    {
      "epoch": 0.14213333333333333,
      "grad_norm": 2.9258032632517357,
      "learning_rate": 4.797827177261788e-06,
      "loss": 0.478,
      "step": 533
    },
    {
      "epoch": 0.1424,
      "grad_norm": 2.720326872444766,
      "learning_rate": 4.796988519119306e-06,
      "loss": 0.459,
      "step": 534
    },
    {
      "epoch": 0.14266666666666666,
      "grad_norm": 3.464499070072953,
      "learning_rate": 4.7961481987130944e-06,
      "loss": 0.5473,
      "step": 535
    },
    {
      "epoch": 0.14293333333333333,
      "grad_norm": 3.2266190430851203,
      "learning_rate": 4.79530621665127e-06,
      "loss": 0.5311,
      "step": 536
    },
    {
      "epoch": 0.1432,
      "grad_norm": 2.7771534179492834,
      "learning_rate": 4.7944625735431515e-06,
      "loss": 0.5042,
      "step": 537
    },
    {
      "epoch": 0.14346666666666666,
      "grad_norm": 2.878809579367144,
      "learning_rate": 4.7936172699992575e-06,
      "loss": 0.4634,
      "step": 538
    },
    {
      "epoch": 0.14373333333333332,
      "grad_norm": 2.4835425881958075,
      "learning_rate": 4.79277030663131e-06,
      "loss": 0.4221,
      "step": 539
    },
    {
      "epoch": 0.144,
      "grad_norm": 2.935016058336967,
      "learning_rate": 4.791921684052232e-06,
      "loss": 0.4994,
      "step": 540
    },
    {
      "epoch": 0.14426666666666665,
      "grad_norm": 2.5660059800674655,
      "learning_rate": 4.791071402876147e-06,
      "loss": 0.4166,
      "step": 541
    },
    {
      "epoch": 0.14453333333333335,
      "grad_norm": 2.8501081561417156,
      "learning_rate": 4.790219463718378e-06,
      "loss": 0.5244,
      "step": 542
    },
    {
      "epoch": 0.1448,
      "grad_norm": 2.633786742138543,
      "learning_rate": 4.78936586719545e-06,
      "loss": 0.4127,
      "step": 543
    },
    {
      "epoch": 0.14506666666666668,
      "grad_norm": 2.754547531618363,
      "learning_rate": 4.788510613925084e-06,
      "loss": 0.4428,
      "step": 544
    },
    {
      "epoch": 0.14533333333333334,
      "grad_norm": 4.6158219272896215,
      "learning_rate": 4.787653704526203e-06,
      "loss": 0.4934,
      "step": 545
    },
    {
      "epoch": 0.1456,
      "grad_norm": 2.947212748646922,
      "learning_rate": 4.786795139618927e-06,
      "loss": 0.4485,
      "step": 546
    },
    {
      "epoch": 0.14586666666666667,
      "grad_norm": 2.9471218418382854,
      "learning_rate": 4.785934919824575e-06,
      "loss": 0.4841,
      "step": 547
    },
    {
      "epoch": 0.14613333333333334,
      "grad_norm": 2.754494286211294,
      "learning_rate": 4.785073045765663e-06,
      "loss": 0.4321,
      "step": 548
    },
    {
      "epoch": 0.1464,
      "grad_norm": 2.779842985060256,
      "learning_rate": 4.784209518065904e-06,
      "loss": 0.4786,
      "step": 549
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 2.4721598112888974,
      "learning_rate": 4.783344337350207e-06,
      "loss": 0.3851,
      "step": 550
    },
    {
      "epoch": 0.14693333333333333,
      "grad_norm": 3.6800557596981722,
      "learning_rate": 4.78247750424468e-06,
      "loss": 0.4771,
      "step": 551
    },
    {
      "epoch": 0.1472,
      "grad_norm": 2.9535411289859588,
      "learning_rate": 4.781609019376623e-06,
      "loss": 0.5079,
      "step": 552
    },
    {
      "epoch": 0.14746666666666666,
      "grad_norm": 3.102195936035881,
      "learning_rate": 4.780738883374534e-06,
      "loss": 0.4896,
      "step": 553
    },
    {
      "epoch": 0.14773333333333333,
      "grad_norm": 3.2804916847765218,
      "learning_rate": 4.779867096868105e-06,
      "loss": 0.4601,
      "step": 554
    },
    {
      "epoch": 0.148,
      "grad_norm": 2.649588700063468,
      "learning_rate": 4.778993660488223e-06,
      "loss": 0.4154,
      "step": 555
    },
    {
      "epoch": 0.14826666666666666,
      "grad_norm": 2.798467322198792,
      "learning_rate": 4.778118574866968e-06,
      "loss": 0.4615,
      "step": 556
    },
    {
      "epoch": 0.14853333333333332,
      "grad_norm": 2.602766646801891,
      "learning_rate": 4.777241840637613e-06,
      "loss": 0.4542,
      "step": 557
    },
    {
      "epoch": 0.1488,
      "grad_norm": 2.6575808480260847,
      "learning_rate": 4.776363458434628e-06,
      "loss": 0.4125,
      "step": 558
    },
    {
      "epoch": 0.14906666666666665,
      "grad_norm": 2.6717726067289016,
      "learning_rate": 4.775483428893669e-06,
      "loss": 0.4474,
      "step": 559
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 3.1771674669823717,
      "learning_rate": 4.774601752651591e-06,
      "loss": 0.5797,
      "step": 560
    },
    {
      "epoch": 0.1496,
      "grad_norm": 2.986079257518793,
      "learning_rate": 4.773718430346435e-06,
      "loss": 0.4704,
      "step": 561
    },
    {
      "epoch": 0.14986666666666668,
      "grad_norm": 3.161898380239523,
      "learning_rate": 4.772833462617437e-06,
      "loss": 0.5313,
      "step": 562
    },
    {
      "epoch": 0.15013333333333334,
      "grad_norm": 3.348266286588783,
      "learning_rate": 4.7719468501050206e-06,
      "loss": 0.6035,
      "step": 563
    },
    {
      "epoch": 0.1504,
      "grad_norm": 2.902878603291963,
      "learning_rate": 4.7710585934508045e-06,
      "loss": 0.4558,
      "step": 564
    },
    {
      "epoch": 0.15066666666666667,
      "grad_norm": 3.426702010717282,
      "learning_rate": 4.770168693297592e-06,
      "loss": 0.4754,
      "step": 565
    },
    {
      "epoch": 0.15093333333333334,
      "grad_norm": 2.9581289220400953,
      "learning_rate": 4.7692771502893775e-06,
      "loss": 0.501,
      "step": 566
    },
    {
      "epoch": 0.1512,
      "grad_norm": 2.8115145744069507,
      "learning_rate": 4.768383965071347e-06,
      "loss": 0.4725,
      "step": 567
    },
    {
      "epoch": 0.15146666666666667,
      "grad_norm": 2.9151061193279952,
      "learning_rate": 4.767489138289871e-06,
      "loss": 0.498,
      "step": 568
    },
    {
      "epoch": 0.15173333333333333,
      "grad_norm": 2.857913165380838,
      "learning_rate": 4.766592670592509e-06,
      "loss": 0.4654,
      "step": 569
    },
    {
      "epoch": 0.152,
      "grad_norm": 2.781957666451134,
      "learning_rate": 4.76569456262801e-06,
      "loss": 0.4651,
      "step": 570
    },
    {
      "epoch": 0.15226666666666666,
      "grad_norm": 2.653221562572426,
      "learning_rate": 4.764794815046308e-06,
      "loss": 0.4589,
      "step": 571
    },
    {
      "epoch": 0.15253333333333333,
      "grad_norm": 3.320217588893547,
      "learning_rate": 4.763893428498525e-06,
      "loss": 0.5345,
      "step": 572
    },
    {
      "epoch": 0.1528,
      "grad_norm": 2.798526392123618,
      "learning_rate": 4.762990403636967e-06,
      "loss": 0.4811,
      "step": 573
    },
    {
      "epoch": 0.15306666666666666,
      "grad_norm": 3.07236425270922,
      "learning_rate": 4.7620857411151266e-06,
      "loss": 0.5729,
      "step": 574
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 2.8091000520283376,
      "learning_rate": 4.761179441587683e-06,
      "loss": 0.494,
      "step": 575
    },
    {
      "epoch": 0.1536,
      "grad_norm": 2.600158049290435,
      "learning_rate": 4.7602715057104974e-06,
      "loss": 0.4614,
      "step": 576
    },
    {
      "epoch": 0.15386666666666668,
      "grad_norm": 2.718795975980565,
      "learning_rate": 4.759361934140618e-06,
      "loss": 0.4216,
      "step": 577
    },
    {
      "epoch": 0.15413333333333334,
      "grad_norm": 2.719043344466965,
      "learning_rate": 4.758450727536274e-06,
      "loss": 0.4477,
      "step": 578
    },
    {
      "epoch": 0.1544,
      "grad_norm": 3.1374828562942683,
      "learning_rate": 4.75753788655688e-06,
      "loss": 0.4629,
      "step": 579
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 2.732140832802711,
      "learning_rate": 4.756623411863032e-06,
      "loss": 0.4521,
      "step": 580
    },
    {
      "epoch": 0.15493333333333334,
      "grad_norm": 2.717825155339731,
      "learning_rate": 4.755707304116509e-06,
      "loss": 0.4668,
      "step": 581
    },
    {
      "epoch": 0.1552,
      "grad_norm": 2.9161446341938224,
      "learning_rate": 4.754789563980271e-06,
      "loss": 0.4701,
      "step": 582
    },
    {
      "epoch": 0.15546666666666667,
      "grad_norm": 3.6064827974914158,
      "learning_rate": 4.753870192118461e-06,
      "loss": 0.4869,
      "step": 583
    },
    {
      "epoch": 0.15573333333333333,
      "grad_norm": 3.4181226842184635,
      "learning_rate": 4.7529491891964e-06,
      "loss": 0.4961,
      "step": 584
    },
    {
      "epoch": 0.156,
      "grad_norm": 2.9867910232044537,
      "learning_rate": 4.752026555880592e-06,
      "loss": 0.5387,
      "step": 585
    },
    {
      "epoch": 0.15626666666666666,
      "grad_norm": 2.7959806016824142,
      "learning_rate": 4.7511022928387206e-06,
      "loss": 0.495,
      "step": 586
    },
    {
      "epoch": 0.15653333333333333,
      "grad_norm": 2.387979483330469,
      "learning_rate": 4.750176400739646e-06,
      "loss": 0.4366,
      "step": 587
    },
    {
      "epoch": 0.1568,
      "grad_norm": 2.6434313098183373,
      "learning_rate": 4.749248880253411e-06,
      "loss": 0.4271,
      "step": 588
    },
    {
      "epoch": 0.15706666666666666,
      "grad_norm": 2.814053412581812,
      "learning_rate": 4.748319732051234e-06,
      "loss": 0.4483,
      "step": 589
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 3.299045546630256,
      "learning_rate": 4.747388956805513e-06,
      "loss": 0.4879,
      "step": 590
    },
    {
      "epoch": 0.1576,
      "grad_norm": 2.643560917815565,
      "learning_rate": 4.746456555189825e-06,
      "loss": 0.4684,
      "step": 591
    },
    {
      "epoch": 0.15786666666666666,
      "grad_norm": 2.6577197215696438,
      "learning_rate": 4.745522527878918e-06,
      "loss": 0.459,
      "step": 592
    },
    {
      "epoch": 0.15813333333333332,
      "grad_norm": 2.660368697294052,
      "learning_rate": 4.744586875548723e-06,
      "loss": 0.4458,
      "step": 593
    },
    {
      "epoch": 0.1584,
      "grad_norm": 2.7166978824941914,
      "learning_rate": 4.743649598876344e-06,
      "loss": 0.4412,
      "step": 594
    },
    {
      "epoch": 0.15866666666666668,
      "grad_norm": 2.7809540534352806,
      "learning_rate": 4.742710698540061e-06,
      "loss": 0.4546,
      "step": 595
    },
    {
      "epoch": 0.15893333333333334,
      "grad_norm": 3.1014653285993337,
      "learning_rate": 4.741770175219328e-06,
      "loss": 0.5155,
      "step": 596
    },
    {
      "epoch": 0.1592,
      "grad_norm": 3.0731445644976363,
      "learning_rate": 4.740828029594775e-06,
      "loss": 0.5073,
      "step": 597
    },
    {
      "epoch": 0.15946666666666667,
      "grad_norm": 2.9098855952696456,
      "learning_rate": 4.739884262348206e-06,
      "loss": 0.506,
      "step": 598
    },
    {
      "epoch": 0.15973333333333334,
      "grad_norm": 3.5885127601428306,
      "learning_rate": 4.7389388741625954e-06,
      "loss": 0.5344,
      "step": 599
    },
    {
      "epoch": 0.16,
      "grad_norm": 3.209204691710474,
      "learning_rate": 4.737991865722095e-06,
      "loss": 0.4522,
      "step": 600
    },
    {
      "epoch": 0.16026666666666667,
      "grad_norm": 2.8788923785987803,
      "learning_rate": 4.737043237712028e-06,
      "loss": 0.4841,
      "step": 601
    },
    {
      "epoch": 0.16053333333333333,
      "grad_norm": 2.772274988332571,
      "learning_rate": 4.736092990818888e-06,
      "loss": 0.4786,
      "step": 602
    },
    {
      "epoch": 0.1608,
      "grad_norm": 2.878645078885937,
      "learning_rate": 4.73514112573034e-06,
      "loss": 0.5128,
      "step": 603
    },
    {
      "epoch": 0.16106666666666666,
      "grad_norm": 3.0101075879318313,
      "learning_rate": 4.7341876431352226e-06,
      "loss": 0.4626,
      "step": 604
    },
    {
      "epoch": 0.16133333333333333,
      "grad_norm": 3.12106046591674,
      "learning_rate": 4.733232543723543e-06,
      "loss": 0.5082,
      "step": 605
    },
    {
      "epoch": 0.1616,
      "grad_norm": 2.617228629509633,
      "learning_rate": 4.732275828186478e-06,
      "loss": 0.4421,
      "step": 606
    },
    {
      "epoch": 0.16186666666666666,
      "grad_norm": 3.0959029762180705,
      "learning_rate": 4.731317497216376e-06,
      "loss": 0.4956,
      "step": 607
    },
    {
      "epoch": 0.16213333333333332,
      "grad_norm": 2.9872092944839883,
      "learning_rate": 4.730357551506751e-06,
      "loss": 0.5003,
      "step": 608
    },
    {
      "epoch": 0.1624,
      "grad_norm": 3.2699826215448753,
      "learning_rate": 4.729395991752291e-06,
      "loss": 0.5611,
      "step": 609
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 2.893375322685153,
      "learning_rate": 4.728432818648847e-06,
      "loss": 0.4803,
      "step": 610
    },
    {
      "epoch": 0.16293333333333335,
      "grad_norm": 3.119599509271226,
      "learning_rate": 4.7274680328934395e-06,
      "loss": 0.5539,
      "step": 611
    },
    {
      "epoch": 0.1632,
      "grad_norm": 2.79883561963107,
      "learning_rate": 4.726501635184256e-06,
      "loss": 0.4409,
      "step": 612
    },
    {
      "epoch": 0.16346666666666668,
      "grad_norm": 2.775807461120403,
      "learning_rate": 4.72553362622065e-06,
      "loss": 0.4748,
      "step": 613
    },
    {
      "epoch": 0.16373333333333334,
      "grad_norm": 2.5606790966772106,
      "learning_rate": 4.72456400670314e-06,
      "loss": 0.4419,
      "step": 614
    },
    {
      "epoch": 0.164,
      "grad_norm": 3.0488652197469324,
      "learning_rate": 4.723592777333415e-06,
      "loss": 0.5194,
      "step": 615
    },
    {
      "epoch": 0.16426666666666667,
      "grad_norm": 2.621702716855715,
      "learning_rate": 4.722619938814324e-06,
      "loss": 0.4438,
      "step": 616
    },
    {
      "epoch": 0.16453333333333334,
      "grad_norm": 2.571176626466772,
      "learning_rate": 4.721645491849881e-06,
      "loss": 0.4626,
      "step": 617
    },
    {
      "epoch": 0.1648,
      "grad_norm": 2.3560948898929395,
      "learning_rate": 4.720669437145266e-06,
      "loss": 0.4101,
      "step": 618
    },
    {
      "epoch": 0.16506666666666667,
      "grad_norm": 3.054640751007946,
      "learning_rate": 4.719691775406819e-06,
      "loss": 0.4996,
      "step": 619
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 2.7991280484976757,
      "learning_rate": 4.718712507342048e-06,
      "loss": 0.4939,
      "step": 620
    },
    {
      "epoch": 0.1656,
      "grad_norm": 2.809323328751179,
      "learning_rate": 4.717731633659621e-06,
      "loss": 0.5512,
      "step": 621
    },
    {
      "epoch": 0.16586666666666666,
      "grad_norm": 2.418775909678158,
      "learning_rate": 4.716749155069364e-06,
      "loss": 0.4178,
      "step": 622
    },
    {
      "epoch": 0.16613333333333333,
      "grad_norm": 2.533105736836975,
      "learning_rate": 4.715765072282272e-06,
      "loss": 0.4531,
      "step": 623
    },
    {
      "epoch": 0.1664,
      "grad_norm": 2.9417436668716737,
      "learning_rate": 4.714779386010497e-06,
      "loss": 0.4661,
      "step": 624
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 2.7927585196888716,
      "learning_rate": 4.713792096967349e-06,
      "loss": 0.4941,
      "step": 625
    },
    {
      "epoch": 0.16693333333333332,
      "grad_norm": 2.90685924320954,
      "learning_rate": 4.712803205867302e-06,
      "loss": 0.4893,
      "step": 626
    },
    {
      "epoch": 0.1672,
      "grad_norm": 3.4438772708700576,
      "learning_rate": 4.7118127134259875e-06,
      "loss": 0.4751,
      "step": 627
    },
    {
      "epoch": 0.16746666666666668,
      "grad_norm": 3.3759410814928565,
      "learning_rate": 4.710820620360196e-06,
      "loss": 0.545,
      "step": 628
    },
    {
      "epoch": 0.16773333333333335,
      "grad_norm": 2.9058841556873602,
      "learning_rate": 4.709826927387875e-06,
      "loss": 0.4995,
      "step": 629
    },
    {
      "epoch": 0.168,
      "grad_norm": 2.6899578753879516,
      "learning_rate": 4.708831635228134e-06,
      "loss": 0.474,
      "step": 630
    },
    {
      "epoch": 0.16826666666666668,
      "grad_norm": 2.69375920679913,
      "learning_rate": 4.707834744601235e-06,
      "loss": 0.4601,
      "step": 631
    },
    {
      "epoch": 0.16853333333333334,
      "grad_norm": 2.299815605814072,
      "learning_rate": 4.706836256228599e-06,
      "loss": 0.4047,
      "step": 632
    },
    {
      "epoch": 0.1688,
      "grad_norm": 2.7002560709819745,
      "learning_rate": 4.705836170832802e-06,
      "loss": 0.4501,
      "step": 633
    },
    {
      "epoch": 0.16906666666666667,
      "grad_norm": 3.1529448591929152,
      "learning_rate": 4.70483448913758e-06,
      "loss": 0.4928,
      "step": 634
    },
    {
      "epoch": 0.16933333333333334,
      "grad_norm": 2.6610166996956326,
      "learning_rate": 4.703831211867818e-06,
      "loss": 0.4951,
      "step": 635
    },
    {
      "epoch": 0.1696,
      "grad_norm": 2.7721951698951224,
      "learning_rate": 4.702826339749558e-06,
      "loss": 0.5019,
      "step": 636
    },
    {
      "epoch": 0.16986666666666667,
      "grad_norm": 2.707980733220256,
      "learning_rate": 4.7018198735099986e-06,
      "loss": 0.4387,
      "step": 637
    },
    {
      "epoch": 0.17013333333333333,
      "grad_norm": 3.0449777088826213,
      "learning_rate": 4.700811813877489e-06,
      "loss": 0.4893,
      "step": 638
    },
    {
      "epoch": 0.1704,
      "grad_norm": 2.9778773472517184,
      "learning_rate": 4.699802161581535e-06,
      "loss": 0.4957,
      "step": 639
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 2.698007010653017,
      "learning_rate": 4.698790917352789e-06,
      "loss": 0.4798,
      "step": 640
    },
    {
      "epoch": 0.17093333333333333,
      "grad_norm": 2.8564333180326886,
      "learning_rate": 4.697778081923061e-06,
      "loss": 0.4586,
      "step": 641
    },
    {
      "epoch": 0.1712,
      "grad_norm": 2.6937879335482906,
      "learning_rate": 4.696763656025309e-06,
      "loss": 0.4459,
      "step": 642
    },
    {
      "epoch": 0.17146666666666666,
      "grad_norm": 2.5880716730196505,
      "learning_rate": 4.6957476403936465e-06,
      "loss": 0.4432,
      "step": 643
    },
    {
      "epoch": 0.17173333333333332,
      "grad_norm": 2.5485489527415264,
      "learning_rate": 4.694730035763332e-06,
      "loss": 0.4362,
      "step": 644
    },
    {
      "epoch": 0.172,
      "grad_norm": 3.515622032854306,
      "learning_rate": 4.693710842870777e-06,
      "loss": 0.5066,
      "step": 645
    },
    {
      "epoch": 0.17226666666666668,
      "grad_norm": 2.766807733010568,
      "learning_rate": 4.692690062453541e-06,
      "loss": 0.4542,
      "step": 646
    },
    {
      "epoch": 0.17253333333333334,
      "grad_norm": 2.710663284341496,
      "learning_rate": 4.691667695250335e-06,
      "loss": 0.4466,
      "step": 647
    },
    {
      "epoch": 0.1728,
      "grad_norm": 2.778692732846347,
      "learning_rate": 4.690643742001014e-06,
      "loss": 0.4635,
      "step": 648
    },
    {
      "epoch": 0.17306666666666667,
      "grad_norm": 3.0935312850155814,
      "learning_rate": 4.689618203446585e-06,
      "loss": 0.4515,
      "step": 649
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 2.9531053002602454,
      "learning_rate": 4.688591080329199e-06,
      "loss": 0.4895,
      "step": 650
    },
    {
      "epoch": 0.1736,
      "grad_norm": 2.550236802610135,
      "learning_rate": 4.687562373392156e-06,
      "loss": 0.4294,
      "step": 651
    },
    {
      "epoch": 0.17386666666666667,
      "grad_norm": 2.671321230365299,
      "learning_rate": 4.6865320833799014e-06,
      "loss": 0.4601,
      "step": 652
    },
    {
      "epoch": 0.17413333333333333,
      "grad_norm": 2.6680553152834645,
      "learning_rate": 4.685500211038025e-06,
      "loss": 0.4418,
      "step": 653
    },
    {
      "epoch": 0.1744,
      "grad_norm": 2.664622161012554,
      "learning_rate": 4.6844667571132655e-06,
      "loss": 0.4378,
      "step": 654
    },
    {
      "epoch": 0.17466666666666666,
      "grad_norm": 2.815296017136993,
      "learning_rate": 4.6834317223534995e-06,
      "loss": 0.4931,
      "step": 655
    },
    {
      "epoch": 0.17493333333333333,
      "grad_norm": 4.119111323292945,
      "learning_rate": 4.682395107507754e-06,
      "loss": 0.5343,
      "step": 656
    },
    {
      "epoch": 0.1752,
      "grad_norm": 2.7124657619088546,
      "learning_rate": 4.681356913326196e-06,
      "loss": 0.4548,
      "step": 657
    },
    {
      "epoch": 0.17546666666666666,
      "grad_norm": 2.622089386486628,
      "learning_rate": 4.680317140560138e-06,
      "loss": 0.4592,
      "step": 658
    },
    {
      "epoch": 0.17573333333333332,
      "grad_norm": 2.9083439540434433,
      "learning_rate": 4.679275789962032e-06,
      "loss": 0.4838,
      "step": 659
    },
    {
      "epoch": 0.176,
      "grad_norm": 2.5872279511601075,
      "learning_rate": 4.6782328622854725e-06,
      "loss": 0.5008,
      "step": 660
    },
    {
      "epoch": 0.17626666666666665,
      "grad_norm": 3.104795646602563,
      "learning_rate": 4.677188358285197e-06,
      "loss": 0.5104,
      "step": 661
    },
    {
      "epoch": 0.17653333333333332,
      "grad_norm": 3.1732430399587037,
      "learning_rate": 4.676142278717083e-06,
      "loss": 0.5439,
      "step": 662
    },
    {
      "epoch": 0.1768,
      "grad_norm": 2.67397668954799,
      "learning_rate": 4.675094624338146e-06,
      "loss": 0.4549,
      "step": 663
    },
    {
      "epoch": 0.17706666666666668,
      "grad_norm": 3.1670003626740306,
      "learning_rate": 4.674045395906545e-06,
      "loss": 0.5099,
      "step": 664
    },
    {
      "epoch": 0.17733333333333334,
      "grad_norm": 2.633482303113452,
      "learning_rate": 4.672994594181575e-06,
      "loss": 0.4429,
      "step": 665
    },
    {
      "epoch": 0.1776,
      "grad_norm": 2.913307019772029,
      "learning_rate": 4.671942219923671e-06,
      "loss": 0.5039,
      "step": 666
    },
    {
      "epoch": 0.17786666666666667,
      "grad_norm": 2.464817239265905,
      "learning_rate": 4.670888273894405e-06,
      "loss": 0.413,
      "step": 667
    },
    {
      "epoch": 0.17813333333333334,
      "grad_norm": 2.5485177089532685,
      "learning_rate": 4.669832756856487e-06,
      "loss": 0.4445,
      "step": 668
    },
    {
      "epoch": 0.1784,
      "grad_norm": 3.1133244060598924,
      "learning_rate": 4.6687756695737655e-06,
      "loss": 0.5062,
      "step": 669
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 2.898113137864932,
      "learning_rate": 4.667717012811223e-06,
      "loss": 0.4403,
      "step": 670
    },
    {
      "epoch": 0.17893333333333333,
      "grad_norm": 2.6497770891065877,
      "learning_rate": 4.666656787334978e-06,
      "loss": 0.4571,
      "step": 671
    },
    {
      "epoch": 0.1792,
      "grad_norm": 2.631663182840455,
      "learning_rate": 4.665594993912285e-06,
      "loss": 0.4353,
      "step": 672
    },
    {
      "epoch": 0.17946666666666666,
      "grad_norm": 2.580227535181295,
      "learning_rate": 4.664531633311532e-06,
      "loss": 0.4175,
      "step": 673
    },
    {
      "epoch": 0.17973333333333333,
      "grad_norm": 2.6393478267309325,
      "learning_rate": 4.663466706302245e-06,
      "loss": 0.4321,
      "step": 674
    },
    {
      "epoch": 0.18,
      "grad_norm": 3.236050255275857,
      "learning_rate": 4.662400213655078e-06,
      "loss": 0.4824,
      "step": 675
    },
    {
      "epoch": 0.18026666666666666,
      "grad_norm": 2.4305930708320274,
      "learning_rate": 4.661332156141822e-06,
      "loss": 0.4174,
      "step": 676
    },
    {
      "epoch": 0.18053333333333332,
      "grad_norm": 2.906655233994836,
      "learning_rate": 4.6602625345353984e-06,
      "loss": 0.4704,
      "step": 677
    },
    {
      "epoch": 0.1808,
      "grad_norm": 3.7701424984986094,
      "learning_rate": 4.659191349609862e-06,
      "loss": 0.4835,
      "step": 678
    },
    {
      "epoch": 0.18106666666666665,
      "grad_norm": 2.64714649579891,
      "learning_rate": 4.658118602140398e-06,
      "loss": 0.4489,
      "step": 679
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 3.1084853231800507,
      "learning_rate": 4.6570442929033215e-06,
      "loss": 0.5388,
      "step": 680
    },
    {
      "epoch": 0.1816,
      "grad_norm": 2.75854773149316,
      "learning_rate": 4.65596842267608e-06,
      "loss": 0.455,
      "step": 681
    },
    {
      "epoch": 0.18186666666666668,
      "grad_norm": 2.81897827569183,
      "learning_rate": 4.6548909922372485e-06,
      "loss": 0.4721,
      "step": 682
    },
    {
      "epoch": 0.18213333333333334,
      "grad_norm": 3.0836513453033048,
      "learning_rate": 4.6538120023665335e-06,
      "loss": 0.4833,
      "step": 683
    },
    {
      "epoch": 0.1824,
      "grad_norm": 2.7325903182132185,
      "learning_rate": 4.652731453844766e-06,
      "loss": 0.4706,
      "step": 684
    },
    {
      "epoch": 0.18266666666666667,
      "grad_norm": 2.905053054240319,
      "learning_rate": 4.651649347453911e-06,
      "loss": 0.501,
      "step": 685
    },
    {
      "epoch": 0.18293333333333334,
      "grad_norm": 2.7334950375649374,
      "learning_rate": 4.650565683977055e-06,
      "loss": 0.4768,
      "step": 686
    },
    {
      "epoch": 0.1832,
      "grad_norm": 2.896957253126091,
      "learning_rate": 4.649480464198414e-06,
      "loss": 0.4628,
      "step": 687
    },
    {
      "epoch": 0.18346666666666667,
      "grad_norm": 2.681116030083896,
      "learning_rate": 4.6483936889033295e-06,
      "loss": 0.4821,
      "step": 688
    },
    {
      "epoch": 0.18373333333333333,
      "grad_norm": 2.7349660884891316,
      "learning_rate": 4.647305358878271e-06,
      "loss": 0.4666,
      "step": 689
    },
    {
      "epoch": 0.184,
      "grad_norm": 2.5429351537472424,
      "learning_rate": 4.64621547491083e-06,
      "loss": 0.4537,
      "step": 690
    },
    {
      "epoch": 0.18426666666666666,
      "grad_norm": 2.4205541165750515,
      "learning_rate": 4.645124037789724e-06,
      "loss": 0.4228,
      "step": 691
    },
    {
      "epoch": 0.18453333333333333,
      "grad_norm": 2.6016326804148835,
      "learning_rate": 4.644031048304794e-06,
      "loss": 0.4222,
      "step": 692
    },
    {
      "epoch": 0.1848,
      "grad_norm": 2.7979886365106306,
      "learning_rate": 4.6429365072470046e-06,
      "loss": 0.4991,
      "step": 693
    },
    {
      "epoch": 0.18506666666666666,
      "grad_norm": 2.8275226790475325,
      "learning_rate": 4.641840415408444e-06,
      "loss": 0.4502,
      "step": 694
    },
    {
      "epoch": 0.18533333333333332,
      "grad_norm": 2.6082284698446334,
      "learning_rate": 4.640742773582321e-06,
      "loss": 0.4588,
      "step": 695
    },
    {
      "epoch": 0.1856,
      "grad_norm": 3.599583245740596,
      "learning_rate": 4.639643582562968e-06,
      "loss": 0.4984,
      "step": 696
    },
    {
      "epoch": 0.18586666666666668,
      "grad_norm": 3.144261736360566,
      "learning_rate": 4.638542843145837e-06,
      "loss": 0.5379,
      "step": 697
    },
    {
      "epoch": 0.18613333333333335,
      "grad_norm": 2.707964589958257,
      "learning_rate": 4.637440556127501e-06,
      "loss": 0.4635,
      "step": 698
    },
    {
      "epoch": 0.1864,
      "grad_norm": 2.498149072444361,
      "learning_rate": 4.636336722305654e-06,
      "loss": 0.4217,
      "step": 699
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 2.7559031948211894,
      "learning_rate": 4.635231342479108e-06,
      "loss": 0.48,
      "step": 700
    },
    {
      "epoch": 0.18693333333333334,
      "grad_norm": 2.961670765545406,
      "learning_rate": 4.634124417447793e-06,
      "loss": 0.5147,
      "step": 701
    },
    {
      "epoch": 0.1872,
      "grad_norm": 3.176348553599351,
      "learning_rate": 4.633015948012758e-06,
      "loss": 0.5588,
      "step": 702
    },
    {
      "epoch": 0.18746666666666667,
      "grad_norm": 2.952543778616617,
      "learning_rate": 4.631905934976173e-06,
      "loss": 0.5025,
      "step": 703
    },
    {
      "epoch": 0.18773333333333334,
      "grad_norm": 2.4483570050521117,
      "learning_rate": 4.6307943791413205e-06,
      "loss": 0.4458,
      "step": 704
    },
    {
      "epoch": 0.188,
      "grad_norm": 2.5986118713757516,
      "learning_rate": 4.6296812813126e-06,
      "loss": 0.4224,
      "step": 705
    },
    {
      "epoch": 0.18826666666666667,
      "grad_norm": 2.5704092738469004,
      "learning_rate": 4.62856664229553e-06,
      "loss": 0.4451,
      "step": 706
    },
    {
      "epoch": 0.18853333333333333,
      "grad_norm": 2.6683056930045663,
      "learning_rate": 4.627450462896741e-06,
      "loss": 0.4368,
      "step": 707
    },
    {
      "epoch": 0.1888,
      "grad_norm": 3.566170488478393,
      "learning_rate": 4.626332743923979e-06,
      "loss": 0.526,
      "step": 708
    },
    {
      "epoch": 0.18906666666666666,
      "grad_norm": 2.624175061719108,
      "learning_rate": 4.625213486186107e-06,
      "loss": 0.4581,
      "step": 709
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 3.0047138650301077,
      "learning_rate": 4.6240926904930976e-06,
      "loss": 0.4806,
      "step": 710
    },
    {
      "epoch": 0.1896,
      "grad_norm": 2.6912156881573717,
      "learning_rate": 4.622970357656038e-06,
      "loss": 0.4991,
      "step": 711
    },
    {
      "epoch": 0.18986666666666666,
      "grad_norm": 3.3044478059706814,
      "learning_rate": 4.621846488487127e-06,
      "loss": 0.5878,
      "step": 712
    },
    {
      "epoch": 0.19013333333333332,
      "grad_norm": 2.917568512238252,
      "learning_rate": 4.620721083799679e-06,
      "loss": 0.4767,
      "step": 713
    },
    {
      "epoch": 0.1904,
      "grad_norm": 2.6309844966485914,
      "learning_rate": 4.619594144408113e-06,
      "loss": 0.47,
      "step": 714
    },
    {
      "epoch": 0.19066666666666668,
      "grad_norm": 3.0283918867808155,
      "learning_rate": 4.618465671127964e-06,
      "loss": 0.5388,
      "step": 715
    },
    {
      "epoch": 0.19093333333333334,
      "grad_norm": 2.5402668029126607,
      "learning_rate": 4.617335664775876e-06,
      "loss": 0.4765,
      "step": 716
    },
    {
      "epoch": 0.1912,
      "grad_norm": 2.8381300964708602,
      "learning_rate": 4.616204126169601e-06,
      "loss": 0.465,
      "step": 717
    },
    {
      "epoch": 0.19146666666666667,
      "grad_norm": 2.849911234220085,
      "learning_rate": 4.6150710561279995e-06,
      "loss": 0.4765,
      "step": 718
    },
    {
      "epoch": 0.19173333333333334,
      "grad_norm": 2.902668804832546,
      "learning_rate": 4.613936455471043e-06,
      "loss": 0.4725,
      "step": 719
    },
    {
      "epoch": 0.192,
      "grad_norm": 2.793420432085734,
      "learning_rate": 4.612800325019808e-06,
      "loss": 0.4759,
      "step": 720
    },
    {
      "epoch": 0.19226666666666667,
      "grad_norm": 2.563158064665681,
      "learning_rate": 4.611662665596479e-06,
      "loss": 0.441,
      "step": 721
    },
    {
      "epoch": 0.19253333333333333,
      "grad_norm": 2.8527049234652813,
      "learning_rate": 4.610523478024348e-06,
      "loss": 0.4758,
      "step": 722
    },
    {
      "epoch": 0.1928,
      "grad_norm": 2.736267092600494,
      "learning_rate": 4.60938276312781e-06,
      "loss": 0.4955,
      "step": 723
    },
    {
      "epoch": 0.19306666666666666,
      "grad_norm": 2.903905517319012,
      "learning_rate": 4.6082405217323685e-06,
      "loss": 0.5463,
      "step": 724
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 3.5787258914605666,
      "learning_rate": 4.6070967546646305e-06,
      "loss": 0.5487,
      "step": 725
    },
    {
      "epoch": 0.1936,
      "grad_norm": 3.269632205884786,
      "learning_rate": 4.6059514627523075e-06,
      "loss": 0.5249,
      "step": 726
    },
    {
      "epoch": 0.19386666666666666,
      "grad_norm": 3.563555112204305,
      "learning_rate": 4.604804646824211e-06,
      "loss": 0.5428,
      "step": 727
    },
    {
      "epoch": 0.19413333333333332,
      "grad_norm": 2.829244370399035,
      "learning_rate": 4.603656307710262e-06,
      "loss": 0.5116,
      "step": 728
    },
    {
      "epoch": 0.1944,
      "grad_norm": 2.6589773094396683,
      "learning_rate": 4.602506446241477e-06,
      "loss": 0.4661,
      "step": 729
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 2.9046986065751392,
      "learning_rate": 4.60135506324998e-06,
      "loss": 0.4937,
      "step": 730
    },
    {
      "epoch": 0.19493333333333332,
      "grad_norm": 2.9410346412177506,
      "learning_rate": 4.600202159568991e-06,
      "loss": 0.5056,
      "step": 731
    },
    {
      "epoch": 0.1952,
      "grad_norm": 2.679702405480283,
      "learning_rate": 4.599047736032834e-06,
      "loss": 0.468,
      "step": 732
    },
    {
      "epoch": 0.19546666666666668,
      "grad_norm": 2.7200053722953617,
      "learning_rate": 4.597891793476932e-06,
      "loss": 0.4414,
      "step": 733
    },
    {
      "epoch": 0.19573333333333334,
      "grad_norm": 2.7419162081905255,
      "learning_rate": 4.596734332737806e-06,
      "loss": 0.4889,
      "step": 734
    },
    {
      "epoch": 0.196,
      "grad_norm": 2.6481502849528717,
      "learning_rate": 4.5955753546530775e-06,
      "loss": 0.4903,
      "step": 735
    },
    {
      "epoch": 0.19626666666666667,
      "grad_norm": 2.6372581500736687,
      "learning_rate": 4.594414860061465e-06,
      "loss": 0.462,
      "step": 736
    },
    {
      "epoch": 0.19653333333333334,
      "grad_norm": 2.93497197530768,
      "learning_rate": 4.593252849802784e-06,
      "loss": 0.4934,
      "step": 737
    },
    {
      "epoch": 0.1968,
      "grad_norm": 2.8265602627705584,
      "learning_rate": 4.592089324717949e-06,
      "loss": 0.4648,
      "step": 738
    },
    {
      "epoch": 0.19706666666666667,
      "grad_norm": 2.5015474206189605,
      "learning_rate": 4.590924285648968e-06,
      "loss": 0.4468,
      "step": 739
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 2.7700127372668923,
      "learning_rate": 4.5897577334389456e-06,
      "loss": 0.4419,
      "step": 740
    },
    {
      "epoch": 0.1976,
      "grad_norm": 2.670980413377504,
      "learning_rate": 4.588589668932082e-06,
      "loss": 0.4255,
      "step": 741
    },
    {
      "epoch": 0.19786666666666666,
      "grad_norm": 3.4619460944317306,
      "learning_rate": 4.587420092973672e-06,
      "loss": 0.5473,
      "step": 742
    },
    {
      "epoch": 0.19813333333333333,
      "grad_norm": 2.8637172945060616,
      "learning_rate": 4.586249006410104e-06,
      "loss": 0.4436,
      "step": 743
    },
    {
      "epoch": 0.1984,
      "grad_norm": 2.8580447494282066,
      "learning_rate": 4.585076410088858e-06,
      "loss": 0.4531,
      "step": 744
    },
    {
      "epoch": 0.19866666666666666,
      "grad_norm": 2.741712683273896,
      "learning_rate": 4.583902304858509e-06,
      "loss": 0.4901,
      "step": 745
    },
    {
      "epoch": 0.19893333333333332,
      "grad_norm": 3.1979221707306746,
      "learning_rate": 4.5827266915687205e-06,
      "loss": 0.5145,
      "step": 746
    },
    {
      "epoch": 0.1992,
      "grad_norm": 2.396896084172301,
      "learning_rate": 4.5815495710702525e-06,
      "loss": 0.4211,
      "step": 747
    },
    {
      "epoch": 0.19946666666666665,
      "grad_norm": 2.76531001693003,
      "learning_rate": 4.580370944214952e-06,
      "loss": 0.4678,
      "step": 748
    },
    {
      "epoch": 0.19973333333333335,
      "grad_norm": 2.3165269057856586,
      "learning_rate": 4.579190811855757e-06,
      "loss": 0.3728,
      "step": 749
    },
    {
      "epoch": 0.2,
      "grad_norm": 2.940856327035219,
      "learning_rate": 4.578009174846694e-06,
      "loss": 0.5165,
      "step": 750
    },
    {
      "epoch": 0.20026666666666668,
      "grad_norm": 2.2582348736673095,
      "learning_rate": 4.5768260340428795e-06,
      "loss": 0.3798,
      "step": 751
    },
    {
      "epoch": 0.20053333333333334,
      "grad_norm": 2.472377392973847,
      "learning_rate": 4.575641390300519e-06,
      "loss": 0.4611,
      "step": 752
    },
    {
      "epoch": 0.2008,
      "grad_norm": 3.0423926510933734,
      "learning_rate": 4.574455244476904e-06,
      "loss": 0.5219,
      "step": 753
    },
    {
      "epoch": 0.20106666666666667,
      "grad_norm": 2.7583772849745816,
      "learning_rate": 4.573267597430414e-06,
      "loss": 0.4921,
      "step": 754
    },
    {
      "epoch": 0.20133333333333334,
      "grad_norm": 2.413161223973684,
      "learning_rate": 4.572078450020514e-06,
      "loss": 0.4162,
      "step": 755
    },
    {
      "epoch": 0.2016,
      "grad_norm": 2.4318051218699535,
      "learning_rate": 4.570887803107757e-06,
      "loss": 0.4228,
      "step": 756
    },
    {
      "epoch": 0.20186666666666667,
      "grad_norm": 2.8506559580971325,
      "learning_rate": 4.569695657553777e-06,
      "loss": 0.5009,
      "step": 757
    },
    {
      "epoch": 0.20213333333333333,
      "grad_norm": 2.9605261051845315,
      "learning_rate": 4.568502014221296e-06,
      "loss": 0.5072,
      "step": 758
    },
    {
      "epoch": 0.2024,
      "grad_norm": 2.704638125526413,
      "learning_rate": 4.56730687397412e-06,
      "loss": 0.4734,
      "step": 759
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 2.4504591742898354,
      "learning_rate": 4.566110237677136e-06,
      "loss": 0.442,
      "step": 760
    },
    {
      "epoch": 0.20293333333333333,
      "grad_norm": 2.4682862132472643,
      "learning_rate": 4.564912106196317e-06,
      "loss": 0.431,
      "step": 761
    },
    {
      "epoch": 0.2032,
      "grad_norm": 2.793273797878234,
      "learning_rate": 4.563712480398712e-06,
      "loss": 0.4681,
      "step": 762
    },
    {
      "epoch": 0.20346666666666666,
      "grad_norm": 2.453150762906319,
      "learning_rate": 4.562511361152458e-06,
      "loss": 0.4129,
      "step": 763
    },
    {
      "epoch": 0.20373333333333332,
      "grad_norm": 2.607900075053996,
      "learning_rate": 4.56130874932677e-06,
      "loss": 0.4547,
      "step": 764
    },
    {
      "epoch": 0.204,
      "grad_norm": 3.1694019617186697,
      "learning_rate": 4.560104645791943e-06,
      "loss": 0.4981,
      "step": 765
    },
    {
      "epoch": 0.20426666666666668,
      "grad_norm": 3.119288203464753,
      "learning_rate": 4.558899051419351e-06,
      "loss": 0.5328,
      "step": 766
    },
    {
      "epoch": 0.20453333333333334,
      "grad_norm": 2.6512993461985803,
      "learning_rate": 4.557691967081448e-06,
      "loss": 0.4614,
      "step": 767
    },
    {
      "epoch": 0.2048,
      "grad_norm": 2.6660743574629207,
      "learning_rate": 4.556483393651765e-06,
      "loss": 0.4255,
      "step": 768
    },
    {
      "epoch": 0.20506666666666667,
      "grad_norm": 2.894053793006528,
      "learning_rate": 4.555273332004913e-06,
      "loss": 0.4634,
      "step": 769
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 3.6128177066789573,
      "learning_rate": 4.554061783016578e-06,
      "loss": 0.5835,
      "step": 770
    },
    {
      "epoch": 0.2056,
      "grad_norm": 2.693024510953251,
      "learning_rate": 4.552848747563521e-06,
      "loss": 0.4565,
      "step": 771
    },
    {
      "epoch": 0.20586666666666667,
      "grad_norm": 2.7055525117258457,
      "learning_rate": 4.5516342265235824e-06,
      "loss": 0.459,
      "step": 772
    },
    {
      "epoch": 0.20613333333333334,
      "grad_norm": 2.8423291339617887,
      "learning_rate": 4.550418220775676e-06,
      "loss": 0.5206,
      "step": 773
    },
    {
      "epoch": 0.2064,
      "grad_norm": 2.654567630081089,
      "learning_rate": 4.549200731199787e-06,
      "loss": 0.4515,
      "step": 774
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 3.1388672852337027,
      "learning_rate": 4.547981758676979e-06,
      "loss": 0.4927,
      "step": 775
    },
    {
      "epoch": 0.20693333333333333,
      "grad_norm": 2.7993005366824675,
      "learning_rate": 4.546761304089388e-06,
      "loss": 0.4592,
      "step": 776
    },
    {
      "epoch": 0.2072,
      "grad_norm": 2.651832248245361,
      "learning_rate": 4.5455393683202195e-06,
      "loss": 0.4756,
      "step": 777
    },
    {
      "epoch": 0.20746666666666666,
      "grad_norm": 3.0202612818582377,
      "learning_rate": 4.544315952253754e-06,
      "loss": 0.5027,
      "step": 778
    },
    {
      "epoch": 0.20773333333333333,
      "grad_norm": 2.548947644761938,
      "learning_rate": 4.543091056775341e-06,
      "loss": 0.4504,
      "step": 779
    },
    {
      "epoch": 0.208,
      "grad_norm": 2.5214320225611524,
      "learning_rate": 4.541864682771404e-06,
      "loss": 0.4463,
      "step": 780
    },
    {
      "epoch": 0.20826666666666666,
      "grad_norm": 2.7522797523740152,
      "learning_rate": 4.540636831129432e-06,
      "loss": 0.4826,
      "step": 781
    },
    {
      "epoch": 0.20853333333333332,
      "grad_norm": 2.53318385285558,
      "learning_rate": 4.539407502737987e-06,
      "loss": 0.4081,
      "step": 782
    },
    {
      "epoch": 0.2088,
      "grad_norm": 2.7475292526336363,
      "learning_rate": 4.538176698486696e-06,
      "loss": 0.4561,
      "step": 783
    },
    {
      "epoch": 0.20906666666666668,
      "grad_norm": 2.4625933602326477,
      "learning_rate": 4.536944419266258e-06,
      "loss": 0.4031,
      "step": 784
    },
    {
      "epoch": 0.20933333333333334,
      "grad_norm": 2.515874940789969,
      "learning_rate": 4.535710665968437e-06,
      "loss": 0.4385,
      "step": 785
    },
    {
      "epoch": 0.2096,
      "grad_norm": 2.5773365528459826,
      "learning_rate": 4.534475439486065e-06,
      "loss": 0.4692,
      "step": 786
    },
    {
      "epoch": 0.20986666666666667,
      "grad_norm": 2.7594609625339306,
      "learning_rate": 4.533238740713039e-06,
      "loss": 0.4876,
      "step": 787
    },
    {
      "epoch": 0.21013333333333334,
      "grad_norm": 2.6870294595549393,
      "learning_rate": 4.532000570544321e-06,
      "loss": 0.516,
      "step": 788
    },
    {
      "epoch": 0.2104,
      "grad_norm": 2.672824089111284,
      "learning_rate": 4.53076092987594e-06,
      "loss": 0.4934,
      "step": 789
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 2.695845987859465,
      "learning_rate": 4.529519819604987e-06,
      "loss": 0.4746,
      "step": 790
    },
    {
      "epoch": 0.21093333333333333,
      "grad_norm": 3.1571137392984325,
      "learning_rate": 4.528277240629618e-06,
      "loss": 0.5357,
      "step": 791
    },
    {
      "epoch": 0.2112,
      "grad_norm": 3.2517903763700464,
      "learning_rate": 4.527033193849052e-06,
      "loss": 0.5729,
      "step": 792
    },
    {
      "epoch": 0.21146666666666666,
      "grad_norm": 2.545697554041401,
      "learning_rate": 4.525787680163567e-06,
      "loss": 0.4809,
      "step": 793
    },
    {
      "epoch": 0.21173333333333333,
      "grad_norm": 2.9271031411954875,
      "learning_rate": 4.524540700474507e-06,
      "loss": 0.4806,
      "step": 794
    },
    {
      "epoch": 0.212,
      "grad_norm": 2.842619480036809,
      "learning_rate": 4.5232922556842755e-06,
      "loss": 0.462,
      "step": 795
    },
    {
      "epoch": 0.21226666666666666,
      "grad_norm": 2.4726610580867607,
      "learning_rate": 4.522042346696332e-06,
      "loss": 0.4093,
      "step": 796
    },
    {
      "epoch": 0.21253333333333332,
      "grad_norm": 2.8907370962293966,
      "learning_rate": 4.520790974415204e-06,
      "loss": 0.471,
      "step": 797
    },
    {
      "epoch": 0.2128,
      "grad_norm": 2.3589815338796973,
      "learning_rate": 4.51953813974647e-06,
      "loss": 0.4325,
      "step": 798
    },
    {
      "epoch": 0.21306666666666665,
      "grad_norm": 3.1101505234115225,
      "learning_rate": 4.5182838435967715e-06,
      "loss": 0.5173,
      "step": 799
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 2.3835354929760144,
      "learning_rate": 4.517028086873805e-06,
      "loss": 0.4291,
      "step": 800
    },
    {
      "epoch": 0.2136,
      "grad_norm": 2.3578430334390013,
      "learning_rate": 4.515770870486325e-06,
      "loss": 0.4524,
      "step": 801
    },
    {
      "epoch": 0.21386666666666668,
      "grad_norm": 2.6029355623232,
      "learning_rate": 4.514512195344145e-06,
      "loss": 0.425,
      "step": 802
    },
    {
      "epoch": 0.21413333333333334,
      "grad_norm": 2.6235175534207493,
      "learning_rate": 4.5132520623581285e-06,
      "loss": 0.5181,
      "step": 803
    },
    {
      "epoch": 0.2144,
      "grad_norm": 2.521633260186649,
      "learning_rate": 4.511990472440198e-06,
      "loss": 0.4354,
      "step": 804
    },
    {
      "epoch": 0.21466666666666667,
      "grad_norm": 2.5420431080756076,
      "learning_rate": 4.51072742650333e-06,
      "loss": 0.4333,
      "step": 805
    },
    {
      "epoch": 0.21493333333333334,
      "grad_norm": 2.723551190310324,
      "learning_rate": 4.509462925461553e-06,
      "loss": 0.4308,
      "step": 806
    },
    {
      "epoch": 0.2152,
      "grad_norm": 3.554423428330265,
      "learning_rate": 4.508196970229951e-06,
      "loss": 0.5213,
      "step": 807
    },
    {
      "epoch": 0.21546666666666667,
      "grad_norm": 2.5109141507404447,
      "learning_rate": 4.506929561724658e-06,
      "loss": 0.4523,
      "step": 808
    },
    {
      "epoch": 0.21573333333333333,
      "grad_norm": 2.305440149517117,
      "learning_rate": 4.505660700862861e-06,
      "loss": 0.3981,
      "step": 809
    },
    {
      "epoch": 0.216,
      "grad_norm": 2.5800393111571225,
      "learning_rate": 4.5043903885627965e-06,
      "loss": 0.475,
      "step": 810
    },
    {
      "epoch": 0.21626666666666666,
      "grad_norm": 2.6342424915375253,
      "learning_rate": 4.5031186257437545e-06,
      "loss": 0.4625,
      "step": 811
    },
    {
      "epoch": 0.21653333333333333,
      "grad_norm": 2.6615453825807034,
      "learning_rate": 4.501845413326071e-06,
      "loss": 0.4775,
      "step": 812
    },
    {
      "epoch": 0.2168,
      "grad_norm": 2.589783497470515,
      "learning_rate": 4.5005707522311345e-06,
      "loss": 0.4328,
      "step": 813
    },
    {
      "epoch": 0.21706666666666666,
      "grad_norm": 2.6129526205530076,
      "learning_rate": 4.499294643381379e-06,
      "loss": 0.4704,
      "step": 814
    },
    {
      "epoch": 0.21733333333333332,
      "grad_norm": 2.9598985677149408,
      "learning_rate": 4.498017087700287e-06,
      "loss": 0.5159,
      "step": 815
    },
    {
      "epoch": 0.2176,
      "grad_norm": 2.6503067845703536,
      "learning_rate": 4.4967380861123885e-06,
      "loss": 0.445,
      "step": 816
    },
    {
      "epoch": 0.21786666666666665,
      "grad_norm": 2.3564211471744447,
      "learning_rate": 4.495457639543261e-06,
      "loss": 0.4133,
      "step": 817
    },
    {
      "epoch": 0.21813333333333335,
      "grad_norm": 3.2293296805649643,
      "learning_rate": 4.494175748919525e-06,
      "loss": 0.5079,
      "step": 818
    },
    {
      "epoch": 0.2184,
      "grad_norm": 2.979810592391472,
      "learning_rate": 4.492892415168848e-06,
      "loss": 0.5276,
      "step": 819
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 2.459344082056493,
      "learning_rate": 4.491607639219941e-06,
      "loss": 0.4073,
      "step": 820
    },
    {
      "epoch": 0.21893333333333334,
      "grad_norm": 2.880512716184811,
      "learning_rate": 4.490321422002559e-06,
      "loss": 0.431,
      "step": 821
    },
    {
      "epoch": 0.2192,
      "grad_norm": 2.832415501114807,
      "learning_rate": 4.489033764447501e-06,
      "loss": 0.4787,
      "step": 822
    },
    {
      "epoch": 0.21946666666666667,
      "grad_norm": 6.631908894350528,
      "learning_rate": 4.487744667486606e-06,
      "loss": 0.511,
      "step": 823
    },
    {
      "epoch": 0.21973333333333334,
      "grad_norm": 2.6762104852364033,
      "learning_rate": 4.486454132052756e-06,
      "loss": 0.4658,
      "step": 824
    },
    {
      "epoch": 0.22,
      "grad_norm": 2.675527037193902,
      "learning_rate": 4.485162159079875e-06,
      "loss": 0.5105,
      "step": 825
    },
    {
      "epoch": 0.22026666666666667,
      "grad_norm": 2.5127694111438323,
      "learning_rate": 4.4838687495029245e-06,
      "loss": 0.4433,
      "step": 826
    },
    {
      "epoch": 0.22053333333333333,
      "grad_norm": 2.6570766577680622,
      "learning_rate": 4.482573904257908e-06,
      "loss": 0.453,
      "step": 827
    },
    {
      "epoch": 0.2208,
      "grad_norm": 4.462669607088079,
      "learning_rate": 4.481277624281869e-06,
      "loss": 0.4814,
      "step": 828
    },
    {
      "epoch": 0.22106666666666666,
      "grad_norm": 2.499323374168046,
      "learning_rate": 4.479979910512886e-06,
      "loss": 0.4482,
      "step": 829
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 2.6227678065193065,
      "learning_rate": 4.478680763890077e-06,
      "loss": 0.4125,
      "step": 830
    },
    {
      "epoch": 0.2216,
      "grad_norm": 3.3567175397361257,
      "learning_rate": 4.477380185353596e-06,
      "loss": 0.5667,
      "step": 831
    },
    {
      "epoch": 0.22186666666666666,
      "grad_norm": 2.849201610847363,
      "learning_rate": 4.4760781758446345e-06,
      "loss": 0.509,
      "step": 832
    },
    {
      "epoch": 0.22213333333333332,
      "grad_norm": 3.330602703475536,
      "learning_rate": 4.4747747363054195e-06,
      "loss": 0.5615,
      "step": 833
    },
    {
      "epoch": 0.2224,
      "grad_norm": 2.530040229167174,
      "learning_rate": 4.473469867679211e-06,
      "loss": 0.4261,
      "step": 834
    },
    {
      "epoch": 0.22266666666666668,
      "grad_norm": 2.697831438416143,
      "learning_rate": 4.472163570910304e-06,
      "loss": 0.4376,
      "step": 835
    },
    {
      "epoch": 0.22293333333333334,
      "grad_norm": 2.6797582430740623,
      "learning_rate": 4.470855846944029e-06,
      "loss": 0.4315,
      "step": 836
    },
    {
      "epoch": 0.2232,
      "grad_norm": 2.6733167492278582,
      "learning_rate": 4.469546696726748e-06,
      "loss": 0.4417,
      "step": 837
    },
    {
      "epoch": 0.22346666666666667,
      "grad_norm": 2.7623445500468815,
      "learning_rate": 4.4682361212058535e-06,
      "loss": 0.4814,
      "step": 838
    },
    {
      "epoch": 0.22373333333333334,
      "grad_norm": 3.7849834784306347,
      "learning_rate": 4.466924121329771e-06,
      "loss": 0.4635,
      "step": 839
    },
    {
      "epoch": 0.224,
      "grad_norm": 3.0534496567624045,
      "learning_rate": 4.465610698047958e-06,
      "loss": 0.5233,
      "step": 840
    },
    {
      "epoch": 0.22426666666666667,
      "grad_norm": 2.7511252957585537,
      "learning_rate": 4.464295852310898e-06,
      "loss": 0.483,
      "step": 841
    },
    {
      "epoch": 0.22453333333333333,
      "grad_norm": 2.8950872969519925,
      "learning_rate": 4.46297958507011e-06,
      "loss": 0.4927,
      "step": 842
    },
    {
      "epoch": 0.2248,
      "grad_norm": 2.760804626301903,
      "learning_rate": 4.461661897278135e-06,
      "loss": 0.4575,
      "step": 843
    },
    {
      "epoch": 0.22506666666666666,
      "grad_norm": 2.5397016019503966,
      "learning_rate": 4.460342789888549e-06,
      "loss": 0.4718,
      "step": 844
    },
    {
      "epoch": 0.22533333333333333,
      "grad_norm": 2.8565058155175,
      "learning_rate": 4.459022263855948e-06,
      "loss": 0.4897,
      "step": 845
    },
    {
      "epoch": 0.2256,
      "grad_norm": 2.5286944088850016,
      "learning_rate": 4.457700320135961e-06,
      "loss": 0.406,
      "step": 846
    },
    {
      "epoch": 0.22586666666666666,
      "grad_norm": 2.7685862769924507,
      "learning_rate": 4.456376959685237e-06,
      "loss": 0.4687,
      "step": 847
    },
    {
      "epoch": 0.22613333333333333,
      "grad_norm": 3.1155197266474364,
      "learning_rate": 4.4550521834614566e-06,
      "loss": 0.4772,
      "step": 848
    },
    {
      "epoch": 0.2264,
      "grad_norm": 2.974163229499802,
      "learning_rate": 4.453725992423321e-06,
      "loss": 0.4821,
      "step": 849
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 2.778491340184208,
      "learning_rate": 4.4523983875305544e-06,
      "loss": 0.5001,
      "step": 850
    },
    {
      "epoch": 0.22693333333333332,
      "grad_norm": 2.56560373143486,
      "learning_rate": 4.451069369743909e-06,
      "loss": 0.4587,
      "step": 851
    },
    {
      "epoch": 0.2272,
      "grad_norm": 2.8221370015885956,
      "learning_rate": 4.449738940025153e-06,
      "loss": 0.5022,
      "step": 852
    },
    {
      "epoch": 0.22746666666666668,
      "grad_norm": 2.6324790903972213,
      "learning_rate": 4.448407099337081e-06,
      "loss": 0.4687,
      "step": 853
    },
    {
      "epoch": 0.22773333333333334,
      "grad_norm": 3.3403945013975975,
      "learning_rate": 4.447073848643507e-06,
      "loss": 0.4525,
      "step": 854
    },
    {
      "epoch": 0.228,
      "grad_norm": 2.7327664608445983,
      "learning_rate": 4.445739188909267e-06,
      "loss": 0.4846,
      "step": 855
    },
    {
      "epoch": 0.22826666666666667,
      "grad_norm": 3.0539250629487484,
      "learning_rate": 4.444403121100213e-06,
      "loss": 0.4538,
      "step": 856
    },
    {
      "epoch": 0.22853333333333334,
      "grad_norm": 2.8761640373407924,
      "learning_rate": 4.4430656461832225e-06,
      "loss": 0.4841,
      "step": 857
    },
    {
      "epoch": 0.2288,
      "grad_norm": 2.5325853700356733,
      "learning_rate": 4.441726765126182e-06,
      "loss": 0.4435,
      "step": 858
    },
    {
      "epoch": 0.22906666666666667,
      "grad_norm": 2.6277135639247473,
      "learning_rate": 4.440386478898004e-06,
      "loss": 0.4487,
      "step": 859
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 2.6860775686708855,
      "learning_rate": 4.439044788468614e-06,
      "loss": 0.4616,
      "step": 860
    },
    {
      "epoch": 0.2296,
      "grad_norm": 2.4522310395448823,
      "learning_rate": 4.437701694808955e-06,
      "loss": 0.4477,
      "step": 861
    },
    {
      "epoch": 0.22986666666666666,
      "grad_norm": 2.5998020857016484,
      "learning_rate": 4.4363571988909825e-06,
      "loss": 0.4097,
      "step": 862
    },
    {
      "epoch": 0.23013333333333333,
      "grad_norm": 2.5164384635992585,
      "learning_rate": 4.4350113016876714e-06,
      "loss": 0.4735,
      "step": 863
    },
    {
      "epoch": 0.2304,
      "grad_norm": 2.7475765787212656,
      "learning_rate": 4.433664004173006e-06,
      "loss": 0.4632,
      "step": 864
    },
    {
      "epoch": 0.23066666666666666,
      "grad_norm": 2.839546820057335,
      "learning_rate": 4.43231530732199e-06,
      "loss": 0.4537,
      "step": 865
    },
    {
      "epoch": 0.23093333333333332,
      "grad_norm": 2.9759923279455096,
      "learning_rate": 4.430965212110633e-06,
      "loss": 0.467,
      "step": 866
    },
    {
      "epoch": 0.2312,
      "grad_norm": 3.1545452114615062,
      "learning_rate": 4.429613719515959e-06,
      "loss": 0.5046,
      "step": 867
    },
    {
      "epoch": 0.23146666666666665,
      "grad_norm": 2.805452692166308,
      "learning_rate": 4.4282608305160066e-06,
      "loss": 0.4439,
      "step": 868
    },
    {
      "epoch": 0.23173333333333335,
      "grad_norm": 2.5921383910106353,
      "learning_rate": 4.426906546089822e-06,
      "loss": 0.4763,
      "step": 869
    },
    {
      "epoch": 0.232,
      "grad_norm": 3.1442611681022443,
      "learning_rate": 4.425550867217458e-06,
      "loss": 0.5104,
      "step": 870
    },
    {
      "epoch": 0.23226666666666668,
      "grad_norm": 2.616053915885445,
      "learning_rate": 4.4241937948799834e-06,
      "loss": 0.4739,
      "step": 871
    },
    {
      "epoch": 0.23253333333333334,
      "grad_norm": 2.7378608068837873,
      "learning_rate": 4.4228353300594705e-06,
      "loss": 0.5219,
      "step": 872
    },
    {
      "epoch": 0.2328,
      "grad_norm": 2.576585784629098,
      "learning_rate": 4.421475473739001e-06,
      "loss": 0.4251,
      "step": 873
    },
    {
      "epoch": 0.23306666666666667,
      "grad_norm": 2.6863185335570217,
      "learning_rate": 4.4201142269026635e-06,
      "loss": 0.4318,
      "step": 874
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 2.570186790566047,
      "learning_rate": 4.4187515905355526e-06,
      "loss": 0.4834,
      "step": 875
    },
    {
      "epoch": 0.2336,
      "grad_norm": 2.705002372843143,
      "learning_rate": 4.417387565623768e-06,
      "loss": 0.466,
      "step": 876
    },
    {
      "epoch": 0.23386666666666667,
      "grad_norm": 2.596673718743218,
      "learning_rate": 4.416022153154416e-06,
      "loss": 0.4227,
      "step": 877
    },
    {
      "epoch": 0.23413333333333333,
      "grad_norm": 2.4868767409516677,
      "learning_rate": 4.414655354115605e-06,
      "loss": 0.4572,
      "step": 878
    },
    {
      "epoch": 0.2344,
      "grad_norm": 2.550101200283714,
      "learning_rate": 4.413287169496447e-06,
      "loss": 0.4303,
      "step": 879
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 2.535730745677696,
      "learning_rate": 4.411917600287059e-06,
      "loss": 0.4316,
      "step": 880
    },
    {
      "epoch": 0.23493333333333333,
      "grad_norm": 2.9024115887510646,
      "learning_rate": 4.410546647478557e-06,
      "loss": 0.4744,
      "step": 881
    },
    {
      "epoch": 0.2352,
      "grad_norm": 2.4755758053645156,
      "learning_rate": 4.409174312063062e-06,
      "loss": 0.4193,
      "step": 882
    },
    {
      "epoch": 0.23546666666666666,
      "grad_norm": 2.7894466211657125,
      "learning_rate": 4.40780059503369e-06,
      "loss": 0.4558,
      "step": 883
    },
    {
      "epoch": 0.23573333333333332,
      "grad_norm": 3.1312574362097787,
      "learning_rate": 4.406425497384561e-06,
      "loss": 0.5244,
      "step": 884
    },
    {
      "epoch": 0.236,
      "grad_norm": 3.048499851655153,
      "learning_rate": 4.405049020110795e-06,
      "loss": 0.4953,
      "step": 885
    },
    {
      "epoch": 0.23626666666666668,
      "grad_norm": 2.9977518005009003,
      "learning_rate": 4.403671164208506e-06,
      "loss": 0.5033,
      "step": 886
    },
    {
      "epoch": 0.23653333333333335,
      "grad_norm": 2.6825708759199904,
      "learning_rate": 4.40229193067481e-06,
      "loss": 0.4253,
      "step": 887
    },
    {
      "epoch": 0.2368,
      "grad_norm": 2.8546691119598764,
      "learning_rate": 4.400911320507818e-06,
      "loss": 0.4707,
      "step": 888
    },
    {
      "epoch": 0.23706666666666668,
      "grad_norm": 2.9957963133640497,
      "learning_rate": 4.399529334706636e-06,
      "loss": 0.4979,
      "step": 889
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 2.280496406616078,
      "learning_rate": 4.398145974271369e-06,
      "loss": 0.3861,
      "step": 890
    },
    {
      "epoch": 0.2376,
      "grad_norm": 2.902077815836922,
      "learning_rate": 4.3967612402031126e-06,
      "loss": 0.5292,
      "step": 891
    },
    {
      "epoch": 0.23786666666666667,
      "grad_norm": 2.4314115823424447,
      "learning_rate": 4.395375133503959e-06,
      "loss": 0.4312,
      "step": 892
    },
    {
      "epoch": 0.23813333333333334,
      "grad_norm": 2.9816158463469087,
      "learning_rate": 4.393987655176995e-06,
      "loss": 0.4752,
      "step": 893
    },
    {
      "epoch": 0.2384,
      "grad_norm": 2.7646354434195417,
      "learning_rate": 4.392598806226296e-06,
      "loss": 0.4484,
      "step": 894
    },
    {
      "epoch": 0.23866666666666667,
      "grad_norm": 3.3036480196576368,
      "learning_rate": 4.391208587656932e-06,
      "loss": 0.4662,
      "step": 895
    },
    {
      "epoch": 0.23893333333333333,
      "grad_norm": 2.499624087633258,
      "learning_rate": 4.389817000474965e-06,
      "loss": 0.4188,
      "step": 896
    },
    {
      "epoch": 0.2392,
      "grad_norm": 3.0423480947528265,
      "learning_rate": 4.388424045687446e-06,
      "loss": 0.45,
      "step": 897
    },
    {
      "epoch": 0.23946666666666666,
      "grad_norm": 2.574216475820042,
      "learning_rate": 4.387029724302415e-06,
      "loss": 0.4249,
      "step": 898
    },
    {
      "epoch": 0.23973333333333333,
      "grad_norm": 2.773293366206489,
      "learning_rate": 4.385634037328902e-06,
      "loss": 0.485,
      "step": 899
    },
    {
      "epoch": 0.24,
      "grad_norm": 3.233267327021568,
      "learning_rate": 4.384236985776924e-06,
      "loss": 0.5621,
      "step": 900
    },
    {
      "epoch": 0.24026666666666666,
      "grad_norm": 2.4315153972273604,
      "learning_rate": 4.382838570657489e-06,
      "loss": 0.4607,
      "step": 901
    },
    {
      "epoch": 0.24053333333333332,
      "grad_norm": 2.9588119938393316,
      "learning_rate": 4.381438792982586e-06,
      "loss": 0.502,
      "step": 902
    },
    {
      "epoch": 0.2408,
      "grad_norm": 2.7822416906964067,
      "learning_rate": 4.3800376537651965e-06,
      "loss": 0.5037,
      "step": 903
    },
    {
      "epoch": 0.24106666666666668,
      "grad_norm": 2.8515182195617483,
      "learning_rate": 4.378635154019284e-06,
      "loss": 0.4703,
      "step": 904
    },
    {
      "epoch": 0.24133333333333334,
      "grad_norm": 2.7599524766929657,
      "learning_rate": 4.377231294759794e-06,
      "loss": 0.4769,
      "step": 905
    },
    {
      "epoch": 0.2416,
      "grad_norm": 2.855631754231124,
      "learning_rate": 4.375826077002661e-06,
      "loss": 0.5373,
      "step": 906
    },
    {
      "epoch": 0.24186666666666667,
      "grad_norm": 2.7063972997110852,
      "learning_rate": 4.374419501764799e-06,
      "loss": 0.4875,
      "step": 907
    },
    {
      "epoch": 0.24213333333333334,
      "grad_norm": 2.2634018989409563,
      "learning_rate": 4.3730115700641066e-06,
      "loss": 0.3987,
      "step": 908
    },
    {
      "epoch": 0.2424,
      "grad_norm": 2.4939091368392305,
      "learning_rate": 4.371602282919461e-06,
      "loss": 0.4488,
      "step": 909
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 2.708585476411608,
      "learning_rate": 4.370191641350726e-06,
      "loss": 0.4596,
      "step": 910
    },
    {
      "epoch": 0.24293333333333333,
      "grad_norm": 2.814934540974494,
      "learning_rate": 4.368779646378738e-06,
      "loss": 0.503,
      "step": 911
    },
    {
      "epoch": 0.2432,
      "grad_norm": 2.7571135039230343,
      "learning_rate": 4.367366299025318e-06,
      "loss": 0.4253,
      "step": 912
    },
    {
      "epoch": 0.24346666666666666,
      "grad_norm": 2.826375776139662,
      "learning_rate": 4.365951600313265e-06,
      "loss": 0.4673,
      "step": 913
    },
    {
      "epoch": 0.24373333333333333,
      "grad_norm": 2.900697491608127,
      "learning_rate": 4.364535551266355e-06,
      "loss": 0.4754,
      "step": 914
    },
    {
      "epoch": 0.244,
      "grad_norm": 2.7842790501227492,
      "learning_rate": 4.363118152909341e-06,
      "loss": 0.4383,
      "step": 915
    },
    {
      "epoch": 0.24426666666666666,
      "grad_norm": 2.5693188534430864,
      "learning_rate": 4.361699406267953e-06,
      "loss": 0.4298,
      "step": 916
    },
    {
      "epoch": 0.24453333333333332,
      "grad_norm": 2.6148417115849774,
      "learning_rate": 4.360279312368897e-06,
      "loss": 0.4398,
      "step": 917
    },
    {
      "epoch": 0.2448,
      "grad_norm": 2.521328940790009,
      "learning_rate": 4.358857872239853e-06,
      "loss": 0.4648,
      "step": 918
    },
    {
      "epoch": 0.24506666666666665,
      "grad_norm": 2.555968518133545,
      "learning_rate": 4.3574350869094775e-06,
      "loss": 0.4483,
      "step": 919
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 2.6680018514587114,
      "learning_rate": 4.356010957407397e-06,
      "loss": 0.4745,
      "step": 920
    },
    {
      "epoch": 0.2456,
      "grad_norm": 2.3383884110236277,
      "learning_rate": 4.354585484764213e-06,
      "loss": 0.4338,
      "step": 921
    },
    {
      "epoch": 0.24586666666666668,
      "grad_norm": 2.634407901765549,
      "learning_rate": 4.353158670011499e-06,
      "loss": 0.4363,
      "step": 922
    },
    {
      "epoch": 0.24613333333333334,
      "grad_norm": 3.0833844638865084,
      "learning_rate": 4.351730514181798e-06,
      "loss": 0.4545,
      "step": 923
    },
    {
      "epoch": 0.2464,
      "grad_norm": 2.5524004012543338,
      "learning_rate": 4.350301018308627e-06,
      "loss": 0.4206,
      "step": 924
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 2.555980182963663,
      "learning_rate": 4.348870183426469e-06,
      "loss": 0.4196,
      "step": 925
    },
    {
      "epoch": 0.24693333333333334,
      "grad_norm": 3.1984782323772154,
      "learning_rate": 4.347438010570778e-06,
      "loss": 0.4729,
      "step": 926
    },
    {
      "epoch": 0.2472,
      "grad_norm": 2.8600757392993996,
      "learning_rate": 4.346004500777976e-06,
      "loss": 0.5118,
      "step": 927
    },
    {
      "epoch": 0.24746666666666667,
      "grad_norm": 2.637814641771247,
      "learning_rate": 4.3445696550854525e-06,
      "loss": 0.4388,
      "step": 928
    },
    {
      "epoch": 0.24773333333333333,
      "grad_norm": 3.2482453019803716,
      "learning_rate": 4.343133474531562e-06,
      "loss": 0.5155,
      "step": 929
    },
    {
      "epoch": 0.248,
      "grad_norm": 2.6638667086596466,
      "learning_rate": 4.341695960155629e-06,
      "loss": 0.4781,
      "step": 930
    },
    {
      "epoch": 0.24826666666666666,
      "grad_norm": 2.4724557869388892,
      "learning_rate": 4.340257112997939e-06,
      "loss": 0.4451,
      "step": 931
    },
    {
      "epoch": 0.24853333333333333,
      "grad_norm": 2.67066415133516,
      "learning_rate": 4.338816934099744e-06,
      "loss": 0.4289,
      "step": 932
    },
    {
      "epoch": 0.2488,
      "grad_norm": 2.6486155924707506,
      "learning_rate": 4.3373754245032595e-06,
      "loss": 0.4575,
      "step": 933
    },
    {
      "epoch": 0.24906666666666666,
      "grad_norm": 2.4722569741145315,
      "learning_rate": 4.3359325852516656e-06,
      "loss": 0.446,
      "step": 934
    },
    {
      "epoch": 0.24933333333333332,
      "grad_norm": 2.577644463965564,
      "learning_rate": 4.334488417389101e-06,
      "loss": 0.4754,
      "step": 935
    },
    {
      "epoch": 0.2496,
      "grad_norm": 2.912003675278579,
      "learning_rate": 4.333042921960669e-06,
      "loss": 0.5039,
      "step": 936
    },
    {
      "epoch": 0.24986666666666665,
      "grad_norm": 2.511863165244405,
      "learning_rate": 4.331596100012432e-06,
      "loss": 0.4282,
      "step": 937
    },
    {
      "epoch": 0.2501333333333333,
      "grad_norm": 2.7120817479772943,
      "learning_rate": 4.330147952591413e-06,
      "loss": 0.4874,
      "step": 938
    },
    {
      "epoch": 0.2504,
      "grad_norm": 2.766695161049127,
      "learning_rate": 4.328698480745596e-06,
      "loss": 0.4746,
      "step": 939
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 2.9656121147035335,
      "learning_rate": 4.327247685523919e-06,
      "loss": 0.4443,
      "step": 940
    },
    {
      "epoch": 0.25093333333333334,
      "grad_norm": 2.576684394726762,
      "learning_rate": 4.3257955679762816e-06,
      "loss": 0.4284,
      "step": 941
    },
    {
      "epoch": 0.2512,
      "grad_norm": 2.683691479759662,
      "learning_rate": 4.324342129153538e-06,
      "loss": 0.4628,
      "step": 942
    },
    {
      "epoch": 0.25146666666666667,
      "grad_norm": 2.6041854181599664,
      "learning_rate": 4.3228873701075015e-06,
      "loss": 0.4371,
      "step": 943
    },
    {
      "epoch": 0.2517333333333333,
      "grad_norm": 2.50865690227681,
      "learning_rate": 4.321431291890936e-06,
      "loss": 0.4357,
      "step": 944
    },
    {
      "epoch": 0.252,
      "grad_norm": 2.761919833411054,
      "learning_rate": 4.319973895557566e-06,
      "loss": 0.4864,
      "step": 945
    },
    {
      "epoch": 0.25226666666666664,
      "grad_norm": 2.963974359627524,
      "learning_rate": 4.318515182162065e-06,
      "loss": 0.4679,
      "step": 946
    },
    {
      "epoch": 0.25253333333333333,
      "grad_norm": 2.5146241607710786,
      "learning_rate": 4.317055152760061e-06,
      "loss": 0.4381,
      "step": 947
    },
    {
      "epoch": 0.2528,
      "grad_norm": 2.554120561332083,
      "learning_rate": 4.315593808408136e-06,
      "loss": 0.4209,
      "step": 948
    },
    {
      "epoch": 0.25306666666666666,
      "grad_norm": 2.736426641291288,
      "learning_rate": 4.3141311501638226e-06,
      "loss": 0.4491,
      "step": 949
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 2.5820370330955753,
      "learning_rate": 4.312667179085603e-06,
      "loss": 0.4477,
      "step": 950
    },
    {
      "epoch": 0.2536,
      "grad_norm": 2.522202004360419,
      "learning_rate": 4.31120189623291e-06,
      "loss": 0.4429,
      "step": 951
    },
    {
      "epoch": 0.2538666666666667,
      "grad_norm": 3.2374645480866655,
      "learning_rate": 4.309735302666127e-06,
      "loss": 0.5088,
      "step": 952
    },
    {
      "epoch": 0.2541333333333333,
      "grad_norm": 2.4927266093760565,
      "learning_rate": 4.308267399446586e-06,
      "loss": 0.4574,
      "step": 953
    },
    {
      "epoch": 0.2544,
      "grad_norm": 2.465602552750565,
      "learning_rate": 4.306798187636564e-06,
      "loss": 0.3814,
      "step": 954
    },
    {
      "epoch": 0.25466666666666665,
      "grad_norm": 2.5074374512763025,
      "learning_rate": 4.305327668299288e-06,
      "loss": 0.4662,
      "step": 955
    },
    {
      "epoch": 0.25493333333333335,
      "grad_norm": 2.596562459999772,
      "learning_rate": 4.30385584249893e-06,
      "loss": 0.4773,
      "step": 956
    },
    {
      "epoch": 0.2552,
      "grad_norm": 2.6880431883405276,
      "learning_rate": 4.302382711300607e-06,
      "loss": 0.4524,
      "step": 957
    },
    {
      "epoch": 0.2554666666666667,
      "grad_norm": 2.4932891920980813,
      "learning_rate": 4.30090827577038e-06,
      "loss": 0.4313,
      "step": 958
    },
    {
      "epoch": 0.2557333333333333,
      "grad_norm": 2.7604833395358823,
      "learning_rate": 4.299432536975258e-06,
      "loss": 0.4741,
      "step": 959
    },
    {
      "epoch": 0.256,
      "grad_norm": 2.787624379256729,
      "learning_rate": 4.297955495983188e-06,
      "loss": 0.4658,
      "step": 960
    },
    {
      "epoch": 0.25626666666666664,
      "grad_norm": 2.448434470715401,
      "learning_rate": 4.296477153863062e-06,
      "loss": 0.4436,
      "step": 961
    },
    {
      "epoch": 0.25653333333333334,
      "grad_norm": 2.776339696364792,
      "learning_rate": 4.294997511684714e-06,
      "loss": 0.4939,
      "step": 962
    },
    {
      "epoch": 0.2568,
      "grad_norm": 2.733706457308447,
      "learning_rate": 4.293516570518917e-06,
      "loss": 0.4469,
      "step": 963
    },
    {
      "epoch": 0.25706666666666667,
      "grad_norm": 3.301986830606188,
      "learning_rate": 4.292034331437386e-06,
      "loss": 0.5395,
      "step": 964
    },
    {
      "epoch": 0.25733333333333336,
      "grad_norm": 3.016939637263675,
      "learning_rate": 4.290550795512772e-06,
      "loss": 0.4798,
      "step": 965
    },
    {
      "epoch": 0.2576,
      "grad_norm": 3.0369796042757167,
      "learning_rate": 4.28906596381867e-06,
      "loss": 0.4741,
      "step": 966
    },
    {
      "epoch": 0.2578666666666667,
      "grad_norm": 2.5982640736127562,
      "learning_rate": 4.287579837429607e-06,
      "loss": 0.4427,
      "step": 967
    },
    {
      "epoch": 0.2581333333333333,
      "grad_norm": 2.332764436812814,
      "learning_rate": 4.28609241742105e-06,
      "loss": 0.3969,
      "step": 968
    },
    {
      "epoch": 0.2584,
      "grad_norm": 2.655102694759896,
      "learning_rate": 4.2846037048694026e-06,
      "loss": 0.4435,
      "step": 969
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 2.4714785882072428,
      "learning_rate": 4.2831137008520015e-06,
      "loss": 0.4414,
      "step": 970
    },
    {
      "epoch": 0.25893333333333335,
      "grad_norm": 2.81174768757126,
      "learning_rate": 4.28162240644712e-06,
      "loss": 0.4815,
      "step": 971
    },
    {
      "epoch": 0.2592,
      "grad_norm": 2.5400308326824783,
      "learning_rate": 4.280129822733964e-06,
      "loss": 0.4615,
      "step": 972
    },
    {
      "epoch": 0.2594666666666667,
      "grad_norm": 2.5570883584042052,
      "learning_rate": 4.278635950792673e-06,
      "loss": 0.4574,
      "step": 973
    },
    {
      "epoch": 0.2597333333333333,
      "grad_norm": 2.6528091937346043,
      "learning_rate": 4.277140791704319e-06,
      "loss": 0.447,
      "step": 974
    },
    {
      "epoch": 0.26,
      "grad_norm": 2.593839434455517,
      "learning_rate": 4.275644346550904e-06,
      "loss": 0.4857,
      "step": 975
    },
    {
      "epoch": 0.26026666666666665,
      "grad_norm": 2.7195563878874176,
      "learning_rate": 4.274146616415363e-06,
      "loss": 0.4787,
      "step": 976
    },
    {
      "epoch": 0.26053333333333334,
      "grad_norm": 2.899615839026573,
      "learning_rate": 4.27264760238156e-06,
      "loss": 0.4931,
      "step": 977
    },
    {
      "epoch": 0.2608,
      "grad_norm": 2.484873914066019,
      "learning_rate": 4.271147305534287e-06,
      "loss": 0.4277,
      "step": 978
    },
    {
      "epoch": 0.26106666666666667,
      "grad_norm": 2.6623394771348945,
      "learning_rate": 4.269645726959264e-06,
      "loss": 0.4801,
      "step": 979
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 2.45199276743744,
      "learning_rate": 4.268142867743141e-06,
      "loss": 0.4152,
      "step": 980
    },
    {
      "epoch": 0.2616,
      "grad_norm": 3.0140623265825144,
      "learning_rate": 4.266638728973495e-06,
      "loss": 0.4584,
      "step": 981
    },
    {
      "epoch": 0.2618666666666667,
      "grad_norm": 3.2567818639334067,
      "learning_rate": 4.265133311738825e-06,
      "loss": 0.544,
      "step": 982
    },
    {
      "epoch": 0.26213333333333333,
      "grad_norm": 2.8077512798097612,
      "learning_rate": 4.263626617128559e-06,
      "loss": 0.465,
      "step": 983
    },
    {
      "epoch": 0.2624,
      "grad_norm": 2.7378206114428174,
      "learning_rate": 4.262118646233046e-06,
      "loss": 0.497,
      "step": 984
    },
    {
      "epoch": 0.26266666666666666,
      "grad_norm": 2.8604303643881197,
      "learning_rate": 4.260609400143564e-06,
      "loss": 0.4558,
      "step": 985
    },
    {
      "epoch": 0.26293333333333335,
      "grad_norm": 2.6483700640820653,
      "learning_rate": 4.259098879952308e-06,
      "loss": 0.4697,
      "step": 986
    },
    {
      "epoch": 0.2632,
      "grad_norm": 4.597634119338494,
      "learning_rate": 4.257587086752398e-06,
      "loss": 0.4996,
      "step": 987
    },
    {
      "epoch": 0.2634666666666667,
      "grad_norm": 2.4917914620566264,
      "learning_rate": 4.2560740216378746e-06,
      "loss": 0.4606,
      "step": 988
    },
    {
      "epoch": 0.2637333333333333,
      "grad_norm": 2.8104916605032515,
      "learning_rate": 4.2545596857037e-06,
      "loss": 0.447,
      "step": 989
    },
    {
      "epoch": 0.264,
      "grad_norm": 3.4125527070624524,
      "learning_rate": 4.253044080045754e-06,
      "loss": 0.4471,
      "step": 990
    },
    {
      "epoch": 0.26426666666666665,
      "grad_norm": 2.6414427340945075,
      "learning_rate": 4.251527205760836e-06,
      "loss": 0.4542,
      "step": 991
    },
    {
      "epoch": 0.26453333333333334,
      "grad_norm": 2.478398439479302,
      "learning_rate": 4.250009063946665e-06,
      "loss": 0.448,
      "step": 992
    },
    {
      "epoch": 0.2648,
      "grad_norm": 2.544320581744289,
      "learning_rate": 4.248489655701875e-06,
      "loss": 0.4126,
      "step": 993
    },
    {
      "epoch": 0.2650666666666667,
      "grad_norm": 2.490400218673271,
      "learning_rate": 4.246968982126017e-06,
      "loss": 0.4601,
      "step": 994
    },
    {
      "epoch": 0.2653333333333333,
      "grad_norm": 3.0857355931389936,
      "learning_rate": 4.245447044319561e-06,
      "loss": 0.4993,
      "step": 995
    },
    {
      "epoch": 0.2656,
      "grad_norm": 2.6658910247064402,
      "learning_rate": 4.243923843383887e-06,
      "loss": 0.4725,
      "step": 996
    },
    {
      "epoch": 0.26586666666666664,
      "grad_norm": 2.707792591427966,
      "learning_rate": 4.24239938042129e-06,
      "loss": 0.4922,
      "step": 997
    },
    {
      "epoch": 0.26613333333333333,
      "grad_norm": 2.541931733131594,
      "learning_rate": 4.240873656534981e-06,
      "loss": 0.4111,
      "step": 998
    },
    {
      "epoch": 0.2664,
      "grad_norm": 2.9661325343867473,
      "learning_rate": 4.239346672829084e-06,
      "loss": 0.5079,
      "step": 999
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 2.9921883925824,
      "learning_rate": 4.237818430408628e-06,
      "loss": 0.5194,
      "step": 1000
    },
    {
      "epoch": 0.26693333333333336,
      "grad_norm": 2.5535075005303502,
      "learning_rate": 4.23628893037956e-06,
      "loss": 0.409,
      "step": 1001
    },
    {
      "epoch": 0.2672,
      "grad_norm": 2.6234039257655137,
      "learning_rate": 4.234758173848737e-06,
      "loss": 0.4454,
      "step": 1002
    },
    {
      "epoch": 0.2674666666666667,
      "grad_norm": 2.532139190268349,
      "learning_rate": 4.233226161923918e-06,
      "loss": 0.4376,
      "step": 1003
    },
    {
      "epoch": 0.2677333333333333,
      "grad_norm": 2.3832332141790653,
      "learning_rate": 4.23169289571378e-06,
      "loss": 0.3887,
      "step": 1004
    },
    {
      "epoch": 0.268,
      "grad_norm": 2.408095404151001,
      "learning_rate": 4.2301583763278995e-06,
      "loss": 0.408,
      "step": 1005
    },
    {
      "epoch": 0.26826666666666665,
      "grad_norm": 2.7264451806416266,
      "learning_rate": 4.228622604876766e-06,
      "loss": 0.5043,
      "step": 1006
    },
    {
      "epoch": 0.26853333333333335,
      "grad_norm": 2.534770770387865,
      "learning_rate": 4.227085582471772e-06,
      "loss": 0.4222,
      "step": 1007
    },
    {
      "epoch": 0.2688,
      "grad_norm": 2.538236534416539,
      "learning_rate": 4.225547310225216e-06,
      "loss": 0.3921,
      "step": 1008
    },
    {
      "epoch": 0.2690666666666667,
      "grad_norm": 3.2383935055077546,
      "learning_rate": 4.2240077892503e-06,
      "loss": 0.5465,
      "step": 1009
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 2.542661592248118,
      "learning_rate": 4.22246702066113e-06,
      "loss": 0.4295,
      "step": 1010
    },
    {
      "epoch": 0.2696,
      "grad_norm": 2.712372034821119,
      "learning_rate": 4.220925005572718e-06,
      "loss": 0.4439,
      "step": 1011
    },
    {
      "epoch": 0.26986666666666664,
      "grad_norm": 2.8979534505958533,
      "learning_rate": 4.219381745100973e-06,
      "loss": 0.4865,
      "step": 1012
    },
    {
      "epoch": 0.27013333333333334,
      "grad_norm": 3.085869502916701,
      "learning_rate": 4.217837240362709e-06,
      "loss": 0.5633,
      "step": 1013
    },
    {
      "epoch": 0.2704,
      "grad_norm": 2.616880990164082,
      "learning_rate": 4.2162914924756385e-06,
      "loss": 0.4672,
      "step": 1014
    },
    {
      "epoch": 0.27066666666666667,
      "grad_norm": 2.982093809063547,
      "learning_rate": 4.214744502558375e-06,
      "loss": 0.4787,
      "step": 1015
    },
    {
      "epoch": 0.27093333333333336,
      "grad_norm": 2.673706818779421,
      "learning_rate": 4.213196271730427e-06,
      "loss": 0.4651,
      "step": 1016
    },
    {
      "epoch": 0.2712,
      "grad_norm": 2.9188899901200553,
      "learning_rate": 4.211646801112209e-06,
      "loss": 0.4586,
      "step": 1017
    },
    {
      "epoch": 0.2714666666666667,
      "grad_norm": 3.029760233324134,
      "learning_rate": 4.2100960918250245e-06,
      "loss": 0.497,
      "step": 1018
    },
    {
      "epoch": 0.2717333333333333,
      "grad_norm": 2.761546657910116,
      "learning_rate": 4.208544144991078e-06,
      "loss": 0.5013,
      "step": 1019
    },
    {
      "epoch": 0.272,
      "grad_norm": 2.7404849553950172,
      "learning_rate": 4.206990961733467e-06,
      "loss": 0.4949,
      "step": 1020
    },
    {
      "epoch": 0.27226666666666666,
      "grad_norm": 2.625339145426552,
      "learning_rate": 4.205436543176186e-06,
      "loss": 0.4722,
      "step": 1021
    },
    {
      "epoch": 0.27253333333333335,
      "grad_norm": 2.6272866904568626,
      "learning_rate": 4.203880890444122e-06,
      "loss": 0.4233,
      "step": 1022
    },
    {
      "epoch": 0.2728,
      "grad_norm": 2.4136476997261207,
      "learning_rate": 4.2023240046630555e-06,
      "loss": 0.3723,
      "step": 1023
    },
    {
      "epoch": 0.2730666666666667,
      "grad_norm": 2.781585374758633,
      "learning_rate": 4.200765886959661e-06,
      "loss": 0.4971,
      "step": 1024
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 2.3620007159069267,
      "learning_rate": 4.1992065384615e-06,
      "loss": 0.4297,
      "step": 1025
    },
    {
      "epoch": 0.2736,
      "grad_norm": 2.5900817982990354,
      "learning_rate": 4.197645960297031e-06,
      "loss": 0.4391,
      "step": 1026
    },
    {
      "epoch": 0.27386666666666665,
      "grad_norm": 2.773540499604345,
      "learning_rate": 4.196084153595596e-06,
      "loss": 0.4723,
      "step": 1027
    },
    {
      "epoch": 0.27413333333333334,
      "grad_norm": 2.5010495250202083,
      "learning_rate": 4.1945211194874305e-06,
      "loss": 0.4339,
      "step": 1028
    },
    {
      "epoch": 0.2744,
      "grad_norm": 2.7025982603054626,
      "learning_rate": 4.192956859103657e-06,
      "loss": 0.47,
      "step": 1029
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 2.81842974640958,
      "learning_rate": 4.191391373576285e-06,
      "loss": 0.4479,
      "step": 1030
    },
    {
      "epoch": 0.2749333333333333,
      "grad_norm": 2.68018384430451,
      "learning_rate": 4.18982466403821e-06,
      "loss": 0.4812,
      "step": 1031
    },
    {
      "epoch": 0.2752,
      "grad_norm": 2.5664876543784834,
      "learning_rate": 4.188256731623215e-06,
      "loss": 0.4348,
      "step": 1032
    },
    {
      "epoch": 0.2754666666666667,
      "grad_norm": 2.5688698875024376,
      "learning_rate": 4.186687577465967e-06,
      "loss": 0.4835,
      "step": 1033
    },
    {
      "epoch": 0.27573333333333333,
      "grad_norm": 2.537019393208647,
      "learning_rate": 4.185117202702016e-06,
      "loss": 0.4064,
      "step": 1034
    },
    {
      "epoch": 0.276,
      "grad_norm": 2.4976472287449956,
      "learning_rate": 4.183545608467799e-06,
      "loss": 0.4008,
      "step": 1035
    },
    {
      "epoch": 0.27626666666666666,
      "grad_norm": 2.4648277176374753,
      "learning_rate": 4.181972795900629e-06,
      "loss": 0.3887,
      "step": 1036
    },
    {
      "epoch": 0.27653333333333335,
      "grad_norm": 2.958634130988921,
      "learning_rate": 4.180398766138709e-06,
      "loss": 0.4986,
      "step": 1037
    },
    {
      "epoch": 0.2768,
      "grad_norm": 2.501060294207987,
      "learning_rate": 4.178823520321116e-06,
      "loss": 0.4668,
      "step": 1038
    },
    {
      "epoch": 0.2770666666666667,
      "grad_norm": 2.950366200433787,
      "learning_rate": 4.1772470595878105e-06,
      "loss": 0.5018,
      "step": 1039
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 3.0764272916785185,
      "learning_rate": 4.175669385079631e-06,
      "loss": 0.549,
      "step": 1040
    },
    {
      "epoch": 0.2776,
      "grad_norm": 2.4528096124056558,
      "learning_rate": 4.174090497938294e-06,
      "loss": 0.4175,
      "step": 1041
    },
    {
      "epoch": 0.27786666666666665,
      "grad_norm": 3.2960793592692137,
      "learning_rate": 4.172510399306395e-06,
      "loss": 0.5016,
      "step": 1042
    },
    {
      "epoch": 0.27813333333333334,
      "grad_norm": 2.8557503319953903,
      "learning_rate": 4.170929090327405e-06,
      "loss": 0.4911,
      "step": 1043
    },
    {
      "epoch": 0.2784,
      "grad_norm": 2.849249813067205,
      "learning_rate": 4.169346572145672e-06,
      "loss": 0.4734,
      "step": 1044
    },
    {
      "epoch": 0.2786666666666667,
      "grad_norm": 2.355969283243579,
      "learning_rate": 4.167762845906417e-06,
      "loss": 0.3868,
      "step": 1045
    },
    {
      "epoch": 0.2789333333333333,
      "grad_norm": 2.657465641688893,
      "learning_rate": 4.166177912755737e-06,
      "loss": 0.4619,
      "step": 1046
    },
    {
      "epoch": 0.2792,
      "grad_norm": 2.5868517235768795,
      "learning_rate": 4.164591773840603e-06,
      "loss": 0.4406,
      "step": 1047
    },
    {
      "epoch": 0.27946666666666664,
      "grad_norm": 2.689210674630458,
      "learning_rate": 4.163004430308856e-06,
      "loss": 0.4794,
      "step": 1048
    },
    {
      "epoch": 0.27973333333333333,
      "grad_norm": 2.5443452597264367,
      "learning_rate": 4.1614158833092126e-06,
      "loss": 0.3906,
      "step": 1049
    },
    {
      "epoch": 0.28,
      "grad_norm": 2.8962859610375036,
      "learning_rate": 4.159826133991255e-06,
      "loss": 0.5033,
      "step": 1050
    },
    {
      "epoch": 0.28026666666666666,
      "grad_norm": 2.654310114371327,
      "learning_rate": 4.15823518350544e-06,
      "loss": 0.445,
      "step": 1051
    },
    {
      "epoch": 0.28053333333333336,
      "grad_norm": 3.028360589613728,
      "learning_rate": 4.156643033003094e-06,
      "loss": 0.4919,
      "step": 1052
    },
    {
      "epoch": 0.2808,
      "grad_norm": 2.6411359371490146,
      "learning_rate": 4.155049683636407e-06,
      "loss": 0.4492,
      "step": 1053
    },
    {
      "epoch": 0.2810666666666667,
      "grad_norm": 2.804624164461598,
      "learning_rate": 4.15345513655844e-06,
      "loss": 0.4645,
      "step": 1054
    },
    {
      "epoch": 0.2813333333333333,
      "grad_norm": 2.614425358486825,
      "learning_rate": 4.151859392923122e-06,
      "loss": 0.4509,
      "step": 1055
    },
    {
      "epoch": 0.2816,
      "grad_norm": 2.702483875723818,
      "learning_rate": 4.150262453885245e-06,
      "loss": 0.4598,
      "step": 1056
    },
    {
      "epoch": 0.28186666666666665,
      "grad_norm": 2.567772090969052,
      "learning_rate": 4.148664320600468e-06,
      "loss": 0.4458,
      "step": 1057
    },
    {
      "epoch": 0.28213333333333335,
      "grad_norm": 2.9457241215654157,
      "learning_rate": 4.147064994225313e-06,
      "loss": 0.4826,
      "step": 1058
    },
    {
      "epoch": 0.2824,
      "grad_norm": 2.5201883322888654,
      "learning_rate": 4.145464475917166e-06,
      "loss": 0.4089,
      "step": 1059
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 2.559702461781963,
      "learning_rate": 4.143862766834275e-06,
      "loss": 0.4121,
      "step": 1060
    },
    {
      "epoch": 0.2829333333333333,
      "grad_norm": 2.62238306271315,
      "learning_rate": 4.142259868135752e-06,
      "loss": 0.4618,
      "step": 1061
    },
    {
      "epoch": 0.2832,
      "grad_norm": 2.900395286374044,
      "learning_rate": 4.140655780981565e-06,
      "loss": 0.4832,
      "step": 1062
    },
    {
      "epoch": 0.28346666666666664,
      "grad_norm": 2.525412594972813,
      "learning_rate": 4.139050506532549e-06,
      "loss": 0.492,
      "step": 1063
    },
    {
      "epoch": 0.28373333333333334,
      "grad_norm": 2.63115791735385,
      "learning_rate": 4.137444045950391e-06,
      "loss": 0.4709,
      "step": 1064
    },
    {
      "epoch": 0.284,
      "grad_norm": 2.652753189747838,
      "learning_rate": 4.135836400397642e-06,
      "loss": 0.4448,
      "step": 1065
    },
    {
      "epoch": 0.28426666666666667,
      "grad_norm": 2.6452331044177417,
      "learning_rate": 4.134227571037708e-06,
      "loss": 0.4327,
      "step": 1066
    },
    {
      "epoch": 0.28453333333333336,
      "grad_norm": 2.514371382005698,
      "learning_rate": 4.132617559034851e-06,
      "loss": 0.4552,
      "step": 1067
    },
    {
      "epoch": 0.2848,
      "grad_norm": 2.8217428924630648,
      "learning_rate": 4.131006365554191e-06,
      "loss": 0.4863,
      "step": 1068
    },
    {
      "epoch": 0.2850666666666667,
      "grad_norm": 2.6555523974338224,
      "learning_rate": 4.1293939917617e-06,
      "loss": 0.4583,
      "step": 1069
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 2.736379203741528,
      "learning_rate": 4.127780438824208e-06,
      "loss": 0.4447,
      "step": 1070
    },
    {
      "epoch": 0.2856,
      "grad_norm": 2.8861544593407795,
      "learning_rate": 4.126165707909395e-06,
      "loss": 0.4483,
      "step": 1071
    },
    {
      "epoch": 0.28586666666666666,
      "grad_norm": 3.1474669832966446,
      "learning_rate": 4.124549800185795e-06,
      "loss": 0.4987,
      "step": 1072
    },
    {
      "epoch": 0.28613333333333335,
      "grad_norm": 2.734767564495015,
      "learning_rate": 4.122932716822794e-06,
      "loss": 0.4586,
      "step": 1073
    },
    {
      "epoch": 0.2864,
      "grad_norm": 2.5875711973643476,
      "learning_rate": 4.1213144589906274e-06,
      "loss": 0.4464,
      "step": 1074
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 2.3229063407674233,
      "learning_rate": 4.119695027860382e-06,
      "loss": 0.4275,
      "step": 1075
    },
    {
      "epoch": 0.2869333333333333,
      "grad_norm": 3.0132655058506455,
      "learning_rate": 4.118074424603993e-06,
      "loss": 0.55,
      "step": 1076
    },
    {
      "epoch": 0.2872,
      "grad_norm": 2.7353900572424212,
      "learning_rate": 4.1164526503942425e-06,
      "loss": 0.4707,
      "step": 1077
    },
    {
      "epoch": 0.28746666666666665,
      "grad_norm": 2.626098593778849,
      "learning_rate": 4.114829706404762e-06,
      "loss": 0.4696,
      "step": 1078
    },
    {
      "epoch": 0.28773333333333334,
      "grad_norm": 2.57041140504189,
      "learning_rate": 4.1132055938100304e-06,
      "loss": 0.4486,
      "step": 1079
    },
    {
      "epoch": 0.288,
      "grad_norm": 2.482122653870951,
      "learning_rate": 4.111580313785368e-06,
      "loss": 0.4299,
      "step": 1080
    },
    {
      "epoch": 0.28826666666666667,
      "grad_norm": 2.3900329334175088,
      "learning_rate": 4.109953867506945e-06,
      "loss": 0.4331,
      "step": 1081
    },
    {
      "epoch": 0.2885333333333333,
      "grad_norm": 2.597484512217419,
      "learning_rate": 4.108326256151771e-06,
      "loss": 0.4138,
      "step": 1082
    },
    {
      "epoch": 0.2888,
      "grad_norm": 2.7614905200035333,
      "learning_rate": 4.1066974808977035e-06,
      "loss": 0.5127,
      "step": 1083
    },
    {
      "epoch": 0.2890666666666667,
      "grad_norm": 2.698559651759748,
      "learning_rate": 4.105067542923438e-06,
      "loss": 0.4683,
      "step": 1084
    },
    {
      "epoch": 0.28933333333333333,
      "grad_norm": 3.0547789174527913,
      "learning_rate": 4.103436443408513e-06,
      "loss": 0.4763,
      "step": 1085
    },
    {
      "epoch": 0.2896,
      "grad_norm": 2.844467192312267,
      "learning_rate": 4.101804183533308e-06,
      "loss": 0.4508,
      "step": 1086
    },
    {
      "epoch": 0.28986666666666666,
      "grad_norm": 2.840493361172846,
      "learning_rate": 4.100170764479042e-06,
      "loss": 0.457,
      "step": 1087
    },
    {
      "epoch": 0.29013333333333335,
      "grad_norm": 2.5801113893738603,
      "learning_rate": 4.098536187427775e-06,
      "loss": 0.4586,
      "step": 1088
    },
    {
      "epoch": 0.2904,
      "grad_norm": 2.542496567182907,
      "learning_rate": 4.0969004535624e-06,
      "loss": 0.4222,
      "step": 1089
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 2.5257059143647718,
      "learning_rate": 4.0952635640666504e-06,
      "loss": 0.4309,
      "step": 1090
    },
    {
      "epoch": 0.2909333333333333,
      "grad_norm": 2.881086447175208,
      "learning_rate": 4.093625520125096e-06,
      "loss": 0.5308,
      "step": 1091
    },
    {
      "epoch": 0.2912,
      "grad_norm": 2.7873075184803247,
      "learning_rate": 4.0919863229231415e-06,
      "loss": 0.5115,
      "step": 1092
    },
    {
      "epoch": 0.29146666666666665,
      "grad_norm": 2.834830438366524,
      "learning_rate": 4.090345973647027e-06,
      "loss": 0.46,
      "step": 1093
    },
    {
      "epoch": 0.29173333333333334,
      "grad_norm": 2.9997129398212037,
      "learning_rate": 4.0887044734838235e-06,
      "loss": 0.4597,
      "step": 1094
    },
    {
      "epoch": 0.292,
      "grad_norm": 2.766215326453682,
      "learning_rate": 4.087061823621439e-06,
      "loss": 0.4566,
      "step": 1095
    },
    {
      "epoch": 0.2922666666666667,
      "grad_norm": 2.525024848805042,
      "learning_rate": 4.08541802524861e-06,
      "loss": 0.4149,
      "step": 1096
    },
    {
      "epoch": 0.2925333333333333,
      "grad_norm": 2.382899826780873,
      "learning_rate": 4.0837730795549066e-06,
      "loss": 0.4444,
      "step": 1097
    },
    {
      "epoch": 0.2928,
      "grad_norm": 2.3865213767496747,
      "learning_rate": 4.082126987730727e-06,
      "loss": 0.3975,
      "step": 1098
    },
    {
      "epoch": 0.29306666666666664,
      "grad_norm": 2.9130788572215307,
      "learning_rate": 4.0804797509673e-06,
      "loss": 0.4858,
      "step": 1099
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 2.531737550264712,
      "learning_rate": 4.078831370456684e-06,
      "loss": 0.4149,
      "step": 1100
    },
    {
      "epoch": 0.2936,
      "grad_norm": 2.6244703941482173,
      "learning_rate": 4.077181847391763e-06,
      "loss": 0.4315,
      "step": 1101
    },
    {
      "epoch": 0.29386666666666666,
      "grad_norm": 2.661530721251123,
      "learning_rate": 4.07553118296625e-06,
      "loss": 0.4788,
      "step": 1102
    },
    {
      "epoch": 0.29413333333333336,
      "grad_norm": 2.9514338787842584,
      "learning_rate": 4.073879378374681e-06,
      "loss": 0.5163,
      "step": 1103
    },
    {
      "epoch": 0.2944,
      "grad_norm": 2.772055498209595,
      "learning_rate": 4.07222643481242e-06,
      "loss": 0.5207,
      "step": 1104
    },
    {
      "epoch": 0.2946666666666667,
      "grad_norm": 2.9162053626769966,
      "learning_rate": 4.070572353475654e-06,
      "loss": 0.4095,
      "step": 1105
    },
    {
      "epoch": 0.2949333333333333,
      "grad_norm": 2.6833269070850516,
      "learning_rate": 4.068917135561396e-06,
      "loss": 0.4681,
      "step": 1106
    },
    {
      "epoch": 0.2952,
      "grad_norm": 2.856178863915995,
      "learning_rate": 4.067260782267474e-06,
      "loss": 0.5442,
      "step": 1107
    },
    {
      "epoch": 0.29546666666666666,
      "grad_norm": 3.233914555457523,
      "learning_rate": 4.065603294792545e-06,
      "loss": 0.4728,
      "step": 1108
    },
    {
      "epoch": 0.29573333333333335,
      "grad_norm": 2.6028176056703685,
      "learning_rate": 4.063944674336085e-06,
      "loss": 0.4144,
      "step": 1109
    },
    {
      "epoch": 0.296,
      "grad_norm": 2.852919645076854,
      "learning_rate": 4.06228492209839e-06,
      "loss": 0.4813,
      "step": 1110
    },
    {
      "epoch": 0.2962666666666667,
      "grad_norm": 2.731292513301978,
      "learning_rate": 4.060624039280573e-06,
      "loss": 0.4618,
      "step": 1111
    },
    {
      "epoch": 0.2965333333333333,
      "grad_norm": 2.5885990186384653,
      "learning_rate": 4.058962027084566e-06,
      "loss": 0.4547,
      "step": 1112
    },
    {
      "epoch": 0.2968,
      "grad_norm": 2.813315039172952,
      "learning_rate": 4.05729888671312e-06,
      "loss": 0.4371,
      "step": 1113
    },
    {
      "epoch": 0.29706666666666665,
      "grad_norm": 2.6732437151109183,
      "learning_rate": 4.055634619369803e-06,
      "loss": 0.4445,
      "step": 1114
    },
    {
      "epoch": 0.29733333333333334,
      "grad_norm": 2.5087112929849544,
      "learning_rate": 4.053969226258993e-06,
      "loss": 0.4467,
      "step": 1115
    },
    {
      "epoch": 0.2976,
      "grad_norm": 2.677811217044001,
      "learning_rate": 4.052302708585889e-06,
      "loss": 0.4779,
      "step": 1116
    },
    {
      "epoch": 0.29786666666666667,
      "grad_norm": 2.96097879417431,
      "learning_rate": 4.0506350675565e-06,
      "loss": 0.48,
      "step": 1117
    },
    {
      "epoch": 0.2981333333333333,
      "grad_norm": 2.486619976739928,
      "learning_rate": 4.048966304377651e-06,
      "loss": 0.4375,
      "step": 1118
    },
    {
      "epoch": 0.2984,
      "grad_norm": 2.345614691465044,
      "learning_rate": 4.047296420256976e-06,
      "loss": 0.3946,
      "step": 1119
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 3.083596774279666,
      "learning_rate": 4.0456254164029214e-06,
      "loss": 0.515,
      "step": 1120
    },
    {
      "epoch": 0.29893333333333333,
      "grad_norm": 2.783824595720282,
      "learning_rate": 4.043953294024744e-06,
      "loss": 0.4451,
      "step": 1121
    },
    {
      "epoch": 0.2992,
      "grad_norm": 4.5643812588439,
      "learning_rate": 4.042280054332512e-06,
      "loss": 0.5277,
      "step": 1122
    },
    {
      "epoch": 0.29946666666666666,
      "grad_norm": 2.6903141634195373,
      "learning_rate": 4.0406056985370985e-06,
      "loss": 0.4336,
      "step": 1123
    },
    {
      "epoch": 0.29973333333333335,
      "grad_norm": 2.739069465992542,
      "learning_rate": 4.0389302278501865e-06,
      "loss": 0.422,
      "step": 1124
    },
    {
      "epoch": 0.3,
      "grad_norm": 2.8980317470949046,
      "learning_rate": 4.037253643484265e-06,
      "loss": 0.4794,
      "step": 1125
    },
    {
      "epoch": 0.3002666666666667,
      "grad_norm": 2.978516668675477,
      "learning_rate": 4.035575946652629e-06,
      "loss": 0.4577,
      "step": 1126
    },
    {
      "epoch": 0.3005333333333333,
      "grad_norm": 3.4486240626829985,
      "learning_rate": 4.033897138569381e-06,
      "loss": 0.4973,
      "step": 1127
    },
    {
      "epoch": 0.3008,
      "grad_norm": 2.787732933484545,
      "learning_rate": 4.0322172204494225e-06,
      "loss": 0.4653,
      "step": 1128
    },
    {
      "epoch": 0.30106666666666665,
      "grad_norm": 2.5367645669911174,
      "learning_rate": 4.030536193508463e-06,
      "loss": 0.4548,
      "step": 1129
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 3.671637420451357,
      "learning_rate": 4.0288540589630134e-06,
      "loss": 0.4974,
      "step": 1130
    },
    {
      "epoch": 0.3016,
      "grad_norm": 2.3290893091338716,
      "learning_rate": 4.027170818030384e-06,
      "loss": 0.3666,
      "step": 1131
    },
    {
      "epoch": 0.30186666666666667,
      "grad_norm": 2.5886364142113356,
      "learning_rate": 4.025486471928688e-06,
      "loss": 0.4452,
      "step": 1132
    },
    {
      "epoch": 0.3021333333333333,
      "grad_norm": 2.708029824328235,
      "learning_rate": 4.023801021876838e-06,
      "loss": 0.4576,
      "step": 1133
    },
    {
      "epoch": 0.3024,
      "grad_norm": 2.4136817442579157,
      "learning_rate": 4.022114469094545e-06,
      "loss": 0.429,
      "step": 1134
    },
    {
      "epoch": 0.30266666666666664,
      "grad_norm": 2.7282761075412725,
      "learning_rate": 4.020426814802317e-06,
      "loss": 0.4498,
      "step": 1135
    },
    {
      "epoch": 0.30293333333333333,
      "grad_norm": 2.462286199652836,
      "learning_rate": 4.018738060221462e-06,
      "loss": 0.4323,
      "step": 1136
    },
    {
      "epoch": 0.3032,
      "grad_norm": 2.557752440557729,
      "learning_rate": 4.017048206574081e-06,
      "loss": 0.425,
      "step": 1137
    },
    {
      "epoch": 0.30346666666666666,
      "grad_norm": 2.6618726902572,
      "learning_rate": 4.015357255083073e-06,
      "loss": 0.4864,
      "step": 1138
    },
    {
      "epoch": 0.30373333333333336,
      "grad_norm": 2.5605918587942407,
      "learning_rate": 4.01366520697213e-06,
      "loss": 0.4969,
      "step": 1139
    },
    {
      "epoch": 0.304,
      "grad_norm": 2.384100714089552,
      "learning_rate": 4.0119720634657375e-06,
      "loss": 0.3887,
      "step": 1140
    },
    {
      "epoch": 0.3042666666666667,
      "grad_norm": 2.3342669471092905,
      "learning_rate": 4.010277825789176e-06,
      "loss": 0.4094,
      "step": 1141
    },
    {
      "epoch": 0.3045333333333333,
      "grad_norm": 2.7477799859648493,
      "learning_rate": 4.0085824951685136e-06,
      "loss": 0.4639,
      "step": 1142
    },
    {
      "epoch": 0.3048,
      "grad_norm": 2.804993401647982,
      "learning_rate": 4.006886072830612e-06,
      "loss": 0.4758,
      "step": 1143
    },
    {
      "epoch": 0.30506666666666665,
      "grad_norm": 2.5074123847581027,
      "learning_rate": 4.005188560003125e-06,
      "loss": 0.439,
      "step": 1144
    },
    {
      "epoch": 0.30533333333333335,
      "grad_norm": 2.3207570625047627,
      "learning_rate": 4.00348995791449e-06,
      "loss": 0.4122,
      "step": 1145
    },
    {
      "epoch": 0.3056,
      "grad_norm": 2.4345633533276914,
      "learning_rate": 4.001790267793939e-06,
      "loss": 0.4185,
      "step": 1146
    },
    {
      "epoch": 0.3058666666666667,
      "grad_norm": 2.8482898916285233,
      "learning_rate": 4.000089490871486e-06,
      "loss": 0.4377,
      "step": 1147
    },
    {
      "epoch": 0.3061333333333333,
      "grad_norm": 2.8159376116648156,
      "learning_rate": 3.998387628377934e-06,
      "loss": 0.5016,
      "step": 1148
    },
    {
      "epoch": 0.3064,
      "grad_norm": 3.4094662347236806,
      "learning_rate": 3.996684681544873e-06,
      "loss": 0.456,
      "step": 1149
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 3.0309789411286068,
      "learning_rate": 3.994980651604674e-06,
      "loss": 0.4824,
      "step": 1150
    },
    {
      "epoch": 0.30693333333333334,
      "grad_norm": 2.742469040908456,
      "learning_rate": 3.993275539790495e-06,
      "loss": 0.3846,
      "step": 1151
    },
    {
      "epoch": 0.3072,
      "grad_norm": 2.598947564598015,
      "learning_rate": 3.991569347336276e-06,
      "loss": 0.4627,
      "step": 1152
    },
    {
      "epoch": 0.30746666666666667,
      "grad_norm": 2.6852759619825903,
      "learning_rate": 3.989862075476738e-06,
      "loss": 0.4298,
      "step": 1153
    },
    {
      "epoch": 0.30773333333333336,
      "grad_norm": 2.5848026567412496,
      "learning_rate": 3.988153725447385e-06,
      "loss": 0.4346,
      "step": 1154
    },
    {
      "epoch": 0.308,
      "grad_norm": 2.5961873957061607,
      "learning_rate": 3.986444298484499e-06,
      "loss": 0.4592,
      "step": 1155
    },
    {
      "epoch": 0.3082666666666667,
      "grad_norm": 2.7945681469114274,
      "learning_rate": 3.984733795825143e-06,
      "loss": 0.458,
      "step": 1156
    },
    {
      "epoch": 0.3085333333333333,
      "grad_norm": 2.944924882268542,
      "learning_rate": 3.983022218707158e-06,
      "loss": 0.5081,
      "step": 1157
    },
    {
      "epoch": 0.3088,
      "grad_norm": 2.7309454864169025,
      "learning_rate": 3.981309568369163e-06,
      "loss": 0.4431,
      "step": 1158
    },
    {
      "epoch": 0.30906666666666666,
      "grad_norm": 2.8929356443677854,
      "learning_rate": 3.979595846050552e-06,
      "loss": 0.477,
      "step": 1159
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 2.4465128794440894,
      "learning_rate": 3.977881052991497e-06,
      "loss": 0.4163,
      "step": 1160
    },
    {
      "epoch": 0.3096,
      "grad_norm": 2.4805333937676504,
      "learning_rate": 3.976165190432944e-06,
      "loss": 0.4095,
      "step": 1161
    },
    {
      "epoch": 0.3098666666666667,
      "grad_norm": 2.361144549574443,
      "learning_rate": 3.974448259616612e-06,
      "loss": 0.4393,
      "step": 1162
    },
    {
      "epoch": 0.3101333333333333,
      "grad_norm": 2.560034794195886,
      "learning_rate": 3.972730261784994e-06,
      "loss": 0.4521,
      "step": 1163
    },
    {
      "epoch": 0.3104,
      "grad_norm": 2.5687456272035596,
      "learning_rate": 3.971011198181356e-06,
      "loss": 0.4474,
      "step": 1164
    },
    {
      "epoch": 0.31066666666666665,
      "grad_norm": 2.8442602833335138,
      "learning_rate": 3.969291070049732e-06,
      "loss": 0.479,
      "step": 1165
    },
    {
      "epoch": 0.31093333333333334,
      "grad_norm": 2.502671485928046,
      "learning_rate": 3.967569878634932e-06,
      "loss": 0.4206,
      "step": 1166
    },
    {
      "epoch": 0.3112,
      "grad_norm": 2.6780388833224467,
      "learning_rate": 3.965847625182529e-06,
      "loss": 0.4707,
      "step": 1167
    },
    {
      "epoch": 0.31146666666666667,
      "grad_norm": 3.2825110518407876,
      "learning_rate": 3.964124310938869e-06,
      "loss": 0.525,
      "step": 1168
    },
    {
      "epoch": 0.3117333333333333,
      "grad_norm": 2.557609086203934,
      "learning_rate": 3.962399937151065e-06,
      "loss": 0.4573,
      "step": 1169
    },
    {
      "epoch": 0.312,
      "grad_norm": 2.5900545868553286,
      "learning_rate": 3.960674505066995e-06,
      "loss": 0.4597,
      "step": 1170
    },
    {
      "epoch": 0.3122666666666667,
      "grad_norm": 2.665621025610646,
      "learning_rate": 3.9589480159353045e-06,
      "loss": 0.4805,
      "step": 1171
    },
    {
      "epoch": 0.31253333333333333,
      "grad_norm": 3.1297801813802004,
      "learning_rate": 3.9572204710054035e-06,
      "loss": 0.509,
      "step": 1172
    },
    {
      "epoch": 0.3128,
      "grad_norm": 2.6550548027898473,
      "learning_rate": 3.9554918715274655e-06,
      "loss": 0.4822,
      "step": 1173
    },
    {
      "epoch": 0.31306666666666666,
      "grad_norm": 2.9254511034526858,
      "learning_rate": 3.953762218752428e-06,
      "loss": 0.4961,
      "step": 1174
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 2.4873172928121314,
      "learning_rate": 3.952031513931991e-06,
      "loss": 0.434,
      "step": 1175
    },
    {
      "epoch": 0.3136,
      "grad_norm": 2.772265393750666,
      "learning_rate": 3.950299758318614e-06,
      "loss": 0.4563,
      "step": 1176
    },
    {
      "epoch": 0.3138666666666667,
      "grad_norm": 2.5854665010373012,
      "learning_rate": 3.948566953165518e-06,
      "loss": 0.4611,
      "step": 1177
    },
    {
      "epoch": 0.3141333333333333,
      "grad_norm": 2.522721363569325,
      "learning_rate": 3.946833099726685e-06,
      "loss": 0.4794,
      "step": 1178
    },
    {
      "epoch": 0.3144,
      "grad_norm": 2.418426497978087,
      "learning_rate": 3.945098199256854e-06,
      "loss": 0.4325,
      "step": 1179
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 3.588069256950728,
      "learning_rate": 3.943362253011521e-06,
      "loss": 0.5019,
      "step": 1180
    },
    {
      "epoch": 0.31493333333333334,
      "grad_norm": 2.954484464124109,
      "learning_rate": 3.94162526224694e-06,
      "loss": 0.5256,
      "step": 1181
    },
    {
      "epoch": 0.3152,
      "grad_norm": 2.8312129992436024,
      "learning_rate": 3.939887228220121e-06,
      "loss": 0.4585,
      "step": 1182
    },
    {
      "epoch": 0.3154666666666667,
      "grad_norm": 2.6753140241182978,
      "learning_rate": 3.938148152188829e-06,
      "loss": 0.4535,
      "step": 1183
    },
    {
      "epoch": 0.3157333333333333,
      "grad_norm": 3.1103300373856193,
      "learning_rate": 3.9364080354115815e-06,
      "loss": 0.461,
      "step": 1184
    },
    {
      "epoch": 0.316,
      "grad_norm": 2.74427702231939,
      "learning_rate": 3.934666879147652e-06,
      "loss": 0.4832,
      "step": 1185
    },
    {
      "epoch": 0.31626666666666664,
      "grad_norm": 2.722521323740283,
      "learning_rate": 3.932924684657063e-06,
      "loss": 0.4583,
      "step": 1186
    },
    {
      "epoch": 0.31653333333333333,
      "grad_norm": 2.686931346590221,
      "learning_rate": 3.931181453200592e-06,
      "loss": 0.4638,
      "step": 1187
    },
    {
      "epoch": 0.3168,
      "grad_norm": 2.7419203122823035,
      "learning_rate": 3.9294371860397614e-06,
      "loss": 0.4737,
      "step": 1188
    },
    {
      "epoch": 0.31706666666666666,
      "grad_norm": 2.7586692326964237,
      "learning_rate": 3.927691884436851e-06,
      "loss": 0.5075,
      "step": 1189
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 2.4173171671518725,
      "learning_rate": 3.925945549654882e-06,
      "loss": 0.44,
      "step": 1190
    },
    {
      "epoch": 0.3176,
      "grad_norm": 2.2403677065557064,
      "learning_rate": 3.924198182957625e-06,
      "loss": 0.3417,
      "step": 1191
    },
    {
      "epoch": 0.3178666666666667,
      "grad_norm": 2.4363205474123366,
      "learning_rate": 3.922449785609601e-06,
      "loss": 0.4067,
      "step": 1192
    },
    {
      "epoch": 0.3181333333333333,
      "grad_norm": 2.4390236372307466,
      "learning_rate": 3.920700358876073e-06,
      "loss": 0.433,
      "step": 1193
    },
    {
      "epoch": 0.3184,
      "grad_norm": 3.1689097793449337,
      "learning_rate": 3.918949904023051e-06,
      "loss": 0.4634,
      "step": 1194
    },
    {
      "epoch": 0.31866666666666665,
      "grad_norm": 2.63485485992591,
      "learning_rate": 3.917198422317287e-06,
      "loss": 0.4182,
      "step": 1195
    },
    {
      "epoch": 0.31893333333333335,
      "grad_norm": 2.7714866906280533,
      "learning_rate": 3.915445915026278e-06,
      "loss": 0.4391,
      "step": 1196
    },
    {
      "epoch": 0.3192,
      "grad_norm": 2.4896836446030495,
      "learning_rate": 3.913692383418262e-06,
      "loss": 0.4446,
      "step": 1197
    },
    {
      "epoch": 0.3194666666666667,
      "grad_norm": 3.0381735543487483,
      "learning_rate": 3.91193782876222e-06,
      "loss": 0.5168,
      "step": 1198
    },
    {
      "epoch": 0.3197333333333333,
      "grad_norm": 2.8678654705704227,
      "learning_rate": 3.910182252327871e-06,
      "loss": 0.4235,
      "step": 1199
    },
    {
      "epoch": 0.32,
      "grad_norm": 3.4717589625908345,
      "learning_rate": 3.908425655385675e-06,
      "loss": 0.4655,
      "step": 1200
    },
    {
      "epoch": 0.32026666666666664,
      "grad_norm": 2.9451982917768027,
      "learning_rate": 3.90666803920683e-06,
      "loss": 0.4733,
      "step": 1201
    },
    {
      "epoch": 0.32053333333333334,
      "grad_norm": 2.6013836089201563,
      "learning_rate": 3.904909405063272e-06,
      "loss": 0.4907,
      "step": 1202
    },
    {
      "epoch": 0.3208,
      "grad_norm": 2.486327684775012,
      "learning_rate": 3.903149754227673e-06,
      "loss": 0.4486,
      "step": 1203
    },
    {
      "epoch": 0.32106666666666667,
      "grad_norm": 2.392380092099488,
      "learning_rate": 3.90138908797344e-06,
      "loss": 0.4154,
      "step": 1204
    },
    {
      "epoch": 0.32133333333333336,
      "grad_norm": 2.4935202944748616,
      "learning_rate": 3.899627407574719e-06,
      "loss": 0.4191,
      "step": 1205
    },
    {
      "epoch": 0.3216,
      "grad_norm": 2.6988421905249456,
      "learning_rate": 3.897864714306384e-06,
      "loss": 0.4534,
      "step": 1206
    },
    {
      "epoch": 0.3218666666666667,
      "grad_norm": 2.8900761812056217,
      "learning_rate": 3.896101009444046e-06,
      "loss": 0.4702,
      "step": 1207
    },
    {
      "epoch": 0.3221333333333333,
      "grad_norm": 2.7532698471901784,
      "learning_rate": 3.8943362942640454e-06,
      "loss": 0.497,
      "step": 1208
    },
    {
      "epoch": 0.3224,
      "grad_norm": 3.02122684205264,
      "learning_rate": 3.892570570043457e-06,
      "loss": 0.5253,
      "step": 1209
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 2.477089100650419,
      "learning_rate": 3.890803838060083e-06,
      "loss": 0.4411,
      "step": 1210
    },
    {
      "epoch": 0.32293333333333335,
      "grad_norm": 2.6081874679902532,
      "learning_rate": 3.889036099592457e-06,
      "loss": 0.4818,
      "step": 1211
    },
    {
      "epoch": 0.3232,
      "grad_norm": 2.7885564408866275,
      "learning_rate": 3.887267355919839e-06,
      "loss": 0.4802,
      "step": 1212
    },
    {
      "epoch": 0.3234666666666667,
      "grad_norm": 2.5031984939572327,
      "learning_rate": 3.885497608322217e-06,
      "loss": 0.4685,
      "step": 1213
    },
    {
      "epoch": 0.3237333333333333,
      "grad_norm": 2.6433910033673427,
      "learning_rate": 3.883726858080307e-06,
      "loss": 0.5008,
      "step": 1214
    },
    {
      "epoch": 0.324,
      "grad_norm": 2.5574782941812764,
      "learning_rate": 3.881955106475548e-06,
      "loss": 0.4696,
      "step": 1215
    },
    {
      "epoch": 0.32426666666666665,
      "grad_norm": 3.161089821763151,
      "learning_rate": 3.880182354790105e-06,
      "loss": 0.5022,
      "step": 1216
    },
    {
      "epoch": 0.32453333333333334,
      "grad_norm": 2.2387113027157075,
      "learning_rate": 3.878408604306869e-06,
      "loss": 0.4021,
      "step": 1217
    },
    {
      "epoch": 0.3248,
      "grad_norm": 2.6519602570470986,
      "learning_rate": 3.876633856309449e-06,
      "loss": 0.4349,
      "step": 1218
    },
    {
      "epoch": 0.32506666666666667,
      "grad_norm": 2.800537441549505,
      "learning_rate": 3.8748581120821805e-06,
      "loss": 0.4706,
      "step": 1219
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 3.0981246361130936,
      "learning_rate": 3.873081372910117e-06,
      "loss": 0.5016,
      "step": 1220
    },
    {
      "epoch": 0.3256,
      "grad_norm": 2.76988723454046,
      "learning_rate": 3.871303640079032e-06,
      "loss": 0.4936,
      "step": 1221
    },
    {
      "epoch": 0.3258666666666667,
      "grad_norm": 2.5065937146362653,
      "learning_rate": 3.869524914875421e-06,
      "loss": 0.4738,
      "step": 1222
    },
    {
      "epoch": 0.32613333333333333,
      "grad_norm": 3.223008946561927,
      "learning_rate": 3.867745198586493e-06,
      "loss": 0.5374,
      "step": 1223
    },
    {
      "epoch": 0.3264,
      "grad_norm": 2.5359486463969048,
      "learning_rate": 3.86596449250018e-06,
      "loss": 0.4018,
      "step": 1224
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 3.134010920312765,
      "learning_rate": 3.864182797905125e-06,
      "loss": 0.5277,
      "step": 1225
    },
    {
      "epoch": 0.32693333333333335,
      "grad_norm": 2.514710174605789,
      "learning_rate": 3.862400116090689e-06,
      "loss": 0.4478,
      "step": 1226
    },
    {
      "epoch": 0.3272,
      "grad_norm": 2.3758166283551643,
      "learning_rate": 3.8606164483469475e-06,
      "loss": 0.4266,
      "step": 1227
    },
    {
      "epoch": 0.3274666666666667,
      "grad_norm": 2.60937008388543,
      "learning_rate": 3.858831795964688e-06,
      "loss": 0.4659,
      "step": 1228
    },
    {
      "epoch": 0.3277333333333333,
      "grad_norm": 2.6262908542888583,
      "learning_rate": 3.857046160235412e-06,
      "loss": 0.4617,
      "step": 1229
    },
    {
      "epoch": 0.328,
      "grad_norm": 2.7776713641975523,
      "learning_rate": 3.855259542451332e-06,
      "loss": 0.4549,
      "step": 1230
    },
    {
      "epoch": 0.32826666666666665,
      "grad_norm": 2.601352933599678,
      "learning_rate": 3.853471943905372e-06,
      "loss": 0.492,
      "step": 1231
    },
    {
      "epoch": 0.32853333333333334,
      "grad_norm": 2.524224885580513,
      "learning_rate": 3.851683365891164e-06,
      "loss": 0.4325,
      "step": 1232
    },
    {
      "epoch": 0.3288,
      "grad_norm": 2.96769870592072,
      "learning_rate": 3.84989380970305e-06,
      "loss": 0.5131,
      "step": 1233
    },
    {
      "epoch": 0.3290666666666667,
      "grad_norm": 2.580893693506842,
      "learning_rate": 3.8481032766360795e-06,
      "loss": 0.4553,
      "step": 1234
    },
    {
      "epoch": 0.3293333333333333,
      "grad_norm": 2.61563146196663,
      "learning_rate": 3.84631176798601e-06,
      "loss": 0.489,
      "step": 1235
    },
    {
      "epoch": 0.3296,
      "grad_norm": 3.289209838941543,
      "learning_rate": 3.844519285049305e-06,
      "loss": 0.4816,
      "step": 1236
    },
    {
      "epoch": 0.32986666666666664,
      "grad_norm": 2.8827725451541313,
      "learning_rate": 3.84272582912313e-06,
      "loss": 0.4741,
      "step": 1237
    },
    {
      "epoch": 0.33013333333333333,
      "grad_norm": 2.2967092975877343,
      "learning_rate": 3.840931401505357e-06,
      "loss": 0.3965,
      "step": 1238
    },
    {
      "epoch": 0.3304,
      "grad_norm": 2.814976696786096,
      "learning_rate": 3.839136003494563e-06,
      "loss": 0.4652,
      "step": 1239
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 3.066280322552876,
      "learning_rate": 3.837339636390023e-06,
      "loss": 0.4975,
      "step": 1240
    },
    {
      "epoch": 0.33093333333333336,
      "grad_norm": 2.6178159484411423,
      "learning_rate": 3.835542301491718e-06,
      "loss": 0.4441,
      "step": 1241
    },
    {
      "epoch": 0.3312,
      "grad_norm": 2.7247491881316206,
      "learning_rate": 3.833744000100325e-06,
      "loss": 0.4705,
      "step": 1242
    },
    {
      "epoch": 0.3314666666666667,
      "grad_norm": 2.6024442487669868,
      "learning_rate": 3.831944733517223e-06,
      "loss": 0.4339,
      "step": 1243
    },
    {
      "epoch": 0.3317333333333333,
      "grad_norm": 3.113047585871599,
      "learning_rate": 3.83014450304449e-06,
      "loss": 0.518,
      "step": 1244
    },
    {
      "epoch": 0.332,
      "grad_norm": 3.1407286615164405,
      "learning_rate": 3.8283433099848974e-06,
      "loss": 0.5558,
      "step": 1245
    },
    {
      "epoch": 0.33226666666666665,
      "grad_norm": 2.2701859368292703,
      "learning_rate": 3.82654115564192e-06,
      "loss": 0.3988,
      "step": 1246
    },
    {
      "epoch": 0.33253333333333335,
      "grad_norm": 2.5071121885215364,
      "learning_rate": 3.824738041319721e-06,
      "loss": 0.4582,
      "step": 1247
    },
    {
      "epoch": 0.3328,
      "grad_norm": 2.6678555787987492,
      "learning_rate": 3.822933968323164e-06,
      "loss": 0.4071,
      "step": 1248
    },
    {
      "epoch": 0.3330666666666667,
      "grad_norm": 2.3175345331699,
      "learning_rate": 3.821128937957803e-06,
      "loss": 0.3834,
      "step": 1249
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 2.305727698669204,
      "learning_rate": 3.819322951529886e-06,
      "loss": 0.3937,
      "step": 1250
    },
    {
      "epoch": 0.3336,
      "grad_norm": 2.900829431348258,
      "learning_rate": 3.817516010346354e-06,
      "loss": 0.4758,
      "step": 1251
    },
    {
      "epoch": 0.33386666666666664,
      "grad_norm": 2.823251164893761,
      "learning_rate": 3.815708115714836e-06,
      "loss": 0.4756,
      "step": 1252
    },
    {
      "epoch": 0.33413333333333334,
      "grad_norm": 3.4883252684432438,
      "learning_rate": 3.813899268943654e-06,
      "loss": 0.4571,
      "step": 1253
    },
    {
      "epoch": 0.3344,
      "grad_norm": 2.9449868016173975,
      "learning_rate": 3.8120894713418175e-06,
      "loss": 0.4652,
      "step": 1254
    },
    {
      "epoch": 0.33466666666666667,
      "grad_norm": 2.5685712619779832,
      "learning_rate": 3.810278724219024e-06,
      "loss": 0.4149,
      "step": 1255
    },
    {
      "epoch": 0.33493333333333336,
      "grad_norm": 2.513688978982561,
      "learning_rate": 3.8084670288856584e-06,
      "loss": 0.4835,
      "step": 1256
    },
    {
      "epoch": 0.3352,
      "grad_norm": 2.56927435998098,
      "learning_rate": 3.806654386652793e-06,
      "loss": 0.4576,
      "step": 1257
    },
    {
      "epoch": 0.3354666666666667,
      "grad_norm": 2.151884625100315,
      "learning_rate": 3.8048407988321823e-06,
      "loss": 0.3454,
      "step": 1258
    },
    {
      "epoch": 0.33573333333333333,
      "grad_norm": 2.674721240605397,
      "learning_rate": 3.803026266736268e-06,
      "loss": 0.4597,
      "step": 1259
    },
    {
      "epoch": 0.336,
      "grad_norm": 2.5262774124674023,
      "learning_rate": 3.8012107916781752e-06,
      "loss": 0.4377,
      "step": 1260
    },
    {
      "epoch": 0.33626666666666666,
      "grad_norm": 2.518733155865678,
      "learning_rate": 3.7993943749717087e-06,
      "loss": 0.4203,
      "step": 1261
    },
    {
      "epoch": 0.33653333333333335,
      "grad_norm": 2.1713586145202806,
      "learning_rate": 3.7975770179313574e-06,
      "loss": 0.3795,
      "step": 1262
    },
    {
      "epoch": 0.3368,
      "grad_norm": 2.5264104404843923,
      "learning_rate": 3.795758721872289e-06,
      "loss": 0.4334,
      "step": 1263
    },
    {
      "epoch": 0.3370666666666667,
      "grad_norm": 2.6473105767942373,
      "learning_rate": 3.7939394881103518e-06,
      "loss": 0.462,
      "step": 1264
    },
    {
      "epoch": 0.3373333333333333,
      "grad_norm": 2.8547955610690323,
      "learning_rate": 3.792119317962073e-06,
      "loss": 0.5094,
      "step": 1265
    },
    {
      "epoch": 0.3376,
      "grad_norm": 2.2604224016250876,
      "learning_rate": 3.7902982127446553e-06,
      "loss": 0.4216,
      "step": 1266
    },
    {
      "epoch": 0.33786666666666665,
      "grad_norm": 2.691855940071959,
      "learning_rate": 3.7884761737759805e-06,
      "loss": 0.4603,
      "step": 1267
    },
    {
      "epoch": 0.33813333333333334,
      "grad_norm": 3.00749154699383,
      "learning_rate": 3.786653202374605e-06,
      "loss": 0.4507,
      "step": 1268
    },
    {
      "epoch": 0.3384,
      "grad_norm": 2.9792846908107937,
      "learning_rate": 3.7848292998597603e-06,
      "loss": 0.4349,
      "step": 1269
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 2.5841352597652905,
      "learning_rate": 3.783004467551351e-06,
      "loss": 0.4955,
      "step": 1270
    },
    {
      "epoch": 0.3389333333333333,
      "grad_norm": 2.3901569985363533,
      "learning_rate": 3.781178706769955e-06,
      "loss": 0.4371,
      "step": 1271
    },
    {
      "epoch": 0.3392,
      "grad_norm": 2.7280236119929544,
      "learning_rate": 3.7793520188368236e-06,
      "loss": 0.4972,
      "step": 1272
    },
    {
      "epoch": 0.3394666666666667,
      "grad_norm": 2.669647385896261,
      "learning_rate": 3.7775244050738767e-06,
      "loss": 0.4404,
      "step": 1273
    },
    {
      "epoch": 0.33973333333333333,
      "grad_norm": 2.3939978743471015,
      "learning_rate": 3.7756958668037053e-06,
      "loss": 0.4254,
      "step": 1274
    },
    {
      "epoch": 0.34,
      "grad_norm": 2.3126619143973963,
      "learning_rate": 3.773866405349569e-06,
      "loss": 0.4026,
      "step": 1275
    },
    {
      "epoch": 0.34026666666666666,
      "grad_norm": 2.8124769307753485,
      "learning_rate": 3.772036022035396e-06,
      "loss": 0.5156,
      "step": 1276
    },
    {
      "epoch": 0.34053333333333335,
      "grad_norm": 2.836654125365507,
      "learning_rate": 3.7702047181857813e-06,
      "loss": 0.4985,
      "step": 1277
    },
    {
      "epoch": 0.3408,
      "grad_norm": 2.3446461425349923,
      "learning_rate": 3.768372495125987e-06,
      "loss": 0.3941,
      "step": 1278
    },
    {
      "epoch": 0.3410666666666667,
      "grad_norm": 3.007221454384137,
      "learning_rate": 3.7665393541819385e-06,
      "loss": 0.4936,
      "step": 1279
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 3.386531943611182,
      "learning_rate": 3.764705296680228e-06,
      "loss": 0.5132,
      "step": 1280
    },
    {
      "epoch": 0.3416,
      "grad_norm": 2.7291212023920806,
      "learning_rate": 3.762870323948107e-06,
      "loss": 0.4703,
      "step": 1281
    },
    {
      "epoch": 0.34186666666666665,
      "grad_norm": 2.746718991198012,
      "learning_rate": 3.7610344373134945e-06,
      "loss": 0.4713,
      "step": 1282
    },
    {
      "epoch": 0.34213333333333334,
      "grad_norm": 2.57434956120139,
      "learning_rate": 3.7591976381049665e-06,
      "loss": 0.4887,
      "step": 1283
    },
    {
      "epoch": 0.3424,
      "grad_norm": 2.4334915494465794,
      "learning_rate": 3.7573599276517624e-06,
      "loss": 0.4408,
      "step": 1284
    },
    {
      "epoch": 0.3426666666666667,
      "grad_norm": 2.7726592153623915,
      "learning_rate": 3.755521307283779e-06,
      "loss": 0.4787,
      "step": 1285
    },
    {
      "epoch": 0.3429333333333333,
      "grad_norm": 2.552905592366556,
      "learning_rate": 3.7536817783315727e-06,
      "loss": 0.4276,
      "step": 1286
    },
    {
      "epoch": 0.3432,
      "grad_norm": 2.324833202289769,
      "learning_rate": 3.751841342126356e-06,
      "loss": 0.3655,
      "step": 1287
    },
    {
      "epoch": 0.34346666666666664,
      "grad_norm": 3.166201718356058,
      "learning_rate": 3.7500000000000005e-06,
      "loss": 0.4267,
      "step": 1288
    },
    {
      "epoch": 0.34373333333333334,
      "grad_norm": 2.5210575899116603,
      "learning_rate": 3.7481577532850303e-06,
      "loss": 0.465,
      "step": 1289
    },
    {
      "epoch": 0.344,
      "grad_norm": 2.846659643929934,
      "learning_rate": 3.746314603314628e-06,
      "loss": 0.4805,
      "step": 1290
    },
    {
      "epoch": 0.34426666666666667,
      "grad_norm": 2.8461721574290797,
      "learning_rate": 3.7444705514226253e-06,
      "loss": 0.4555,
      "step": 1291
    },
    {
      "epoch": 0.34453333333333336,
      "grad_norm": 2.5348130840711356,
      "learning_rate": 3.7426255989435103e-06,
      "loss": 0.4958,
      "step": 1292
    },
    {
      "epoch": 0.3448,
      "grad_norm": 2.414197733333315,
      "learning_rate": 3.7407797472124204e-06,
      "loss": 0.4234,
      "step": 1293
    },
    {
      "epoch": 0.3450666666666667,
      "grad_norm": 3.324893711919072,
      "learning_rate": 3.7389329975651455e-06,
      "loss": 0.5236,
      "step": 1294
    },
    {
      "epoch": 0.3453333333333333,
      "grad_norm": 2.424283664165533,
      "learning_rate": 3.7370853513381246e-06,
      "loss": 0.4283,
      "step": 1295
    },
    {
      "epoch": 0.3456,
      "grad_norm": 2.5147735799372657,
      "learning_rate": 3.735236809868445e-06,
      "loss": 0.4568,
      "step": 1296
    },
    {
      "epoch": 0.34586666666666666,
      "grad_norm": 2.798721721549117,
      "learning_rate": 3.733387374493842e-06,
      "loss": 0.4535,
      "step": 1297
    },
    {
      "epoch": 0.34613333333333335,
      "grad_norm": 2.85537599871832,
      "learning_rate": 3.731537046552699e-06,
      "loss": 0.4755,
      "step": 1298
    },
    {
      "epoch": 0.3464,
      "grad_norm": 2.702212461572441,
      "learning_rate": 3.7296858273840443e-06,
      "loss": 0.4308,
      "step": 1299
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 2.8304005829892,
      "learning_rate": 3.7278337183275513e-06,
      "loss": 0.485,
      "step": 1300
    },
    {
      "epoch": 0.3469333333333333,
      "grad_norm": 2.415216246040708,
      "learning_rate": 3.7259807207235376e-06,
      "loss": 0.4018,
      "step": 1301
    },
    {
      "epoch": 0.3472,
      "grad_norm": 2.989675914465056,
      "learning_rate": 3.7241268359129635e-06,
      "loss": 0.5112,
      "step": 1302
    },
    {
      "epoch": 0.34746666666666665,
      "grad_norm": 2.8362235350561793,
      "learning_rate": 3.722272065237431e-06,
      "loss": 0.5054,
      "step": 1303
    },
    {
      "epoch": 0.34773333333333334,
      "grad_norm": 2.827496742797946,
      "learning_rate": 3.7204164100391833e-06,
      "loss": 0.4761,
      "step": 1304
    },
    {
      "epoch": 0.348,
      "grad_norm": 2.6630681888420207,
      "learning_rate": 3.7185598716611055e-06,
      "loss": 0.4431,
      "step": 1305
    },
    {
      "epoch": 0.34826666666666667,
      "grad_norm": 2.533885772857151,
      "learning_rate": 3.7167024514467197e-06,
      "loss": 0.4605,
      "step": 1306
    },
    {
      "epoch": 0.3485333333333333,
      "grad_norm": 2.5033062535244985,
      "learning_rate": 3.7148441507401855e-06,
      "loss": 0.4426,
      "step": 1307
    },
    {
      "epoch": 0.3488,
      "grad_norm": 2.529746370577165,
      "learning_rate": 3.7129849708863037e-06,
      "loss": 0.4376,
      "step": 1308
    },
    {
      "epoch": 0.3490666666666667,
      "grad_norm": 2.5288408279089682,
      "learning_rate": 3.7111249132305073e-06,
      "loss": 0.4165,
      "step": 1309
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 2.3921042143991897,
      "learning_rate": 3.7092639791188647e-06,
      "loss": 0.4165,
      "step": 1310
    },
    {
      "epoch": 0.3496,
      "grad_norm": 2.595165484597625,
      "learning_rate": 3.707402169898081e-06,
      "loss": 0.4669,
      "step": 1311
    },
    {
      "epoch": 0.34986666666666666,
      "grad_norm": 2.5430128684155116,
      "learning_rate": 3.7055394869154938e-06,
      "loss": 0.4871,
      "step": 1312
    },
    {
      "epoch": 0.35013333333333335,
      "grad_norm": 2.5786483594918144,
      "learning_rate": 3.7036759315190718e-06,
      "loss": 0.433,
      "step": 1313
    },
    {
      "epoch": 0.3504,
      "grad_norm": 2.8043229125960556,
      "learning_rate": 3.701811505057416e-06,
      "loss": 0.484,
      "step": 1314
    },
    {
      "epoch": 0.3506666666666667,
      "grad_norm": 2.82633281378623,
      "learning_rate": 3.699946208879757e-06,
      "loss": 0.4498,
      "step": 1315
    },
    {
      "epoch": 0.3509333333333333,
      "grad_norm": 2.4481778209385356,
      "learning_rate": 3.6980800443359564e-06,
      "loss": 0.3857,
      "step": 1316
    },
    {
      "epoch": 0.3512,
      "grad_norm": 2.4234715628425505,
      "learning_rate": 3.696213012776502e-06,
      "loss": 0.4306,
      "step": 1317
    },
    {
      "epoch": 0.35146666666666665,
      "grad_norm": 2.362637854812359,
      "learning_rate": 3.6943451155525113e-06,
      "loss": 0.3891,
      "step": 1318
    },
    {
      "epoch": 0.35173333333333334,
      "grad_norm": 3.137146525033618,
      "learning_rate": 3.6924763540157266e-06,
      "loss": 0.4532,
      "step": 1319
    },
    {
      "epoch": 0.352,
      "grad_norm": 2.5366292556954035,
      "learning_rate": 3.6906067295185155e-06,
      "loss": 0.4442,
      "step": 1320
    },
    {
      "epoch": 0.3522666666666667,
      "grad_norm": 3.0753720535818405,
      "learning_rate": 3.6887362434138724e-06,
      "loss": 0.4866,
      "step": 1321
    },
    {
      "epoch": 0.3525333333333333,
      "grad_norm": 2.914171436792103,
      "learning_rate": 3.6868648970554127e-06,
      "loss": 0.4793,
      "step": 1322
    },
    {
      "epoch": 0.3528,
      "grad_norm": 3.0351136838326163,
      "learning_rate": 3.6849926917973754e-06,
      "loss": 0.4825,
      "step": 1323
    },
    {
      "epoch": 0.35306666666666664,
      "grad_norm": 2.739305134377012,
      "learning_rate": 3.6831196289946212e-06,
      "loss": 0.4921,
      "step": 1324
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 2.6980272851107356,
      "learning_rate": 3.68124571000263e-06,
      "loss": 0.4105,
      "step": 1325
    },
    {
      "epoch": 0.3536,
      "grad_norm": 2.699953372836833,
      "learning_rate": 3.679370936177504e-06,
      "loss": 0.5074,
      "step": 1326
    },
    {
      "epoch": 0.35386666666666666,
      "grad_norm": 2.5202375595655573,
      "learning_rate": 3.6774953088759624e-06,
      "loss": 0.4227,
      "step": 1327
    },
    {
      "epoch": 0.35413333333333336,
      "grad_norm": 2.7255142089521422,
      "learning_rate": 3.6756188294553404e-06,
      "loss": 0.4726,
      "step": 1328
    },
    {
      "epoch": 0.3544,
      "grad_norm": 2.526831073668837,
      "learning_rate": 3.6737414992735924e-06,
      "loss": 0.4475,
      "step": 1329
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 2.603453740629562,
      "learning_rate": 3.6718633196892883e-06,
      "loss": 0.443,
      "step": 1330
    },
    {
      "epoch": 0.3549333333333333,
      "grad_norm": 2.4738057933363526,
      "learning_rate": 3.6699842920616117e-06,
      "loss": 0.4451,
      "step": 1331
    },
    {
      "epoch": 0.3552,
      "grad_norm": 2.9269130482065133,
      "learning_rate": 3.66810441775036e-06,
      "loss": 0.5119,
      "step": 1332
    },
    {
      "epoch": 0.35546666666666665,
      "grad_norm": 2.8968269291093636,
      "learning_rate": 3.666223698115943e-06,
      "loss": 0.4737,
      "step": 1333
    },
    {
      "epoch": 0.35573333333333335,
      "grad_norm": 2.734389322751563,
      "learning_rate": 3.6643421345193836e-06,
      "loss": 0.4458,
      "step": 1334
    },
    {
      "epoch": 0.356,
      "grad_norm": 2.4521875852057784,
      "learning_rate": 3.662459728322314e-06,
      "loss": 0.4288,
      "step": 1335
    },
    {
      "epoch": 0.3562666666666667,
      "grad_norm": 2.575727013454095,
      "learning_rate": 3.660576480886977e-06,
      "loss": 0.4215,
      "step": 1336
    },
    {
      "epoch": 0.3565333333333333,
      "grad_norm": 2.2707872441375923,
      "learning_rate": 3.6586923935762243e-06,
      "loss": 0.3933,
      "step": 1337
    },
    {
      "epoch": 0.3568,
      "grad_norm": 2.4269161864205357,
      "learning_rate": 3.656807467753514e-06,
      "loss": 0.44,
      "step": 1338
    },
    {
      "epoch": 0.35706666666666664,
      "grad_norm": 2.654030769526947,
      "learning_rate": 3.6549217047829137e-06,
      "loss": 0.4515,
      "step": 1339
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 2.784954502544535,
      "learning_rate": 3.653035106029094e-06,
      "loss": 0.4379,
      "step": 1340
    },
    {
      "epoch": 0.3576,
      "grad_norm": 2.2559100441757347,
      "learning_rate": 3.6511476728573314e-06,
      "loss": 0.3824,
      "step": 1341
    },
    {
      "epoch": 0.35786666666666667,
      "grad_norm": 2.822293708362892,
      "learning_rate": 3.6492594066335072e-06,
      "loss": 0.4617,
      "step": 1342
    },
    {
      "epoch": 0.35813333333333336,
      "grad_norm": 2.629538282902379,
      "learning_rate": 3.6473703087241038e-06,
      "loss": 0.4661,
      "step": 1343
    },
    {
      "epoch": 0.3584,
      "grad_norm": 2.6308398264009996,
      "learning_rate": 3.6454803804962068e-06,
      "loss": 0.4488,
      "step": 1344
    },
    {
      "epoch": 0.3586666666666667,
      "grad_norm": 2.329878977582911,
      "learning_rate": 3.643589623317502e-06,
      "loss": 0.3998,
      "step": 1345
    },
    {
      "epoch": 0.3589333333333333,
      "grad_norm": 2.8680513699154364,
      "learning_rate": 3.6416980385562754e-06,
      "loss": 0.4682,
      "step": 1346
    },
    {
      "epoch": 0.3592,
      "grad_norm": 2.6021141573800772,
      "learning_rate": 3.6398056275814124e-06,
      "loss": 0.4237,
      "step": 1347
    },
    {
      "epoch": 0.35946666666666666,
      "grad_norm": 2.5449681649562503,
      "learning_rate": 3.637912391762395e-06,
      "loss": 0.4244,
      "step": 1348
    },
    {
      "epoch": 0.35973333333333335,
      "grad_norm": 3.293008309732721,
      "learning_rate": 3.6360183324693033e-06,
      "loss": 0.5024,
      "step": 1349
    },
    {
      "epoch": 0.36,
      "grad_norm": 2.3564889834534655,
      "learning_rate": 3.6341234510728128e-06,
      "loss": 0.4254,
      "step": 1350
    },
    {
      "epoch": 0.3602666666666667,
      "grad_norm": 2.2332581734411767,
      "learning_rate": 3.6322277489441936e-06,
      "loss": 0.3695,
      "step": 1351
    },
    {
      "epoch": 0.3605333333333333,
      "grad_norm": 2.7734649688774446,
      "learning_rate": 3.630331227455311e-06,
      "loss": 0.4819,
      "step": 1352
    },
    {
      "epoch": 0.3608,
      "grad_norm": 2.327261979447778,
      "learning_rate": 3.6284338879786217e-06,
      "loss": 0.3976,
      "step": 1353
    },
    {
      "epoch": 0.36106666666666665,
      "grad_norm": 2.479406734303413,
      "learning_rate": 3.6265357318871747e-06,
      "loss": 0.3994,
      "step": 1354
    },
    {
      "epoch": 0.36133333333333334,
      "grad_norm": 2.8467281924966175,
      "learning_rate": 3.6246367605546113e-06,
      "loss": 0.4416,
      "step": 1355
    },
    {
      "epoch": 0.3616,
      "grad_norm": 2.9331466676214797,
      "learning_rate": 3.622736975355161e-06,
      "loss": 0.5071,
      "step": 1356
    },
    {
      "epoch": 0.36186666666666667,
      "grad_norm": 2.8241228698788947,
      "learning_rate": 3.6208363776636434e-06,
      "loss": 0.5071,
      "step": 1357
    },
    {
      "epoch": 0.3621333333333333,
      "grad_norm": 2.7284629970403325,
      "learning_rate": 3.6189349688554664e-06,
      "loss": 0.4752,
      "step": 1358
    },
    {
      "epoch": 0.3624,
      "grad_norm": 2.596230316641941,
      "learning_rate": 3.617032750306623e-06,
      "loss": 0.4488,
      "step": 1359
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 2.380485651451292,
      "learning_rate": 3.615129723393694e-06,
      "loss": 0.4089,
      "step": 1360
    },
    {
      "epoch": 0.36293333333333333,
      "grad_norm": 2.5405841092284525,
      "learning_rate": 3.6132258894938437e-06,
      "loss": 0.4176,
      "step": 1361
    },
    {
      "epoch": 0.3632,
      "grad_norm": 2.502241160995714,
      "learning_rate": 3.6113212499848227e-06,
      "loss": 0.4436,
      "step": 1362
    },
    {
      "epoch": 0.36346666666666666,
      "grad_norm": 2.491618238134783,
      "learning_rate": 3.6094158062449624e-06,
      "loss": 0.4208,
      "step": 1363
    },
    {
      "epoch": 0.36373333333333335,
      "grad_norm": 2.6396404422706112,
      "learning_rate": 3.6075095596531774e-06,
      "loss": 0.496,
      "step": 1364
    },
    {
      "epoch": 0.364,
      "grad_norm": 2.7312132338914448,
      "learning_rate": 3.605602511588962e-06,
      "loss": 0.4891,
      "step": 1365
    },
    {
      "epoch": 0.3642666666666667,
      "grad_norm": 2.3546888333403304,
      "learning_rate": 3.603694663432392e-06,
      "loss": 0.4256,
      "step": 1366
    },
    {
      "epoch": 0.3645333333333333,
      "grad_norm": 2.47871889161767,
      "learning_rate": 3.6017860165641215e-06,
      "loss": 0.4287,
      "step": 1367
    },
    {
      "epoch": 0.3648,
      "grad_norm": 2.829922729179905,
      "learning_rate": 3.5998765723653827e-06,
      "loss": 0.4748,
      "step": 1368
    },
    {
      "epoch": 0.36506666666666665,
      "grad_norm": 2.6065761399910885,
      "learning_rate": 3.597966332217985e-06,
      "loss": 0.4462,
      "step": 1369
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 3.4137302540533176,
      "learning_rate": 3.5960552975043134e-06,
      "loss": 0.4908,
      "step": 1370
    },
    {
      "epoch": 0.3656,
      "grad_norm": 3.2027639001147263,
      "learning_rate": 3.5941434696073278e-06,
      "loss": 0.4594,
      "step": 1371
    },
    {
      "epoch": 0.3658666666666667,
      "grad_norm": 2.6665666235862497,
      "learning_rate": 3.592230849910563e-06,
      "loss": 0.4327,
      "step": 1372
    },
    {
      "epoch": 0.3661333333333333,
      "grad_norm": 2.6010543999286058,
      "learning_rate": 3.5903174397981257e-06,
      "loss": 0.4814,
      "step": 1373
    },
    {
      "epoch": 0.3664,
      "grad_norm": 3.271661404537188,
      "learning_rate": 3.5884032406546943e-06,
      "loss": 0.5119,
      "step": 1374
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 3.075985973127879,
      "learning_rate": 3.586488253865521e-06,
      "loss": 0.4628,
      "step": 1375
    },
    {
      "epoch": 0.36693333333333333,
      "grad_norm": 2.6976575792211595,
      "learning_rate": 3.5845724808164246e-06,
      "loss": 0.5272,
      "step": 1376
    },
    {
      "epoch": 0.3672,
      "grad_norm": 2.5671716885494167,
      "learning_rate": 3.5826559228937943e-06,
      "loss": 0.4163,
      "step": 1377
    },
    {
      "epoch": 0.36746666666666666,
      "grad_norm": 2.3978250892659316,
      "learning_rate": 3.580738581484588e-06,
      "loss": 0.3949,
      "step": 1378
    },
    {
      "epoch": 0.36773333333333336,
      "grad_norm": 2.5739702428591675,
      "learning_rate": 3.57882045797633e-06,
      "loss": 0.4332,
      "step": 1379
    },
    {
      "epoch": 0.368,
      "grad_norm": 2.5048703861654404,
      "learning_rate": 3.576901553757109e-06,
      "loss": 0.402,
      "step": 1380
    },
    {
      "epoch": 0.3682666666666667,
      "grad_norm": 2.361856121063737,
      "learning_rate": 3.5749818702155815e-06,
      "loss": 0.3908,
      "step": 1381
    },
    {
      "epoch": 0.3685333333333333,
      "grad_norm": 2.83016236644003,
      "learning_rate": 3.5730614087409653e-06,
      "loss": 0.4703,
      "step": 1382
    },
    {
      "epoch": 0.3688,
      "grad_norm": 2.367249606717703,
      "learning_rate": 3.571140170723045e-06,
      "loss": 0.3933,
      "step": 1383
    },
    {
      "epoch": 0.36906666666666665,
      "grad_norm": 2.7031549731453524,
      "learning_rate": 3.569218157552162e-06,
      "loss": 0.4707,
      "step": 1384
    },
    {
      "epoch": 0.36933333333333335,
      "grad_norm": 3.146865966938581,
      "learning_rate": 3.5672953706192214e-06,
      "loss": 0.471,
      "step": 1385
    },
    {
      "epoch": 0.3696,
      "grad_norm": 2.7585827299640404,
      "learning_rate": 3.5653718113156897e-06,
      "loss": 0.4564,
      "step": 1386
    },
    {
      "epoch": 0.3698666666666667,
      "grad_norm": 2.6383828411024717,
      "learning_rate": 3.56344748103359e-06,
      "loss": 0.4901,
      "step": 1387
    },
    {
      "epoch": 0.3701333333333333,
      "grad_norm": 3.0281314413426617,
      "learning_rate": 3.561522381165504e-06,
      "loss": 0.4909,
      "step": 1388
    },
    {
      "epoch": 0.3704,
      "grad_norm": 2.9197490431100985,
      "learning_rate": 3.559596513104571e-06,
      "loss": 0.4777,
      "step": 1389
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 3.012437268040904,
      "learning_rate": 3.557669878244485e-06,
      "loss": 0.494,
      "step": 1390
    },
    {
      "epoch": 0.37093333333333334,
      "grad_norm": 2.7161208882347556,
      "learning_rate": 3.5557424779794965e-06,
      "loss": 0.4527,
      "step": 1391
    },
    {
      "epoch": 0.3712,
      "grad_norm": 2.4736041146363035,
      "learning_rate": 3.553814313704407e-06,
      "loss": 0.4215,
      "step": 1392
    },
    {
      "epoch": 0.37146666666666667,
      "grad_norm": 2.608956964709874,
      "learning_rate": 3.5518853868145746e-06,
      "loss": 0.4283,
      "step": 1393
    },
    {
      "epoch": 0.37173333333333336,
      "grad_norm": 2.4754402082307005,
      "learning_rate": 3.5499556987059074e-06,
      "loss": 0.4395,
      "step": 1394
    },
    {
      "epoch": 0.372,
      "grad_norm": 2.4631870738840225,
      "learning_rate": 3.5480252507748637e-06,
      "loss": 0.4571,
      "step": 1395
    },
    {
      "epoch": 0.3722666666666667,
      "grad_norm": 2.411205657714835,
      "learning_rate": 3.546094044418453e-06,
      "loss": 0.3872,
      "step": 1396
    },
    {
      "epoch": 0.3725333333333333,
      "grad_norm": 2.5245177969415176,
      "learning_rate": 3.5441620810342335e-06,
      "loss": 0.4083,
      "step": 1397
    },
    {
      "epoch": 0.3728,
      "grad_norm": 2.758354713212143,
      "learning_rate": 3.5422293620203107e-06,
      "loss": 0.4324,
      "step": 1398
    },
    {
      "epoch": 0.37306666666666666,
      "grad_norm": 2.513953225354811,
      "learning_rate": 3.5402958887753364e-06,
      "loss": 0.4203,
      "step": 1399
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 2.641106857703644,
      "learning_rate": 3.538361662698509e-06,
      "loss": 0.4461,
      "step": 1400
    },
    {
      "epoch": 0.3736,
      "grad_norm": 2.4599537258682482,
      "learning_rate": 3.536426685189572e-06,
      "loss": 0.474,
      "step": 1401
    },
    {
      "epoch": 0.3738666666666667,
      "grad_norm": 2.637674235326629,
      "learning_rate": 3.5344909576488127e-06,
      "loss": 0.481,
      "step": 1402
    },
    {
      "epoch": 0.3741333333333333,
      "grad_norm": 2.493112204231424,
      "learning_rate": 3.5325544814770598e-06,
      "loss": 0.4053,
      "step": 1403
    },
    {
      "epoch": 0.3744,
      "grad_norm": 2.7798286019864396,
      "learning_rate": 3.530617258075686e-06,
      "loss": 0.5397,
      "step": 1404
    },
    {
      "epoch": 0.37466666666666665,
      "grad_norm": 2.6118017684059036,
      "learning_rate": 3.5286792888466014e-06,
      "loss": 0.4347,
      "step": 1405
    },
    {
      "epoch": 0.37493333333333334,
      "grad_norm": 2.737261213886995,
      "learning_rate": 3.5267405751922608e-06,
      "loss": 0.4774,
      "step": 1406
    },
    {
      "epoch": 0.3752,
      "grad_norm": 2.7056123293888397,
      "learning_rate": 3.5248011185156526e-06,
      "loss": 0.4553,
      "step": 1407
    },
    {
      "epoch": 0.37546666666666667,
      "grad_norm": 2.5660360105677444,
      "learning_rate": 3.5228609202203055e-06,
      "loss": 0.4057,
      "step": 1408
    },
    {
      "epoch": 0.3757333333333333,
      "grad_norm": 2.579921417361547,
      "learning_rate": 3.520919981710286e-06,
      "loss": 0.5002,
      "step": 1409
    },
    {
      "epoch": 0.376,
      "grad_norm": 2.720008907915331,
      "learning_rate": 3.5189783043901927e-06,
      "loss": 0.3989,
      "step": 1410
    },
    {
      "epoch": 0.3762666666666667,
      "grad_norm": 2.66892099093688,
      "learning_rate": 3.517035889665162e-06,
      "loss": 0.4197,
      "step": 1411
    },
    {
      "epoch": 0.37653333333333333,
      "grad_norm": 2.335407593120922,
      "learning_rate": 3.5150927389408627e-06,
      "loss": 0.4152,
      "step": 1412
    },
    {
      "epoch": 0.3768,
      "grad_norm": 2.3719364859367276,
      "learning_rate": 3.513148853623497e-06,
      "loss": 0.41,
      "step": 1413
    },
    {
      "epoch": 0.37706666666666666,
      "grad_norm": 2.627667507083967,
      "learning_rate": 3.5112042351197973e-06,
      "loss": 0.386,
      "step": 1414
    },
    {
      "epoch": 0.37733333333333335,
      "grad_norm": 2.5224231455335837,
      "learning_rate": 3.5092588848370277e-06,
      "loss": 0.4296,
      "step": 1415
    },
    {
      "epoch": 0.3776,
      "grad_norm": 2.6528558017836628,
      "learning_rate": 3.5073128041829817e-06,
      "loss": 0.4602,
      "step": 1416
    },
    {
      "epoch": 0.3778666666666667,
      "grad_norm": 2.587804860443273,
      "learning_rate": 3.505365994565981e-06,
      "loss": 0.435,
      "step": 1417
    },
    {
      "epoch": 0.3781333333333333,
      "grad_norm": 2.6329772702885363,
      "learning_rate": 3.503418457394876e-06,
      "loss": 0.4452,
      "step": 1418
    },
    {
      "epoch": 0.3784,
      "grad_norm": 2.6181222143780785,
      "learning_rate": 3.5014701940790417e-06,
      "loss": 0.5244,
      "step": 1419
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 2.7357700593067,
      "learning_rate": 3.4995212060283796e-06,
      "loss": 0.4368,
      "step": 1420
    },
    {
      "epoch": 0.37893333333333334,
      "grad_norm": 2.5195471470700217,
      "learning_rate": 3.4975714946533147e-06,
      "loss": 0.4576,
      "step": 1421
    },
    {
      "epoch": 0.3792,
      "grad_norm": 2.6974037839256035,
      "learning_rate": 3.4956210613647986e-06,
      "loss": 0.4547,
      "step": 1422
    },
    {
      "epoch": 0.3794666666666667,
      "grad_norm": 2.6669381288434773,
      "learning_rate": 3.493669907574301e-06,
      "loss": 0.4611,
      "step": 1423
    },
    {
      "epoch": 0.3797333333333333,
      "grad_norm": 2.9844836197853715,
      "learning_rate": 3.491718034693817e-06,
      "loss": 0.5497,
      "step": 1424
    },
    {
      "epoch": 0.38,
      "grad_norm": 2.7296433016769717,
      "learning_rate": 3.4897654441358586e-06,
      "loss": 0.4666,
      "step": 1425
    },
    {
      "epoch": 0.38026666666666664,
      "grad_norm": 2.3678962202433294,
      "learning_rate": 3.4878121373134595e-06,
      "loss": 0.4617,
      "step": 1426
    },
    {
      "epoch": 0.38053333333333333,
      "grad_norm": 2.76578748300155,
      "learning_rate": 3.4858581156401707e-06,
      "loss": 0.4863,
      "step": 1427
    },
    {
      "epoch": 0.3808,
      "grad_norm": 2.289833144294391,
      "learning_rate": 3.4839033805300603e-06,
      "loss": 0.3969,
      "step": 1428
    },
    {
      "epoch": 0.38106666666666666,
      "grad_norm": 2.387922921721708,
      "learning_rate": 3.4819479333977148e-06,
      "loss": 0.4095,
      "step": 1429
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 2.6577426224871403,
      "learning_rate": 3.4799917756582336e-06,
      "loss": 0.4295,
      "step": 1430
    },
    {
      "epoch": 0.3816,
      "grad_norm": 2.367770871957336,
      "learning_rate": 3.47803490872723e-06,
      "loss": 0.4041,
      "step": 1431
    },
    {
      "epoch": 0.3818666666666667,
      "grad_norm": 2.8884011922996784,
      "learning_rate": 3.476077334020833e-06,
      "loss": 0.4008,
      "step": 1432
    },
    {
      "epoch": 0.3821333333333333,
      "grad_norm": 2.2935558422306555,
      "learning_rate": 3.474119052955682e-06,
      "loss": 0.4373,
      "step": 1433
    },
    {
      "epoch": 0.3824,
      "grad_norm": 2.4821510919732432,
      "learning_rate": 3.4721600669489274e-06,
      "loss": 0.4052,
      "step": 1434
    },
    {
      "epoch": 0.38266666666666665,
      "grad_norm": 2.3178164697426618,
      "learning_rate": 3.4702003774182312e-06,
      "loss": 0.4255,
      "step": 1435
    },
    {
      "epoch": 0.38293333333333335,
      "grad_norm": 2.5225599521661666,
      "learning_rate": 3.4682399857817637e-06,
      "loss": 0.4466,
      "step": 1436
    },
    {
      "epoch": 0.3832,
      "grad_norm": 2.754800982816514,
      "learning_rate": 3.4662788934582035e-06,
      "loss": 0.4334,
      "step": 1437
    },
    {
      "epoch": 0.3834666666666667,
      "grad_norm": 2.4911201615005347,
      "learning_rate": 3.464317101866735e-06,
      "loss": 0.455,
      "step": 1438
    },
    {
      "epoch": 0.3837333333333333,
      "grad_norm": 2.381913509357003,
      "learning_rate": 3.4623546124270496e-06,
      "loss": 0.4219,
      "step": 1439
    },
    {
      "epoch": 0.384,
      "grad_norm": 2.298335632634612,
      "learning_rate": 3.4603914265593445e-06,
      "loss": 0.3851,
      "step": 1440
    },
    {
      "epoch": 0.38426666666666665,
      "grad_norm": 2.6237387208179856,
      "learning_rate": 3.45842754568432e-06,
      "loss": 0.4122,
      "step": 1441
    },
    {
      "epoch": 0.38453333333333334,
      "grad_norm": 2.8098147506934286,
      "learning_rate": 3.45646297122318e-06,
      "loss": 0.4883,
      "step": 1442
    },
    {
      "epoch": 0.3848,
      "grad_norm": 3.1109861995674954,
      "learning_rate": 3.454497704597629e-06,
      "loss": 0.4784,
      "step": 1443
    },
    {
      "epoch": 0.38506666666666667,
      "grad_norm": 2.7815164716432896,
      "learning_rate": 3.4525317472298738e-06,
      "loss": 0.4777,
      "step": 1444
    },
    {
      "epoch": 0.38533333333333336,
      "grad_norm": 2.619765582259379,
      "learning_rate": 3.4505651005426204e-06,
      "loss": 0.4076,
      "step": 1445
    },
    {
      "epoch": 0.3856,
      "grad_norm": 2.8768616090001116,
      "learning_rate": 3.448597765959074e-06,
      "loss": 0.4868,
      "step": 1446
    },
    {
      "epoch": 0.3858666666666667,
      "grad_norm": 2.3793478763195246,
      "learning_rate": 3.4466297449029368e-06,
      "loss": 0.4097,
      "step": 1447
    },
    {
      "epoch": 0.38613333333333333,
      "grad_norm": 2.469002068743136,
      "learning_rate": 3.4446610387984087e-06,
      "loss": 0.4216,
      "step": 1448
    },
    {
      "epoch": 0.3864,
      "grad_norm": 2.8681714206864584,
      "learning_rate": 3.4426916490701845e-06,
      "loss": 0.4494,
      "step": 1449
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 2.5190911077800737,
      "learning_rate": 3.440721577143455e-06,
      "loss": 0.4194,
      "step": 1450
    },
    {
      "epoch": 0.38693333333333335,
      "grad_norm": 2.5715251603324933,
      "learning_rate": 3.438750824443904e-06,
      "loss": 0.4629,
      "step": 1451
    },
    {
      "epoch": 0.3872,
      "grad_norm": 2.4291107496349102,
      "learning_rate": 3.436779392397706e-06,
      "loss": 0.3941,
      "step": 1452
    },
    {
      "epoch": 0.3874666666666667,
      "grad_norm": 2.3638360503714013,
      "learning_rate": 3.4348072824315316e-06,
      "loss": 0.4433,
      "step": 1453
    },
    {
      "epoch": 0.3877333333333333,
      "grad_norm": 2.607175827947854,
      "learning_rate": 3.432834495972538e-06,
      "loss": 0.4405,
      "step": 1454
    },
    {
      "epoch": 0.388,
      "grad_norm": 2.583302610693969,
      "learning_rate": 3.430861034448374e-06,
      "loss": 0.4135,
      "step": 1455
    },
    {
      "epoch": 0.38826666666666665,
      "grad_norm": 2.844043161063342,
      "learning_rate": 3.428886899287175e-06,
      "loss": 0.4371,
      "step": 1456
    },
    {
      "epoch": 0.38853333333333334,
      "grad_norm": 2.5290887671276705,
      "learning_rate": 3.426912091917566e-06,
      "loss": 0.4289,
      "step": 1457
    },
    {
      "epoch": 0.3888,
      "grad_norm": 2.519225582877022,
      "learning_rate": 3.424936613768658e-06,
      "loss": 0.4072,
      "step": 1458
    },
    {
      "epoch": 0.38906666666666667,
      "grad_norm": 2.8834924087293663,
      "learning_rate": 3.4229604662700456e-06,
      "loss": 0.4867,
      "step": 1459
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 2.678591249421516,
      "learning_rate": 3.420983650851811e-06,
      "loss": 0.4669,
      "step": 1460
    },
    {
      "epoch": 0.3896,
      "grad_norm": 2.6811789402124977,
      "learning_rate": 3.419006168944517e-06,
      "loss": 0.4498,
      "step": 1461
    },
    {
      "epoch": 0.38986666666666664,
      "grad_norm": 2.6086324564901973,
      "learning_rate": 3.4170280219792094e-06,
      "loss": 0.4241,
      "step": 1462
    },
    {
      "epoch": 0.39013333333333333,
      "grad_norm": 2.618472614061367,
      "learning_rate": 3.4150492113874166e-06,
      "loss": 0.4371,
      "step": 1463
    },
    {
      "epoch": 0.3904,
      "grad_norm": 2.4442726383633278,
      "learning_rate": 3.4130697386011457e-06,
      "loss": 0.4462,
      "step": 1464
    },
    {
      "epoch": 0.39066666666666666,
      "grad_norm": 2.7516670314622345,
      "learning_rate": 3.4110896050528842e-06,
      "loss": 0.4387,
      "step": 1465
    },
    {
      "epoch": 0.39093333333333335,
      "grad_norm": 2.6517998196771715,
      "learning_rate": 3.4091088121755953e-06,
      "loss": 0.4872,
      "step": 1466
    },
    {
      "epoch": 0.3912,
      "grad_norm": 2.723431255743995,
      "learning_rate": 3.4071273614027222e-06,
      "loss": 0.4882,
      "step": 1467
    },
    {
      "epoch": 0.3914666666666667,
      "grad_norm": 2.4699856635323005,
      "learning_rate": 3.405145254168184e-06,
      "loss": 0.4161,
      "step": 1468
    },
    {
      "epoch": 0.3917333333333333,
      "grad_norm": 3.24154824978469,
      "learning_rate": 3.4031624919063726e-06,
      "loss": 0.4374,
      "step": 1469
    },
    {
      "epoch": 0.392,
      "grad_norm": 2.712849424875945,
      "learning_rate": 3.4011790760521557e-06,
      "loss": 0.4478,
      "step": 1470
    },
    {
      "epoch": 0.39226666666666665,
      "grad_norm": 2.641327352826032,
      "learning_rate": 3.399195008040874e-06,
      "loss": 0.4814,
      "step": 1471
    },
    {
      "epoch": 0.39253333333333335,
      "grad_norm": 2.8225048728846116,
      "learning_rate": 3.3972102893083397e-06,
      "loss": 0.5042,
      "step": 1472
    },
    {
      "epoch": 0.3928,
      "grad_norm": 2.7595867188998566,
      "learning_rate": 3.395224921290836e-06,
      "loss": 0.4171,
      "step": 1473
    },
    {
      "epoch": 0.3930666666666667,
      "grad_norm": 2.674327982685374,
      "learning_rate": 3.3932389054251165e-06,
      "loss": 0.4611,
      "step": 1474
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 3.0091727124772665,
      "learning_rate": 3.391252243148402e-06,
      "loss": 0.5041,
      "step": 1475
    },
    {
      "epoch": 0.3936,
      "grad_norm": 2.402360740401708,
      "learning_rate": 3.389264935898382e-06,
      "loss": 0.4024,
      "step": 1476
    },
    {
      "epoch": 0.39386666666666664,
      "grad_norm": 2.427641778099154,
      "learning_rate": 3.3872769851132144e-06,
      "loss": 0.4046,
      "step": 1477
    },
    {
      "epoch": 0.39413333333333334,
      "grad_norm": 2.666903270223506,
      "learning_rate": 3.3852883922315193e-06,
      "loss": 0.4633,
      "step": 1478
    },
    {
      "epoch": 0.3944,
      "grad_norm": 2.606960071500337,
      "learning_rate": 3.383299158692385e-06,
      "loss": 0.3915,
      "step": 1479
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 2.572035383146906,
      "learning_rate": 3.3813092859353614e-06,
      "loss": 0.5025,
      "step": 1480
    },
    {
      "epoch": 0.39493333333333336,
      "grad_norm": 3.297652867215331,
      "learning_rate": 3.379318775400462e-06,
      "loss": 0.4737,
      "step": 1481
    },
    {
      "epoch": 0.3952,
      "grad_norm": 2.6672749109813263,
      "learning_rate": 3.3773276285281607e-06,
      "loss": 0.4284,
      "step": 1482
    },
    {
      "epoch": 0.3954666666666667,
      "grad_norm": 2.6489767551364225,
      "learning_rate": 3.375335846759392e-06,
      "loss": 0.5081,
      "step": 1483
    },
    {
      "epoch": 0.3957333333333333,
      "grad_norm": 3.272056252068883,
      "learning_rate": 3.3733434315355527e-06,
      "loss": 0.475,
      "step": 1484
    },
    {
      "epoch": 0.396,
      "grad_norm": 2.6048366041127524,
      "learning_rate": 3.3713503842984928e-06,
      "loss": 0.4365,
      "step": 1485
    },
    {
      "epoch": 0.39626666666666666,
      "grad_norm": 2.93112236359776,
      "learning_rate": 3.3693567064905246e-06,
      "loss": 0.4633,
      "step": 1486
    },
    {
      "epoch": 0.39653333333333335,
      "grad_norm": 2.512701477864529,
      "learning_rate": 3.367362399554414e-06,
      "loss": 0.4011,
      "step": 1487
    },
    {
      "epoch": 0.3968,
      "grad_norm": 2.3418046133106873,
      "learning_rate": 3.365367464933382e-06,
      "loss": 0.3985,
      "step": 1488
    },
    {
      "epoch": 0.3970666666666667,
      "grad_norm": 2.7802217163731355,
      "learning_rate": 3.3633719040711067e-06,
      "loss": 0.4278,
      "step": 1489
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 2.4726265886867242,
      "learning_rate": 3.3613757184117155e-06,
      "loss": 0.392,
      "step": 1490
    },
    {
      "epoch": 0.3976,
      "grad_norm": 3.0282352765593155,
      "learning_rate": 3.3593789093997907e-06,
      "loss": 0.4806,
      "step": 1491
    },
    {
      "epoch": 0.39786666666666665,
      "grad_norm": 2.372576617203466,
      "learning_rate": 3.3573814784803653e-06,
      "loss": 0.3904,
      "step": 1492
    },
    {
      "epoch": 0.39813333333333334,
      "grad_norm": 2.582586047245702,
      "learning_rate": 3.355383427098922e-06,
      "loss": 0.4253,
      "step": 1493
    },
    {
      "epoch": 0.3984,
      "grad_norm": 2.688676580579434,
      "learning_rate": 3.3533847567013904e-06,
      "loss": 0.4568,
      "step": 1494
    },
    {
      "epoch": 0.39866666666666667,
      "grad_norm": 2.660509697347236,
      "learning_rate": 3.3513854687341523e-06,
      "loss": 0.4554,
      "step": 1495
    },
    {
      "epoch": 0.3989333333333333,
      "grad_norm": 2.8944873252260317,
      "learning_rate": 3.3493855646440332e-06,
      "loss": 0.4858,
      "step": 1496
    },
    {
      "epoch": 0.3992,
      "grad_norm": 2.5866637032672037,
      "learning_rate": 3.347385045878306e-06,
      "loss": 0.4667,
      "step": 1497
    },
    {
      "epoch": 0.3994666666666667,
      "grad_norm": 2.614082943966185,
      "learning_rate": 3.3453839138846867e-06,
      "loss": 0.4225,
      "step": 1498
    },
    {
      "epoch": 0.39973333333333333,
      "grad_norm": 2.8852771304979714,
      "learning_rate": 3.343382170111338e-06,
      "loss": 0.4759,
      "step": 1499
    },
    {
      "epoch": 0.4,
      "grad_norm": 2.36045671160398,
      "learning_rate": 3.3413798160068634e-06,
      "loss": 0.4038,
      "step": 1500
    },
    {
      "epoch": 0.40026666666666666,
      "grad_norm": 2.667771245012628,
      "learning_rate": 3.3393768530203063e-06,
      "loss": 0.4423,
      "step": 1501
    },
    {
      "epoch": 0.40053333333333335,
      "grad_norm": 3.8573288696663646,
      "learning_rate": 3.3373732826011544e-06,
      "loss": 0.5436,
      "step": 1502
    },
    {
      "epoch": 0.4008,
      "grad_norm": 2.72737264729065,
      "learning_rate": 3.3353691061993338e-06,
      "loss": 0.4714,
      "step": 1503
    },
    {
      "epoch": 0.4010666666666667,
      "grad_norm": 2.5707329083972352,
      "learning_rate": 3.333364325265207e-06,
      "loss": 0.4093,
      "step": 1504
    },
    {
      "epoch": 0.4013333333333333,
      "grad_norm": 2.454749032334057,
      "learning_rate": 3.3313589412495766e-06,
      "loss": 0.4057,
      "step": 1505
    },
    {
      "epoch": 0.4016,
      "grad_norm": 2.84556535822889,
      "learning_rate": 3.3293529556036803e-06,
      "loss": 0.4744,
      "step": 1506
    },
    {
      "epoch": 0.40186666666666665,
      "grad_norm": 2.6236790295459884,
      "learning_rate": 3.327346369779192e-06,
      "loss": 0.4333,
      "step": 1507
    },
    {
      "epoch": 0.40213333333333334,
      "grad_norm": 2.5013210027952626,
      "learning_rate": 3.325339185228219e-06,
      "loss": 0.4101,
      "step": 1508
    },
    {
      "epoch": 0.4024,
      "grad_norm": 2.400135544659051,
      "learning_rate": 3.3233314034033017e-06,
      "loss": 0.3816,
      "step": 1509
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 2.677002493062623,
      "learning_rate": 3.3213230257574146e-06,
      "loss": 0.453,
      "step": 1510
    },
    {
      "epoch": 0.4029333333333333,
      "grad_norm": 2.5654451996980803,
      "learning_rate": 3.3193140537439615e-06,
      "loss": 0.43,
      "step": 1511
    },
    {
      "epoch": 0.4032,
      "grad_norm": 2.4553435781275343,
      "learning_rate": 3.3173044888167775e-06,
      "loss": 0.3867,
      "step": 1512
    },
    {
      "epoch": 0.40346666666666664,
      "grad_norm": 2.441248167090679,
      "learning_rate": 3.3152943324301255e-06,
      "loss": 0.4411,
      "step": 1513
    },
    {
      "epoch": 0.40373333333333333,
      "grad_norm": 2.4609788032909665,
      "learning_rate": 3.313283586038698e-06,
      "loss": 0.3801,
      "step": 1514
    },
    {
      "epoch": 0.404,
      "grad_norm": 2.607838070843609,
      "learning_rate": 3.311272251097613e-06,
      "loss": 0.448,
      "step": 1515
    },
    {
      "epoch": 0.40426666666666666,
      "grad_norm": 2.6163700467025133,
      "learning_rate": 3.3092603290624147e-06,
      "loss": 0.3686,
      "step": 1516
    },
    {
      "epoch": 0.40453333333333336,
      "grad_norm": 2.6828111127031327,
      "learning_rate": 3.3072478213890736e-06,
      "loss": 0.4511,
      "step": 1517
    },
    {
      "epoch": 0.4048,
      "grad_norm": 2.958033044789719,
      "learning_rate": 3.3052347295339817e-06,
      "loss": 0.4371,
      "step": 1518
    },
    {
      "epoch": 0.4050666666666667,
      "grad_norm": 2.8483418234776927,
      "learning_rate": 3.3032210549539555e-06,
      "loss": 0.4131,
      "step": 1519
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 2.863951486088617,
      "learning_rate": 3.3012067991062336e-06,
      "loss": 0.4709,
      "step": 1520
    },
    {
      "epoch": 0.4056,
      "grad_norm": 2.5270112303994647,
      "learning_rate": 3.2991919634484725e-06,
      "loss": 0.4384,
      "step": 1521
    },
    {
      "epoch": 0.40586666666666665,
      "grad_norm": 2.5692854637391873,
      "learning_rate": 3.297176549438752e-06,
      "loss": 0.449,
      "step": 1522
    },
    {
      "epoch": 0.40613333333333335,
      "grad_norm": 2.564949546572077,
      "learning_rate": 3.295160558535567e-06,
      "loss": 0.4175,
      "step": 1523
    },
    {
      "epoch": 0.4064,
      "grad_norm": 2.7772282464518585,
      "learning_rate": 3.2931439921978324e-06,
      "loss": 0.4721,
      "step": 1524
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 2.4094813834392728,
      "learning_rate": 3.291126851884878e-06,
      "loss": 0.4534,
      "step": 1525
    },
    {
      "epoch": 0.4069333333333333,
      "grad_norm": 2.6919205031232925,
      "learning_rate": 3.2891091390564507e-06,
      "loss": 0.4273,
      "step": 1526
    },
    {
      "epoch": 0.4072,
      "grad_norm": 2.426929966253551,
      "learning_rate": 3.287090855172708e-06,
      "loss": 0.3917,
      "step": 1527
    },
    {
      "epoch": 0.40746666666666664,
      "grad_norm": 2.983143489549833,
      "learning_rate": 3.285072001694226e-06,
      "loss": 0.5514,
      "step": 1528
    },
    {
      "epoch": 0.40773333333333334,
      "grad_norm": 2.521632409773071,
      "learning_rate": 3.2830525800819884e-06,
      "loss": 0.4437,
      "step": 1529
    },
    {
      "epoch": 0.408,
      "grad_norm": 2.592347350972955,
      "learning_rate": 3.2810325917973928e-06,
      "loss": 0.4467,
      "step": 1530
    },
    {
      "epoch": 0.40826666666666667,
      "grad_norm": 2.8649431237635015,
      "learning_rate": 3.279012038302246e-06,
      "loss": 0.453,
      "step": 1531
    },
    {
      "epoch": 0.40853333333333336,
      "grad_norm": 2.7835098863474066,
      "learning_rate": 3.276990921058763e-06,
      "loss": 0.4704,
      "step": 1532
    },
    {
      "epoch": 0.4088,
      "grad_norm": 2.5275891035872964,
      "learning_rate": 3.274969241529568e-06,
      "loss": 0.4421,
      "step": 1533
    },
    {
      "epoch": 0.4090666666666667,
      "grad_norm": 2.9063186820262263,
      "learning_rate": 3.2729470011776907e-06,
      "loss": 0.5049,
      "step": 1534
    },
    {
      "epoch": 0.4093333333333333,
      "grad_norm": 2.6084021383235854,
      "learning_rate": 3.270924201466569e-06,
      "loss": 0.4365,
      "step": 1535
    },
    {
      "epoch": 0.4096,
      "grad_norm": 2.525845265864839,
      "learning_rate": 3.2689008438600433e-06,
      "loss": 0.48,
      "step": 1536
    },
    {
      "epoch": 0.40986666666666666,
      "grad_norm": 2.590156878337708,
      "learning_rate": 3.2668769298223585e-06,
      "loss": 0.4986,
      "step": 1537
    },
    {
      "epoch": 0.41013333333333335,
      "grad_norm": 2.4615003666776234,
      "learning_rate": 3.2648524608181633e-06,
      "loss": 0.451,
      "step": 1538
    },
    {
      "epoch": 0.4104,
      "grad_norm": 2.463463189421485,
      "learning_rate": 3.2628274383125057e-06,
      "loss": 0.4176,
      "step": 1539
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 2.820557989070664,
      "learning_rate": 3.2608018637708363e-06,
      "loss": 0.451,
      "step": 1540
    },
    {
      "epoch": 0.4109333333333333,
      "grad_norm": 2.518378516209259,
      "learning_rate": 3.2587757386590042e-06,
      "loss": 0.4415,
      "step": 1541
    },
    {
      "epoch": 0.4112,
      "grad_norm": 2.8009063119730144,
      "learning_rate": 3.2567490644432576e-06,
      "loss": 0.47,
      "step": 1542
    },
    {
      "epoch": 0.41146666666666665,
      "grad_norm": 2.512257185031241,
      "learning_rate": 3.254721842590241e-06,
      "loss": 0.4315,
      "step": 1543
    },
    {
      "epoch": 0.41173333333333334,
      "grad_norm": 2.249945411777092,
      "learning_rate": 3.252694074566996e-06,
      "loss": 0.3915,
      "step": 1544
    },
    {
      "epoch": 0.412,
      "grad_norm": 2.4203770145385457,
      "learning_rate": 3.250665761840959e-06,
      "loss": 0.4428,
      "step": 1545
    },
    {
      "epoch": 0.41226666666666667,
      "grad_norm": 2.8843020460660322,
      "learning_rate": 3.2486369058799623e-06,
      "loss": 0.4633,
      "step": 1546
    },
    {
      "epoch": 0.4125333333333333,
      "grad_norm": 2.4655544022043245,
      "learning_rate": 3.2466075081522276e-06,
      "loss": 0.4116,
      "step": 1547
    },
    {
      "epoch": 0.4128,
      "grad_norm": 2.629343699586044,
      "learning_rate": 3.244577570126373e-06,
      "loss": 0.4361,
      "step": 1548
    },
    {
      "epoch": 0.4130666666666667,
      "grad_norm": 2.516602544116514,
      "learning_rate": 3.242547093271405e-06,
      "loss": 0.4088,
      "step": 1549
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 2.443714252706866,
      "learning_rate": 3.2405160790567204e-06,
      "loss": 0.3823,
      "step": 1550
    },
    {
      "epoch": 0.4136,
      "grad_norm": 3.0201858070488106,
      "learning_rate": 3.2384845289521046e-06,
      "loss": 0.5342,
      "step": 1551
    },
    {
      "epoch": 0.41386666666666666,
      "grad_norm": 2.8841587377264606,
      "learning_rate": 3.236452444427732e-06,
      "loss": 0.4601,
      "step": 1552
    },
    {
      "epoch": 0.41413333333333335,
      "grad_norm": 2.3364020008283743,
      "learning_rate": 3.2344198269541623e-06,
      "loss": 0.4308,
      "step": 1553
    },
    {
      "epoch": 0.4144,
      "grad_norm": 2.809443858787667,
      "learning_rate": 3.2323866780023424e-06,
      "loss": 0.4537,
      "step": 1554
    },
    {
      "epoch": 0.4146666666666667,
      "grad_norm": 2.5113685702066855,
      "learning_rate": 3.2303529990436018e-06,
      "loss": 0.4754,
      "step": 1555
    },
    {
      "epoch": 0.4149333333333333,
      "grad_norm": 2.87332264326654,
      "learning_rate": 3.2283187915496568e-06,
      "loss": 0.4363,
      "step": 1556
    },
    {
      "epoch": 0.4152,
      "grad_norm": 2.50193078904685,
      "learning_rate": 3.2262840569926024e-06,
      "loss": 0.4164,
      "step": 1557
    },
    {
      "epoch": 0.41546666666666665,
      "grad_norm": 2.63866599395595,
      "learning_rate": 3.224248796844917e-06,
      "loss": 0.4479,
      "step": 1558
    },
    {
      "epoch": 0.41573333333333334,
      "grad_norm": 2.5974182947285023,
      "learning_rate": 3.2222130125794603e-06,
      "loss": 0.4185,
      "step": 1559
    },
    {
      "epoch": 0.416,
      "grad_norm": 2.6183772247016885,
      "learning_rate": 3.2201767056694688e-06,
      "loss": 0.467,
      "step": 1560
    },
    {
      "epoch": 0.4162666666666667,
      "grad_norm": 2.4649367375123323,
      "learning_rate": 3.21813987758856e-06,
      "loss": 0.4409,
      "step": 1561
    },
    {
      "epoch": 0.4165333333333333,
      "grad_norm": 2.420171380940966,
      "learning_rate": 3.2161025298107246e-06,
      "loss": 0.4022,
      "step": 1562
    },
    {
      "epoch": 0.4168,
      "grad_norm": 2.362888889446213,
      "learning_rate": 3.2140646638103332e-06,
      "loss": 0.3935,
      "step": 1563
    },
    {
      "epoch": 0.41706666666666664,
      "grad_norm": 2.395372097528393,
      "learning_rate": 3.212026281062132e-06,
      "loss": 0.3868,
      "step": 1564
    },
    {
      "epoch": 0.41733333333333333,
      "grad_norm": 2.6941424574267017,
      "learning_rate": 3.209987383041236e-06,
      "loss": 0.4712,
      "step": 1565
    },
    {
      "epoch": 0.4176,
      "grad_norm": 3.3346715524180865,
      "learning_rate": 3.207947971223139e-06,
      "loss": 0.5545,
      "step": 1566
    },
    {
      "epoch": 0.41786666666666666,
      "grad_norm": 2.375873836156285,
      "learning_rate": 3.2059080470837023e-06,
      "loss": 0.4221,
      "step": 1567
    },
    {
      "epoch": 0.41813333333333336,
      "grad_norm": 2.7371430296733723,
      "learning_rate": 3.20386761209916e-06,
      "loss": 0.4641,
      "step": 1568
    },
    {
      "epoch": 0.4184,
      "grad_norm": 2.2218843830046717,
      "learning_rate": 3.2018266677461164e-06,
      "loss": 0.3358,
      "step": 1569
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 2.5446493069207214,
      "learning_rate": 3.199785215501542e-06,
      "loss": 0.4423,
      "step": 1570
    },
    {
      "epoch": 0.4189333333333333,
      "grad_norm": 2.7423760993707065,
      "learning_rate": 3.197743256842778e-06,
      "loss": 0.4795,
      "step": 1571
    },
    {
      "epoch": 0.4192,
      "grad_norm": 3.0994336007685317,
      "learning_rate": 3.1957007932475293e-06,
      "loss": 0.5246,
      "step": 1572
    },
    {
      "epoch": 0.41946666666666665,
      "grad_norm": 2.734553825671725,
      "learning_rate": 3.1936578261938665e-06,
      "loss": 0.4517,
      "step": 1573
    },
    {
      "epoch": 0.41973333333333335,
      "grad_norm": 3.2893698456562253,
      "learning_rate": 3.191614357160228e-06,
      "loss": 0.4537,
      "step": 1574
    },
    {
      "epoch": 0.42,
      "grad_norm": 2.685601937316998,
      "learning_rate": 3.189570387625411e-06,
      "loss": 0.4886,
      "step": 1575
    },
    {
      "epoch": 0.4202666666666667,
      "grad_norm": 2.790278530948529,
      "learning_rate": 3.187525919068577e-06,
      "loss": 0.4559,
      "step": 1576
    },
    {
      "epoch": 0.4205333333333333,
      "grad_norm": 2.891069927515054,
      "learning_rate": 3.1854809529692486e-06,
      "loss": 0.4782,
      "step": 1577
    },
    {
      "epoch": 0.4208,
      "grad_norm": 2.2871190063235436,
      "learning_rate": 3.1834354908073085e-06,
      "loss": 0.3547,
      "step": 1578
    },
    {
      "epoch": 0.42106666666666664,
      "grad_norm": 2.8936132984793828,
      "learning_rate": 3.181389534062998e-06,
      "loss": 0.4548,
      "step": 1579
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 2.393948337972968,
      "learning_rate": 3.179343084216916e-06,
      "loss": 0.4196,
      "step": 1580
    },
    {
      "epoch": 0.4216,
      "grad_norm": 2.712869705673922,
      "learning_rate": 3.1772961427500183e-06,
      "loss": 0.496,
      "step": 1581
    },
    {
      "epoch": 0.42186666666666667,
      "grad_norm": 2.5746855948188263,
      "learning_rate": 3.175248711143618e-06,
      "loss": 0.394,
      "step": 1582
    },
    {
      "epoch": 0.42213333333333336,
      "grad_norm": 2.740211793625849,
      "learning_rate": 3.173200790879381e-06,
      "loss": 0.4902,
      "step": 1583
    },
    {
      "epoch": 0.4224,
      "grad_norm": 2.950087231040804,
      "learning_rate": 3.1711523834393276e-06,
      "loss": 0.4702,
      "step": 1584
    },
    {
      "epoch": 0.4226666666666667,
      "grad_norm": 2.891695194786044,
      "learning_rate": 3.1691034903058314e-06,
      "loss": 0.4859,
      "step": 1585
    },
    {
      "epoch": 0.42293333333333333,
      "grad_norm": 2.3972819843706334,
      "learning_rate": 3.1670541129616163e-06,
      "loss": 0.4301,
      "step": 1586
    },
    {
      "epoch": 0.4232,
      "grad_norm": 3.1358619522109787,
      "learning_rate": 3.1650042528897564e-06,
      "loss": 0.4927,
      "step": 1587
    },
    {
      "epoch": 0.42346666666666666,
      "grad_norm": 2.305509323837255,
      "learning_rate": 3.162953911573676e-06,
      "loss": 0.3839,
      "step": 1588
    },
    {
      "epoch": 0.42373333333333335,
      "grad_norm": 3.425694621780153,
      "learning_rate": 3.1609030904971487e-06,
      "loss": 0.4813,
      "step": 1589
    },
    {
      "epoch": 0.424,
      "grad_norm": 2.3313755211087286,
      "learning_rate": 3.158851791144293e-06,
      "loss": 0.4253,
      "step": 1590
    },
    {
      "epoch": 0.4242666666666667,
      "grad_norm": 3.100170653811682,
      "learning_rate": 3.1568000149995737e-06,
      "loss": 0.5216,
      "step": 1591
    },
    {
      "epoch": 0.4245333333333333,
      "grad_norm": 2.652633022094291,
      "learning_rate": 3.154747763547803e-06,
      "loss": 0.4717,
      "step": 1592
    },
    {
      "epoch": 0.4248,
      "grad_norm": 2.881384192458609,
      "learning_rate": 3.1526950382741345e-06,
      "loss": 0.5493,
      "step": 1593
    },
    {
      "epoch": 0.42506666666666665,
      "grad_norm": 2.201205937175797,
      "learning_rate": 3.150641840664066e-06,
      "loss": 0.3827,
      "step": 1594
    },
    {
      "epoch": 0.42533333333333334,
      "grad_norm": 2.4924710057375563,
      "learning_rate": 3.148588172203437e-06,
      "loss": 0.3909,
      "step": 1595
    },
    {
      "epoch": 0.4256,
      "grad_norm": 3.0987117117546052,
      "learning_rate": 3.1465340343784275e-06,
      "loss": 0.5219,
      "step": 1596
    },
    {
      "epoch": 0.42586666666666667,
      "grad_norm": 2.3314244387618492,
      "learning_rate": 3.144479428675557e-06,
      "loss": 0.4198,
      "step": 1597
    },
    {
      "epoch": 0.4261333333333333,
      "grad_norm": 3.7156704060970855,
      "learning_rate": 3.1424243565816847e-06,
      "loss": 0.5017,
      "step": 1598
    },
    {
      "epoch": 0.4264,
      "grad_norm": 2.8190922960799,
      "learning_rate": 3.1403688195840056e-06,
      "loss": 0.5048,
      "step": 1599
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 2.719866691699626,
      "learning_rate": 3.1383128191700526e-06,
      "loss": 0.4635,
      "step": 1600
    },
    {
      "epoch": 0.42693333333333333,
      "grad_norm": 2.906248072893686,
      "learning_rate": 3.1362563568276927e-06,
      "loss": 0.4776,
      "step": 1601
    },
    {
      "epoch": 0.4272,
      "grad_norm": 2.879071869233879,
      "learning_rate": 3.1341994340451276e-06,
      "loss": 0.4797,
      "step": 1602
    },
    {
      "epoch": 0.42746666666666666,
      "grad_norm": 3.1262337219212846,
      "learning_rate": 3.132142052310894e-06,
      "loss": 0.4837,
      "step": 1603
    },
    {
      "epoch": 0.42773333333333335,
      "grad_norm": 2.489230288694076,
      "learning_rate": 3.1300842131138566e-06,
      "loss": 0.3991,
      "step": 1604
    },
    {
      "epoch": 0.428,
      "grad_norm": 2.6273135343724077,
      "learning_rate": 3.1280259179432163e-06,
      "loss": 0.4215,
      "step": 1605
    },
    {
      "epoch": 0.4282666666666667,
      "grad_norm": 2.8301665188264606,
      "learning_rate": 3.125967168288501e-06,
      "loss": 0.4986,
      "step": 1606
    },
    {
      "epoch": 0.4285333333333333,
      "grad_norm": 2.7722004340219857,
      "learning_rate": 3.123907965639566e-06,
      "loss": 0.4856,
      "step": 1607
    },
    {
      "epoch": 0.4288,
      "grad_norm": 2.8737394957433717,
      "learning_rate": 3.1218483114865988e-06,
      "loss": 0.4499,
      "step": 1608
    },
    {
      "epoch": 0.42906666666666665,
      "grad_norm": 2.4927164983975216,
      "learning_rate": 3.1197882073201093e-06,
      "loss": 0.4606,
      "step": 1609
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 2.399714189683621,
      "learning_rate": 3.1177276546309353e-06,
      "loss": 0.4052,
      "step": 1610
    },
    {
      "epoch": 0.4296,
      "grad_norm": 2.7078905504784285,
      "learning_rate": 3.11566665491024e-06,
      "loss": 0.4645,
      "step": 1611
    },
    {
      "epoch": 0.4298666666666667,
      "grad_norm": 2.3698539247646466,
      "learning_rate": 3.113605209649507e-06,
      "loss": 0.4261,
      "step": 1612
    },
    {
      "epoch": 0.4301333333333333,
      "grad_norm": 2.6989323085981463,
      "learning_rate": 3.1115433203405456e-06,
      "loss": 0.4782,
      "step": 1613
    },
    {
      "epoch": 0.4304,
      "grad_norm": 2.4296766085651527,
      "learning_rate": 3.1094809884754846e-06,
      "loss": 0.4116,
      "step": 1614
    },
    {
      "epoch": 0.43066666666666664,
      "grad_norm": 2.7335399015214357,
      "learning_rate": 3.107418215546773e-06,
      "loss": 0.4509,
      "step": 1615
    },
    {
      "epoch": 0.43093333333333333,
      "grad_norm": 2.5629885063102473,
      "learning_rate": 3.105355003047181e-06,
      "loss": 0.456,
      "step": 1616
    },
    {
      "epoch": 0.4312,
      "grad_norm": 2.6732468324214262,
      "learning_rate": 3.1032913524697945e-06,
      "loss": 0.4519,
      "step": 1617
    },
    {
      "epoch": 0.43146666666666667,
      "grad_norm": 2.7424975420369604,
      "learning_rate": 3.1012272653080174e-06,
      "loss": 0.5012,
      "step": 1618
    },
    {
      "epoch": 0.43173333333333336,
      "grad_norm": 2.726178195982187,
      "learning_rate": 3.099162743055569e-06,
      "loss": 0.4954,
      "step": 1619
    },
    {
      "epoch": 0.432,
      "grad_norm": 2.67832818551205,
      "learning_rate": 3.0970977872064843e-06,
      "loss": 0.4497,
      "step": 1620
    },
    {
      "epoch": 0.4322666666666667,
      "grad_norm": 3.1975664945565847,
      "learning_rate": 3.0950323992551123e-06,
      "loss": 0.5184,
      "step": 1621
    },
    {
      "epoch": 0.4325333333333333,
      "grad_norm": 2.5629811870108727,
      "learning_rate": 3.092966580696114e-06,
      "loss": 0.4456,
      "step": 1622
    },
    {
      "epoch": 0.4328,
      "grad_norm": 2.439700378045231,
      "learning_rate": 3.0909003330244612e-06,
      "loss": 0.443,
      "step": 1623
    },
    {
      "epoch": 0.43306666666666666,
      "grad_norm": 2.44004138836234,
      "learning_rate": 3.088833657735439e-06,
      "loss": 0.4281,
      "step": 1624
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 2.806740143520779,
      "learning_rate": 3.086766556324638e-06,
      "loss": 0.4746,
      "step": 1625
    },
    {
      "epoch": 0.4336,
      "grad_norm": 2.5956415086336833,
      "learning_rate": 3.084699030287961e-06,
      "loss": 0.4367,
      "step": 1626
    },
    {
      "epoch": 0.4338666666666667,
      "grad_norm": 2.2540343167609516,
      "learning_rate": 3.082631081121615e-06,
      "loss": 0.3464,
      "step": 1627
    },
    {
      "epoch": 0.4341333333333333,
      "grad_norm": 3.1290815412464226,
      "learning_rate": 3.0805627103221163e-06,
      "loss": 0.49,
      "step": 1628
    },
    {
      "epoch": 0.4344,
      "grad_norm": 3.3536192549737422,
      "learning_rate": 3.0784939193862838e-06,
      "loss": 0.5032,
      "step": 1629
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 2.8498109700415593,
      "learning_rate": 3.0764247098112404e-06,
      "loss": 0.4789,
      "step": 1630
    },
    {
      "epoch": 0.43493333333333334,
      "grad_norm": 2.3471646720675094,
      "learning_rate": 3.074355083094414e-06,
      "loss": 0.4176,
      "step": 1631
    },
    {
      "epoch": 0.4352,
      "grad_norm": 2.6493793847861307,
      "learning_rate": 3.0722850407335332e-06,
      "loss": 0.456,
      "step": 1632
    },
    {
      "epoch": 0.43546666666666667,
      "grad_norm": 2.7768717402354506,
      "learning_rate": 3.070214584226626e-06,
      "loss": 0.4484,
      "step": 1633
    },
    {
      "epoch": 0.4357333333333333,
      "grad_norm": 2.335769098356166,
      "learning_rate": 3.0681437150720234e-06,
      "loss": 0.4104,
      "step": 1634
    },
    {
      "epoch": 0.436,
      "grad_norm": 2.4148609026659873,
      "learning_rate": 3.066072434768352e-06,
      "loss": 0.4457,
      "step": 1635
    },
    {
      "epoch": 0.4362666666666667,
      "grad_norm": 2.7243353487230957,
      "learning_rate": 3.0640007448145378e-06,
      "loss": 0.4616,
      "step": 1636
    },
    {
      "epoch": 0.43653333333333333,
      "grad_norm": 2.2797493934997988,
      "learning_rate": 3.0619286467098015e-06,
      "loss": 0.412,
      "step": 1637
    },
    {
      "epoch": 0.4368,
      "grad_norm": 2.657676666597933,
      "learning_rate": 3.059856141953661e-06,
      "loss": 0.5407,
      "step": 1638
    },
    {
      "epoch": 0.43706666666666666,
      "grad_norm": 2.3943799978012623,
      "learning_rate": 3.0577832320459277e-06,
      "loss": 0.4147,
      "step": 1639
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 2.3966069965266796,
      "learning_rate": 3.055709918486705e-06,
      "loss": 0.4004,
      "step": 1640
    },
    {
      "epoch": 0.4376,
      "grad_norm": 2.5676001605510725,
      "learning_rate": 3.053636202776391e-06,
      "loss": 0.4597,
      "step": 1641
    },
    {
      "epoch": 0.4378666666666667,
      "grad_norm": 2.577515417417845,
      "learning_rate": 3.051562086415673e-06,
      "loss": 0.4853,
      "step": 1642
    },
    {
      "epoch": 0.4381333333333333,
      "grad_norm": 2.419324633889002,
      "learning_rate": 3.0494875709055284e-06,
      "loss": 0.4163,
      "step": 1643
    },
    {
      "epoch": 0.4384,
      "grad_norm": 2.6392363612168372,
      "learning_rate": 3.0474126577472236e-06,
      "loss": 0.4508,
      "step": 1644
    },
    {
      "epoch": 0.43866666666666665,
      "grad_norm": 2.564661311731202,
      "learning_rate": 3.0453373484423132e-06,
      "loss": 0.4229,
      "step": 1645
    },
    {
      "epoch": 0.43893333333333334,
      "grad_norm": 2.4052035756489536,
      "learning_rate": 3.0432616444926377e-06,
      "loss": 0.4333,
      "step": 1646
    },
    {
      "epoch": 0.4392,
      "grad_norm": 2.227616507434875,
      "learning_rate": 3.0411855474003243e-06,
      "loss": 0.4004,
      "step": 1647
    },
    {
      "epoch": 0.43946666666666667,
      "grad_norm": 2.897580612393445,
      "learning_rate": 3.039109058667783e-06,
      "loss": 0.4812,
      "step": 1648
    },
    {
      "epoch": 0.4397333333333333,
      "grad_norm": 2.3895040251837547,
      "learning_rate": 3.0370321797977088e-06,
      "loss": 0.3761,
      "step": 1649
    },
    {
      "epoch": 0.44,
      "grad_norm": 2.3487236489824386,
      "learning_rate": 3.0349549122930794e-06,
      "loss": 0.4123,
      "step": 1650
    },
    {
      "epoch": 0.44026666666666664,
      "grad_norm": 2.886936174809484,
      "learning_rate": 3.032877257657151e-06,
      "loss": 0.434,
      "step": 1651
    },
    {
      "epoch": 0.44053333333333333,
      "grad_norm": 2.363835819844156,
      "learning_rate": 3.030799217393463e-06,
      "loss": 0.4214,
      "step": 1652
    },
    {
      "epoch": 0.4408,
      "grad_norm": 2.8026349894416334,
      "learning_rate": 3.028720793005832e-06,
      "loss": 0.4531,
      "step": 1653
    },
    {
      "epoch": 0.44106666666666666,
      "grad_norm": 2.817955710946477,
      "learning_rate": 3.0266419859983542e-06,
      "loss": 0.4719,
      "step": 1654
    },
    {
      "epoch": 0.44133333333333336,
      "grad_norm": 2.9830226632174224,
      "learning_rate": 3.0245627978754016e-06,
      "loss": 0.4476,
      "step": 1655
    },
    {
      "epoch": 0.4416,
      "grad_norm": 2.549993881350562,
      "learning_rate": 3.022483230141621e-06,
      "loss": 0.4394,
      "step": 1656
    },
    {
      "epoch": 0.4418666666666667,
      "grad_norm": 2.6089327520193017,
      "learning_rate": 3.020403284301936e-06,
      "loss": 0.4377,
      "step": 1657
    },
    {
      "epoch": 0.4421333333333333,
      "grad_norm": 2.7537190819371964,
      "learning_rate": 3.0183229618615423e-06,
      "loss": 0.4698,
      "step": 1658
    },
    {
      "epoch": 0.4424,
      "grad_norm": 2.180515068907873,
      "learning_rate": 3.016242264325909e-06,
      "loss": 0.3522,
      "step": 1659
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 3.0664140471292325,
      "learning_rate": 3.0141611932007765e-06,
      "loss": 0.4412,
      "step": 1660
    },
    {
      "epoch": 0.44293333333333335,
      "grad_norm": 2.8144953383641935,
      "learning_rate": 3.012079749992155e-06,
      "loss": 0.474,
      "step": 1661
    },
    {
      "epoch": 0.4432,
      "grad_norm": 2.319736247587924,
      "learning_rate": 3.0099979362063246e-06,
      "loss": 0.4034,
      "step": 1662
    },
    {
      "epoch": 0.4434666666666667,
      "grad_norm": 2.7792794950068895,
      "learning_rate": 3.0079157533498334e-06,
      "loss": 0.4202,
      "step": 1663
    },
    {
      "epoch": 0.4437333333333333,
      "grad_norm": 2.388045818768515,
      "learning_rate": 3.0058332029294955e-06,
      "loss": 0.4235,
      "step": 1664
    },
    {
      "epoch": 0.444,
      "grad_norm": 3.255811875199419,
      "learning_rate": 3.003750286452394e-06,
      "loss": 0.5201,
      "step": 1665
    },
    {
      "epoch": 0.44426666666666664,
      "grad_norm": 2.4692448056210257,
      "learning_rate": 3.001667005425874e-06,
      "loss": 0.4146,
      "step": 1666
    },
    {
      "epoch": 0.44453333333333334,
      "grad_norm": 2.771296312404507,
      "learning_rate": 2.9995833613575446e-06,
      "loss": 0.4696,
      "step": 1667
    },
    {
      "epoch": 0.4448,
      "grad_norm": 3.1193140026045283,
      "learning_rate": 2.997499355755279e-06,
      "loss": 0.4815,
      "step": 1668
    },
    {
      "epoch": 0.44506666666666667,
      "grad_norm": 2.7305493554175735,
      "learning_rate": 2.9954149901272113e-06,
      "loss": 0.4416,
      "step": 1669
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 2.5043354378869167,
      "learning_rate": 2.9933302659817364e-06,
      "loss": 0.4164,
      "step": 1670
    },
    {
      "epoch": 0.4456,
      "grad_norm": 2.3222462584138093,
      "learning_rate": 2.9912451848275083e-06,
      "loss": 0.3726,
      "step": 1671
    },
    {
      "epoch": 0.4458666666666667,
      "grad_norm": 2.6998237258900386,
      "learning_rate": 2.989159748173439e-06,
      "loss": 0.452,
      "step": 1672
    },
    {
      "epoch": 0.4461333333333333,
      "grad_norm": 2.7623808867432396,
      "learning_rate": 2.9870739575286998e-06,
      "loss": 0.4943,
      "step": 1673
    },
    {
      "epoch": 0.4464,
      "grad_norm": 2.7987546399033083,
      "learning_rate": 2.9849878144027157e-06,
      "loss": 0.4553,
      "step": 1674
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 2.341991916350012,
      "learning_rate": 2.9829013203051677e-06,
      "loss": 0.4113,
      "step": 1675
    },
    {
      "epoch": 0.44693333333333335,
      "grad_norm": 2.6778356580865754,
      "learning_rate": 2.980814476745991e-06,
      "loss": 0.4582,
      "step": 1676
    },
    {
      "epoch": 0.4472,
      "grad_norm": 2.632276423615295,
      "learning_rate": 2.9787272852353732e-06,
      "loss": 0.4568,
      "step": 1677
    },
    {
      "epoch": 0.4474666666666667,
      "grad_norm": 2.385662955926274,
      "learning_rate": 2.9766397472837542e-06,
      "loss": 0.3811,
      "step": 1678
    },
    {
      "epoch": 0.4477333333333333,
      "grad_norm": 2.610810394687984,
      "learning_rate": 2.9745518644018245e-06,
      "loss": 0.4797,
      "step": 1679
    },
    {
      "epoch": 0.448,
      "grad_norm": 2.785955457864088,
      "learning_rate": 2.9724636381005245e-06,
      "loss": 0.4721,
      "step": 1680
    },
    {
      "epoch": 0.44826666666666665,
      "grad_norm": 3.0521397991600456,
      "learning_rate": 2.9703750698910427e-06,
      "loss": 0.4874,
      "step": 1681
    },
    {
      "epoch": 0.44853333333333334,
      "grad_norm": 2.9724506893313976,
      "learning_rate": 2.9682861612848145e-06,
      "loss": 0.5291,
      "step": 1682
    },
    {
      "epoch": 0.4488,
      "grad_norm": 3.31001184849609,
      "learning_rate": 2.9661969137935235e-06,
      "loss": 0.5126,
      "step": 1683
    },
    {
      "epoch": 0.44906666666666667,
      "grad_norm": 3.33057349246945,
      "learning_rate": 2.964107328929096e-06,
      "loss": 0.4827,
      "step": 1684
    },
    {
      "epoch": 0.4493333333333333,
      "grad_norm": 2.5671882330013944,
      "learning_rate": 2.9620174082037045e-06,
      "loss": 0.4178,
      "step": 1685
    },
    {
      "epoch": 0.4496,
      "grad_norm": 2.756290383345154,
      "learning_rate": 2.9599271531297637e-06,
      "loss": 0.4577,
      "step": 1686
    },
    {
      "epoch": 0.4498666666666667,
      "grad_norm": 2.6194118187887416,
      "learning_rate": 2.9578365652199294e-06,
      "loss": 0.4821,
      "step": 1687
    },
    {
      "epoch": 0.45013333333333333,
      "grad_norm": 2.7934973828084773,
      "learning_rate": 2.9557456459871002e-06,
      "loss": 0.4359,
      "step": 1688
    },
    {
      "epoch": 0.4504,
      "grad_norm": 2.716745201973649,
      "learning_rate": 2.953654396944414e-06,
      "loss": 0.443,
      "step": 1689
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 2.600417673325568,
      "learning_rate": 2.9515628196052454e-06,
      "loss": 0.4185,
      "step": 1690
    },
    {
      "epoch": 0.45093333333333335,
      "grad_norm": 2.3947029370116786,
      "learning_rate": 2.949470915483209e-06,
      "loss": 0.3628,
      "step": 1691
    },
    {
      "epoch": 0.4512,
      "grad_norm": 2.6785548225181217,
      "learning_rate": 2.9473786860921546e-06,
      "loss": 0.4295,
      "step": 1692
    },
    {
      "epoch": 0.4514666666666667,
      "grad_norm": 2.9650683773878206,
      "learning_rate": 2.945286132946168e-06,
      "loss": 0.4953,
      "step": 1693
    },
    {
      "epoch": 0.4517333333333333,
      "grad_norm": 2.459730826947619,
      "learning_rate": 2.943193257559569e-06,
      "loss": 0.4226,
      "step": 1694
    },
    {
      "epoch": 0.452,
      "grad_norm": 2.33010595093458,
      "learning_rate": 2.94110006144691e-06,
      "loss": 0.4152,
      "step": 1695
    },
    {
      "epoch": 0.45226666666666665,
      "grad_norm": 2.8114620027035198,
      "learning_rate": 2.9390065461229764e-06,
      "loss": 0.4906,
      "step": 1696
    },
    {
      "epoch": 0.45253333333333334,
      "grad_norm": 2.9605946908755194,
      "learning_rate": 2.9369127131027845e-06,
      "loss": 0.4928,
      "step": 1697
    },
    {
      "epoch": 0.4528,
      "grad_norm": 2.2774952273407645,
      "learning_rate": 2.934818563901581e-06,
      "loss": 0.3529,
      "step": 1698
    },
    {
      "epoch": 0.4530666666666667,
      "grad_norm": 2.50497222154947,
      "learning_rate": 2.9327241000348394e-06,
      "loss": 0.4721,
      "step": 1699
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 2.6009315137902353,
      "learning_rate": 2.930629323018262e-06,
      "loss": 0.484,
      "step": 1700
    },
    {
      "epoch": 0.4536,
      "grad_norm": 2.5540273304991357,
      "learning_rate": 2.92853423436778e-06,
      "loss": 0.4767,
      "step": 1701
    },
    {
      "epoch": 0.45386666666666664,
      "grad_norm": 2.512684846111732,
      "learning_rate": 2.9264388355995456e-06,
      "loss": 0.4668,
      "step": 1702
    },
    {
      "epoch": 0.45413333333333333,
      "grad_norm": 2.5132316051228725,
      "learning_rate": 2.92434312822994e-06,
      "loss": 0.4385,
      "step": 1703
    },
    {
      "epoch": 0.4544,
      "grad_norm": 2.5171214952931935,
      "learning_rate": 2.922247113775565e-06,
      "loss": 0.4038,
      "step": 1704
    },
    {
      "epoch": 0.45466666666666666,
      "grad_norm": 2.5482880716510543,
      "learning_rate": 2.9201507937532437e-06,
      "loss": 0.4654,
      "step": 1705
    },
    {
      "epoch": 0.45493333333333336,
      "grad_norm": 2.626233425153464,
      "learning_rate": 2.9180541696800236e-06,
      "loss": 0.4179,
      "step": 1706
    },
    {
      "epoch": 0.4552,
      "grad_norm": 3.025883677312781,
      "learning_rate": 2.9159572430731702e-06,
      "loss": 0.4887,
      "step": 1707
    },
    {
      "epoch": 0.4554666666666667,
      "grad_norm": 2.300630560713334,
      "learning_rate": 2.913860015450167e-06,
      "loss": 0.3543,
      "step": 1708
    },
    {
      "epoch": 0.4557333333333333,
      "grad_norm": 2.4144910033533473,
      "learning_rate": 2.911762488328719e-06,
      "loss": 0.3943,
      "step": 1709
    },
    {
      "epoch": 0.456,
      "grad_norm": 3.1027329250627633,
      "learning_rate": 2.909664663226744e-06,
      "loss": 0.4539,
      "step": 1710
    },
    {
      "epoch": 0.45626666666666665,
      "grad_norm": 2.580587972279326,
      "learning_rate": 2.9075665416623768e-06,
      "loss": 0.4165,
      "step": 1711
    },
    {
      "epoch": 0.45653333333333335,
      "grad_norm": 2.2171624299673063,
      "learning_rate": 2.9054681251539676e-06,
      "loss": 0.4076,
      "step": 1712
    },
    {
      "epoch": 0.4568,
      "grad_norm": 2.601185165737922,
      "learning_rate": 2.9033694152200788e-06,
      "loss": 0.4427,
      "step": 1713
    },
    {
      "epoch": 0.4570666666666667,
      "grad_norm": 2.4969546862195062,
      "learning_rate": 2.9012704133794862e-06,
      "loss": 0.441,
      "step": 1714
    },
    {
      "epoch": 0.4573333333333333,
      "grad_norm": 3.0533677005116773,
      "learning_rate": 2.8991711211511753e-06,
      "loss": 0.4584,
      "step": 1715
    },
    {
      "epoch": 0.4576,
      "grad_norm": 2.7615448695292284,
      "learning_rate": 2.897071540054344e-06,
      "loss": 0.4848,
      "step": 1716
    },
    {
      "epoch": 0.45786666666666664,
      "grad_norm": 2.4517773933895857,
      "learning_rate": 2.8949716716083976e-06,
      "loss": 0.4191,
      "step": 1717
    },
    {
      "epoch": 0.45813333333333334,
      "grad_norm": 2.780999790782132,
      "learning_rate": 2.8928715173329485e-06,
      "loss": 0.4739,
      "step": 1718
    },
    {
      "epoch": 0.4584,
      "grad_norm": 2.523550636840081,
      "learning_rate": 2.89077107874782e-06,
      "loss": 0.4221,
      "step": 1719
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 2.561754511099227,
      "learning_rate": 2.8886703573730358e-06,
      "loss": 0.4696,
      "step": 1720
    },
    {
      "epoch": 0.45893333333333336,
      "grad_norm": 2.7086424964434275,
      "learning_rate": 2.8865693547288274e-06,
      "loss": 0.4491,
      "step": 1721
    },
    {
      "epoch": 0.4592,
      "grad_norm": 2.6038286963409196,
      "learning_rate": 2.8844680723356303e-06,
      "loss": 0.4361,
      "step": 1722
    },
    {
      "epoch": 0.4594666666666667,
      "grad_norm": 2.3914975461763737,
      "learning_rate": 2.8823665117140813e-06,
      "loss": 0.4133,
      "step": 1723
    },
    {
      "epoch": 0.4597333333333333,
      "grad_norm": 2.502917588975964,
      "learning_rate": 2.8802646743850177e-06,
      "loss": 0.4159,
      "step": 1724
    },
    {
      "epoch": 0.46,
      "grad_norm": 2.4068602704250055,
      "learning_rate": 2.878162561869478e-06,
      "loss": 0.4357,
      "step": 1725
    },
    {
      "epoch": 0.46026666666666666,
      "grad_norm": 2.4587715382878983,
      "learning_rate": 2.8760601756887004e-06,
      "loss": 0.4099,
      "step": 1726
    },
    {
      "epoch": 0.46053333333333335,
      "grad_norm": 2.9046063010001957,
      "learning_rate": 2.87395751736412e-06,
      "loss": 0.4801,
      "step": 1727
    },
    {
      "epoch": 0.4608,
      "grad_norm": 2.7363800214251253,
      "learning_rate": 2.87185458841737e-06,
      "loss": 0.409,
      "step": 1728
    },
    {
      "epoch": 0.4610666666666667,
      "grad_norm": 2.419028567902101,
      "learning_rate": 2.8697513903702784e-06,
      "loss": 0.3933,
      "step": 1729
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 2.285034094213855,
      "learning_rate": 2.86764792474487e-06,
      "loss": 0.4157,
      "step": 1730
    },
    {
      "epoch": 0.4616,
      "grad_norm": 2.5207895899798447,
      "learning_rate": 2.865544193063358e-06,
      "loss": 0.4199,
      "step": 1731
    },
    {
      "epoch": 0.46186666666666665,
      "grad_norm": 2.9061270890963304,
      "learning_rate": 2.8634401968481562e-06,
      "loss": 0.4745,
      "step": 1732
    },
    {
      "epoch": 0.46213333333333334,
      "grad_norm": 2.85138259690995,
      "learning_rate": 2.8613359376218626e-06,
      "loss": 0.4961,
      "step": 1733
    },
    {
      "epoch": 0.4624,
      "grad_norm": 2.435399163935538,
      "learning_rate": 2.859231416907269e-06,
      "loss": 0.4486,
      "step": 1734
    },
    {
      "epoch": 0.46266666666666667,
      "grad_norm": 2.637808425594735,
      "learning_rate": 2.8571266362273557e-06,
      "loss": 0.5184,
      "step": 1735
    },
    {
      "epoch": 0.4629333333333333,
      "grad_norm": 4.401130076982336,
      "learning_rate": 2.8550215971052914e-06,
      "loss": 0.4793,
      "step": 1736
    },
    {
      "epoch": 0.4632,
      "grad_norm": 2.429119141627044,
      "learning_rate": 2.8529163010644317e-06,
      "loss": 0.3661,
      "step": 1737
    },
    {
      "epoch": 0.4634666666666667,
      "grad_norm": 2.761829930637728,
      "learning_rate": 2.8508107496283183e-06,
      "loss": 0.475,
      "step": 1738
    },
    {
      "epoch": 0.46373333333333333,
      "grad_norm": 2.6167353313047355,
      "learning_rate": 2.848704944320676e-06,
      "loss": 0.4377,
      "step": 1739
    },
    {
      "epoch": 0.464,
      "grad_norm": 2.395937205365156,
      "learning_rate": 2.846598886665417e-06,
      "loss": 0.366,
      "step": 1740
    },
    {
      "epoch": 0.46426666666666666,
      "grad_norm": 2.7016166300412103,
      "learning_rate": 2.8444925781866327e-06,
      "loss": 0.4669,
      "step": 1741
    },
    {
      "epoch": 0.46453333333333335,
      "grad_norm": 2.4892791822345326,
      "learning_rate": 2.8423860204085975e-06,
      "loss": 0.369,
      "step": 1742
    },
    {
      "epoch": 0.4648,
      "grad_norm": 2.5450483792933314,
      "learning_rate": 2.8402792148557658e-06,
      "loss": 0.4363,
      "step": 1743
    },
    {
      "epoch": 0.4650666666666667,
      "grad_norm": 2.5905359493279234,
      "learning_rate": 2.8381721630527707e-06,
      "loss": 0.4436,
      "step": 1744
    },
    {
      "epoch": 0.4653333333333333,
      "grad_norm": 2.9710311924642734,
      "learning_rate": 2.836064866524426e-06,
      "loss": 0.4663,
      "step": 1745
    },
    {
      "epoch": 0.4656,
      "grad_norm": 2.4771648712494665,
      "learning_rate": 2.8339573267957187e-06,
      "loss": 0.39,
      "step": 1746
    },
    {
      "epoch": 0.46586666666666665,
      "grad_norm": 3.1015004731815923,
      "learning_rate": 2.8318495453918165e-06,
      "loss": 0.3992,
      "step": 1747
    },
    {
      "epoch": 0.46613333333333334,
      "grad_norm": 3.1650767106369626,
      "learning_rate": 2.8297415238380575e-06,
      "loss": 0.4916,
      "step": 1748
    },
    {
      "epoch": 0.4664,
      "grad_norm": 2.359760252215045,
      "learning_rate": 2.827633263659956e-06,
      "loss": 0.3808,
      "step": 1749
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 2.5173852142363837,
      "learning_rate": 2.825524766383199e-06,
      "loss": 0.4123,
      "step": 1750
    },
    {
      "epoch": 0.4669333333333333,
      "grad_norm": 2.8090319373546424,
      "learning_rate": 2.8234160335336443e-06,
      "loss": 0.4198,
      "step": 1751
    },
    {
      "epoch": 0.4672,
      "grad_norm": 2.650962885557305,
      "learning_rate": 2.8213070666373203e-06,
      "loss": 0.4151,
      "step": 1752
    },
    {
      "epoch": 0.46746666666666664,
      "grad_norm": 2.551863821385928,
      "learning_rate": 2.819197867220425e-06,
      "loss": 0.3982,
      "step": 1753
    },
    {
      "epoch": 0.46773333333333333,
      "grad_norm": 2.7478327694615836,
      "learning_rate": 2.817088436809325e-06,
      "loss": 0.4884,
      "step": 1754
    },
    {
      "epoch": 0.468,
      "grad_norm": 2.652226215989342,
      "learning_rate": 2.814978776930553e-06,
      "loss": 0.4468,
      "step": 1755
    },
    {
      "epoch": 0.46826666666666666,
      "grad_norm": 2.510881694896791,
      "learning_rate": 2.812868889110809e-06,
      "loss": 0.4253,
      "step": 1756
    },
    {
      "epoch": 0.46853333333333336,
      "grad_norm": 2.443472534155051,
      "learning_rate": 2.810758774876957e-06,
      "loss": 0.4342,
      "step": 1757
    },
    {
      "epoch": 0.4688,
      "grad_norm": 2.36294921305221,
      "learning_rate": 2.808648435756026e-06,
      "loss": 0.3988,
      "step": 1758
    },
    {
      "epoch": 0.4690666666666667,
      "grad_norm": 2.7039247742602814,
      "learning_rate": 2.806537873275206e-06,
      "loss": 0.4443,
      "step": 1759
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 2.2936272752959876,
      "learning_rate": 2.80442708896185e-06,
      "loss": 0.3556,
      "step": 1760
    },
    {
      "epoch": 0.4696,
      "grad_norm": 2.614726854139654,
      "learning_rate": 2.802316084343472e-06,
      "loss": 0.4871,
      "step": 1761
    },
    {
      "epoch": 0.46986666666666665,
      "grad_norm": 2.3555001166923173,
      "learning_rate": 2.800204860947744e-06,
      "loss": 0.3854,
      "step": 1762
    },
    {
      "epoch": 0.47013333333333335,
      "grad_norm": 2.440343879443253,
      "learning_rate": 2.798093420302496e-06,
      "loss": 0.4385,
      "step": 1763
    },
    {
      "epoch": 0.4704,
      "grad_norm": 2.5412635425464463,
      "learning_rate": 2.795981763935717e-06,
      "loss": 0.4154,
      "step": 1764
    },
    {
      "epoch": 0.4706666666666667,
      "grad_norm": 2.579276969406627,
      "learning_rate": 2.7938698933755515e-06,
      "loss": 0.4421,
      "step": 1765
    },
    {
      "epoch": 0.4709333333333333,
      "grad_norm": 2.619475659754512,
      "learning_rate": 2.7917578101502985e-06,
      "loss": 0.4335,
      "step": 1766
    },
    {
      "epoch": 0.4712,
      "grad_norm": 2.5351729183788643,
      "learning_rate": 2.78964551578841e-06,
      "loss": 0.4455,
      "step": 1767
    },
    {
      "epoch": 0.47146666666666665,
      "grad_norm": 2.9128634728391947,
      "learning_rate": 2.787533011818494e-06,
      "loss": 0.4319,
      "step": 1768
    },
    {
      "epoch": 0.47173333333333334,
      "grad_norm": 2.507216332508662,
      "learning_rate": 2.7854202997693076e-06,
      "loss": 0.4295,
      "step": 1769
    },
    {
      "epoch": 0.472,
      "grad_norm": 2.5312779732089563,
      "learning_rate": 2.783307381169758e-06,
      "loss": 0.4841,
      "step": 1770
    },
    {
      "epoch": 0.47226666666666667,
      "grad_norm": 2.491710157783924,
      "learning_rate": 2.781194257548903e-06,
      "loss": 0.4485,
      "step": 1771
    },
    {
      "epoch": 0.47253333333333336,
      "grad_norm": 2.5835622820134065,
      "learning_rate": 2.7790809304359495e-06,
      "loss": 0.466,
      "step": 1772
    },
    {
      "epoch": 0.4728,
      "grad_norm": 2.7388204173569357,
      "learning_rate": 2.7769674013602504e-06,
      "loss": 0.4674,
      "step": 1773
    },
    {
      "epoch": 0.4730666666666667,
      "grad_norm": 2.726280198226716,
      "learning_rate": 2.7748536718513055e-06,
      "loss": 0.4293,
      "step": 1774
    },
    {
      "epoch": 0.47333333333333333,
      "grad_norm": 2.723585988333798,
      "learning_rate": 2.772739743438758e-06,
      "loss": 0.4054,
      "step": 1775
    },
    {
      "epoch": 0.4736,
      "grad_norm": 2.5690449518704233,
      "learning_rate": 2.770625617652398e-06,
      "loss": 0.4341,
      "step": 1776
    },
    {
      "epoch": 0.47386666666666666,
      "grad_norm": 2.415298443106328,
      "learning_rate": 2.768511296022156e-06,
      "loss": 0.3938,
      "step": 1777
    },
    {
      "epoch": 0.47413333333333335,
      "grad_norm": 2.306520103419775,
      "learning_rate": 2.7663967800781054e-06,
      "loss": 0.4051,
      "step": 1778
    },
    {
      "epoch": 0.4744,
      "grad_norm": 2.6216835423032263,
      "learning_rate": 2.7642820713504593e-06,
      "loss": 0.4241,
      "step": 1779
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 2.3662913894684166,
      "learning_rate": 2.762167171369572e-06,
      "loss": 0.3898,
      "step": 1780
    },
    {
      "epoch": 0.4749333333333333,
      "grad_norm": 2.689126815598693,
      "learning_rate": 2.7600520816659333e-06,
      "loss": 0.4581,
      "step": 1781
    },
    {
      "epoch": 0.4752,
      "grad_norm": 2.6107508695549613,
      "learning_rate": 2.7579368037701733e-06,
      "loss": 0.4578,
      "step": 1782
    },
    {
      "epoch": 0.47546666666666665,
      "grad_norm": 2.837559247629427,
      "learning_rate": 2.7558213392130563e-06,
      "loss": 0.5039,
      "step": 1783
    },
    {
      "epoch": 0.47573333333333334,
      "grad_norm": 3.0382958383653453,
      "learning_rate": 2.7537056895254833e-06,
      "loss": 0.5211,
      "step": 1784
    },
    {
      "epoch": 0.476,
      "grad_norm": 2.8428392998024843,
      "learning_rate": 2.751589856238487e-06,
      "loss": 0.4805,
      "step": 1785
    },
    {
      "epoch": 0.47626666666666667,
      "grad_norm": 2.5250149896511522,
      "learning_rate": 2.749473840883236e-06,
      "loss": 0.4076,
      "step": 1786
    },
    {
      "epoch": 0.4765333333333333,
      "grad_norm": 2.5555551420225004,
      "learning_rate": 2.7473576449910284e-06,
      "loss": 0.4364,
      "step": 1787
    },
    {
      "epoch": 0.4768,
      "grad_norm": 2.4008368047815485,
      "learning_rate": 2.745241270093293e-06,
      "loss": 0.4405,
      "step": 1788
    },
    {
      "epoch": 0.4770666666666667,
      "grad_norm": 2.447571251062769,
      "learning_rate": 2.7431247177215893e-06,
      "loss": 0.4238,
      "step": 1789
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 2.7094051331203715,
      "learning_rate": 2.7410079894076047e-06,
      "loss": 0.427,
      "step": 1790
    },
    {
      "epoch": 0.4776,
      "grad_norm": 2.591724951532279,
      "learning_rate": 2.7388910866831535e-06,
      "loss": 0.4595,
      "step": 1791
    },
    {
      "epoch": 0.47786666666666666,
      "grad_norm": 3.0960735748281585,
      "learning_rate": 2.7367740110801772e-06,
      "loss": 0.485,
      "step": 1792
    },
    {
      "epoch": 0.47813333333333335,
      "grad_norm": 2.32645674090283,
      "learning_rate": 2.7346567641307405e-06,
      "loss": 0.4008,
      "step": 1793
    },
    {
      "epoch": 0.4784,
      "grad_norm": 2.2402561690812792,
      "learning_rate": 2.732539347367035e-06,
      "loss": 0.408,
      "step": 1794
    },
    {
      "epoch": 0.4786666666666667,
      "grad_norm": 2.4352358715790827,
      "learning_rate": 2.730421762321372e-06,
      "loss": 0.4356,
      "step": 1795
    },
    {
      "epoch": 0.4789333333333333,
      "grad_norm": 2.4906252940405342,
      "learning_rate": 2.728304010526187e-06,
      "loss": 0.3981,
      "step": 1796
    },
    {
      "epoch": 0.4792,
      "grad_norm": 3.657274173613086,
      "learning_rate": 2.726186093514036e-06,
      "loss": 0.5146,
      "step": 1797
    },
    {
      "epoch": 0.47946666666666665,
      "grad_norm": 2.5027203221166463,
      "learning_rate": 2.724068012817593e-06,
      "loss": 0.4473,
      "step": 1798
    },
    {
      "epoch": 0.47973333333333334,
      "grad_norm": 2.4721829117223884,
      "learning_rate": 2.7219497699696513e-06,
      "loss": 0.4218,
      "step": 1799
    },
    {
      "epoch": 0.48,
      "grad_norm": 2.8551956779952934,
      "learning_rate": 2.719831366503122e-06,
      "loss": 0.4516,
      "step": 1800
    },
    {
      "epoch": 0.4802666666666667,
      "grad_norm": 2.431566088927174,
      "learning_rate": 2.7177128039510314e-06,
      "loss": 0.3818,
      "step": 1801
    },
    {
      "epoch": 0.4805333333333333,
      "grad_norm": 2.5710468071629413,
      "learning_rate": 2.7155940838465223e-06,
      "loss": 0.427,
      "step": 1802
    },
    {
      "epoch": 0.4808,
      "grad_norm": 3.5558014768926443,
      "learning_rate": 2.7134752077228498e-06,
      "loss": 0.4519,
      "step": 1803
    },
    {
      "epoch": 0.48106666666666664,
      "grad_norm": 2.3600607520317203,
      "learning_rate": 2.7113561771133844e-06,
      "loss": 0.4091,
      "step": 1804
    },
    {
      "epoch": 0.48133333333333334,
      "grad_norm": 2.4242684573872393,
      "learning_rate": 2.709236993551606e-06,
      "loss": 0.413,
      "step": 1805
    },
    {
      "epoch": 0.4816,
      "grad_norm": 2.3865056977923182,
      "learning_rate": 2.707117658571105e-06,
      "loss": 0.3739,
      "step": 1806
    },
    {
      "epoch": 0.48186666666666667,
      "grad_norm": 2.719847452078654,
      "learning_rate": 2.7049981737055848e-06,
      "loss": 0.4894,
      "step": 1807
    },
    {
      "epoch": 0.48213333333333336,
      "grad_norm": 2.730910285665421,
      "learning_rate": 2.702878540488853e-06,
      "loss": 0.4635,
      "step": 1808
    },
    {
      "epoch": 0.4824,
      "grad_norm": 2.5675767658722055,
      "learning_rate": 2.700758760454827e-06,
      "loss": 0.4122,
      "step": 1809
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 2.3704899778129507,
      "learning_rate": 2.6986388351375304e-06,
      "loss": 0.3986,
      "step": 1810
    },
    {
      "epoch": 0.4829333333333333,
      "grad_norm": 2.479191575110943,
      "learning_rate": 2.6965187660710894e-06,
      "loss": 0.4306,
      "step": 1811
    },
    {
      "epoch": 0.4832,
      "grad_norm": 2.6213963028775034,
      "learning_rate": 2.6943985547897393e-06,
      "loss": 0.472,
      "step": 1812
    },
    {
      "epoch": 0.48346666666666666,
      "grad_norm": 2.4597822024101914,
      "learning_rate": 2.6922782028278137e-06,
      "loss": 0.3918,
      "step": 1813
    },
    {
      "epoch": 0.48373333333333335,
      "grad_norm": 3.0275044084859277,
      "learning_rate": 2.690157711719749e-06,
      "loss": 0.4478,
      "step": 1814
    },
    {
      "epoch": 0.484,
      "grad_norm": 3.2838974511023937,
      "learning_rate": 2.6880370830000846e-06,
      "loss": 0.4538,
      "step": 1815
    },
    {
      "epoch": 0.4842666666666667,
      "grad_norm": 2.5385777492272905,
      "learning_rate": 2.6859163182034557e-06,
      "loss": 0.4528,
      "step": 1816
    },
    {
      "epoch": 0.4845333333333333,
      "grad_norm": 2.9997269834940523,
      "learning_rate": 2.6837954188646006e-06,
      "loss": 0.4751,
      "step": 1817
    },
    {
      "epoch": 0.4848,
      "grad_norm": 2.249873583393389,
      "learning_rate": 2.6816743865183496e-06,
      "loss": 0.4063,
      "step": 1818
    },
    {
      "epoch": 0.48506666666666665,
      "grad_norm": 2.6961867918362477,
      "learning_rate": 2.6795532226996345e-06,
      "loss": 0.4531,
      "step": 1819
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 2.714595059395724,
      "learning_rate": 2.6774319289434784e-06,
      "loss": 0.4145,
      "step": 1820
    },
    {
      "epoch": 0.4856,
      "grad_norm": 2.952248847398262,
      "learning_rate": 2.675310506785e-06,
      "loss": 0.4405,
      "step": 1821
    },
    {
      "epoch": 0.48586666666666667,
      "grad_norm": 2.627221460342684,
      "learning_rate": 2.6731889577594105e-06,
      "loss": 0.4185,
      "step": 1822
    },
    {
      "epoch": 0.4861333333333333,
      "grad_norm": 2.4798611150606535,
      "learning_rate": 2.6710672834020147e-06,
      "loss": 0.4532,
      "step": 1823
    },
    {
      "epoch": 0.4864,
      "grad_norm": 2.4913862545029075,
      "learning_rate": 2.6689454852482045e-06,
      "loss": 0.3751,
      "step": 1824
    },
    {
      "epoch": 0.4866666666666667,
      "grad_norm": 3.048352264678549,
      "learning_rate": 2.666823564833465e-06,
      "loss": 0.4569,
      "step": 1825
    },
    {
      "epoch": 0.48693333333333333,
      "grad_norm": 2.5782097725199686,
      "learning_rate": 2.664701523693367e-06,
      "loss": 0.4275,
      "step": 1826
    },
    {
      "epoch": 0.4872,
      "grad_norm": 2.8091034091912346,
      "learning_rate": 2.6625793633635723e-06,
      "loss": 0.4685,
      "step": 1827
    },
    {
      "epoch": 0.48746666666666666,
      "grad_norm": 2.2857027319721355,
      "learning_rate": 2.6604570853798234e-06,
      "loss": 0.3771,
      "step": 1828
    },
    {
      "epoch": 0.48773333333333335,
      "grad_norm": 2.2956668852188464,
      "learning_rate": 2.6583346912779524e-06,
      "loss": 0.3917,
      "step": 1829
    },
    {
      "epoch": 0.488,
      "grad_norm": 2.3334706569658774,
      "learning_rate": 2.6562121825938747e-06,
      "loss": 0.3672,
      "step": 1830
    },
    {
      "epoch": 0.4882666666666667,
      "grad_norm": 2.2429680248538615,
      "learning_rate": 2.654089560863588e-06,
      "loss": 0.3467,
      "step": 1831
    },
    {
      "epoch": 0.4885333333333333,
      "grad_norm": 3.128438407597136,
      "learning_rate": 2.651966827623171e-06,
      "loss": 0.4672,
      "step": 1832
    },
    {
      "epoch": 0.4888,
      "grad_norm": 2.600008008471216,
      "learning_rate": 2.6498439844087848e-06,
      "loss": 0.4137,
      "step": 1833
    },
    {
      "epoch": 0.48906666666666665,
      "grad_norm": 2.310595998416151,
      "learning_rate": 2.6477210327566682e-06,
      "loss": 0.3922,
      "step": 1834
    },
    {
      "epoch": 0.48933333333333334,
      "grad_norm": 2.438576406214493,
      "learning_rate": 2.6455979742031407e-06,
      "loss": 0.4192,
      "step": 1835
    },
    {
      "epoch": 0.4896,
      "grad_norm": 4.549078911697079,
      "learning_rate": 2.6434748102845976e-06,
      "loss": 0.4503,
      "step": 1836
    },
    {
      "epoch": 0.4898666666666667,
      "grad_norm": 2.739250061291825,
      "learning_rate": 2.6413515425375106e-06,
      "loss": 0.4933,
      "step": 1837
    },
    {
      "epoch": 0.4901333333333333,
      "grad_norm": 2.878089737658472,
      "learning_rate": 2.639228172498427e-06,
      "loss": 0.4616,
      "step": 1838
    },
    {
      "epoch": 0.4904,
      "grad_norm": 2.617348467439125,
      "learning_rate": 2.6371047017039675e-06,
      "loss": 0.4547,
      "step": 1839
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 2.74240927562436,
      "learning_rate": 2.6349811316908265e-06,
      "loss": 0.433,
      "step": 1840
    },
    {
      "epoch": 0.49093333333333333,
      "grad_norm": 3.700380940057675,
      "learning_rate": 2.63285746399577e-06,
      "loss": 0.4763,
      "step": 1841
    },
    {
      "epoch": 0.4912,
      "grad_norm": 2.975307094630479,
      "learning_rate": 2.6307337001556333e-06,
      "loss": 0.4574,
      "step": 1842
    },
    {
      "epoch": 0.49146666666666666,
      "grad_norm": 3.4391967545509603,
      "learning_rate": 2.6286098417073235e-06,
      "loss": 0.4693,
      "step": 1843
    },
    {
      "epoch": 0.49173333333333336,
      "grad_norm": 2.604432555429772,
      "learning_rate": 2.6264858901878156e-06,
      "loss": 0.4274,
      "step": 1844
    },
    {
      "epoch": 0.492,
      "grad_norm": 2.8065950544970977,
      "learning_rate": 2.6243618471341497e-06,
      "loss": 0.5153,
      "step": 1845
    },
    {
      "epoch": 0.4922666666666667,
      "grad_norm": 3.1940320098690784,
      "learning_rate": 2.6222377140834364e-06,
      "loss": 0.4338,
      "step": 1846
    },
    {
      "epoch": 0.4925333333333333,
      "grad_norm": 2.7820701348862675,
      "learning_rate": 2.620113492572847e-06,
      "loss": 0.4638,
      "step": 1847
    },
    {
      "epoch": 0.4928,
      "grad_norm": 2.4949598519678604,
      "learning_rate": 2.6179891841396197e-06,
      "loss": 0.4383,
      "step": 1848
    },
    {
      "epoch": 0.49306666666666665,
      "grad_norm": 2.5137486926083916,
      "learning_rate": 2.6158647903210545e-06,
      "loss": 0.416,
      "step": 1849
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 2.900334206366739,
      "learning_rate": 2.6137403126545123e-06,
      "loss": 0.4365,
      "step": 1850
    },
    {
      "epoch": 0.4936,
      "grad_norm": 3.4539742261190485,
      "learning_rate": 2.6116157526774176e-06,
      "loss": 0.4773,
      "step": 1851
    },
    {
      "epoch": 0.4938666666666667,
      "grad_norm": 2.5611039332439898,
      "learning_rate": 2.609491111927251e-06,
      "loss": 0.4204,
      "step": 1852
    },
    {
      "epoch": 0.4941333333333333,
      "grad_norm": 2.54914501638022,
      "learning_rate": 2.607366391941554e-06,
      "loss": 0.3741,
      "step": 1853
    },
    {
      "epoch": 0.4944,
      "grad_norm": 2.762903141693212,
      "learning_rate": 2.6052415942579253e-06,
      "loss": 0.4647,
      "step": 1854
    },
    {
      "epoch": 0.49466666666666664,
      "grad_norm": 2.871535138712915,
      "learning_rate": 2.603116720414017e-06,
      "loss": 0.4858,
      "step": 1855
    },
    {
      "epoch": 0.49493333333333334,
      "grad_norm": 2.421535259002775,
      "learning_rate": 2.6009917719475407e-06,
      "loss": 0.4662,
      "step": 1856
    },
    {
      "epoch": 0.4952,
      "grad_norm": 2.6525147458342246,
      "learning_rate": 2.598866750396259e-06,
      "loss": 0.4523,
      "step": 1857
    },
    {
      "epoch": 0.49546666666666667,
      "grad_norm": 2.3052045396532144,
      "learning_rate": 2.596741657297988e-06,
      "loss": 0.3974,
      "step": 1858
    },
    {
      "epoch": 0.49573333333333336,
      "grad_norm": 2.5394733260195546,
      "learning_rate": 2.5946164941905956e-06,
      "loss": 0.4444,
      "step": 1859
    },
    {
      "epoch": 0.496,
      "grad_norm": 2.4894230619644646,
      "learning_rate": 2.5924912626119995e-06,
      "loss": 0.4171,
      "step": 1860
    },
    {
      "epoch": 0.4962666666666667,
      "grad_norm": 2.486572819537827,
      "learning_rate": 2.59036596410017e-06,
      "loss": 0.4321,
      "step": 1861
    },
    {
      "epoch": 0.4965333333333333,
      "grad_norm": 2.461913205835538,
      "learning_rate": 2.5882406001931226e-06,
      "loss": 0.4057,
      "step": 1862
    },
    {
      "epoch": 0.4968,
      "grad_norm": 2.232099230068128,
      "learning_rate": 2.5861151724289206e-06,
      "loss": 0.4034,
      "step": 1863
    },
    {
      "epoch": 0.49706666666666666,
      "grad_norm": 2.3399776902294334,
      "learning_rate": 2.5839896823456756e-06,
      "loss": 0.4107,
      "step": 1864
    },
    {
      "epoch": 0.49733333333333335,
      "grad_norm": 2.7350465143411875,
      "learning_rate": 2.581864131481543e-06,
      "loss": 0.461,
      "step": 1865
    },
    {
      "epoch": 0.4976,
      "grad_norm": 2.8532776110344433,
      "learning_rate": 2.5797385213747205e-06,
      "loss": 0.4409,
      "step": 1866
    },
    {
      "epoch": 0.4978666666666667,
      "grad_norm": 2.4879180967985937,
      "learning_rate": 2.577612853563452e-06,
      "loss": 0.3876,
      "step": 1867
    },
    {
      "epoch": 0.4981333333333333,
      "grad_norm": 2.257717245567488,
      "learning_rate": 2.5754871295860197e-06,
      "loss": 0.3662,
      "step": 1868
    },
    {
      "epoch": 0.4984,
      "grad_norm": 2.8358322240768454,
      "learning_rate": 2.5733613509807498e-06,
      "loss": 0.453,
      "step": 1869
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 2.4856640832967023,
      "learning_rate": 2.571235519286005e-06,
      "loss": 0.4142,
      "step": 1870
    },
    {
      "epoch": 0.49893333333333334,
      "grad_norm": 3.009399174350278,
      "learning_rate": 2.569109636040189e-06,
      "loss": 0.4777,
      "step": 1871
    },
    {
      "epoch": 0.4992,
      "grad_norm": 2.815079045946361,
      "learning_rate": 2.5669837027817412e-06,
      "loss": 0.4219,
      "step": 1872
    },
    {
      "epoch": 0.49946666666666667,
      "grad_norm": 2.49222222983196,
      "learning_rate": 2.5648577210491364e-06,
      "loss": 0.3701,
      "step": 1873
    },
    {
      "epoch": 0.4997333333333333,
      "grad_norm": 2.4358170662767122,
      "learning_rate": 2.562731692380888e-06,
      "loss": 0.4033,
      "step": 1874
    },
    {
      "epoch": 0.5,
      "grad_norm": 2.682375262827003,
      "learning_rate": 2.5606056183155396e-06,
      "loss": 0.4551,
      "step": 1875
    },
    {
      "epoch": 0.5002666666666666,
      "grad_norm": 2.672503169729624,
      "learning_rate": 2.55847950039167e-06,
      "loss": 0.458,
      "step": 1876
    },
    {
      "epoch": 0.5005333333333334,
      "grad_norm": 2.6333823277646258,
      "learning_rate": 2.556353340147888e-06,
      "loss": 0.4424,
      "step": 1877
    },
    {
      "epoch": 0.5008,
      "grad_norm": 2.494019990342067,
      "learning_rate": 2.554227139122833e-06,
      "loss": 0.3926,
      "step": 1878
    },
    {
      "epoch": 0.5010666666666667,
      "grad_norm": 2.71179036620958,
      "learning_rate": 2.552100898855177e-06,
      "loss": 0.4892,
      "step": 1879
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 2.4398831287017066,
      "learning_rate": 2.5499746208836167e-06,
      "loss": 0.4175,
      "step": 1880
    },
    {
      "epoch": 0.5016,
      "grad_norm": 2.8802673569036443,
      "learning_rate": 2.5478483067468777e-06,
      "loss": 0.451,
      "step": 1881
    },
    {
      "epoch": 0.5018666666666667,
      "grad_norm": 2.5109840517637254,
      "learning_rate": 2.5457219579837123e-06,
      "loss": 0.4508,
      "step": 1882
    },
    {
      "epoch": 0.5021333333333333,
      "grad_norm": 2.5057422700871643,
      "learning_rate": 2.5435955761328966e-06,
      "loss": 0.3922,
      "step": 1883
    },
    {
      "epoch": 0.5024,
      "grad_norm": 2.5718477121748666,
      "learning_rate": 2.541469162733232e-06,
      "loss": 0.4772,
      "step": 1884
    },
    {
      "epoch": 0.5026666666666667,
      "grad_norm": 2.6665819315394304,
      "learning_rate": 2.539342719323541e-06,
      "loss": 0.4909,
      "step": 1885
    },
    {
      "epoch": 0.5029333333333333,
      "grad_norm": 2.199567738408182,
      "learning_rate": 2.53721624744267e-06,
      "loss": 0.347,
      "step": 1886
    },
    {
      "epoch": 0.5032,
      "grad_norm": 2.533701028409993,
      "learning_rate": 2.535089748629483e-06,
      "loss": 0.4255,
      "step": 1887
    },
    {
      "epoch": 0.5034666666666666,
      "grad_norm": 2.511977086253639,
      "learning_rate": 2.5329632244228665e-06,
      "loss": 0.4204,
      "step": 1888
    },
    {
      "epoch": 0.5037333333333334,
      "grad_norm": 2.4070922833093897,
      "learning_rate": 2.530836676361724e-06,
      "loss": 0.3746,
      "step": 1889
    },
    {
      "epoch": 0.504,
      "grad_norm": 2.898934521076809,
      "learning_rate": 2.528710105984977e-06,
      "loss": 0.5087,
      "step": 1890
    },
    {
      "epoch": 0.5042666666666666,
      "grad_norm": 2.302111251876147,
      "learning_rate": 2.5265835148315617e-06,
      "loss": 0.3654,
      "step": 1891
    },
    {
      "epoch": 0.5045333333333333,
      "grad_norm": 3.1911651672270263,
      "learning_rate": 2.5244569044404305e-06,
      "loss": 0.4757,
      "step": 1892
    },
    {
      "epoch": 0.5048,
      "grad_norm": 2.334166503871617,
      "learning_rate": 2.5223302763505498e-06,
      "loss": 0.3713,
      "step": 1893
    },
    {
      "epoch": 0.5050666666666667,
      "grad_norm": 3.167979953949706,
      "learning_rate": 2.5202036321008982e-06,
      "loss": 0.4972,
      "step": 1894
    },
    {
      "epoch": 0.5053333333333333,
      "grad_norm": 2.869395891107262,
      "learning_rate": 2.518076973230466e-06,
      "loss": 0.4717,
      "step": 1895
    },
    {
      "epoch": 0.5056,
      "grad_norm": 2.549507412706508,
      "learning_rate": 2.515950301278254e-06,
      "loss": 0.43,
      "step": 1896
    },
    {
      "epoch": 0.5058666666666667,
      "grad_norm": 2.810614605745093,
      "learning_rate": 2.513823617783274e-06,
      "loss": 0.4804,
      "step": 1897
    },
    {
      "epoch": 0.5061333333333333,
      "grad_norm": 2.5686536592024725,
      "learning_rate": 2.5116969242845437e-06,
      "loss": 0.4242,
      "step": 1898
    },
    {
      "epoch": 0.5064,
      "grad_norm": 2.8306950679268956,
      "learning_rate": 2.5095702223210893e-06,
      "loss": 0.4246,
      "step": 1899
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 2.4465008794018672,
      "learning_rate": 2.507443513431944e-06,
      "loss": 0.3697,
      "step": 1900
    },
    {
      "epoch": 0.5069333333333333,
      "grad_norm": 2.673332486428302,
      "learning_rate": 2.5053167991561446e-06,
      "loss": 0.4048,
      "step": 1901
    },
    {
      "epoch": 0.5072,
      "grad_norm": 2.6227680632808417,
      "learning_rate": 2.5031900810327327e-06,
      "loss": 0.4069,
      "step": 1902
    },
    {
      "epoch": 0.5074666666666666,
      "grad_norm": 2.4814318352186753,
      "learning_rate": 2.5010633606007523e-06,
      "loss": 0.4009,
      "step": 1903
    },
    {
      "epoch": 0.5077333333333334,
      "grad_norm": 2.25391196531822,
      "learning_rate": 2.4989366393992485e-06,
      "loss": 0.3538,
      "step": 1904
    },
    {
      "epoch": 0.508,
      "grad_norm": 2.97274296469982,
      "learning_rate": 2.4968099189672673e-06,
      "loss": 0.4819,
      "step": 1905
    },
    {
      "epoch": 0.5082666666666666,
      "grad_norm": 2.3917261846567763,
      "learning_rate": 2.4946832008438562e-06,
      "loss": 0.4003,
      "step": 1906
    },
    {
      "epoch": 0.5085333333333333,
      "grad_norm": 2.443536192396655,
      "learning_rate": 2.4925564865680567e-06,
      "loss": 0.4269,
      "step": 1907
    },
    {
      "epoch": 0.5088,
      "grad_norm": 2.279936795156224,
      "learning_rate": 2.490429777678911e-06,
      "loss": 0.3629,
      "step": 1908
    },
    {
      "epoch": 0.5090666666666667,
      "grad_norm": 2.8400741759508703,
      "learning_rate": 2.4883030757154576e-06,
      "loss": 0.478,
      "step": 1909
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 2.7770953885378837,
      "learning_rate": 2.4861763822167275e-06,
      "loss": 0.4777,
      "step": 1910
    },
    {
      "epoch": 0.5096,
      "grad_norm": 2.477228012921943,
      "learning_rate": 2.4840496987217465e-06,
      "loss": 0.392,
      "step": 1911
    },
    {
      "epoch": 0.5098666666666667,
      "grad_norm": 2.646739650866154,
      "learning_rate": 2.4819230267695356e-06,
      "loss": 0.475,
      "step": 1912
    },
    {
      "epoch": 0.5101333333333333,
      "grad_norm": 2.6962370992533664,
      "learning_rate": 2.4797963678991026e-06,
      "loss": 0.4702,
      "step": 1913
    },
    {
      "epoch": 0.5104,
      "grad_norm": 2.3964409830123325,
      "learning_rate": 2.4776697236494506e-06,
      "loss": 0.4248,
      "step": 1914
    },
    {
      "epoch": 0.5106666666666667,
      "grad_norm": 2.851579927553991,
      "learning_rate": 2.4755430955595707e-06,
      "loss": 0.4182,
      "step": 1915
    },
    {
      "epoch": 0.5109333333333334,
      "grad_norm": 2.5814428433326913,
      "learning_rate": 2.4734164851684387e-06,
      "loss": 0.4293,
      "step": 1916
    },
    {
      "epoch": 0.5112,
      "grad_norm": 3.2331085312802292,
      "learning_rate": 2.4712898940150233e-06,
      "loss": 0.5273,
      "step": 1917
    },
    {
      "epoch": 0.5114666666666666,
      "grad_norm": 2.2850645704967327,
      "learning_rate": 2.469163323638276e-06,
      "loss": 0.3811,
      "step": 1918
    },
    {
      "epoch": 0.5117333333333334,
      "grad_norm": 2.6874119636169533,
      "learning_rate": 2.4670367755771343e-06,
      "loss": 0.4172,
      "step": 1919
    },
    {
      "epoch": 0.512,
      "grad_norm": 2.8378234790849137,
      "learning_rate": 2.4649102513705175e-06,
      "loss": 0.4482,
      "step": 1920
    },
    {
      "epoch": 0.5122666666666666,
      "grad_norm": 2.775833377887015,
      "learning_rate": 2.4627837525573306e-06,
      "loss": 0.4462,
      "step": 1921
    },
    {
      "epoch": 0.5125333333333333,
      "grad_norm": 3.0191482696230487,
      "learning_rate": 2.4606572806764596e-06,
      "loss": 0.5538,
      "step": 1922
    },
    {
      "epoch": 0.5128,
      "grad_norm": 2.365948142487899,
      "learning_rate": 2.458530837266769e-06,
      "loss": 0.4256,
      "step": 1923
    },
    {
      "epoch": 0.5130666666666667,
      "grad_norm": 2.513942869632753,
      "learning_rate": 2.4564044238671038e-06,
      "loss": 0.3916,
      "step": 1924
    },
    {
      "epoch": 0.5133333333333333,
      "grad_norm": 2.771977120678539,
      "learning_rate": 2.4542780420162886e-06,
      "loss": 0.4794,
      "step": 1925
    },
    {
      "epoch": 0.5136,
      "grad_norm": 2.907463729138005,
      "learning_rate": 2.452151693253123e-06,
      "loss": 0.4475,
      "step": 1926
    },
    {
      "epoch": 0.5138666666666667,
      "grad_norm": 2.644519104884349,
      "learning_rate": 2.4500253791163837e-06,
      "loss": 0.4203,
      "step": 1927
    },
    {
      "epoch": 0.5141333333333333,
      "grad_norm": 2.6481502595575677,
      "learning_rate": 2.4478991011448243e-06,
      "loss": 0.4394,
      "step": 1928
    },
    {
      "epoch": 0.5144,
      "grad_norm": 2.4901492246994055,
      "learning_rate": 2.4457728608771676e-06,
      "loss": 0.4354,
      "step": 1929
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 2.6133791195298777,
      "learning_rate": 2.443646659852113e-06,
      "loss": 0.4175,
      "step": 1930
    },
    {
      "epoch": 0.5149333333333334,
      "grad_norm": 2.8459328076255996,
      "learning_rate": 2.4415204996083308e-06,
      "loss": 0.437,
      "step": 1931
    },
    {
      "epoch": 0.5152,
      "grad_norm": 3.0478893546460517,
      "learning_rate": 2.439394381684461e-06,
      "loss": 0.4707,
      "step": 1932
    },
    {
      "epoch": 0.5154666666666666,
      "grad_norm": 2.439043378752514,
      "learning_rate": 2.4372683076191123e-06,
      "loss": 0.4462,
      "step": 1933
    },
    {
      "epoch": 0.5157333333333334,
      "grad_norm": 2.7596786882994757,
      "learning_rate": 2.435142278950863e-06,
      "loss": 0.4533,
      "step": 1934
    },
    {
      "epoch": 0.516,
      "grad_norm": 2.3553212865123183,
      "learning_rate": 2.4330162972182605e-06,
      "loss": 0.4116,
      "step": 1935
    },
    {
      "epoch": 0.5162666666666667,
      "grad_norm": 2.4619441698449536,
      "learning_rate": 2.4308903639598118e-06,
      "loss": 0.3975,
      "step": 1936
    },
    {
      "epoch": 0.5165333333333333,
      "grad_norm": 2.8508561252686255,
      "learning_rate": 2.4287644807139952e-06,
      "loss": 0.4177,
      "step": 1937
    },
    {
      "epoch": 0.5168,
      "grad_norm": 2.470165381527184,
      "learning_rate": 2.4266386490192515e-06,
      "loss": 0.4496,
      "step": 1938
    },
    {
      "epoch": 0.5170666666666667,
      "grad_norm": 2.689767938635777,
      "learning_rate": 2.4245128704139807e-06,
      "loss": 0.5167,
      "step": 1939
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 2.6013873491945625,
      "learning_rate": 2.4223871464365486e-06,
      "loss": 0.4785,
      "step": 1940
    },
    {
      "epoch": 0.5176,
      "grad_norm": 2.6173916160187574,
      "learning_rate": 2.42026147862528e-06,
      "loss": 0.4428,
      "step": 1941
    },
    {
      "epoch": 0.5178666666666667,
      "grad_norm": 3.626912819835529,
      "learning_rate": 2.418135868518458e-06,
      "loss": 0.4452,
      "step": 1942
    },
    {
      "epoch": 0.5181333333333333,
      "grad_norm": 2.5830718188617943,
      "learning_rate": 2.4160103176543248e-06,
      "loss": 0.4126,
      "step": 1943
    },
    {
      "epoch": 0.5184,
      "grad_norm": 2.6308681499768136,
      "learning_rate": 2.4138848275710798e-06,
      "loss": 0.4921,
      "step": 1944
    },
    {
      "epoch": 0.5186666666666667,
      "grad_norm": 2.4718996178791444,
      "learning_rate": 2.411759399806879e-06,
      "loss": 0.388,
      "step": 1945
    },
    {
      "epoch": 0.5189333333333334,
      "grad_norm": 2.8730402609687804,
      "learning_rate": 2.409634035899831e-06,
      "loss": 0.4917,
      "step": 1946
    },
    {
      "epoch": 0.5192,
      "grad_norm": 2.6834975502948586,
      "learning_rate": 2.407508737388001e-06,
      "loss": 0.4518,
      "step": 1947
    },
    {
      "epoch": 0.5194666666666666,
      "grad_norm": 2.3487491912137375,
      "learning_rate": 2.405383505809406e-06,
      "loss": 0.4036,
      "step": 1948
    },
    {
      "epoch": 0.5197333333333334,
      "grad_norm": 2.5010853721954143,
      "learning_rate": 2.4032583427020127e-06,
      "loss": 0.4171,
      "step": 1949
    },
    {
      "epoch": 0.52,
      "grad_norm": 2.5504325422521275,
      "learning_rate": 2.401133249603741e-06,
      "loss": 0.4338,
      "step": 1950
    },
    {
      "epoch": 0.5202666666666667,
      "grad_norm": 2.2683953219844035,
      "learning_rate": 2.3990082280524597e-06,
      "loss": 0.4061,
      "step": 1951
    },
    {
      "epoch": 0.5205333333333333,
      "grad_norm": 2.7505244414342602,
      "learning_rate": 2.396883279585983e-06,
      "loss": 0.4162,
      "step": 1952
    },
    {
      "epoch": 0.5208,
      "grad_norm": 2.6358219942376606,
      "learning_rate": 2.394758405742075e-06,
      "loss": 0.4383,
      "step": 1953
    },
    {
      "epoch": 0.5210666666666667,
      "grad_norm": 2.595918291519641,
      "learning_rate": 2.392633608058446e-06,
      "loss": 0.4275,
      "step": 1954
    },
    {
      "epoch": 0.5213333333333333,
      "grad_norm": 2.3327108621094372,
      "learning_rate": 2.39050888807275e-06,
      "loss": 0.3893,
      "step": 1955
    },
    {
      "epoch": 0.5216,
      "grad_norm": 2.4752905092664492,
      "learning_rate": 2.388384247322583e-06,
      "loss": 0.4135,
      "step": 1956
    },
    {
      "epoch": 0.5218666666666667,
      "grad_norm": 2.6335340133490055,
      "learning_rate": 2.3862596873454877e-06,
      "loss": 0.4385,
      "step": 1957
    },
    {
      "epoch": 0.5221333333333333,
      "grad_norm": 2.424012168008536,
      "learning_rate": 2.3841352096789468e-06,
      "loss": 0.4182,
      "step": 1958
    },
    {
      "epoch": 0.5224,
      "grad_norm": 2.627656993498855,
      "learning_rate": 2.382010815860381e-06,
      "loss": 0.4578,
      "step": 1959
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 3.4623528024628394,
      "learning_rate": 2.3798865074271534e-06,
      "loss": 0.4102,
      "step": 1960
    },
    {
      "epoch": 0.5229333333333334,
      "grad_norm": 2.58340380801307,
      "learning_rate": 2.3777622859165644e-06,
      "loss": 0.4504,
      "step": 1961
    },
    {
      "epoch": 0.5232,
      "grad_norm": 2.517340495049269,
      "learning_rate": 2.3756381528658507e-06,
      "loss": 0.3902,
      "step": 1962
    },
    {
      "epoch": 0.5234666666666666,
      "grad_norm": 2.4786381975304743,
      "learning_rate": 2.3735141098121852e-06,
      "loss": 0.4254,
      "step": 1963
    },
    {
      "epoch": 0.5237333333333334,
      "grad_norm": 2.396190603019416,
      "learning_rate": 2.3713901582926778e-06,
      "loss": 0.3879,
      "step": 1964
    },
    {
      "epoch": 0.524,
      "grad_norm": 2.7439405548197207,
      "learning_rate": 2.369266299844368e-06,
      "loss": 0.4074,
      "step": 1965
    },
    {
      "epoch": 0.5242666666666667,
      "grad_norm": 2.433148884723189,
      "learning_rate": 2.3671425360042312e-06,
      "loss": 0.3703,
      "step": 1966
    },
    {
      "epoch": 0.5245333333333333,
      "grad_norm": 2.8900231399107588,
      "learning_rate": 2.365018868309174e-06,
      "loss": 0.5241,
      "step": 1967
    },
    {
      "epoch": 0.5248,
      "grad_norm": 2.3101178157503317,
      "learning_rate": 2.3628952982960333e-06,
      "loss": 0.3875,
      "step": 1968
    },
    {
      "epoch": 0.5250666666666667,
      "grad_norm": 2.607947244069992,
      "learning_rate": 2.360771827501574e-06,
      "loss": 0.4254,
      "step": 1969
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 2.5332761769299674,
      "learning_rate": 2.35864845746249e-06,
      "loss": 0.4082,
      "step": 1970
    },
    {
      "epoch": 0.5256,
      "grad_norm": 2.50046402329097,
      "learning_rate": 2.356525189715403e-06,
      "loss": 0.4203,
      "step": 1971
    },
    {
      "epoch": 0.5258666666666667,
      "grad_norm": 2.562748620505292,
      "learning_rate": 2.35440202579686e-06,
      "loss": 0.4087,
      "step": 1972
    },
    {
      "epoch": 0.5261333333333333,
      "grad_norm": 2.5284396787337498,
      "learning_rate": 2.352278967243332e-06,
      "loss": 0.4086,
      "step": 1973
    },
    {
      "epoch": 0.5264,
      "grad_norm": 4.6031488953662585,
      "learning_rate": 2.350156015591217e-06,
      "loss": 0.4566,
      "step": 1974
    },
    {
      "epoch": 0.5266666666666666,
      "grad_norm": 2.426977349146465,
      "learning_rate": 2.34803317237683e-06,
      "loss": 0.3891,
      "step": 1975
    },
    {
      "epoch": 0.5269333333333334,
      "grad_norm": 2.6951894660105835,
      "learning_rate": 2.3459104391364127e-06,
      "loss": 0.4558,
      "step": 1976
    },
    {
      "epoch": 0.5272,
      "grad_norm": 2.479020113964753,
      "learning_rate": 2.343787817406126e-06,
      "loss": 0.4181,
      "step": 1977
    },
    {
      "epoch": 0.5274666666666666,
      "grad_norm": 2.6001886465089603,
      "learning_rate": 2.341665308722048e-06,
      "loss": 0.4304,
      "step": 1978
    },
    {
      "epoch": 0.5277333333333334,
      "grad_norm": 2.689729018558113,
      "learning_rate": 2.3395429146201774e-06,
      "loss": 0.44,
      "step": 1979
    },
    {
      "epoch": 0.528,
      "grad_norm": 2.4534303777180324,
      "learning_rate": 2.337420636636429e-06,
      "loss": 0.3596,
      "step": 1980
    },
    {
      "epoch": 0.5282666666666667,
      "grad_norm": 2.500214822910843,
      "learning_rate": 2.3352984763066334e-06,
      "loss": 0.4151,
      "step": 1981
    },
    {
      "epoch": 0.5285333333333333,
      "grad_norm": 2.6657082447073095,
      "learning_rate": 2.333176435166536e-06,
      "loss": 0.4421,
      "step": 1982
    },
    {
      "epoch": 0.5288,
      "grad_norm": 2.70554896625339,
      "learning_rate": 2.331054514751796e-06,
      "loss": 0.4697,
      "step": 1983
    },
    {
      "epoch": 0.5290666666666667,
      "grad_norm": 2.392354980960584,
      "learning_rate": 2.3289327165979866e-06,
      "loss": 0.3946,
      "step": 1984
    },
    {
      "epoch": 0.5293333333333333,
      "grad_norm": 2.828468793928897,
      "learning_rate": 2.32681104224059e-06,
      "loss": 0.4486,
      "step": 1985
    },
    {
      "epoch": 0.5296,
      "grad_norm": 2.4400224772683696,
      "learning_rate": 2.3246894932150005e-06,
      "loss": 0.4281,
      "step": 1986
    },
    {
      "epoch": 0.5298666666666667,
      "grad_norm": 2.6532647992289062,
      "learning_rate": 2.322568071056523e-06,
      "loss": 0.4356,
      "step": 1987
    },
    {
      "epoch": 0.5301333333333333,
      "grad_norm": 2.5250457708354728,
      "learning_rate": 2.320446777300366e-06,
      "loss": 0.4188,
      "step": 1988
    },
    {
      "epoch": 0.5304,
      "grad_norm": 2.5424292928129275,
      "learning_rate": 2.318325613481651e-06,
      "loss": 0.4219,
      "step": 1989
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 2.435983413542953,
      "learning_rate": 2.3162045811354007e-06,
      "loss": 0.3974,
      "step": 1990
    },
    {
      "epoch": 0.5309333333333334,
      "grad_norm": 2.400572034255987,
      "learning_rate": 2.3140836817965447e-06,
      "loss": 0.413,
      "step": 1991
    },
    {
      "epoch": 0.5312,
      "grad_norm": 2.5507753018440695,
      "learning_rate": 2.3119629169999163e-06,
      "loss": 0.4307,
      "step": 1992
    },
    {
      "epoch": 0.5314666666666666,
      "grad_norm": 2.5965107215893823,
      "learning_rate": 2.309842288280251e-06,
      "loss": 0.4258,
      "step": 1993
    },
    {
      "epoch": 0.5317333333333333,
      "grad_norm": 2.9663078397801312,
      "learning_rate": 2.3077217971721875e-06,
      "loss": 0.4795,
      "step": 1994
    },
    {
      "epoch": 0.532,
      "grad_norm": 2.6996014545433233,
      "learning_rate": 2.305601445210261e-06,
      "loss": 0.4025,
      "step": 1995
    },
    {
      "epoch": 0.5322666666666667,
      "grad_norm": 2.5249532023765697,
      "learning_rate": 2.30348123392891e-06,
      "loss": 0.4345,
      "step": 1996
    },
    {
      "epoch": 0.5325333333333333,
      "grad_norm": 3.5571836111093083,
      "learning_rate": 2.3013611648624712e-06,
      "loss": 0.4846,
      "step": 1997
    },
    {
      "epoch": 0.5328,
      "grad_norm": 2.3402421729711724,
      "learning_rate": 2.299241239545174e-06,
      "loss": 0.3787,
      "step": 1998
    },
    {
      "epoch": 0.5330666666666667,
      "grad_norm": 2.757137861815277,
      "learning_rate": 2.297121459511148e-06,
      "loss": 0.4576,
      "step": 1999
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 2.6841950227137783,
      "learning_rate": 2.295001826294416e-06,
      "loss": 0.4681,
      "step": 2000
    },
    {
      "epoch": 0.5336,
      "grad_norm": 2.5628708063115853,
      "learning_rate": 2.2928823414288954e-06,
      "loss": 0.3819,
      "step": 2001
    },
    {
      "epoch": 0.5338666666666667,
      "grad_norm": 2.698572596545802,
      "learning_rate": 2.2907630064483947e-06,
      "loss": 0.4432,
      "step": 2002
    },
    {
      "epoch": 0.5341333333333333,
      "grad_norm": 3.309250702095396,
      "learning_rate": 2.2886438228866156e-06,
      "loss": 0.5014,
      "step": 2003
    },
    {
      "epoch": 0.5344,
      "grad_norm": 3.039104353636787,
      "learning_rate": 2.2865247922771506e-06,
      "loss": 0.532,
      "step": 2004
    },
    {
      "epoch": 0.5346666666666666,
      "grad_norm": 2.5645573832713975,
      "learning_rate": 2.2844059161534785e-06,
      "loss": 0.4036,
      "step": 2005
    },
    {
      "epoch": 0.5349333333333334,
      "grad_norm": 2.4940162434387054,
      "learning_rate": 2.2822871960489685e-06,
      "loss": 0.4527,
      "step": 2006
    },
    {
      "epoch": 0.5352,
      "grad_norm": 2.447957628080551,
      "learning_rate": 2.280168633496879e-06,
      "loss": 0.4107,
      "step": 2007
    },
    {
      "epoch": 0.5354666666666666,
      "grad_norm": 2.3240347660843494,
      "learning_rate": 2.278050230030349e-06,
      "loss": 0.402,
      "step": 2008
    },
    {
      "epoch": 0.5357333333333333,
      "grad_norm": 2.6702978610493453,
      "learning_rate": 2.275931987182408e-06,
      "loss": 0.4314,
      "step": 2009
    },
    {
      "epoch": 0.536,
      "grad_norm": 2.749234626357234,
      "learning_rate": 2.2738139064859652e-06,
      "loss": 0.4149,
      "step": 2010
    },
    {
      "epoch": 0.5362666666666667,
      "grad_norm": 2.755437987029103,
      "learning_rate": 2.2716959894738137e-06,
      "loss": 0.4791,
      "step": 2011
    },
    {
      "epoch": 0.5365333333333333,
      "grad_norm": 2.5552227834262338,
      "learning_rate": 2.2695782376786284e-06,
      "loss": 0.4839,
      "step": 2012
    },
    {
      "epoch": 0.5368,
      "grad_norm": 2.5907948137081336,
      "learning_rate": 2.2674606526329664e-06,
      "loss": 0.4249,
      "step": 2013
    },
    {
      "epoch": 0.5370666666666667,
      "grad_norm": 2.334174601172514,
      "learning_rate": 2.2653432358692603e-06,
      "loss": 0.3547,
      "step": 2014
    },
    {
      "epoch": 0.5373333333333333,
      "grad_norm": 2.618661204267193,
      "learning_rate": 2.2632259889198236e-06,
      "loss": 0.4211,
      "step": 2015
    },
    {
      "epoch": 0.5376,
      "grad_norm": 2.5711921262850552,
      "learning_rate": 2.2611089133168465e-06,
      "loss": 0.4554,
      "step": 2016
    },
    {
      "epoch": 0.5378666666666667,
      "grad_norm": 2.390000779393162,
      "learning_rate": 2.258992010592396e-06,
      "loss": 0.3972,
      "step": 2017
    },
    {
      "epoch": 0.5381333333333334,
      "grad_norm": 2.547044137539703,
      "learning_rate": 2.2568752822784115e-06,
      "loss": 0.4193,
      "step": 2018
    },
    {
      "epoch": 0.5384,
      "grad_norm": 2.86739564579193,
      "learning_rate": 2.2547587299067074e-06,
      "loss": 0.4812,
      "step": 2019
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 2.6952085120372034,
      "learning_rate": 2.252642355008973e-06,
      "loss": 0.434,
      "step": 2020
    },
    {
      "epoch": 0.5389333333333334,
      "grad_norm": 2.876634276851004,
      "learning_rate": 2.2505261591167648e-06,
      "loss": 0.4347,
      "step": 2021
    },
    {
      "epoch": 0.5392,
      "grad_norm": 2.472742893885433,
      "learning_rate": 2.248410143761513e-06,
      "loss": 0.3802,
      "step": 2022
    },
    {
      "epoch": 0.5394666666666666,
      "grad_norm": 3.7451322035109564,
      "learning_rate": 2.2462943104745183e-06,
      "loss": 0.428,
      "step": 2023
    },
    {
      "epoch": 0.5397333333333333,
      "grad_norm": 2.596560387788704,
      "learning_rate": 2.2441786607869446e-06,
      "loss": 0.3937,
      "step": 2024
    },
    {
      "epoch": 0.54,
      "grad_norm": 2.553733170881301,
      "learning_rate": 2.2420631962298276e-06,
      "loss": 0.475,
      "step": 2025
    },
    {
      "epoch": 0.5402666666666667,
      "grad_norm": 3.244427604384635,
      "learning_rate": 2.239947918334068e-06,
      "loss": 0.454,
      "step": 2026
    },
    {
      "epoch": 0.5405333333333333,
      "grad_norm": 2.369605830091367,
      "learning_rate": 2.237832828630429e-06,
      "loss": 0.4092,
      "step": 2027
    },
    {
      "epoch": 0.5408,
      "grad_norm": 2.74401716865118,
      "learning_rate": 2.235717928649541e-06,
      "loss": 0.4226,
      "step": 2028
    },
    {
      "epoch": 0.5410666666666667,
      "grad_norm": 2.617327215716713,
      "learning_rate": 2.233603219921895e-06,
      "loss": 0.418,
      "step": 2029
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 2.564733870648377,
      "learning_rate": 2.231488703977845e-06,
      "loss": 0.3917,
      "step": 2030
    },
    {
      "epoch": 0.5416,
      "grad_norm": 2.7397304305170045,
      "learning_rate": 2.2293743823476027e-06,
      "loss": 0.4544,
      "step": 2031
    },
    {
      "epoch": 0.5418666666666667,
      "grad_norm": 2.8059798243318737,
      "learning_rate": 2.2272602565612424e-06,
      "loss": 0.4694,
      "step": 2032
    },
    {
      "epoch": 0.5421333333333334,
      "grad_norm": 2.539786660303617,
      "learning_rate": 2.225146328148696e-06,
      "loss": 0.4076,
      "step": 2033
    },
    {
      "epoch": 0.5424,
      "grad_norm": 2.5921565493660204,
      "learning_rate": 2.22303259863975e-06,
      "loss": 0.3823,
      "step": 2034
    },
    {
      "epoch": 0.5426666666666666,
      "grad_norm": 2.336974309457325,
      "learning_rate": 2.2209190695640505e-06,
      "loss": 0.3938,
      "step": 2035
    },
    {
      "epoch": 0.5429333333333334,
      "grad_norm": 2.476270058118478,
      "learning_rate": 2.2188057424510977e-06,
      "loss": 0.3993,
      "step": 2036
    },
    {
      "epoch": 0.5432,
      "grad_norm": 2.5554749580589253,
      "learning_rate": 2.216692618830243e-06,
      "loss": 0.4262,
      "step": 2037
    },
    {
      "epoch": 0.5434666666666667,
      "grad_norm": 2.7685632968174834,
      "learning_rate": 2.2145797002306937e-06,
      "loss": 0.4471,
      "step": 2038
    },
    {
      "epoch": 0.5437333333333333,
      "grad_norm": 2.551800688848467,
      "learning_rate": 2.2124669881815066e-06,
      "loss": 0.4245,
      "step": 2039
    },
    {
      "epoch": 0.544,
      "grad_norm": 2.617606674878853,
      "learning_rate": 2.21035448421159e-06,
      "loss": 0.3814,
      "step": 2040
    },
    {
      "epoch": 0.5442666666666667,
      "grad_norm": 3.2251050990579078,
      "learning_rate": 2.2082421898497027e-06,
      "loss": 0.4363,
      "step": 2041
    },
    {
      "epoch": 0.5445333333333333,
      "grad_norm": 2.4175315870390657,
      "learning_rate": 2.206130106624449e-06,
      "loss": 0.4173,
      "step": 2042
    },
    {
      "epoch": 0.5448,
      "grad_norm": 2.5979243451574208,
      "learning_rate": 2.204018236064284e-06,
      "loss": 0.4018,
      "step": 2043
    },
    {
      "epoch": 0.5450666666666667,
      "grad_norm": 2.668384601516308,
      "learning_rate": 2.201906579697505e-06,
      "loss": 0.419,
      "step": 2044
    },
    {
      "epoch": 0.5453333333333333,
      "grad_norm": 2.474052558821411,
      "learning_rate": 2.1997951390522564e-06,
      "loss": 0.412,
      "step": 2045
    },
    {
      "epoch": 0.5456,
      "grad_norm": 2.6498272390110613,
      "learning_rate": 2.197683915656529e-06,
      "loss": 0.4402,
      "step": 2046
    },
    {
      "epoch": 0.5458666666666666,
      "grad_norm": 2.7533289615262384,
      "learning_rate": 2.1955729110381507e-06,
      "loss": 0.4482,
      "step": 2047
    },
    {
      "epoch": 0.5461333333333334,
      "grad_norm": 2.6140638040640964,
      "learning_rate": 2.1934621267247945e-06,
      "loss": 0.4506,
      "step": 2048
    },
    {
      "epoch": 0.5464,
      "grad_norm": 2.498825161542844,
      "learning_rate": 2.1913515642439755e-06,
      "loss": 0.4342,
      "step": 2049
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 3.1244013309238787,
      "learning_rate": 2.189241225123044e-06,
      "loss": 0.4001,
      "step": 2050
    },
    {
      "epoch": 0.5469333333333334,
      "grad_norm": 2.4100499490527567,
      "learning_rate": 2.1871311108891917e-06,
      "loss": 0.3625,
      "step": 2051
    },
    {
      "epoch": 0.5472,
      "grad_norm": 2.5369405392063467,
      "learning_rate": 2.1850212230694485e-06,
      "loss": 0.438,
      "step": 2052
    },
    {
      "epoch": 0.5474666666666667,
      "grad_norm": 2.595697601187948,
      "learning_rate": 2.182911563190676e-06,
      "loss": 0.4134,
      "step": 2053
    },
    {
      "epoch": 0.5477333333333333,
      "grad_norm": 2.6771102184268445,
      "learning_rate": 2.1808021327795753e-06,
      "loss": 0.4202,
      "step": 2054
    },
    {
      "epoch": 0.548,
      "grad_norm": 2.5251701418397454,
      "learning_rate": 2.17869293336268e-06,
      "loss": 0.4072,
      "step": 2055
    },
    {
      "epoch": 0.5482666666666667,
      "grad_norm": 2.3628931210234447,
      "learning_rate": 2.176583966466356e-06,
      "loss": 0.3914,
      "step": 2056
    },
    {
      "epoch": 0.5485333333333333,
      "grad_norm": 2.504142254132756,
      "learning_rate": 2.1744752336168017e-06,
      "loss": 0.4265,
      "step": 2057
    },
    {
      "epoch": 0.5488,
      "grad_norm": 2.309791359916138,
      "learning_rate": 2.172366736340044e-06,
      "loss": 0.401,
      "step": 2058
    },
    {
      "epoch": 0.5490666666666667,
      "grad_norm": 2.4071456759194567,
      "learning_rate": 2.1702584761619437e-06,
      "loss": 0.3906,
      "step": 2059
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 2.7386479953130825,
      "learning_rate": 2.1681504546081844e-06,
      "loss": 0.4134,
      "step": 2060
    },
    {
      "epoch": 0.5496,
      "grad_norm": 2.361437649794465,
      "learning_rate": 2.1660426732042813e-06,
      "loss": 0.4016,
      "step": 2061
    },
    {
      "epoch": 0.5498666666666666,
      "grad_norm": 2.64890806665946,
      "learning_rate": 2.1639351334755756e-06,
      "loss": 0.435,
      "step": 2062
    },
    {
      "epoch": 0.5501333333333334,
      "grad_norm": 2.4354798430314655,
      "learning_rate": 2.1618278369472297e-06,
      "loss": 0.3641,
      "step": 2063
    },
    {
      "epoch": 0.5504,
      "grad_norm": 2.698690664886776,
      "learning_rate": 2.1597207851442346e-06,
      "loss": 0.4553,
      "step": 2064
    },
    {
      "epoch": 0.5506666666666666,
      "grad_norm": 2.5077633660326883,
      "learning_rate": 2.157613979591404e-06,
      "loss": 0.3996,
      "step": 2065
    },
    {
      "epoch": 0.5509333333333334,
      "grad_norm": 2.4561472969893794,
      "learning_rate": 2.1555074218133677e-06,
      "loss": 0.3757,
      "step": 2066
    },
    {
      "epoch": 0.5512,
      "grad_norm": 2.6927414463319637,
      "learning_rate": 2.1534011133345836e-06,
      "loss": 0.4589,
      "step": 2067
    },
    {
      "epoch": 0.5514666666666667,
      "grad_norm": 2.6630625266161996,
      "learning_rate": 2.151295055679324e-06,
      "loss": 0.4503,
      "step": 2068
    },
    {
      "epoch": 0.5517333333333333,
      "grad_norm": 2.540902131974641,
      "learning_rate": 2.1491892503716834e-06,
      "loss": 0.4221,
      "step": 2069
    },
    {
      "epoch": 0.552,
      "grad_norm": 2.6300618853878084,
      "learning_rate": 2.1470836989355687e-06,
      "loss": 0.4426,
      "step": 2070
    },
    {
      "epoch": 0.5522666666666667,
      "grad_norm": 2.532209355005413,
      "learning_rate": 2.1449784028947086e-06,
      "loss": 0.4534,
      "step": 2071
    },
    {
      "epoch": 0.5525333333333333,
      "grad_norm": 2.752941969394289,
      "learning_rate": 2.1428733637726456e-06,
      "loss": 0.4182,
      "step": 2072
    },
    {
      "epoch": 0.5528,
      "grad_norm": 2.4144610650068996,
      "learning_rate": 2.1407685830927314e-06,
      "loss": 0.3679,
      "step": 2073
    },
    {
      "epoch": 0.5530666666666667,
      "grad_norm": 2.854534990621284,
      "learning_rate": 2.1386640623781378e-06,
      "loss": 0.4792,
      "step": 2074
    },
    {
      "epoch": 0.5533333333333333,
      "grad_norm": 2.563077481835282,
      "learning_rate": 2.1365598031518446e-06,
      "loss": 0.4166,
      "step": 2075
    },
    {
      "epoch": 0.5536,
      "grad_norm": 2.868661834153667,
      "learning_rate": 2.1344558069366423e-06,
      "loss": 0.4757,
      "step": 2076
    },
    {
      "epoch": 0.5538666666666666,
      "grad_norm": 3.1177293585766286,
      "learning_rate": 2.1323520752551314e-06,
      "loss": 0.4592,
      "step": 2077
    },
    {
      "epoch": 0.5541333333333334,
      "grad_norm": 2.641953973474128,
      "learning_rate": 2.1302486096297216e-06,
      "loss": 0.4641,
      "step": 2078
    },
    {
      "epoch": 0.5544,
      "grad_norm": 2.354696830226298,
      "learning_rate": 2.1281454115826313e-06,
      "loss": 0.376,
      "step": 2079
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 2.5368451612531193,
      "learning_rate": 2.1260424826358806e-06,
      "loss": 0.4329,
      "step": 2080
    },
    {
      "epoch": 0.5549333333333333,
      "grad_norm": 2.6845428191469938,
      "learning_rate": 2.1239398243113e-06,
      "loss": 0.4412,
      "step": 2081
    },
    {
      "epoch": 0.5552,
      "grad_norm": 2.828879350159909,
      "learning_rate": 2.1218374381305234e-06,
      "loss": 0.4792,
      "step": 2082
    },
    {
      "epoch": 0.5554666666666667,
      "grad_norm": 2.982013905954617,
      "learning_rate": 2.119735325614983e-06,
      "loss": 0.4324,
      "step": 2083
    },
    {
      "epoch": 0.5557333333333333,
      "grad_norm": 2.2055220978178567,
      "learning_rate": 2.1176334882859196e-06,
      "loss": 0.3929,
      "step": 2084
    },
    {
      "epoch": 0.556,
      "grad_norm": 2.8430059233313556,
      "learning_rate": 2.11553192766437e-06,
      "loss": 0.4897,
      "step": 2085
    },
    {
      "epoch": 0.5562666666666667,
      "grad_norm": 2.400789004324637,
      "learning_rate": 2.113430645271173e-06,
      "loss": 0.3993,
      "step": 2086
    },
    {
      "epoch": 0.5565333333333333,
      "grad_norm": 2.5477300582419216,
      "learning_rate": 2.1113296426269646e-06,
      "loss": 0.4224,
      "step": 2087
    },
    {
      "epoch": 0.5568,
      "grad_norm": 2.5838047375773523,
      "learning_rate": 2.1092289212521815e-06,
      "loss": 0.4214,
      "step": 2088
    },
    {
      "epoch": 0.5570666666666667,
      "grad_norm": 2.46008086917865,
      "learning_rate": 2.107128482667052e-06,
      "loss": 0.4177,
      "step": 2089
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 2.291151703225371,
      "learning_rate": 2.1050283283916033e-06,
      "loss": 0.3712,
      "step": 2090
    },
    {
      "epoch": 0.5576,
      "grad_norm": 2.6245027685624263,
      "learning_rate": 2.102928459945656e-06,
      "loss": 0.4623,
      "step": 2091
    },
    {
      "epoch": 0.5578666666666666,
      "grad_norm": 3.074202823876614,
      "learning_rate": 2.1008288788488255e-06,
      "loss": 0.5044,
      "step": 2092
    },
    {
      "epoch": 0.5581333333333334,
      "grad_norm": 2.556049679350258,
      "learning_rate": 2.0987295866205146e-06,
      "loss": 0.4096,
      "step": 2093
    },
    {
      "epoch": 0.5584,
      "grad_norm": 2.542208187685236,
      "learning_rate": 2.0966305847799216e-06,
      "loss": 0.4253,
      "step": 2094
    },
    {
      "epoch": 0.5586666666666666,
      "grad_norm": 2.530543872231399,
      "learning_rate": 2.094531874846033e-06,
      "loss": 0.4129,
      "step": 2095
    },
    {
      "epoch": 0.5589333333333333,
      "grad_norm": 2.4159945451912783,
      "learning_rate": 2.0924334583376236e-06,
      "loss": 0.4023,
      "step": 2096
    },
    {
      "epoch": 0.5592,
      "grad_norm": 2.41804106768776,
      "learning_rate": 2.0903353367732564e-06,
      "loss": 0.3709,
      "step": 2097
    },
    {
      "epoch": 0.5594666666666667,
      "grad_norm": 2.35494382283674,
      "learning_rate": 2.088237511671282e-06,
      "loss": 0.3932,
      "step": 2098
    },
    {
      "epoch": 0.5597333333333333,
      "grad_norm": 2.36401076755346,
      "learning_rate": 2.0861399845498332e-06,
      "loss": 0.3708,
      "step": 2099
    },
    {
      "epoch": 0.56,
      "grad_norm": 2.4981968872579885,
      "learning_rate": 2.0840427569268306e-06,
      "loss": 0.4479,
      "step": 2100
    },
    {
      "epoch": 0.5602666666666667,
      "grad_norm": 2.646838338283215,
      "learning_rate": 2.0819458303199776e-06,
      "loss": 0.456,
      "step": 2101
    },
    {
      "epoch": 0.5605333333333333,
      "grad_norm": 2.669602803088497,
      "learning_rate": 2.079849206246757e-06,
      "loss": 0.4887,
      "step": 2102
    },
    {
      "epoch": 0.5608,
      "grad_norm": 2.595579652286932,
      "learning_rate": 2.077752886224436e-06,
      "loss": 0.4508,
      "step": 2103
    },
    {
      "epoch": 0.5610666666666667,
      "grad_norm": 2.635416015531328,
      "learning_rate": 2.0756568717700608e-06,
      "loss": 0.4142,
      "step": 2104
    },
    {
      "epoch": 0.5613333333333334,
      "grad_norm": 2.2711810678795987,
      "learning_rate": 2.0735611644004552e-06,
      "loss": 0.3642,
      "step": 2105
    },
    {
      "epoch": 0.5616,
      "grad_norm": 2.357177015145926,
      "learning_rate": 2.0714657656322214e-06,
      "loss": 0.3959,
      "step": 2106
    },
    {
      "epoch": 0.5618666666666666,
      "grad_norm": 2.8560283367403656,
      "learning_rate": 2.069370676981738e-06,
      "loss": 0.448,
      "step": 2107
    },
    {
      "epoch": 0.5621333333333334,
      "grad_norm": 2.589055054787894,
      "learning_rate": 2.0672758999651623e-06,
      "loss": 0.431,
      "step": 2108
    },
    {
      "epoch": 0.5624,
      "grad_norm": 4.153691484731323,
      "learning_rate": 2.06518143609842e-06,
      "loss": 0.3958,
      "step": 2109
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 2.4535210040906223,
      "learning_rate": 2.0630872868972154e-06,
      "loss": 0.3762,
      "step": 2110
    },
    {
      "epoch": 0.5629333333333333,
      "grad_norm": 2.542497613427436,
      "learning_rate": 2.0609934538770244e-06,
      "loss": 0.4491,
      "step": 2111
    },
    {
      "epoch": 0.5632,
      "grad_norm": 2.3050962606755956,
      "learning_rate": 2.0588999385530904e-06,
      "loss": 0.3886,
      "step": 2112
    },
    {
      "epoch": 0.5634666666666667,
      "grad_norm": 2.3875548612713184,
      "learning_rate": 2.056806742440432e-06,
      "loss": 0.4065,
      "step": 2113
    },
    {
      "epoch": 0.5637333333333333,
      "grad_norm": 2.506354402515714,
      "learning_rate": 2.0547138670538328e-06,
      "loss": 0.4112,
      "step": 2114
    },
    {
      "epoch": 0.564,
      "grad_norm": 2.3855121170676257,
      "learning_rate": 2.0526213139078463e-06,
      "loss": 0.4133,
      "step": 2115
    },
    {
      "epoch": 0.5642666666666667,
      "grad_norm": 2.7878865028480027,
      "learning_rate": 2.0505290845167915e-06,
      "loss": 0.4377,
      "step": 2116
    },
    {
      "epoch": 0.5645333333333333,
      "grad_norm": 2.5407021601457105,
      "learning_rate": 2.048437180394755e-06,
      "loss": 0.3892,
      "step": 2117
    },
    {
      "epoch": 0.5648,
      "grad_norm": 2.549435173375906,
      "learning_rate": 2.046345603055587e-06,
      "loss": 0.4231,
      "step": 2118
    },
    {
      "epoch": 0.5650666666666667,
      "grad_norm": 2.3896774720617344,
      "learning_rate": 2.0442543540129e-06,
      "loss": 0.39,
      "step": 2119
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 2.681401203412108,
      "learning_rate": 2.0421634347800706e-06,
      "loss": 0.4413,
      "step": 2120
    },
    {
      "epoch": 0.5656,
      "grad_norm": 2.7286025880978717,
      "learning_rate": 2.0400728468702376e-06,
      "loss": 0.4063,
      "step": 2121
    },
    {
      "epoch": 0.5658666666666666,
      "grad_norm": 2.8464770457959827,
      "learning_rate": 2.037982591796296e-06,
      "loss": 0.4674,
      "step": 2122
    },
    {
      "epoch": 0.5661333333333334,
      "grad_norm": 2.666839859528723,
      "learning_rate": 2.0358926710709043e-06,
      "loss": 0.4242,
      "step": 2123
    },
    {
      "epoch": 0.5664,
      "grad_norm": 2.4640650311900982,
      "learning_rate": 2.0338030862064773e-06,
      "loss": 0.4256,
      "step": 2124
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 2.979253986283452,
      "learning_rate": 2.031713838715186e-06,
      "loss": 0.5119,
      "step": 2125
    },
    {
      "epoch": 0.5669333333333333,
      "grad_norm": 2.682750007767583,
      "learning_rate": 2.0296249301089577e-06,
      "loss": 0.3871,
      "step": 2126
    },
    {
      "epoch": 0.5672,
      "grad_norm": 2.6388838087643256,
      "learning_rate": 2.0275363618994763e-06,
      "loss": 0.428,
      "step": 2127
    },
    {
      "epoch": 0.5674666666666667,
      "grad_norm": 3.4575179806241767,
      "learning_rate": 2.0254481355981763e-06,
      "loss": 0.4045,
      "step": 2128
    },
    {
      "epoch": 0.5677333333333333,
      "grad_norm": 2.397037064408643,
      "learning_rate": 2.023360252716246e-06,
      "loss": 0.398,
      "step": 2129
    },
    {
      "epoch": 0.568,
      "grad_norm": 2.1910596931901734,
      "learning_rate": 2.021272714764627e-06,
      "loss": 0.3559,
      "step": 2130
    },
    {
      "epoch": 0.5682666666666667,
      "grad_norm": 2.6830821955609756,
      "learning_rate": 2.01918552325401e-06,
      "loss": 0.4426,
      "step": 2131
    },
    {
      "epoch": 0.5685333333333333,
      "grad_norm": 2.847826357087816,
      "learning_rate": 2.0170986796948327e-06,
      "loss": 0.4632,
      "step": 2132
    },
    {
      "epoch": 0.5688,
      "grad_norm": 2.760298286215174,
      "learning_rate": 2.0150121855972847e-06,
      "loss": 0.4596,
      "step": 2133
    },
    {
      "epoch": 0.5690666666666667,
      "grad_norm": 2.4740994333305313,
      "learning_rate": 2.012926042471301e-06,
      "loss": 0.3724,
      "step": 2134
    },
    {
      "epoch": 0.5693333333333334,
      "grad_norm": 2.4655471164166447,
      "learning_rate": 2.0108402518265613e-06,
      "loss": 0.4112,
      "step": 2135
    },
    {
      "epoch": 0.5696,
      "grad_norm": 2.5271680091662,
      "learning_rate": 2.008754815172492e-06,
      "loss": 0.4287,
      "step": 2136
    },
    {
      "epoch": 0.5698666666666666,
      "grad_norm": 2.401153177011846,
      "learning_rate": 2.006669734018265e-06,
      "loss": 0.3958,
      "step": 2137
    },
    {
      "epoch": 0.5701333333333334,
      "grad_norm": 2.5886816188993023,
      "learning_rate": 2.0045850098727895e-06,
      "loss": 0.3931,
      "step": 2138
    },
    {
      "epoch": 0.5704,
      "grad_norm": 2.6134644067197046,
      "learning_rate": 2.0025006442447215e-06,
      "loss": 0.4447,
      "step": 2139
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 2.805231945332643,
      "learning_rate": 2.000416638642456e-06,
      "loss": 0.3889,
      "step": 2140
    },
    {
      "epoch": 0.5709333333333333,
      "grad_norm": 2.611848921445149,
      "learning_rate": 1.998332994574127e-06,
      "loss": 0.4456,
      "step": 2141
    },
    {
      "epoch": 0.5712,
      "grad_norm": 2.5789366691769207,
      "learning_rate": 1.9962497135476067e-06,
      "loss": 0.3919,
      "step": 2142
    },
    {
      "epoch": 0.5714666666666667,
      "grad_norm": 3.1001220614560885,
      "learning_rate": 1.9941667970705045e-06,
      "loss": 0.4786,
      "step": 2143
    },
    {
      "epoch": 0.5717333333333333,
      "grad_norm": 2.585821004717584,
      "learning_rate": 1.992084246650168e-06,
      "loss": 0.4436,
      "step": 2144
    },
    {
      "epoch": 0.572,
      "grad_norm": 2.468054491532933,
      "learning_rate": 1.990002063793676e-06,
      "loss": 0.4159,
      "step": 2145
    },
    {
      "epoch": 0.5722666666666667,
      "grad_norm": 2.314719595577697,
      "learning_rate": 1.9879202500078453e-06,
      "loss": 0.3807,
      "step": 2146
    },
    {
      "epoch": 0.5725333333333333,
      "grad_norm": 2.448622896436422,
      "learning_rate": 1.9858388067992248e-06,
      "loss": 0.397,
      "step": 2147
    },
    {
      "epoch": 0.5728,
      "grad_norm": 2.4525450001501867,
      "learning_rate": 1.9837577356740918e-06,
      "loss": 0.4102,
      "step": 2148
    },
    {
      "epoch": 0.5730666666666666,
      "grad_norm": 7.073462706661511,
      "learning_rate": 1.9816770381384576e-06,
      "loss": 0.4258,
      "step": 2149
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 2.4005956162137165,
      "learning_rate": 1.979596715698065e-06,
      "loss": 0.4077,
      "step": 2150
    },
    {
      "epoch": 0.5736,
      "grad_norm": 3.1835294402248873,
      "learning_rate": 1.9775167698583792e-06,
      "loss": 0.4887,
      "step": 2151
    },
    {
      "epoch": 0.5738666666666666,
      "grad_norm": 2.51787177472062,
      "learning_rate": 1.975437202124599e-06,
      "loss": 0.417,
      "step": 2152
    },
    {
      "epoch": 0.5741333333333334,
      "grad_norm": 2.9346397878249633,
      "learning_rate": 1.9733580140016458e-06,
      "loss": 0.4655,
      "step": 2153
    },
    {
      "epoch": 0.5744,
      "grad_norm": 2.3863546963809967,
      "learning_rate": 1.9712792069941687e-06,
      "loss": 0.4126,
      "step": 2154
    },
    {
      "epoch": 0.5746666666666667,
      "grad_norm": 2.261617331916262,
      "learning_rate": 1.9692007826065376e-06,
      "loss": 0.362,
      "step": 2155
    },
    {
      "epoch": 0.5749333333333333,
      "grad_norm": 3.0883046237105933,
      "learning_rate": 1.967122742342849e-06,
      "loss": 0.4041,
      "step": 2156
    },
    {
      "epoch": 0.5752,
      "grad_norm": 2.5100035764987636,
      "learning_rate": 1.9650450877069223e-06,
      "loss": 0.393,
      "step": 2157
    },
    {
      "epoch": 0.5754666666666667,
      "grad_norm": 2.4577561164341244,
      "learning_rate": 1.9629678202022916e-06,
      "loss": 0.3812,
      "step": 2158
    },
    {
      "epoch": 0.5757333333333333,
      "grad_norm": 2.734856150109731,
      "learning_rate": 1.9608909413322175e-06,
      "loss": 0.4346,
      "step": 2159
    },
    {
      "epoch": 0.576,
      "grad_norm": 2.312230722634441,
      "learning_rate": 1.958814452599677e-06,
      "loss": 0.4084,
      "step": 2160
    },
    {
      "epoch": 0.5762666666666667,
      "grad_norm": 2.367076194543778,
      "learning_rate": 1.956738355507363e-06,
      "loss": 0.3603,
      "step": 2161
    },
    {
      "epoch": 0.5765333333333333,
      "grad_norm": 2.632711588077396,
      "learning_rate": 1.9546626515576876e-06,
      "loss": 0.443,
      "step": 2162
    },
    {
      "epoch": 0.5768,
      "grad_norm": 2.44296094790109,
      "learning_rate": 1.9525873422527773e-06,
      "loss": 0.3771,
      "step": 2163
    },
    {
      "epoch": 0.5770666666666666,
      "grad_norm": 2.3119911807757405,
      "learning_rate": 1.950512429094473e-06,
      "loss": 0.3735,
      "step": 2164
    },
    {
      "epoch": 0.5773333333333334,
      "grad_norm": 2.5600898190666994,
      "learning_rate": 1.9484379135843274e-06,
      "loss": 0.3904,
      "step": 2165
    },
    {
      "epoch": 0.5776,
      "grad_norm": 2.343823362022501,
      "learning_rate": 1.9463637972236086e-06,
      "loss": 0.4373,
      "step": 2166
    },
    {
      "epoch": 0.5778666666666666,
      "grad_norm": 2.632929928391545,
      "learning_rate": 1.9442900815132957e-06,
      "loss": 0.4121,
      "step": 2167
    },
    {
      "epoch": 0.5781333333333334,
      "grad_norm": 2.9229852029793237,
      "learning_rate": 1.942216767954073e-06,
      "loss": 0.443,
      "step": 2168
    },
    {
      "epoch": 0.5784,
      "grad_norm": 2.7953985903527045,
      "learning_rate": 1.940143858046339e-06,
      "loss": 0.4069,
      "step": 2169
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 2.4956999909471667,
      "learning_rate": 1.938071353290199e-06,
      "loss": 0.4052,
      "step": 2170
    },
    {
      "epoch": 0.5789333333333333,
      "grad_norm": 2.476189816770219,
      "learning_rate": 1.9359992551854635e-06,
      "loss": 0.384,
      "step": 2171
    },
    {
      "epoch": 0.5792,
      "grad_norm": 2.678757593866926,
      "learning_rate": 1.9339275652316484e-06,
      "loss": 0.4322,
      "step": 2172
    },
    {
      "epoch": 0.5794666666666667,
      "grad_norm": 2.8384347428835515,
      "learning_rate": 1.9318562849279774e-06,
      "loss": 0.4139,
      "step": 2173
    },
    {
      "epoch": 0.5797333333333333,
      "grad_norm": 2.504810094028792,
      "learning_rate": 1.929785415773375e-06,
      "loss": 0.4188,
      "step": 2174
    },
    {
      "epoch": 0.58,
      "grad_norm": 2.3929041941480196,
      "learning_rate": 1.9277149592664676e-06,
      "loss": 0.4078,
      "step": 2175
    },
    {
      "epoch": 0.5802666666666667,
      "grad_norm": 2.6468383059018605,
      "learning_rate": 1.925644916905587e-06,
      "loss": 0.4314,
      "step": 2176
    },
    {
      "epoch": 0.5805333333333333,
      "grad_norm": 2.5241598056544263,
      "learning_rate": 1.9235752901887605e-06,
      "loss": 0.3649,
      "step": 2177
    },
    {
      "epoch": 0.5808,
      "grad_norm": 2.2465589135148556,
      "learning_rate": 1.921506080613717e-06,
      "loss": 0.4171,
      "step": 2178
    },
    {
      "epoch": 0.5810666666666666,
      "grad_norm": 2.416159097243735,
      "learning_rate": 1.919437289677884e-06,
      "loss": 0.4125,
      "step": 2179
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 2.956394831930318,
      "learning_rate": 1.917368918878385e-06,
      "loss": 0.4498,
      "step": 2180
    },
    {
      "epoch": 0.5816,
      "grad_norm": 2.548874320078301,
      "learning_rate": 1.91530096971204e-06,
      "loss": 0.4499,
      "step": 2181
    },
    {
      "epoch": 0.5818666666666666,
      "grad_norm": 2.4730123614040482,
      "learning_rate": 1.9132334436753623e-06,
      "loss": 0.4367,
      "step": 2182
    },
    {
      "epoch": 0.5821333333333333,
      "grad_norm": 2.8163115450660903,
      "learning_rate": 1.9111663422645624e-06,
      "loss": 0.4347,
      "step": 2183
    },
    {
      "epoch": 0.5824,
      "grad_norm": 2.700810223835112,
      "learning_rate": 1.909099666975539e-06,
      "loss": 0.4564,
      "step": 2184
    },
    {
      "epoch": 0.5826666666666667,
      "grad_norm": 2.5360358972604096,
      "learning_rate": 1.9070334193038863e-06,
      "loss": 0.437,
      "step": 2185
    },
    {
      "epoch": 0.5829333333333333,
      "grad_norm": 2.5004785866392822,
      "learning_rate": 1.9049676007448886e-06,
      "loss": 0.4158,
      "step": 2186
    },
    {
      "epoch": 0.5832,
      "grad_norm": 2.6146169232929632,
      "learning_rate": 1.9029022127935161e-06,
      "loss": 0.4301,
      "step": 2187
    },
    {
      "epoch": 0.5834666666666667,
      "grad_norm": 2.4796905474820474,
      "learning_rate": 1.9008372569444317e-06,
      "loss": 0.4457,
      "step": 2188
    },
    {
      "epoch": 0.5837333333333333,
      "grad_norm": 2.45341413976034,
      "learning_rate": 1.8987727346919843e-06,
      "loss": 0.4098,
      "step": 2189
    },
    {
      "epoch": 0.584,
      "grad_norm": 2.4420885018122607,
      "learning_rate": 1.8967086475302065e-06,
      "loss": 0.3763,
      "step": 2190
    },
    {
      "epoch": 0.5842666666666667,
      "grad_norm": 2.1700394586214227,
      "learning_rate": 1.89464499695282e-06,
      "loss": 0.3489,
      "step": 2191
    },
    {
      "epoch": 0.5845333333333333,
      "grad_norm": 2.292494304950524,
      "learning_rate": 1.8925817844532273e-06,
      "loss": 0.3773,
      "step": 2192
    },
    {
      "epoch": 0.5848,
      "grad_norm": 2.306842124473414,
      "learning_rate": 1.890519011524517e-06,
      "loss": 0.3771,
      "step": 2193
    },
    {
      "epoch": 0.5850666666666666,
      "grad_norm": 2.237639057913189,
      "learning_rate": 1.8884566796594555e-06,
      "loss": 0.3407,
      "step": 2194
    },
    {
      "epoch": 0.5853333333333334,
      "grad_norm": 2.628660933246142,
      "learning_rate": 1.8863947903504938e-06,
      "loss": 0.4291,
      "step": 2195
    },
    {
      "epoch": 0.5856,
      "grad_norm": 2.657024523023687,
      "learning_rate": 1.8843333450897616e-06,
      "loss": 0.3985,
      "step": 2196
    },
    {
      "epoch": 0.5858666666666666,
      "grad_norm": 2.384177250230262,
      "learning_rate": 1.8822723453690653e-06,
      "loss": 0.416,
      "step": 2197
    },
    {
      "epoch": 0.5861333333333333,
      "grad_norm": 2.41275143736667,
      "learning_rate": 1.8802117926798913e-06,
      "loss": 0.3994,
      "step": 2198
    },
    {
      "epoch": 0.5864,
      "grad_norm": 2.2560684741506365,
      "learning_rate": 1.8781516885134025e-06,
      "loss": 0.364,
      "step": 2199
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 2.377927642785843,
      "learning_rate": 1.8760920343604348e-06,
      "loss": 0.3779,
      "step": 2200
    },
    {
      "epoch": 0.5869333333333333,
      "grad_norm": 2.8694422409442453,
      "learning_rate": 1.8740328317114998e-06,
      "loss": 0.4792,
      "step": 2201
    },
    {
      "epoch": 0.5872,
      "grad_norm": 2.599317509196582,
      "learning_rate": 1.8719740820567836e-06,
      "loss": 0.3977,
      "step": 2202
    },
    {
      "epoch": 0.5874666666666667,
      "grad_norm": 2.570958220592438,
      "learning_rate": 1.869915786886144e-06,
      "loss": 0.4031,
      "step": 2203
    },
    {
      "epoch": 0.5877333333333333,
      "grad_norm": 3.26482501082063,
      "learning_rate": 1.867857947689107e-06,
      "loss": 0.4191,
      "step": 2204
    },
    {
      "epoch": 0.588,
      "grad_norm": 2.8736810518649296,
      "learning_rate": 1.8658005659548726e-06,
      "loss": 0.456,
      "step": 2205
    },
    {
      "epoch": 0.5882666666666667,
      "grad_norm": 2.706545802011538,
      "learning_rate": 1.8637436431723086e-06,
      "loss": 0.3836,
      "step": 2206
    },
    {
      "epoch": 0.5885333333333334,
      "grad_norm": 2.652578609129696,
      "learning_rate": 1.861687180829948e-06,
      "loss": 0.4366,
      "step": 2207
    },
    {
      "epoch": 0.5888,
      "grad_norm": 2.7684914219009102,
      "learning_rate": 1.859631180415995e-06,
      "loss": 0.4586,
      "step": 2208
    },
    {
      "epoch": 0.5890666666666666,
      "grad_norm": 2.237339767131411,
      "learning_rate": 1.8575756434183162e-06,
      "loss": 0.3926,
      "step": 2209
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 2.4338742153041477,
      "learning_rate": 1.8555205713244437e-06,
      "loss": 0.4022,
      "step": 2210
    },
    {
      "epoch": 0.5896,
      "grad_norm": 2.829118136020922,
      "learning_rate": 1.8534659656215731e-06,
      "loss": 0.4288,
      "step": 2211
    },
    {
      "epoch": 0.5898666666666667,
      "grad_norm": 2.5639594617382593,
      "learning_rate": 1.8514118277965642e-06,
      "loss": 0.4014,
      "step": 2212
    },
    {
      "epoch": 0.5901333333333333,
      "grad_norm": 3.41546868690827,
      "learning_rate": 1.849358159335935e-06,
      "loss": 0.44,
      "step": 2213
    },
    {
      "epoch": 0.5904,
      "grad_norm": 2.457889807505658,
      "learning_rate": 1.8473049617258661e-06,
      "loss": 0.3972,
      "step": 2214
    },
    {
      "epoch": 0.5906666666666667,
      "grad_norm": 2.610666097836363,
      "learning_rate": 1.8452522364521973e-06,
      "loss": 0.4228,
      "step": 2215
    },
    {
      "epoch": 0.5909333333333333,
      "grad_norm": 2.4220253317123976,
      "learning_rate": 1.843199985000427e-06,
      "loss": 0.3818,
      "step": 2216
    },
    {
      "epoch": 0.5912,
      "grad_norm": 2.3878709917073424,
      "learning_rate": 1.8411482088557078e-06,
      "loss": 0.3834,
      "step": 2217
    },
    {
      "epoch": 0.5914666666666667,
      "grad_norm": 2.6355018778835477,
      "learning_rate": 1.8390969095028515e-06,
      "loss": 0.4113,
      "step": 2218
    },
    {
      "epoch": 0.5917333333333333,
      "grad_norm": 2.5597735575758622,
      "learning_rate": 1.8370460884263242e-06,
      "loss": 0.3847,
      "step": 2219
    },
    {
      "epoch": 0.592,
      "grad_norm": 2.3696618161883767,
      "learning_rate": 1.8349957471102442e-06,
      "loss": 0.3828,
      "step": 2220
    },
    {
      "epoch": 0.5922666666666667,
      "grad_norm": 2.582453395594233,
      "learning_rate": 1.8329458870383843e-06,
      "loss": 0.4869,
      "step": 2221
    },
    {
      "epoch": 0.5925333333333334,
      "grad_norm": 2.704482788230297,
      "learning_rate": 1.8308965096941694e-06,
      "loss": 0.4696,
      "step": 2222
    },
    {
      "epoch": 0.5928,
      "grad_norm": 2.331241049039064,
      "learning_rate": 1.8288476165606728e-06,
      "loss": 0.4096,
      "step": 2223
    },
    {
      "epoch": 0.5930666666666666,
      "grad_norm": 2.6887360921859633,
      "learning_rate": 1.8267992091206194e-06,
      "loss": 0.422,
      "step": 2224
    },
    {
      "epoch": 0.5933333333333334,
      "grad_norm": 2.7932561233709583,
      "learning_rate": 1.8247512888563833e-06,
      "loss": 0.492,
      "step": 2225
    },
    {
      "epoch": 0.5936,
      "grad_norm": 3.0754091895603737,
      "learning_rate": 1.8227038572499828e-06,
      "loss": 0.4009,
      "step": 2226
    },
    {
      "epoch": 0.5938666666666667,
      "grad_norm": 2.6934353512784757,
      "learning_rate": 1.820656915783085e-06,
      "loss": 0.4613,
      "step": 2227
    },
    {
      "epoch": 0.5941333333333333,
      "grad_norm": 2.3098382682138805,
      "learning_rate": 1.8186104659370029e-06,
      "loss": 0.4051,
      "step": 2228
    },
    {
      "epoch": 0.5944,
      "grad_norm": 2.731144900758593,
      "learning_rate": 1.8165645091926926e-06,
      "loss": 0.4753,
      "step": 2229
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 2.435593690763075,
      "learning_rate": 1.8145190470307519e-06,
      "loss": 0.3666,
      "step": 2230
    },
    {
      "epoch": 0.5949333333333333,
      "grad_norm": 2.7739601890721945,
      "learning_rate": 1.812474080931423e-06,
      "loss": 0.4299,
      "step": 2231
    },
    {
      "epoch": 0.5952,
      "grad_norm": 2.438691990591715,
      "learning_rate": 1.81042961237459e-06,
      "loss": 0.3785,
      "step": 2232
    },
    {
      "epoch": 0.5954666666666667,
      "grad_norm": 4.817706962055195,
      "learning_rate": 1.8083856428397725e-06,
      "loss": 0.4476,
      "step": 2233
    },
    {
      "epoch": 0.5957333333333333,
      "grad_norm": 2.7634268305140877,
      "learning_rate": 1.8063421738061333e-06,
      "loss": 0.4469,
      "step": 2234
    },
    {
      "epoch": 0.596,
      "grad_norm": 2.2704756537625435,
      "learning_rate": 1.8042992067524722e-06,
      "loss": 0.3968,
      "step": 2235
    },
    {
      "epoch": 0.5962666666666666,
      "grad_norm": 2.5546922827147998,
      "learning_rate": 1.802256743157223e-06,
      "loss": 0.4194,
      "step": 2236
    },
    {
      "epoch": 0.5965333333333334,
      "grad_norm": 2.293215124418464,
      "learning_rate": 1.8002147844984585e-06,
      "loss": 0.3951,
      "step": 2237
    },
    {
      "epoch": 0.5968,
      "grad_norm": 2.617920445453991,
      "learning_rate": 1.7981733322538846e-06,
      "loss": 0.4369,
      "step": 2238
    },
    {
      "epoch": 0.5970666666666666,
      "grad_norm": 2.6012353342613244,
      "learning_rate": 1.7961323879008408e-06,
      "loss": 0.4167,
      "step": 2239
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 3.1934173199236664,
      "learning_rate": 1.7940919529162984e-06,
      "loss": 0.4634,
      "step": 2240
    },
    {
      "epoch": 0.5976,
      "grad_norm": 2.8359411342090497,
      "learning_rate": 1.7920520287768614e-06,
      "loss": 0.4096,
      "step": 2241
    },
    {
      "epoch": 0.5978666666666667,
      "grad_norm": 5.004576370318079,
      "learning_rate": 1.7900126169587645e-06,
      "loss": 0.4571,
      "step": 2242
    },
    {
      "epoch": 0.5981333333333333,
      "grad_norm": 2.4581417879441863,
      "learning_rate": 1.7879737189378688e-06,
      "loss": 0.3864,
      "step": 2243
    },
    {
      "epoch": 0.5984,
      "grad_norm": 2.6502554049639455,
      "learning_rate": 1.7859353361896663e-06,
      "loss": 0.3645,
      "step": 2244
    },
    {
      "epoch": 0.5986666666666667,
      "grad_norm": 2.679693428401703,
      "learning_rate": 1.7838974701892764e-06,
      "loss": 0.4435,
      "step": 2245
    },
    {
      "epoch": 0.5989333333333333,
      "grad_norm": 2.8029459919779023,
      "learning_rate": 1.7818601224114412e-06,
      "loss": 0.4655,
      "step": 2246
    },
    {
      "epoch": 0.5992,
      "grad_norm": 2.7652230621992495,
      "learning_rate": 1.7798232943305316e-06,
      "loss": 0.4467,
      "step": 2247
    },
    {
      "epoch": 0.5994666666666667,
      "grad_norm": 2.5067313539752627,
      "learning_rate": 1.7777869874205405e-06,
      "loss": 0.4265,
      "step": 2248
    },
    {
      "epoch": 0.5997333333333333,
      "grad_norm": 2.5302088460425067,
      "learning_rate": 1.7757512031550836e-06,
      "loss": 0.4909,
      "step": 2249
    },
    {
      "epoch": 0.6,
      "grad_norm": 2.518229107443017,
      "learning_rate": 1.7737159430073984e-06,
      "loss": 0.397,
      "step": 2250
    },
    {
      "epoch": 0.6002666666666666,
      "grad_norm": 2.8677844342185725,
      "learning_rate": 1.771681208450345e-06,
      "loss": 0.4183,
      "step": 2251
    },
    {
      "epoch": 0.6005333333333334,
      "grad_norm": 2.5352600978580027,
      "learning_rate": 1.7696470009563987e-06,
      "loss": 0.4262,
      "step": 2252
    },
    {
      "epoch": 0.6008,
      "grad_norm": 2.3874739809231507,
      "learning_rate": 1.7676133219976589e-06,
      "loss": 0.414,
      "step": 2253
    },
    {
      "epoch": 0.6010666666666666,
      "grad_norm": 3.8394332628689374,
      "learning_rate": 1.7655801730458383e-06,
      "loss": 0.4291,
      "step": 2254
    },
    {
      "epoch": 0.6013333333333334,
      "grad_norm": 2.590257584760151,
      "learning_rate": 1.7635475555722694e-06,
      "loss": 0.4145,
      "step": 2255
    },
    {
      "epoch": 0.6016,
      "grad_norm": 2.537199016953401,
      "learning_rate": 1.7615154710478962e-06,
      "loss": 0.3904,
      "step": 2256
    },
    {
      "epoch": 0.6018666666666667,
      "grad_norm": 2.428563208541275,
      "learning_rate": 1.7594839209432806e-06,
      "loss": 0.3963,
      "step": 2257
    },
    {
      "epoch": 0.6021333333333333,
      "grad_norm": 2.4663006973356594,
      "learning_rate": 1.7574529067285965e-06,
      "loss": 0.4042,
      "step": 2258
    },
    {
      "epoch": 0.6024,
      "grad_norm": 2.511733735947999,
      "learning_rate": 1.7554224298736278e-06,
      "loss": 0.4099,
      "step": 2259
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 2.506445932855136,
      "learning_rate": 1.7533924918477724e-06,
      "loss": 0.444,
      "step": 2260
    },
    {
      "epoch": 0.6029333333333333,
      "grad_norm": 2.5323832075474826,
      "learning_rate": 1.7513630941200394e-06,
      "loss": 0.3816,
      "step": 2261
    },
    {
      "epoch": 0.6032,
      "grad_norm": 2.5170030787335764,
      "learning_rate": 1.7493342381590417e-06,
      "loss": 0.4222,
      "step": 2262
    },
    {
      "epoch": 0.6034666666666667,
      "grad_norm": 2.4429413248349623,
      "learning_rate": 1.7473059254330043e-06,
      "loss": 0.3877,
      "step": 2263
    },
    {
      "epoch": 0.6037333333333333,
      "grad_norm": 2.575475657598042,
      "learning_rate": 1.7452781574097601e-06,
      "loss": 0.3969,
      "step": 2264
    },
    {
      "epoch": 0.604,
      "grad_norm": 2.5246936710188064,
      "learning_rate": 1.7432509355567432e-06,
      "loss": 0.3966,
      "step": 2265
    },
    {
      "epoch": 0.6042666666666666,
      "grad_norm": 2.480968692821019,
      "learning_rate": 1.7412242613409964e-06,
      "loss": 0.3885,
      "step": 2266
    },
    {
      "epoch": 0.6045333333333334,
      "grad_norm": 2.3475667175110235,
      "learning_rate": 1.7391981362291642e-06,
      "loss": 0.3845,
      "step": 2267
    },
    {
      "epoch": 0.6048,
      "grad_norm": 2.4982938116530335,
      "learning_rate": 1.737172561687495e-06,
      "loss": 0.3851,
      "step": 2268
    },
    {
      "epoch": 0.6050666666666666,
      "grad_norm": 2.888039834764701,
      "learning_rate": 1.7351475391818375e-06,
      "loss": 0.4571,
      "step": 2269
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 2.4777615403434914,
      "learning_rate": 1.7331230701776417e-06,
      "loss": 0.419,
      "step": 2270
    },
    {
      "epoch": 0.6056,
      "grad_norm": 2.54376536627171,
      "learning_rate": 1.7310991561399575e-06,
      "loss": 0.4055,
      "step": 2271
    },
    {
      "epoch": 0.6058666666666667,
      "grad_norm": 2.846980479784488,
      "learning_rate": 1.7290757985334317e-06,
      "loss": 0.3755,
      "step": 2272
    },
    {
      "epoch": 0.6061333333333333,
      "grad_norm": 2.180822215786785,
      "learning_rate": 1.7270529988223095e-06,
      "loss": 0.3408,
      "step": 2273
    },
    {
      "epoch": 0.6064,
      "grad_norm": 2.619358656821222,
      "learning_rate": 1.7250307584704334e-06,
      "loss": 0.412,
      "step": 2274
    },
    {
      "epoch": 0.6066666666666667,
      "grad_norm": 2.3835256832447658,
      "learning_rate": 1.7230090789412376e-06,
      "loss": 0.3795,
      "step": 2275
    },
    {
      "epoch": 0.6069333333333333,
      "grad_norm": 2.5103655745865843,
      "learning_rate": 1.7209879616977548e-06,
      "loss": 0.376,
      "step": 2276
    },
    {
      "epoch": 0.6072,
      "grad_norm": 2.912393219905919,
      "learning_rate": 1.718967408202607e-06,
      "loss": 0.4556,
      "step": 2277
    },
    {
      "epoch": 0.6074666666666667,
      "grad_norm": 2.6416917732125462,
      "learning_rate": 1.7169474199180122e-06,
      "loss": 0.4325,
      "step": 2278
    },
    {
      "epoch": 0.6077333333333333,
      "grad_norm": 2.54764535412384,
      "learning_rate": 1.7149279983057745e-06,
      "loss": 0.4044,
      "step": 2279
    },
    {
      "epoch": 0.608,
      "grad_norm": 2.5421769066856674,
      "learning_rate": 1.7129091448272919e-06,
      "loss": 0.4205,
      "step": 2280
    },
    {
      "epoch": 0.6082666666666666,
      "grad_norm": 2.5653282993344053,
      "learning_rate": 1.710890860943551e-06,
      "loss": 0.3884,
      "step": 2281
    },
    {
      "epoch": 0.6085333333333334,
      "grad_norm": 2.885638714753462,
      "learning_rate": 1.7088731481151222e-06,
      "loss": 0.4492,
      "step": 2282
    },
    {
      "epoch": 0.6088,
      "grad_norm": 2.40571866427801,
      "learning_rate": 1.7068560078021678e-06,
      "loss": 0.3912,
      "step": 2283
    },
    {
      "epoch": 0.6090666666666666,
      "grad_norm": 2.7930752521079247,
      "learning_rate": 1.7048394414644337e-06,
      "loss": 0.3615,
      "step": 2284
    },
    {
      "epoch": 0.6093333333333333,
      "grad_norm": 3.0372917564182593,
      "learning_rate": 1.7028234505612487e-06,
      "loss": 0.492,
      "step": 2285
    },
    {
      "epoch": 0.6096,
      "grad_norm": 2.548366310374322,
      "learning_rate": 1.7008080365515277e-06,
      "loss": 0.3779,
      "step": 2286
    },
    {
      "epoch": 0.6098666666666667,
      "grad_norm": 2.61878251380193,
      "learning_rate": 1.6987932008937674e-06,
      "loss": 0.3862,
      "step": 2287
    },
    {
      "epoch": 0.6101333333333333,
      "grad_norm": 2.5785500562286976,
      "learning_rate": 1.6967789450460453e-06,
      "loss": 0.4193,
      "step": 2288
    },
    {
      "epoch": 0.6104,
      "grad_norm": 2.9321124735706467,
      "learning_rate": 1.694765270466019e-06,
      "loss": 0.4674,
      "step": 2289
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 2.5365545879625366,
      "learning_rate": 1.6927521786109268e-06,
      "loss": 0.3999,
      "step": 2290
    },
    {
      "epoch": 0.6109333333333333,
      "grad_norm": 2.6801523099179025,
      "learning_rate": 1.6907396709375861e-06,
      "loss": 0.4477,
      "step": 2291
    },
    {
      "epoch": 0.6112,
      "grad_norm": 2.8632695699961843,
      "learning_rate": 1.688727748902388e-06,
      "loss": 0.4446,
      "step": 2292
    },
    {
      "epoch": 0.6114666666666667,
      "grad_norm": 2.587489033144078,
      "learning_rate": 1.6867164139613022e-06,
      "loss": 0.3953,
      "step": 2293
    },
    {
      "epoch": 0.6117333333333334,
      "grad_norm": 2.3505767771726944,
      "learning_rate": 1.6847056675698747e-06,
      "loss": 0.3699,
      "step": 2294
    },
    {
      "epoch": 0.612,
      "grad_norm": 2.396306971708491,
      "learning_rate": 1.6826955111832233e-06,
      "loss": 0.4021,
      "step": 2295
    },
    {
      "epoch": 0.6122666666666666,
      "grad_norm": 2.743364767007316,
      "learning_rate": 1.6806859462560385e-06,
      "loss": 0.431,
      "step": 2296
    },
    {
      "epoch": 0.6125333333333334,
      "grad_norm": 2.4737719192911065,
      "learning_rate": 1.6786769742425862e-06,
      "loss": 0.4063,
      "step": 2297
    },
    {
      "epoch": 0.6128,
      "grad_norm": 3.3372784521142203,
      "learning_rate": 1.676668596596699e-06,
      "loss": 0.4571,
      "step": 2298
    },
    {
      "epoch": 0.6130666666666666,
      "grad_norm": 2.6345368236058326,
      "learning_rate": 1.6746608147717819e-06,
      "loss": 0.4046,
      "step": 2299
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 2.4082922519215995,
      "learning_rate": 1.6726536302208094e-06,
      "loss": 0.3798,
      "step": 2300
    },
    {
      "epoch": 0.6136,
      "grad_norm": 2.613832563332468,
      "learning_rate": 1.6706470443963203e-06,
      "loss": 0.4072,
      "step": 2301
    },
    {
      "epoch": 0.6138666666666667,
      "grad_norm": 2.3650000180671107,
      "learning_rate": 1.6686410587504236e-06,
      "loss": 0.3891,
      "step": 2302
    },
    {
      "epoch": 0.6141333333333333,
      "grad_norm": 2.5483097701899013,
      "learning_rate": 1.6666356747347933e-06,
      "loss": 0.4129,
      "step": 2303
    },
    {
      "epoch": 0.6144,
      "grad_norm": 2.560499844973197,
      "learning_rate": 1.6646308938006673e-06,
      "loss": 0.3822,
      "step": 2304
    },
    {
      "epoch": 0.6146666666666667,
      "grad_norm": 2.6575973410918072,
      "learning_rate": 1.6626267173988458e-06,
      "loss": 0.4402,
      "step": 2305
    },
    {
      "epoch": 0.6149333333333333,
      "grad_norm": 2.4162951146338556,
      "learning_rate": 1.6606231469796941e-06,
      "loss": 0.3947,
      "step": 2306
    },
    {
      "epoch": 0.6152,
      "grad_norm": 2.659871090005092,
      "learning_rate": 1.6586201839931382e-06,
      "loss": 0.453,
      "step": 2307
    },
    {
      "epoch": 0.6154666666666667,
      "grad_norm": 2.656791858294859,
      "learning_rate": 1.6566178298886626e-06,
      "loss": 0.3895,
      "step": 2308
    },
    {
      "epoch": 0.6157333333333334,
      "grad_norm": 2.6397914832804066,
      "learning_rate": 1.6546160861153133e-06,
      "loss": 0.4595,
      "step": 2309
    },
    {
      "epoch": 0.616,
      "grad_norm": 2.6667552564721086,
      "learning_rate": 1.6526149541216952e-06,
      "loss": 0.4125,
      "step": 2310
    },
    {
      "epoch": 0.6162666666666666,
      "grad_norm": 2.3781485690702198,
      "learning_rate": 1.6506144353559676e-06,
      "loss": 0.4026,
      "step": 2311
    },
    {
      "epoch": 0.6165333333333334,
      "grad_norm": 2.4524512445864275,
      "learning_rate": 1.648614531265848e-06,
      "loss": 0.3937,
      "step": 2312
    },
    {
      "epoch": 0.6168,
      "grad_norm": 3.5264005038931048,
      "learning_rate": 1.6466152432986104e-06,
      "loss": 0.4259,
      "step": 2313
    },
    {
      "epoch": 0.6170666666666667,
      "grad_norm": 2.8654304742147865,
      "learning_rate": 1.6446165729010794e-06,
      "loss": 0.4039,
      "step": 2314
    },
    {
      "epoch": 0.6173333333333333,
      "grad_norm": 2.5093277829415244,
      "learning_rate": 1.6426185215196353e-06,
      "loss": 0.4505,
      "step": 2315
    },
    {
      "epoch": 0.6176,
      "grad_norm": 2.621180929074998,
      "learning_rate": 1.640621090600209e-06,
      "loss": 0.4238,
      "step": 2316
    },
    {
      "epoch": 0.6178666666666667,
      "grad_norm": 2.7831905001574024,
      "learning_rate": 1.6386242815882853e-06,
      "loss": 0.4313,
      "step": 2317
    },
    {
      "epoch": 0.6181333333333333,
      "grad_norm": 2.5345461854148077,
      "learning_rate": 1.636628095928894e-06,
      "loss": 0.4085,
      "step": 2318
    },
    {
      "epoch": 0.6184,
      "grad_norm": 2.5697403537331076,
      "learning_rate": 1.6346325350666178e-06,
      "loss": 0.4155,
      "step": 2319
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 2.7662716396445846,
      "learning_rate": 1.632637600445587e-06,
      "loss": 0.4212,
      "step": 2320
    },
    {
      "epoch": 0.6189333333333333,
      "grad_norm": 2.7104080343786756,
      "learning_rate": 1.630643293509476e-06,
      "loss": 0.4485,
      "step": 2321
    },
    {
      "epoch": 0.6192,
      "grad_norm": 2.397942002291914,
      "learning_rate": 1.628649615701507e-06,
      "loss": 0.4239,
      "step": 2322
    },
    {
      "epoch": 0.6194666666666667,
      "grad_norm": 2.9547772807910633,
      "learning_rate": 1.6266565684644483e-06,
      "loss": 0.4397,
      "step": 2323
    },
    {
      "epoch": 0.6197333333333334,
      "grad_norm": 2.572451045083528,
      "learning_rate": 1.6246641532406081e-06,
      "loss": 0.446,
      "step": 2324
    },
    {
      "epoch": 0.62,
      "grad_norm": 2.5206712097593367,
      "learning_rate": 1.6226723714718401e-06,
      "loss": 0.3975,
      "step": 2325
    },
    {
      "epoch": 0.6202666666666666,
      "grad_norm": 2.5102932278771806,
      "learning_rate": 1.6206812245995393e-06,
      "loss": 0.3813,
      "step": 2326
    },
    {
      "epoch": 0.6205333333333334,
      "grad_norm": 2.828515165976786,
      "learning_rate": 1.6186907140646392e-06,
      "loss": 0.3952,
      "step": 2327
    },
    {
      "epoch": 0.6208,
      "grad_norm": 3.098518837213252,
      "learning_rate": 1.6167008413076158e-06,
      "loss": 0.4207,
      "step": 2328
    },
    {
      "epoch": 0.6210666666666667,
      "grad_norm": 5.467335797028458,
      "learning_rate": 1.614711607768481e-06,
      "loss": 0.4907,
      "step": 2329
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 3.181757406219305,
      "learning_rate": 1.612723014886787e-06,
      "loss": 0.5205,
      "step": 2330
    },
    {
      "epoch": 0.6216,
      "grad_norm": 2.5477174005311523,
      "learning_rate": 1.6107350641016184e-06,
      "loss": 0.4031,
      "step": 2331
    },
    {
      "epoch": 0.6218666666666667,
      "grad_norm": 2.4199470816225674,
      "learning_rate": 1.608747756851599e-06,
      "loss": 0.3772,
      "step": 2332
    },
    {
      "epoch": 0.6221333333333333,
      "grad_norm": 3.6967079813068273,
      "learning_rate": 1.6067610945748846e-06,
      "loss": 0.5491,
      "step": 2333
    },
    {
      "epoch": 0.6224,
      "grad_norm": 2.345720983372248,
      "learning_rate": 1.6047750787091642e-06,
      "loss": 0.3763,
      "step": 2334
    },
    {
      "epoch": 0.6226666666666667,
      "grad_norm": 2.63764927914958,
      "learning_rate": 1.6027897106916603e-06,
      "loss": 0.415,
      "step": 2335
    },
    {
      "epoch": 0.6229333333333333,
      "grad_norm": 2.2663435121437123,
      "learning_rate": 1.6008049919591267e-06,
      "loss": 0.3591,
      "step": 2336
    },
    {
      "epoch": 0.6232,
      "grad_norm": 2.341905459595337,
      "learning_rate": 1.5988209239478454e-06,
      "loss": 0.3653,
      "step": 2337
    },
    {
      "epoch": 0.6234666666666666,
      "grad_norm": 2.1699184843845205,
      "learning_rate": 1.5968375080936283e-06,
      "loss": 0.3556,
      "step": 2338
    },
    {
      "epoch": 0.6237333333333334,
      "grad_norm": 2.311568213157791,
      "learning_rate": 1.5948547458318164e-06,
      "loss": 0.3909,
      "step": 2339
    },
    {
      "epoch": 0.624,
      "grad_norm": 3.0913080983091454,
      "learning_rate": 1.5928726385972786e-06,
      "loss": 0.4231,
      "step": 2340
    },
    {
      "epoch": 0.6242666666666666,
      "grad_norm": 2.6218488463073033,
      "learning_rate": 1.5908911878244055e-06,
      "loss": 0.4119,
      "step": 2341
    },
    {
      "epoch": 0.6245333333333334,
      "grad_norm": 2.8085309399022345,
      "learning_rate": 1.5889103949471168e-06,
      "loss": 0.4477,
      "step": 2342
    },
    {
      "epoch": 0.6248,
      "grad_norm": 2.522416752341973,
      "learning_rate": 1.5869302613988547e-06,
      "loss": 0.3964,
      "step": 2343
    },
    {
      "epoch": 0.6250666666666667,
      "grad_norm": 2.4441909233445296,
      "learning_rate": 1.5849507886125836e-06,
      "loss": 0.3608,
      "step": 2344
    },
    {
      "epoch": 0.6253333333333333,
      "grad_norm": 2.8074914720227886,
      "learning_rate": 1.5829719780207906e-06,
      "loss": 0.4135,
      "step": 2345
    },
    {
      "epoch": 0.6256,
      "grad_norm": 2.826081528546796,
      "learning_rate": 1.580993831055484e-06,
      "loss": 0.4484,
      "step": 2346
    },
    {
      "epoch": 0.6258666666666667,
      "grad_norm": 2.4294909402239497,
      "learning_rate": 1.5790163491481896e-06,
      "loss": 0.3633,
      "step": 2347
    },
    {
      "epoch": 0.6261333333333333,
      "grad_norm": 2.6434850637100653,
      "learning_rate": 1.5770395337299546e-06,
      "loss": 0.4151,
      "step": 2348
    },
    {
      "epoch": 0.6264,
      "grad_norm": 2.4715488212891255,
      "learning_rate": 1.5750633862313437e-06,
      "loss": 0.4133,
      "step": 2349
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 2.8448108165793236,
      "learning_rate": 1.5730879080824345e-06,
      "loss": 0.4473,
      "step": 2350
    },
    {
      "epoch": 0.6269333333333333,
      "grad_norm": 2.3236610181855055,
      "learning_rate": 1.5711131007128256e-06,
      "loss": 0.3451,
      "step": 2351
    },
    {
      "epoch": 0.6272,
      "grad_norm": 2.3579664539338507,
      "learning_rate": 1.569138965551627e-06,
      "loss": 0.3738,
      "step": 2352
    },
    {
      "epoch": 0.6274666666666666,
      "grad_norm": 2.180533129114716,
      "learning_rate": 1.567165504027463e-06,
      "loss": 0.3688,
      "step": 2353
    },
    {
      "epoch": 0.6277333333333334,
      "grad_norm": 2.468356242794101,
      "learning_rate": 1.5651927175684688e-06,
      "loss": 0.3659,
      "step": 2354
    },
    {
      "epoch": 0.628,
      "grad_norm": 2.538879812875634,
      "learning_rate": 1.5632206076022938e-06,
      "loss": 0.378,
      "step": 2355
    },
    {
      "epoch": 0.6282666666666666,
      "grad_norm": 2.607969657321393,
      "learning_rate": 1.5612491755560976e-06,
      "loss": 0.4313,
      "step": 2356
    },
    {
      "epoch": 0.6285333333333334,
      "grad_norm": 2.7799072428526364,
      "learning_rate": 1.5592784228565455e-06,
      "loss": 0.4189,
      "step": 2357
    },
    {
      "epoch": 0.6288,
      "grad_norm": 3.097651354873283,
      "learning_rate": 1.557308350929816e-06,
      "loss": 0.445,
      "step": 2358
    },
    {
      "epoch": 0.6290666666666667,
      "grad_norm": 2.356728558790544,
      "learning_rate": 1.5553389612015923e-06,
      "loss": 0.3423,
      "step": 2359
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 2.3881672160275937,
      "learning_rate": 1.5533702550970639e-06,
      "loss": 0.3803,
      "step": 2360
    },
    {
      "epoch": 0.6296,
      "grad_norm": 2.5266825462787272,
      "learning_rate": 1.5514022340409269e-06,
      "loss": 0.3898,
      "step": 2361
    },
    {
      "epoch": 0.6298666666666667,
      "grad_norm": 2.4738881946798403,
      "learning_rate": 1.5494348994573802e-06,
      "loss": 0.4473,
      "step": 2362
    },
    {
      "epoch": 0.6301333333333333,
      "grad_norm": 2.8264599732364055,
      "learning_rate": 1.5474682527701268e-06,
      "loss": 0.4286,
      "step": 2363
    },
    {
      "epoch": 0.6304,
      "grad_norm": 2.993099201965793,
      "learning_rate": 1.5455022954023714e-06,
      "loss": 0.4643,
      "step": 2364
    },
    {
      "epoch": 0.6306666666666667,
      "grad_norm": 2.723399561494605,
      "learning_rate": 1.54353702877682e-06,
      "loss": 0.4385,
      "step": 2365
    },
    {
      "epoch": 0.6309333333333333,
      "grad_norm": 2.9616857825321015,
      "learning_rate": 1.5415724543156807e-06,
      "loss": 0.4335,
      "step": 2366
    },
    {
      "epoch": 0.6312,
      "grad_norm": 2.8984770419183605,
      "learning_rate": 1.5396085734406557e-06,
      "loss": 0.4385,
      "step": 2367
    },
    {
      "epoch": 0.6314666666666666,
      "grad_norm": 2.7055356283539984,
      "learning_rate": 1.5376453875729508e-06,
      "loss": 0.4378,
      "step": 2368
    },
    {
      "epoch": 0.6317333333333334,
      "grad_norm": 2.985840301722521,
      "learning_rate": 1.5356828981332664e-06,
      "loss": 0.4467,
      "step": 2369
    },
    {
      "epoch": 0.632,
      "grad_norm": 2.8193604652593285,
      "learning_rate": 1.5337211065417974e-06,
      "loss": 0.4576,
      "step": 2370
    },
    {
      "epoch": 0.6322666666666666,
      "grad_norm": 2.5192948998367672,
      "learning_rate": 1.5317600142182364e-06,
      "loss": 0.3957,
      "step": 2371
    },
    {
      "epoch": 0.6325333333333333,
      "grad_norm": 2.412040267544466,
      "learning_rate": 1.529799622581769e-06,
      "loss": 0.3874,
      "step": 2372
    },
    {
      "epoch": 0.6328,
      "grad_norm": 4.410900915652979,
      "learning_rate": 1.5278399330510735e-06,
      "loss": 0.4776,
      "step": 2373
    },
    {
      "epoch": 0.6330666666666667,
      "grad_norm": 2.656350712802564,
      "learning_rate": 1.5258809470443186e-06,
      "loss": 0.4307,
      "step": 2374
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 2.4184625913801048,
      "learning_rate": 1.5239226659791685e-06,
      "loss": 0.377,
      "step": 2375
    },
    {
      "epoch": 0.6336,
      "grad_norm": 4.0092384709030044,
      "learning_rate": 1.521965091272771e-06,
      "loss": 0.4443,
      "step": 2376
    },
    {
      "epoch": 0.6338666666666667,
      "grad_norm": 3.0125405863718404,
      "learning_rate": 1.5200082243417675e-06,
      "loss": 0.46,
      "step": 2377
    },
    {
      "epoch": 0.6341333333333333,
      "grad_norm": 2.4559572506929053,
      "learning_rate": 1.5180520666022852e-06,
      "loss": 0.3912,
      "step": 2378
    },
    {
      "epoch": 0.6344,
      "grad_norm": 2.9241371364264377,
      "learning_rate": 1.5160966194699401e-06,
      "loss": 0.4609,
      "step": 2379
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 2.3768145203766444,
      "learning_rate": 1.51414188435983e-06,
      "loss": 0.3533,
      "step": 2380
    },
    {
      "epoch": 0.6349333333333333,
      "grad_norm": 2.3570311712473835,
      "learning_rate": 1.5121878626865413e-06,
      "loss": 0.3638,
      "step": 2381
    },
    {
      "epoch": 0.6352,
      "grad_norm": 2.849803772781318,
      "learning_rate": 1.5102345558641429e-06,
      "loss": 0.43,
      "step": 2382
    },
    {
      "epoch": 0.6354666666666666,
      "grad_norm": 2.5649973367277874,
      "learning_rate": 1.5082819653061841e-06,
      "loss": 0.4079,
      "step": 2383
    },
    {
      "epoch": 0.6357333333333334,
      "grad_norm": 2.4469776396352825,
      "learning_rate": 1.506330092425699e-06,
      "loss": 0.3954,
      "step": 2384
    },
    {
      "epoch": 0.636,
      "grad_norm": 2.7672848978587323,
      "learning_rate": 1.5043789386352025e-06,
      "loss": 0.4344,
      "step": 2385
    },
    {
      "epoch": 0.6362666666666666,
      "grad_norm": 2.9797224424925672,
      "learning_rate": 1.5024285053466859e-06,
      "loss": 0.4404,
      "step": 2386
    },
    {
      "epoch": 0.6365333333333333,
      "grad_norm": 2.609602146732846,
      "learning_rate": 1.5004787939716215e-06,
      "loss": 0.4447,
      "step": 2387
    },
    {
      "epoch": 0.6368,
      "grad_norm": 2.7068356809684357,
      "learning_rate": 1.4985298059209596e-06,
      "loss": 0.4522,
      "step": 2388
    },
    {
      "epoch": 0.6370666666666667,
      "grad_norm": 2.652476754165673,
      "learning_rate": 1.4965815426051245e-06,
      "loss": 0.441,
      "step": 2389
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 3.0079055441216935,
      "learning_rate": 1.4946340054340191e-06,
      "loss": 0.4195,
      "step": 2390
    },
    {
      "epoch": 0.6376,
      "grad_norm": 3.3814705936920184,
      "learning_rate": 1.4926871958170187e-06,
      "loss": 0.4749,
      "step": 2391
    },
    {
      "epoch": 0.6378666666666667,
      "grad_norm": 2.2884057485517153,
      "learning_rate": 1.490741115162973e-06,
      "loss": 0.3359,
      "step": 2392
    },
    {
      "epoch": 0.6381333333333333,
      "grad_norm": 2.8072953359571016,
      "learning_rate": 1.4887957648802035e-06,
      "loss": 0.4513,
      "step": 2393
    },
    {
      "epoch": 0.6384,
      "grad_norm": 2.518986598254198,
      "learning_rate": 1.4868511463765033e-06,
      "loss": 0.4219,
      "step": 2394
    },
    {
      "epoch": 0.6386666666666667,
      "grad_norm": 3.138131725548987,
      "learning_rate": 1.484907261059138e-06,
      "loss": 0.4719,
      "step": 2395
    },
    {
      "epoch": 0.6389333333333334,
      "grad_norm": 3.074198103727027,
      "learning_rate": 1.4829641103348388e-06,
      "loss": 0.4548,
      "step": 2396
    },
    {
      "epoch": 0.6392,
      "grad_norm": 2.697994722512155,
      "learning_rate": 1.4810216956098077e-06,
      "loss": 0.4453,
      "step": 2397
    },
    {
      "epoch": 0.6394666666666666,
      "grad_norm": 3.1249389811686634,
      "learning_rate": 1.4790800182897152e-06,
      "loss": 0.437,
      "step": 2398
    },
    {
      "epoch": 0.6397333333333334,
      "grad_norm": 2.7341928333224956,
      "learning_rate": 1.4771390797796947e-06,
      "loss": 0.4053,
      "step": 2399
    },
    {
      "epoch": 0.64,
      "grad_norm": 2.3246811007757766,
      "learning_rate": 1.4751988814843482e-06,
      "loss": 0.3665,
      "step": 2400
    },
    {
      "epoch": 0.6402666666666667,
      "grad_norm": 2.6693383157444917,
      "learning_rate": 1.4732594248077399e-06,
      "loss": 0.4124,
      "step": 2401
    },
    {
      "epoch": 0.6405333333333333,
      "grad_norm": 2.7060481532406784,
      "learning_rate": 1.471320711153399e-06,
      "loss": 0.4163,
      "step": 2402
    },
    {
      "epoch": 0.6408,
      "grad_norm": 2.516061700495182,
      "learning_rate": 1.469382741924315e-06,
      "loss": 0.4145,
      "step": 2403
    },
    {
      "epoch": 0.6410666666666667,
      "grad_norm": 3.2721471547769365,
      "learning_rate": 1.4674455185229402e-06,
      "loss": 0.4339,
      "step": 2404
    },
    {
      "epoch": 0.6413333333333333,
      "grad_norm": 3.202075307789475,
      "learning_rate": 1.4655090423511883e-06,
      "loss": 0.4889,
      "step": 2405
    },
    {
      "epoch": 0.6416,
      "grad_norm": 2.5997505169294337,
      "learning_rate": 1.4635733148104284e-06,
      "loss": 0.4124,
      "step": 2406
    },
    {
      "epoch": 0.6418666666666667,
      "grad_norm": 2.7575151252502463,
      "learning_rate": 1.4616383373014914e-06,
      "loss": 0.3997,
      "step": 2407
    },
    {
      "epoch": 0.6421333333333333,
      "grad_norm": 2.2100730342481016,
      "learning_rate": 1.4597041112246646e-06,
      "loss": 0.3464,
      "step": 2408
    },
    {
      "epoch": 0.6424,
      "grad_norm": 2.7253143149065213,
      "learning_rate": 1.45777063797969e-06,
      "loss": 0.4847,
      "step": 2409
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 2.94478194651154,
      "learning_rate": 1.4558379189657669e-06,
      "loss": 0.454,
      "step": 2410
    },
    {
      "epoch": 0.6429333333333334,
      "grad_norm": 2.3836452047508647,
      "learning_rate": 1.453905955581547e-06,
      "loss": 0.3705,
      "step": 2411
    },
    {
      "epoch": 0.6432,
      "grad_norm": 2.5369908302182065,
      "learning_rate": 1.4519747492251367e-06,
      "loss": 0.3969,
      "step": 2412
    },
    {
      "epoch": 0.6434666666666666,
      "grad_norm": 2.72548618117417,
      "learning_rate": 1.4500443012940926e-06,
      "loss": 0.3472,
      "step": 2413
    },
    {
      "epoch": 0.6437333333333334,
      "grad_norm": 2.2986304621321576,
      "learning_rate": 1.4481146131854252e-06,
      "loss": 0.3743,
      "step": 2414
    },
    {
      "epoch": 0.644,
      "grad_norm": 2.5457919175785078,
      "learning_rate": 1.4461856862955941e-06,
      "loss": 0.431,
      "step": 2415
    },
    {
      "epoch": 0.6442666666666667,
      "grad_norm": 2.448643350047984,
      "learning_rate": 1.4442575220205043e-06,
      "loss": 0.3784,
      "step": 2416
    },
    {
      "epoch": 0.6445333333333333,
      "grad_norm": 2.6979780018995516,
      "learning_rate": 1.4423301217555153e-06,
      "loss": 0.4899,
      "step": 2417
    },
    {
      "epoch": 0.6448,
      "grad_norm": 2.4534258516151146,
      "learning_rate": 1.4404034868954294e-06,
      "loss": 0.4026,
      "step": 2418
    },
    {
      "epoch": 0.6450666666666667,
      "grad_norm": 2.7350661254372524,
      "learning_rate": 1.4384776188344962e-06,
      "loss": 0.413,
      "step": 2419
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 2.676618675094737,
      "learning_rate": 1.4365525189664098e-06,
      "loss": 0.4246,
      "step": 2420
    },
    {
      "epoch": 0.6456,
      "grad_norm": 2.3883903456614375,
      "learning_rate": 1.4346281886843111e-06,
      "loss": 0.3581,
      "step": 2421
    },
    {
      "epoch": 0.6458666666666667,
      "grad_norm": 2.4751276730084784,
      "learning_rate": 1.4327046293807786e-06,
      "loss": 0.4412,
      "step": 2422
    },
    {
      "epoch": 0.6461333333333333,
      "grad_norm": 2.689956778046366,
      "learning_rate": 1.430781842447839e-06,
      "loss": 0.4045,
      "step": 2423
    },
    {
      "epoch": 0.6464,
      "grad_norm": 2.719274770137512,
      "learning_rate": 1.4288598292769561e-06,
      "loss": 0.4128,
      "step": 2424
    },
    {
      "epoch": 0.6466666666666666,
      "grad_norm": 3.1563077918329143,
      "learning_rate": 1.426938591259035e-06,
      "loss": 0.5018,
      "step": 2425
    },
    {
      "epoch": 0.6469333333333334,
      "grad_norm": 2.4105085173212184,
      "learning_rate": 1.4250181297844196e-06,
      "loss": 0.3937,
      "step": 2426
    },
    {
      "epoch": 0.6472,
      "grad_norm": 2.3331272766381597,
      "learning_rate": 1.423098446242891e-06,
      "loss": 0.3697,
      "step": 2427
    },
    {
      "epoch": 0.6474666666666666,
      "grad_norm": 2.509038786047456,
      "learning_rate": 1.4211795420236716e-06,
      "loss": 0.3888,
      "step": 2428
    },
    {
      "epoch": 0.6477333333333334,
      "grad_norm": 2.623821591952937,
      "learning_rate": 1.419261418515412e-06,
      "loss": 0.4439,
      "step": 2429
    },
    {
      "epoch": 0.648,
      "grad_norm": 2.339824766086487,
      "learning_rate": 1.4173440771062057e-06,
      "loss": 0.3516,
      "step": 2430
    },
    {
      "epoch": 0.6482666666666667,
      "grad_norm": 2.4321906682561547,
      "learning_rate": 1.4154275191835762e-06,
      "loss": 0.3845,
      "step": 2431
    },
    {
      "epoch": 0.6485333333333333,
      "grad_norm": 2.6017601929288756,
      "learning_rate": 1.41351174613448e-06,
      "loss": 0.4005,
      "step": 2432
    },
    {
      "epoch": 0.6488,
      "grad_norm": 2.5402743307977036,
      "learning_rate": 1.4115967593453065e-06,
      "loss": 0.4067,
      "step": 2433
    },
    {
      "epoch": 0.6490666666666667,
      "grad_norm": 2.4911124449217272,
      "learning_rate": 1.409682560201876e-06,
      "loss": 0.4102,
      "step": 2434
    },
    {
      "epoch": 0.6493333333333333,
      "grad_norm": 2.798019919841236,
      "learning_rate": 1.4077691500894386e-06,
      "loss": 0.4871,
      "step": 2435
    },
    {
      "epoch": 0.6496,
      "grad_norm": 2.472431569269953,
      "learning_rate": 1.4058565303926724e-06,
      "loss": 0.4053,
      "step": 2436
    },
    {
      "epoch": 0.6498666666666667,
      "grad_norm": 2.803756363544423,
      "learning_rate": 1.403944702495688e-06,
      "loss": 0.4588,
      "step": 2437
    },
    {
      "epoch": 0.6501333333333333,
      "grad_norm": 2.803395635161473,
      "learning_rate": 1.4020336677820157e-06,
      "loss": 0.3878,
      "step": 2438
    },
    {
      "epoch": 0.6504,
      "grad_norm": 2.5845555090976564,
      "learning_rate": 1.4001234276346175e-06,
      "loss": 0.3763,
      "step": 2439
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 2.465824786492147,
      "learning_rate": 1.3982139834358783e-06,
      "loss": 0.3598,
      "step": 2440
    },
    {
      "epoch": 0.6509333333333334,
      "grad_norm": 2.7330017001808606,
      "learning_rate": 1.3963053365676088e-06,
      "loss": 0.4201,
      "step": 2441
    },
    {
      "epoch": 0.6512,
      "grad_norm": 2.6638940483817217,
      "learning_rate": 1.3943974884110383e-06,
      "loss": 0.4331,
      "step": 2442
    },
    {
      "epoch": 0.6514666666666666,
      "grad_norm": 2.894307963668618,
      "learning_rate": 1.3924904403468232e-06,
      "loss": 0.4728,
      "step": 2443
    },
    {
      "epoch": 0.6517333333333334,
      "grad_norm": 3.3533323944221722,
      "learning_rate": 1.390584193755039e-06,
      "loss": 0.4276,
      "step": 2444
    },
    {
      "epoch": 0.652,
      "grad_norm": 2.7219146678369706,
      "learning_rate": 1.3886787500151777e-06,
      "loss": 0.437,
      "step": 2445
    },
    {
      "epoch": 0.6522666666666667,
      "grad_norm": 2.223321322525736,
      "learning_rate": 1.386774110506157e-06,
      "loss": 0.3579,
      "step": 2446
    },
    {
      "epoch": 0.6525333333333333,
      "grad_norm": 2.4413181447194243,
      "learning_rate": 1.384870276606307e-06,
      "loss": 0.4196,
      "step": 2447
    },
    {
      "epoch": 0.6528,
      "grad_norm": 2.3180640614847934,
      "learning_rate": 1.3829672496933782e-06,
      "loss": 0.3704,
      "step": 2448
    },
    {
      "epoch": 0.6530666666666667,
      "grad_norm": 2.6212411797240587,
      "learning_rate": 1.381065031144534e-06,
      "loss": 0.4215,
      "step": 2449
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 2.6750023958007247,
      "learning_rate": 1.3791636223363575e-06,
      "loss": 0.4177,
      "step": 2450
    },
    {
      "epoch": 0.6536,
      "grad_norm": 2.4207320982647467,
      "learning_rate": 1.3772630246448392e-06,
      "loss": 0.37,
      "step": 2451
    },
    {
      "epoch": 0.6538666666666667,
      "grad_norm": 2.2746856172213574,
      "learning_rate": 1.3753632394453891e-06,
      "loss": 0.3551,
      "step": 2452
    },
    {
      "epoch": 0.6541333333333333,
      "grad_norm": 2.73978550773163,
      "learning_rate": 1.3734642681128257e-06,
      "loss": 0.4063,
      "step": 2453
    },
    {
      "epoch": 0.6544,
      "grad_norm": 2.6696537988698488,
      "learning_rate": 1.3715661120213793e-06,
      "loss": 0.4081,
      "step": 2454
    },
    {
      "epoch": 0.6546666666666666,
      "grad_norm": 2.406896624904754,
      "learning_rate": 1.36966877254469e-06,
      "loss": 0.3652,
      "step": 2455
    },
    {
      "epoch": 0.6549333333333334,
      "grad_norm": 2.8644095751706447,
      "learning_rate": 1.3677722510558062e-06,
      "loss": 0.3895,
      "step": 2456
    },
    {
      "epoch": 0.6552,
      "grad_norm": 2.7220053067532173,
      "learning_rate": 1.3658765489271885e-06,
      "loss": 0.4258,
      "step": 2457
    },
    {
      "epoch": 0.6554666666666666,
      "grad_norm": 2.381468957817491,
      "learning_rate": 1.3639816675306971e-06,
      "loss": 0.4046,
      "step": 2458
    },
    {
      "epoch": 0.6557333333333333,
      "grad_norm": 3.161149147100165,
      "learning_rate": 1.3620876082376057e-06,
      "loss": 0.4416,
      "step": 2459
    },
    {
      "epoch": 0.656,
      "grad_norm": 2.6114831764942523,
      "learning_rate": 1.3601943724185885e-06,
      "loss": 0.4019,
      "step": 2460
    },
    {
      "epoch": 0.6562666666666667,
      "grad_norm": 2.375644773119719,
      "learning_rate": 1.3583019614437254e-06,
      "loss": 0.3572,
      "step": 2461
    },
    {
      "epoch": 0.6565333333333333,
      "grad_norm": 2.6304700936969545,
      "learning_rate": 1.3564103766824991e-06,
      "loss": 0.389,
      "step": 2462
    },
    {
      "epoch": 0.6568,
      "grad_norm": 2.642416705673288,
      "learning_rate": 1.3545196195037947e-06,
      "loss": 0.3912,
      "step": 2463
    },
    {
      "epoch": 0.6570666666666667,
      "grad_norm": 2.5758768874644833,
      "learning_rate": 1.3526296912758977e-06,
      "loss": 0.3781,
      "step": 2464
    },
    {
      "epoch": 0.6573333333333333,
      "grad_norm": 2.3434895266296456,
      "learning_rate": 1.3507405933664936e-06,
      "loss": 0.3953,
      "step": 2465
    },
    {
      "epoch": 0.6576,
      "grad_norm": 2.9107759310767585,
      "learning_rate": 1.348852327142669e-06,
      "loss": 0.4231,
      "step": 2466
    },
    {
      "epoch": 0.6578666666666667,
      "grad_norm": 2.5072447603821035,
      "learning_rate": 1.3469648939709069e-06,
      "loss": 0.3871,
      "step": 2467
    },
    {
      "epoch": 0.6581333333333333,
      "grad_norm": 2.5155063223163903,
      "learning_rate": 1.3450782952170871e-06,
      "loss": 0.4049,
      "step": 2468
    },
    {
      "epoch": 0.6584,
      "grad_norm": 2.7027170398781566,
      "learning_rate": 1.3431925322464852e-06,
      "loss": 0.4084,
      "step": 2469
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 2.998752822675095,
      "learning_rate": 1.3413076064237768e-06,
      "loss": 0.4142,
      "step": 2470
    },
    {
      "epoch": 0.6589333333333334,
      "grad_norm": 2.6589560078891954,
      "learning_rate": 1.339423519113023e-06,
      "loss": 0.3976,
      "step": 2471
    },
    {
      "epoch": 0.6592,
      "grad_norm": 2.5532309681328593,
      "learning_rate": 1.3375402716776865e-06,
      "loss": 0.4121,
      "step": 2472
    },
    {
      "epoch": 0.6594666666666666,
      "grad_norm": 4.3707559663931175,
      "learning_rate": 1.3356578654806168e-06,
      "loss": 0.4853,
      "step": 2473
    },
    {
      "epoch": 0.6597333333333333,
      "grad_norm": 2.984914678641659,
      "learning_rate": 1.3337763018840578e-06,
      "loss": 0.4076,
      "step": 2474
    },
    {
      "epoch": 0.66,
      "grad_norm": 2.4417826627598793,
      "learning_rate": 1.331895582249641e-06,
      "loss": 0.3846,
      "step": 2475
    },
    {
      "epoch": 0.6602666666666667,
      "grad_norm": 2.4643088926316676,
      "learning_rate": 1.3300157079383879e-06,
      "loss": 0.4041,
      "step": 2476
    },
    {
      "epoch": 0.6605333333333333,
      "grad_norm": 3.1562645891090586,
      "learning_rate": 1.3281366803107123e-06,
      "loss": 0.454,
      "step": 2477
    },
    {
      "epoch": 0.6608,
      "grad_norm": 2.6176774801300655,
      "learning_rate": 1.3262585007264073e-06,
      "loss": 0.3923,
      "step": 2478
    },
    {
      "epoch": 0.6610666666666667,
      "grad_norm": 2.2301505590129693,
      "learning_rate": 1.3243811705446603e-06,
      "loss": 0.3436,
      "step": 2479
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 2.6654116076493173,
      "learning_rate": 1.3225046911240385e-06,
      "loss": 0.3886,
      "step": 2480
    },
    {
      "epoch": 0.6616,
      "grad_norm": 2.403990280977982,
      "learning_rate": 1.3206290638224965e-06,
      "loss": 0.4287,
      "step": 2481
    },
    {
      "epoch": 0.6618666666666667,
      "grad_norm": 2.601006758023964,
      "learning_rate": 1.3187542899973704e-06,
      "loss": 0.4177,
      "step": 2482
    },
    {
      "epoch": 0.6621333333333334,
      "grad_norm": 2.604236917587375,
      "learning_rate": 1.31688037100538e-06,
      "loss": 0.4378,
      "step": 2483
    },
    {
      "epoch": 0.6624,
      "grad_norm": 2.3951957557664643,
      "learning_rate": 1.3150073082026255e-06,
      "loss": 0.3942,
      "step": 2484
    },
    {
      "epoch": 0.6626666666666666,
      "grad_norm": 2.5955822317200856,
      "learning_rate": 1.3131351029445875e-06,
      "loss": 0.4182,
      "step": 2485
    },
    {
      "epoch": 0.6629333333333334,
      "grad_norm": 2.5143449841622103,
      "learning_rate": 1.3112637565861287e-06,
      "loss": 0.4163,
      "step": 2486
    },
    {
      "epoch": 0.6632,
      "grad_norm": 2.343677560322538,
      "learning_rate": 1.3093932704814847e-06,
      "loss": 0.3806,
      "step": 2487
    },
    {
      "epoch": 0.6634666666666666,
      "grad_norm": 2.558537720626036,
      "learning_rate": 1.3075236459842744e-06,
      "loss": 0.407,
      "step": 2488
    },
    {
      "epoch": 0.6637333333333333,
      "grad_norm": 2.6161272537210154,
      "learning_rate": 1.3056548844474895e-06,
      "loss": 0.4279,
      "step": 2489
    },
    {
      "epoch": 0.664,
      "grad_norm": 2.3814303980597056,
      "learning_rate": 1.3037869872234988e-06,
      "loss": 0.3552,
      "step": 2490
    },
    {
      "epoch": 0.6642666666666667,
      "grad_norm": 2.508096472595113,
      "learning_rate": 1.3019199556640449e-06,
      "loss": 0.3732,
      "step": 2491
    },
    {
      "epoch": 0.6645333333333333,
      "grad_norm": 2.747613548696349,
      "learning_rate": 1.3000537911202431e-06,
      "loss": 0.4587,
      "step": 2492
    },
    {
      "epoch": 0.6648,
      "grad_norm": 2.732504713546252,
      "learning_rate": 1.2981884949425856e-06,
      "loss": 0.4387,
      "step": 2493
    },
    {
      "epoch": 0.6650666666666667,
      "grad_norm": 2.428172228049998,
      "learning_rate": 1.2963240684809286e-06,
      "loss": 0.3916,
      "step": 2494
    },
    {
      "epoch": 0.6653333333333333,
      "grad_norm": 2.873511867829842,
      "learning_rate": 1.2944605130845066e-06,
      "loss": 0.4145,
      "step": 2495
    },
    {
      "epoch": 0.6656,
      "grad_norm": 2.8324303906646593,
      "learning_rate": 1.2925978301019193e-06,
      "loss": 0.4377,
      "step": 2496
    },
    {
      "epoch": 0.6658666666666667,
      "grad_norm": 2.5377830506749186,
      "learning_rate": 1.2907360208811362e-06,
      "loss": 0.3796,
      "step": 2497
    },
    {
      "epoch": 0.6661333333333334,
      "grad_norm": 2.9246442235305925,
      "learning_rate": 1.2888750867694933e-06,
      "loss": 0.4732,
      "step": 2498
    },
    {
      "epoch": 0.6664,
      "grad_norm": 2.6693253509620205,
      "learning_rate": 1.2870150291136974e-06,
      "loss": 0.4336,
      "step": 2499
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 2.2320358392391015,
      "learning_rate": 1.2851558492598143e-06,
      "loss": 0.363,
      "step": 2500
    },
    {
      "epoch": 0.6669333333333334,
      "grad_norm": 2.350472165455904,
      "learning_rate": 1.2832975485532811e-06,
      "loss": 0.3814,
      "step": 2501
    },
    {
      "epoch": 0.6672,
      "grad_norm": 2.6094880733460615,
      "learning_rate": 1.2814401283388953e-06,
      "loss": 0.4269,
      "step": 2502
    },
    {
      "epoch": 0.6674666666666667,
      "grad_norm": 2.817975911472412,
      "learning_rate": 1.2795835899608173e-06,
      "loss": 0.4084,
      "step": 2503
    },
    {
      "epoch": 0.6677333333333333,
      "grad_norm": 2.4308343371647014,
      "learning_rate": 1.2777279347625704e-06,
      "loss": 0.3758,
      "step": 2504
    },
    {
      "epoch": 0.668,
      "grad_norm": 2.3993714552758463,
      "learning_rate": 1.275873164087037e-06,
      "loss": 0.3722,
      "step": 2505
    },
    {
      "epoch": 0.6682666666666667,
      "grad_norm": 2.7114139574750737,
      "learning_rate": 1.2740192792764637e-06,
      "loss": 0.4058,
      "step": 2506
    },
    {
      "epoch": 0.6685333333333333,
      "grad_norm": 2.475967001525161,
      "learning_rate": 1.2721662816724487e-06,
      "loss": 0.4074,
      "step": 2507
    },
    {
      "epoch": 0.6688,
      "grad_norm": 2.6849059857272155,
      "learning_rate": 1.2703141726159557e-06,
      "loss": 0.4292,
      "step": 2508
    },
    {
      "epoch": 0.6690666666666667,
      "grad_norm": 2.789423621872969,
      "learning_rate": 1.2684629534473014e-06,
      "loss": 0.4471,
      "step": 2509
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 2.7902747820633516,
      "learning_rate": 1.2666126255061588e-06,
      "loss": 0.437,
      "step": 2510
    },
    {
      "epoch": 0.6696,
      "grad_norm": 3.96815769384453,
      "learning_rate": 1.2647631901315563e-06,
      "loss": 0.4679,
      "step": 2511
    },
    {
      "epoch": 0.6698666666666667,
      "grad_norm": 2.595647454100375,
      "learning_rate": 1.2629146486618768e-06,
      "loss": 0.3684,
      "step": 2512
    },
    {
      "epoch": 0.6701333333333334,
      "grad_norm": 2.7336344425918635,
      "learning_rate": 1.261067002434856e-06,
      "loss": 0.3944,
      "step": 2513
    },
    {
      "epoch": 0.6704,
      "grad_norm": 2.8388196014637574,
      "learning_rate": 1.2592202527875798e-06,
      "loss": 0.405,
      "step": 2514
    },
    {
      "epoch": 0.6706666666666666,
      "grad_norm": 2.4857077652772035,
      "learning_rate": 1.2573744010564903e-06,
      "loss": 0.3984,
      "step": 2515
    },
    {
      "epoch": 0.6709333333333334,
      "grad_norm": 2.7017110740739154,
      "learning_rate": 1.2555294485773753e-06,
      "loss": 0.4067,
      "step": 2516
    },
    {
      "epoch": 0.6712,
      "grad_norm": 2.854706789315105,
      "learning_rate": 1.253685396685373e-06,
      "loss": 0.4311,
      "step": 2517
    },
    {
      "epoch": 0.6714666666666667,
      "grad_norm": 2.997063246194408,
      "learning_rate": 1.2518422467149699e-06,
      "loss": 0.4493,
      "step": 2518
    },
    {
      "epoch": 0.6717333333333333,
      "grad_norm": 2.577918632812764,
      "learning_rate": 1.2500000000000007e-06,
      "loss": 0.4416,
      "step": 2519
    },
    {
      "epoch": 0.672,
      "grad_norm": 2.662733966181954,
      "learning_rate": 1.2481586578736448e-06,
      "loss": 0.4327,
      "step": 2520
    },
    {
      "epoch": 0.6722666666666667,
      "grad_norm": 2.713048455673159,
      "learning_rate": 1.2463182216684277e-06,
      "loss": 0.4115,
      "step": 2521
    },
    {
      "epoch": 0.6725333333333333,
      "grad_norm": 2.562335983508874,
      "learning_rate": 1.2444786927162222e-06,
      "loss": 0.3874,
      "step": 2522
    },
    {
      "epoch": 0.6728,
      "grad_norm": 2.8043460316759705,
      "learning_rate": 1.242640072348238e-06,
      "loss": 0.4697,
      "step": 2523
    },
    {
      "epoch": 0.6730666666666667,
      "grad_norm": 2.578561103791658,
      "learning_rate": 1.2408023618950337e-06,
      "loss": 0.381,
      "step": 2524
    },
    {
      "epoch": 0.6733333333333333,
      "grad_norm": 3.3019319135363476,
      "learning_rate": 1.2389655626865064e-06,
      "loss": 0.4962,
      "step": 2525
    },
    {
      "epoch": 0.6736,
      "grad_norm": 3.0710653067217004,
      "learning_rate": 1.2371296760518935e-06,
      "loss": 0.4562,
      "step": 2526
    },
    {
      "epoch": 0.6738666666666666,
      "grad_norm": 2.630908371741785,
      "learning_rate": 1.2352947033197727e-06,
      "loss": 0.3999,
      "step": 2527
    },
    {
      "epoch": 0.6741333333333334,
      "grad_norm": 3.0396277885009324,
      "learning_rate": 1.2334606458180614e-06,
      "loss": 0.4649,
      "step": 2528
    },
    {
      "epoch": 0.6744,
      "grad_norm": 2.627301661901626,
      "learning_rate": 1.2316275048740133e-06,
      "loss": 0.4433,
      "step": 2529
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 2.800786756674229,
      "learning_rate": 1.2297952818142189e-06,
      "loss": 0.4399,
      "step": 2530
    },
    {
      "epoch": 0.6749333333333334,
      "grad_norm": 2.6159759553849455,
      "learning_rate": 1.227963977964605e-06,
      "loss": 0.4225,
      "step": 2531
    },
    {
      "epoch": 0.6752,
      "grad_norm": 2.607686639559331,
      "learning_rate": 1.226133594650432e-06,
      "loss": 0.4091,
      "step": 2532
    },
    {
      "epoch": 0.6754666666666667,
      "grad_norm": 3.0570439010475146,
      "learning_rate": 1.224304133196296e-06,
      "loss": 0.4562,
      "step": 2533
    },
    {
      "epoch": 0.6757333333333333,
      "grad_norm": 2.685125182843672,
      "learning_rate": 1.2224755949261235e-06,
      "loss": 0.3903,
      "step": 2534
    },
    {
      "epoch": 0.676,
      "grad_norm": 3.2880039106894965,
      "learning_rate": 1.2206479811631774e-06,
      "loss": 0.4378,
      "step": 2535
    },
    {
      "epoch": 0.6762666666666667,
      "grad_norm": 2.48134573985429,
      "learning_rate": 1.218821293230045e-06,
      "loss": 0.4417,
      "step": 2536
    },
    {
      "epoch": 0.6765333333333333,
      "grad_norm": 2.94768746182571,
      "learning_rate": 1.2169955324486497e-06,
      "loss": 0.4732,
      "step": 2537
    },
    {
      "epoch": 0.6768,
      "grad_norm": 2.5918749841040465,
      "learning_rate": 1.2151707001402407e-06,
      "loss": 0.4524,
      "step": 2538
    },
    {
      "epoch": 0.6770666666666667,
      "grad_norm": 2.6193616032627856,
      "learning_rate": 1.213346797625396e-06,
      "loss": 0.4025,
      "step": 2539
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 2.469113469912836,
      "learning_rate": 1.2115238262240205e-06,
      "loss": 0.3851,
      "step": 2540
    },
    {
      "epoch": 0.6776,
      "grad_norm": 2.9265869543466225,
      "learning_rate": 1.209701787255345e-06,
      "loss": 0.4971,
      "step": 2541
    },
    {
      "epoch": 0.6778666666666666,
      "grad_norm": 2.7367108849981023,
      "learning_rate": 1.2078806820379286e-06,
      "loss": 0.4156,
      "step": 2542
    },
    {
      "epoch": 0.6781333333333334,
      "grad_norm": 2.744616921001055,
      "learning_rate": 1.2060605118896484e-06,
      "loss": 0.4706,
      "step": 2543
    },
    {
      "epoch": 0.6784,
      "grad_norm": 2.435449471007328,
      "learning_rate": 1.2042412781277113e-06,
      "loss": 0.3753,
      "step": 2544
    },
    {
      "epoch": 0.6786666666666666,
      "grad_norm": 2.64906541118817,
      "learning_rate": 1.2024229820686434e-06,
      "loss": 0.4024,
      "step": 2545
    },
    {
      "epoch": 0.6789333333333334,
      "grad_norm": 2.4080359482396343,
      "learning_rate": 1.2006056250282921e-06,
      "loss": 0.4217,
      "step": 2546
    },
    {
      "epoch": 0.6792,
      "grad_norm": 3.240238449787834,
      "learning_rate": 1.1987892083218258e-06,
      "loss": 0.5739,
      "step": 2547
    },
    {
      "epoch": 0.6794666666666667,
      "grad_norm": 2.792879408925663,
      "learning_rate": 1.1969737332637326e-06,
      "loss": 0.4561,
      "step": 2548
    },
    {
      "epoch": 0.6797333333333333,
      "grad_norm": 2.9988051311487296,
      "learning_rate": 1.195159201167819e-06,
      "loss": 0.4817,
      "step": 2549
    },
    {
      "epoch": 0.68,
      "grad_norm": 2.833191420992992,
      "learning_rate": 1.193345613347208e-06,
      "loss": 0.4161,
      "step": 2550
    },
    {
      "epoch": 0.6802666666666667,
      "grad_norm": 2.391508251747325,
      "learning_rate": 1.191532971114342e-06,
      "loss": 0.4079,
      "step": 2551
    },
    {
      "epoch": 0.6805333333333333,
      "grad_norm": 2.631308968047709,
      "learning_rate": 1.1897212757809767e-06,
      "loss": 0.4105,
      "step": 2552
    },
    {
      "epoch": 0.6808,
      "grad_norm": 2.9259979130959355,
      "learning_rate": 1.1879105286581833e-06,
      "loss": 0.5033,
      "step": 2553
    },
    {
      "epoch": 0.6810666666666667,
      "grad_norm": 2.939265118920854,
      "learning_rate": 1.1861007310563459e-06,
      "loss": 0.4107,
      "step": 2554
    },
    {
      "epoch": 0.6813333333333333,
      "grad_norm": 2.683091807972439,
      "learning_rate": 1.1842918842851651e-06,
      "loss": 0.4135,
      "step": 2555
    },
    {
      "epoch": 0.6816,
      "grad_norm": 2.4505082284844897,
      "learning_rate": 1.1824839896536466e-06,
      "loss": 0.3663,
      "step": 2556
    },
    {
      "epoch": 0.6818666666666666,
      "grad_norm": 2.490245425637884,
      "learning_rate": 1.1806770484701144e-06,
      "loss": 0.3895,
      "step": 2557
    },
    {
      "epoch": 0.6821333333333334,
      "grad_norm": 3.0920897702424748,
      "learning_rate": 1.1788710620421978e-06,
      "loss": 0.4187,
      "step": 2558
    },
    {
      "epoch": 0.6824,
      "grad_norm": 2.202816456921587,
      "learning_rate": 1.1770660316768374e-06,
      "loss": 0.3697,
      "step": 2559
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 3.015703409432662,
      "learning_rate": 1.1752619586802802e-06,
      "loss": 0.4526,
      "step": 2560
    },
    {
      "epoch": 0.6829333333333333,
      "grad_norm": 2.4677795641013307,
      "learning_rate": 1.173458844358082e-06,
      "loss": 0.4047,
      "step": 2561
    },
    {
      "epoch": 0.6832,
      "grad_norm": 2.6728415767150686,
      "learning_rate": 1.1716566900151036e-06,
      "loss": 0.3476,
      "step": 2562
    },
    {
      "epoch": 0.6834666666666667,
      "grad_norm": 2.588180630776306,
      "learning_rate": 1.1698554969555111e-06,
      "loss": 0.4142,
      "step": 2563
    },
    {
      "epoch": 0.6837333333333333,
      "grad_norm": 2.619089723490257,
      "learning_rate": 1.1680552664827775e-06,
      "loss": 0.4278,
      "step": 2564
    },
    {
      "epoch": 0.684,
      "grad_norm": 2.342095975158257,
      "learning_rate": 1.1662559998996755e-06,
      "loss": 0.3806,
      "step": 2565
    },
    {
      "epoch": 0.6842666666666667,
      "grad_norm": 2.623861475446881,
      "learning_rate": 1.1644576985082828e-06,
      "loss": 0.464,
      "step": 2566
    },
    {
      "epoch": 0.6845333333333333,
      "grad_norm": 2.5477427409046958,
      "learning_rate": 1.1626603636099777e-06,
      "loss": 0.378,
      "step": 2567
    },
    {
      "epoch": 0.6848,
      "grad_norm": 2.569817556360192,
      "learning_rate": 1.1608639965054383e-06,
      "loss": 0.4436,
      "step": 2568
    },
    {
      "epoch": 0.6850666666666667,
      "grad_norm": 2.9183388176226375,
      "learning_rate": 1.159068598494644e-06,
      "loss": 0.4766,
      "step": 2569
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 2.8827556431155696,
      "learning_rate": 1.157274170876871e-06,
      "loss": 0.4184,
      "step": 2570
    },
    {
      "epoch": 0.6856,
      "grad_norm": 2.7776315957575726,
      "learning_rate": 1.155480714950697e-06,
      "loss": 0.4469,
      "step": 2571
    },
    {
      "epoch": 0.6858666666666666,
      "grad_norm": 2.6784943917908985,
      "learning_rate": 1.15368823201399e-06,
      "loss": 0.4285,
      "step": 2572
    },
    {
      "epoch": 0.6861333333333334,
      "grad_norm": 2.4117005408674155,
      "learning_rate": 1.1518967233639207e-06,
      "loss": 0.3508,
      "step": 2573
    },
    {
      "epoch": 0.6864,
      "grad_norm": 2.5713113851277565,
      "learning_rate": 1.150106190296951e-06,
      "loss": 0.4037,
      "step": 2574
    },
    {
      "epoch": 0.6866666666666666,
      "grad_norm": 2.6612922097985976,
      "learning_rate": 1.1483166341088372e-06,
      "loss": 0.4051,
      "step": 2575
    },
    {
      "epoch": 0.6869333333333333,
      "grad_norm": 2.4135111737670325,
      "learning_rate": 1.1465280560946293e-06,
      "loss": 0.3849,
      "step": 2576
    },
    {
      "epoch": 0.6872,
      "grad_norm": 2.382718366250647,
      "learning_rate": 1.1447404575486679e-06,
      "loss": 0.3863,
      "step": 2577
    },
    {
      "epoch": 0.6874666666666667,
      "grad_norm": 2.947111685927436,
      "learning_rate": 1.1429538397645892e-06,
      "loss": 0.4407,
      "step": 2578
    },
    {
      "epoch": 0.6877333333333333,
      "grad_norm": 2.353261915560784,
      "learning_rate": 1.1411682040353126e-06,
      "loss": 0.3299,
      "step": 2579
    },
    {
      "epoch": 0.688,
      "grad_norm": 2.7126912272598425,
      "learning_rate": 1.1393835516530533e-06,
      "loss": 0.4566,
      "step": 2580
    },
    {
      "epoch": 0.6882666666666667,
      "grad_norm": 3.3127853302725088,
      "learning_rate": 1.1375998839093117e-06,
      "loss": 0.4971,
      "step": 2581
    },
    {
      "epoch": 0.6885333333333333,
      "grad_norm": 3.1136919341672544,
      "learning_rate": 1.135817202094876e-06,
      "loss": 0.4627,
      "step": 2582
    },
    {
      "epoch": 0.6888,
      "grad_norm": 2.32156441836775,
      "learning_rate": 1.1340355074998202e-06,
      "loss": 0.3612,
      "step": 2583
    },
    {
      "epoch": 0.6890666666666667,
      "grad_norm": 2.67853777652721,
      "learning_rate": 1.1322548014135077e-06,
      "loss": 0.3814,
      "step": 2584
    },
    {
      "epoch": 0.6893333333333334,
      "grad_norm": 2.685710250939222,
      "learning_rate": 1.1304750851245799e-06,
      "loss": 0.4122,
      "step": 2585
    },
    {
      "epoch": 0.6896,
      "grad_norm": 2.4846694233212143,
      "learning_rate": 1.1286963599209682e-06,
      "loss": 0.3923,
      "step": 2586
    },
    {
      "epoch": 0.6898666666666666,
      "grad_norm": 2.703934931449221,
      "learning_rate": 1.126918627089884e-06,
      "loss": 0.4555,
      "step": 2587
    },
    {
      "epoch": 0.6901333333333334,
      "grad_norm": 2.7237874391614176,
      "learning_rate": 1.1251418879178202e-06,
      "loss": 0.4393,
      "step": 2588
    },
    {
      "epoch": 0.6904,
      "grad_norm": 2.4250399690788313,
      "learning_rate": 1.1233661436905517e-06,
      "loss": 0.3646,
      "step": 2589
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 2.456613311674016,
      "learning_rate": 1.1215913956931313e-06,
      "loss": 0.3692,
      "step": 2590
    },
    {
      "epoch": 0.6909333333333333,
      "grad_norm": 2.6184306346282944,
      "learning_rate": 1.1198176452098958e-06,
      "loss": 0.4404,
      "step": 2591
    },
    {
      "epoch": 0.6912,
      "grad_norm": 2.935115884120423,
      "learning_rate": 1.1180448935244528e-06,
      "loss": 0.4355,
      "step": 2592
    },
    {
      "epoch": 0.6914666666666667,
      "grad_norm": 2.262993137751863,
      "learning_rate": 1.116273141919694e-06,
      "loss": 0.3498,
      "step": 2593
    },
    {
      "epoch": 0.6917333333333333,
      "grad_norm": 2.629489284447616,
      "learning_rate": 1.1145023916777837e-06,
      "loss": 0.4321,
      "step": 2594
    },
    {
      "epoch": 0.692,
      "grad_norm": 2.558461887562185,
      "learning_rate": 1.112732644080162e-06,
      "loss": 0.4029,
      "step": 2595
    },
    {
      "epoch": 0.6922666666666667,
      "grad_norm": 3.1959459537558326,
      "learning_rate": 1.1109639004075437e-06,
      "loss": 0.4351,
      "step": 2596
    },
    {
      "epoch": 0.6925333333333333,
      "grad_norm": 3.0184293102797493,
      "learning_rate": 1.1091961619399174e-06,
      "loss": 0.479,
      "step": 2597
    },
    {
      "epoch": 0.6928,
      "grad_norm": 2.3136686367482913,
      "learning_rate": 1.1074294299565438e-06,
      "loss": 0.3607,
      "step": 2598
    },
    {
      "epoch": 0.6930666666666667,
      "grad_norm": 2.513047086849379,
      "learning_rate": 1.1056637057359547e-06,
      "loss": 0.3982,
      "step": 2599
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 2.6277662010187464,
      "learning_rate": 1.103898990555955e-06,
      "loss": 0.4225,
      "step": 2600
    },
    {
      "epoch": 0.6936,
      "grad_norm": 2.3721807904127106,
      "learning_rate": 1.1021352856936166e-06,
      "loss": 0.3686,
      "step": 2601
    },
    {
      "epoch": 0.6938666666666666,
      "grad_norm": 2.6294235724784714,
      "learning_rate": 1.1003725924252815e-06,
      "loss": 0.3932,
      "step": 2602
    },
    {
      "epoch": 0.6941333333333334,
      "grad_norm": 2.824612825578296,
      "learning_rate": 1.0986109120265587e-06,
      "loss": 0.4206,
      "step": 2603
    },
    {
      "epoch": 0.6944,
      "grad_norm": 2.5996795574128857,
      "learning_rate": 1.0968502457723279e-06,
      "loss": 0.4115,
      "step": 2604
    },
    {
      "epoch": 0.6946666666666667,
      "grad_norm": 2.7190550121900445,
      "learning_rate": 1.0950905949367287e-06,
      "loss": 0.4369,
      "step": 2605
    },
    {
      "epoch": 0.6949333333333333,
      "grad_norm": 2.536916857613743,
      "learning_rate": 1.0933319607931698e-06,
      "loss": 0.4171,
      "step": 2606
    },
    {
      "epoch": 0.6952,
      "grad_norm": 2.4639094034858613,
      "learning_rate": 1.0915743446143258e-06,
      "loss": 0.3835,
      "step": 2607
    },
    {
      "epoch": 0.6954666666666667,
      "grad_norm": 2.5498938398878455,
      "learning_rate": 1.0898177476721294e-06,
      "loss": 0.3906,
      "step": 2608
    },
    {
      "epoch": 0.6957333333333333,
      "grad_norm": 2.6351833454169493,
      "learning_rate": 1.0880621712377807e-06,
      "loss": 0.4452,
      "step": 2609
    },
    {
      "epoch": 0.696,
      "grad_norm": 2.621174652795197,
      "learning_rate": 1.0863076165817386e-06,
      "loss": 0.4133,
      "step": 2610
    },
    {
      "epoch": 0.6962666666666667,
      "grad_norm": 2.480684604230722,
      "learning_rate": 1.0845540849737233e-06,
      "loss": 0.3782,
      "step": 2611
    },
    {
      "epoch": 0.6965333333333333,
      "grad_norm": 2.7916036484852023,
      "learning_rate": 1.0828015776827136e-06,
      "loss": 0.4412,
      "step": 2612
    },
    {
      "epoch": 0.6968,
      "grad_norm": 2.5897954001413948,
      "learning_rate": 1.0810500959769498e-06,
      "loss": 0.4344,
      "step": 2613
    },
    {
      "epoch": 0.6970666666666666,
      "grad_norm": 3.095327093991467,
      "learning_rate": 1.0792996411239273e-06,
      "loss": 0.4102,
      "step": 2614
    },
    {
      "epoch": 0.6973333333333334,
      "grad_norm": 2.7183806006766846,
      "learning_rate": 1.0775502143903995e-06,
      "loss": 0.4379,
      "step": 2615
    },
    {
      "epoch": 0.6976,
      "grad_norm": 2.5858177997674066,
      "learning_rate": 1.0758018170423756e-06,
      "loss": 0.3412,
      "step": 2616
    },
    {
      "epoch": 0.6978666666666666,
      "grad_norm": 2.788960113953806,
      "learning_rate": 1.0740544503451197e-06,
      "loss": 0.4226,
      "step": 2617
    },
    {
      "epoch": 0.6981333333333334,
      "grad_norm": 2.3176036164190563,
      "learning_rate": 1.07230811556315e-06,
      "loss": 0.3714,
      "step": 2618
    },
    {
      "epoch": 0.6984,
      "grad_norm": 2.497917772503619,
      "learning_rate": 1.0705628139602381e-06,
      "loss": 0.4149,
      "step": 2619
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 2.6198772312313037,
      "learning_rate": 1.0688185467994098e-06,
      "loss": 0.3964,
      "step": 2620
    },
    {
      "epoch": 0.6989333333333333,
      "grad_norm": 2.4853006158318314,
      "learning_rate": 1.067075315342937e-06,
      "loss": 0.4214,
      "step": 2621
    },
    {
      "epoch": 0.6992,
      "grad_norm": 3.584710129877199,
      "learning_rate": 1.0653331208523486e-06,
      "loss": 0.4429,
      "step": 2622
    },
    {
      "epoch": 0.6994666666666667,
      "grad_norm": 2.834956861126338,
      "learning_rate": 1.0635919645884187e-06,
      "loss": 0.4522,
      "step": 2623
    },
    {
      "epoch": 0.6997333333333333,
      "grad_norm": 2.592269279648097,
      "learning_rate": 1.061851847811172e-06,
      "loss": 0.4416,
      "step": 2624
    },
    {
      "epoch": 0.7,
      "grad_norm": 2.520645361398444,
      "learning_rate": 1.0601127717798798e-06,
      "loss": 0.4001,
      "step": 2625
    },
    {
      "epoch": 0.7002666666666667,
      "grad_norm": 2.710222355230466,
      "learning_rate": 1.0583747377530604e-06,
      "loss": 0.4337,
      "step": 2626
    },
    {
      "epoch": 0.7005333333333333,
      "grad_norm": 3.6963874344519,
      "learning_rate": 1.0566377469884806e-06,
      "loss": 0.5179,
      "step": 2627
    },
    {
      "epoch": 0.7008,
      "grad_norm": 2.322106791211418,
      "learning_rate": 1.0549018007431467e-06,
      "loss": 0.3758,
      "step": 2628
    },
    {
      "epoch": 0.7010666666666666,
      "grad_norm": 3.2978843466056293,
      "learning_rate": 1.0531669002733152e-06,
      "loss": 0.4559,
      "step": 2629
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 2.6057048812147245,
      "learning_rate": 1.0514330468344825e-06,
      "loss": 0.3989,
      "step": 2630
    },
    {
      "epoch": 0.7016,
      "grad_norm": 2.612275331409089,
      "learning_rate": 1.049700241681387e-06,
      "loss": 0.4282,
      "step": 2631
    },
    {
      "epoch": 0.7018666666666666,
      "grad_norm": 2.3197415027051407,
      "learning_rate": 1.0479684860680091e-06,
      "loss": 0.386,
      "step": 2632
    },
    {
      "epoch": 0.7021333333333334,
      "grad_norm": 2.230297514789596,
      "learning_rate": 1.0462377812475727e-06,
      "loss": 0.36,
      "step": 2633
    },
    {
      "epoch": 0.7024,
      "grad_norm": 2.6575545696977807,
      "learning_rate": 1.0445081284725355e-06,
      "loss": 0.4113,
      "step": 2634
    },
    {
      "epoch": 0.7026666666666667,
      "grad_norm": 2.328726260272141,
      "learning_rate": 1.042779528994597e-06,
      "loss": 0.3546,
      "step": 2635
    },
    {
      "epoch": 0.7029333333333333,
      "grad_norm": 2.634534204398383,
      "learning_rate": 1.0410519840646968e-06,
      "loss": 0.4362,
      "step": 2636
    },
    {
      "epoch": 0.7032,
      "grad_norm": 2.812697241351484,
      "learning_rate": 1.0393254949330056e-06,
      "loss": 0.4291,
      "step": 2637
    },
    {
      "epoch": 0.7034666666666667,
      "grad_norm": 2.411825242784883,
      "learning_rate": 1.0376000628489358e-06,
      "loss": 0.3965,
      "step": 2638
    },
    {
      "epoch": 0.7037333333333333,
      "grad_norm": 3.0110060010980138,
      "learning_rate": 1.0358756890611307e-06,
      "loss": 0.4557,
      "step": 2639
    },
    {
      "epoch": 0.704,
      "grad_norm": 2.556046403902193,
      "learning_rate": 1.034152374817472e-06,
      "loss": 0.397,
      "step": 2640
    },
    {
      "epoch": 0.7042666666666667,
      "grad_norm": 2.8024906660225133,
      "learning_rate": 1.0324301213650686e-06,
      "loss": 0.4377,
      "step": 2641
    },
    {
      "epoch": 0.7045333333333333,
      "grad_norm": 2.8188139122445244,
      "learning_rate": 1.0307089299502679e-06,
      "loss": 0.4418,
      "step": 2642
    },
    {
      "epoch": 0.7048,
      "grad_norm": 2.585764764909626,
      "learning_rate": 1.0289888018186448e-06,
      "loss": 0.4109,
      "step": 2643
    },
    {
      "epoch": 0.7050666666666666,
      "grad_norm": 2.6632264310376588,
      "learning_rate": 1.0272697382150066e-06,
      "loss": 0.4288,
      "step": 2644
    },
    {
      "epoch": 0.7053333333333334,
      "grad_norm": 2.6746614674436584,
      "learning_rate": 1.0255517403833887e-06,
      "loss": 0.3675,
      "step": 2645
    },
    {
      "epoch": 0.7056,
      "grad_norm": 2.6034926959796607,
      "learning_rate": 1.023834809567057e-06,
      "loss": 0.3753,
      "step": 2646
    },
    {
      "epoch": 0.7058666666666666,
      "grad_norm": 2.5601701149524416,
      "learning_rate": 1.022118947008504e-06,
      "loss": 0.4258,
      "step": 2647
    },
    {
      "epoch": 0.7061333333333333,
      "grad_norm": 2.346633346778921,
      "learning_rate": 1.020404153949448e-06,
      "loss": 0.3621,
      "step": 2648
    },
    {
      "epoch": 0.7064,
      "grad_norm": 2.3887376267360323,
      "learning_rate": 1.0186904316308386e-06,
      "loss": 0.3752,
      "step": 2649
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 2.598062021598147,
      "learning_rate": 1.0169777812928425e-06,
      "loss": 0.4145,
      "step": 2650
    },
    {
      "epoch": 0.7069333333333333,
      "grad_norm": 2.389001442670961,
      "learning_rate": 1.0152662041748575e-06,
      "loss": 0.358,
      "step": 2651
    },
    {
      "epoch": 0.7072,
      "grad_norm": 2.725601802803552,
      "learning_rate": 1.0135557015155018e-06,
      "loss": 0.3993,
      "step": 2652
    },
    {
      "epoch": 0.7074666666666667,
      "grad_norm": 2.7085217490062687,
      "learning_rate": 1.0118462745526159e-06,
      "loss": 0.416,
      "step": 2653
    },
    {
      "epoch": 0.7077333333333333,
      "grad_norm": 2.3890790109150406,
      "learning_rate": 1.0101379245232627e-06,
      "loss": 0.3562,
      "step": 2654
    },
    {
      "epoch": 0.708,
      "grad_norm": 2.1808688071920623,
      "learning_rate": 1.0084306526637238e-06,
      "loss": 0.3226,
      "step": 2655
    },
    {
      "epoch": 0.7082666666666667,
      "grad_norm": 2.503277763087085,
      "learning_rate": 1.0067244602095056e-06,
      "loss": 0.3951,
      "step": 2656
    },
    {
      "epoch": 0.7085333333333333,
      "grad_norm": 2.6516025963164482,
      "learning_rate": 1.0050193483953262e-06,
      "loss": 0.4042,
      "step": 2657
    },
    {
      "epoch": 0.7088,
      "grad_norm": 2.702021750226041,
      "learning_rate": 1.0033153184551276e-06,
      "loss": 0.3856,
      "step": 2658
    },
    {
      "epoch": 0.7090666666666666,
      "grad_norm": 2.4574472560775327,
      "learning_rate": 1.001612371622066e-06,
      "loss": 0.3772,
      "step": 2659
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 2.3212526681794095,
      "learning_rate": 9.999105091285149e-07,
      "loss": 0.3925,
      "step": 2660
    },
    {
      "epoch": 0.7096,
      "grad_norm": 2.7374882012284427,
      "learning_rate": 9.982097322060613e-07,
      "loss": 0.4821,
      "step": 2661
    },
    {
      "epoch": 0.7098666666666666,
      "grad_norm": 2.6862728529914124,
      "learning_rate": 9.965100420855098e-07,
      "loss": 0.4375,
      "step": 2662
    },
    {
      "epoch": 0.7101333333333333,
      "grad_norm": 2.8495614153240885,
      "learning_rate": 9.948114399968763e-07,
      "loss": 0.4358,
      "step": 2663
    },
    {
      "epoch": 0.7104,
      "grad_norm": 2.485465720808246,
      "learning_rate": 9.931139271693878e-07,
      "loss": 0.4207,
      "step": 2664
    },
    {
      "epoch": 0.7106666666666667,
      "grad_norm": 2.3908598584259626,
      "learning_rate": 9.914175048314873e-07,
      "loss": 0.4015,
      "step": 2665
    },
    {
      "epoch": 0.7109333333333333,
      "grad_norm": 2.5257271629469638,
      "learning_rate": 9.89722174210825e-07,
      "loss": 0.3915,
      "step": 2666
    },
    {
      "epoch": 0.7112,
      "grad_norm": 3.1194273614733987,
      "learning_rate": 9.880279365342627e-07,
      "loss": 0.4917,
      "step": 2667
    },
    {
      "epoch": 0.7114666666666667,
      "grad_norm": 2.52045364344029,
      "learning_rate": 9.8633479302787e-07,
      "loss": 0.3891,
      "step": 2668
    },
    {
      "epoch": 0.7117333333333333,
      "grad_norm": 2.3882431690675268,
      "learning_rate": 9.846427449169279e-07,
      "loss": 0.4083,
      "step": 2669
    },
    {
      "epoch": 0.712,
      "grad_norm": 2.522192773535552,
      "learning_rate": 9.829517934259192e-07,
      "loss": 0.3931,
      "step": 2670
    },
    {
      "epoch": 0.7122666666666667,
      "grad_norm": 2.835009290074308,
      "learning_rate": 9.812619397785386e-07,
      "loss": 0.4358,
      "step": 2671
    },
    {
      "epoch": 0.7125333333333334,
      "grad_norm": 2.51745590754622,
      "learning_rate": 9.795731851976837e-07,
      "loss": 0.4051,
      "step": 2672
    },
    {
      "epoch": 0.7128,
      "grad_norm": 2.415444199702727,
      "learning_rate": 9.77885530905456e-07,
      "loss": 0.4205,
      "step": 2673
    },
    {
      "epoch": 0.7130666666666666,
      "grad_norm": 2.8074907383088075,
      "learning_rate": 9.761989781231628e-07,
      "loss": 0.4299,
      "step": 2674
    },
    {
      "epoch": 0.7133333333333334,
      "grad_norm": 2.5746749115166447,
      "learning_rate": 9.74513528071312e-07,
      "loss": 0.4174,
      "step": 2675
    },
    {
      "epoch": 0.7136,
      "grad_norm": 2.453789428481077,
      "learning_rate": 9.72829181969617e-07,
      "loss": 0.3773,
      "step": 2676
    },
    {
      "epoch": 0.7138666666666666,
      "grad_norm": 2.5535133029771924,
      "learning_rate": 9.711459410369872e-07,
      "loss": 0.3903,
      "step": 2677
    },
    {
      "epoch": 0.7141333333333333,
      "grad_norm": 2.4162505266237897,
      "learning_rate": 9.694638064915374e-07,
      "loss": 0.3702,
      "step": 2678
    },
    {
      "epoch": 0.7144,
      "grad_norm": 2.8646642421309925,
      "learning_rate": 9.677827795505784e-07,
      "loss": 0.4219,
      "step": 2679
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 2.658121225569227,
      "learning_rate": 9.661028614306204e-07,
      "loss": 0.4024,
      "step": 2680
    },
    {
      "epoch": 0.7149333333333333,
      "grad_norm": 2.771105167715981,
      "learning_rate": 9.644240533473717e-07,
      "loss": 0.5193,
      "step": 2681
    },
    {
      "epoch": 0.7152,
      "grad_norm": 2.7775866146622548,
      "learning_rate": 9.627463565157363e-07,
      "loss": 0.4391,
      "step": 2682
    },
    {
      "epoch": 0.7154666666666667,
      "grad_norm": 2.81009541465566,
      "learning_rate": 9.61069772149815e-07,
      "loss": 0.4093,
      "step": 2683
    },
    {
      "epoch": 0.7157333333333333,
      "grad_norm": 2.6811427306242672,
      "learning_rate": 9.59394301462902e-07,
      "loss": 0.4523,
      "step": 2684
    },
    {
      "epoch": 0.716,
      "grad_norm": 2.7103686818269845,
      "learning_rate": 9.577199456674893e-07,
      "loss": 0.466,
      "step": 2685
    },
    {
      "epoch": 0.7162666666666667,
      "grad_norm": 2.814427773107922,
      "learning_rate": 9.56046705975256e-07,
      "loss": 0.4374,
      "step": 2686
    },
    {
      "epoch": 0.7165333333333334,
      "grad_norm": 2.5218769810994854,
      "learning_rate": 9.543745835970796e-07,
      "loss": 0.3417,
      "step": 2687
    },
    {
      "epoch": 0.7168,
      "grad_norm": 2.508127840502462,
      "learning_rate": 9.527035797430246e-07,
      "loss": 0.3915,
      "step": 2688
    },
    {
      "epoch": 0.7170666666666666,
      "grad_norm": 2.335821859733295,
      "learning_rate": 9.510336956223504e-07,
      "loss": 0.3578,
      "step": 2689
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 2.950315918441435,
      "learning_rate": 9.493649324435003e-07,
      "loss": 0.4467,
      "step": 2690
    },
    {
      "epoch": 0.7176,
      "grad_norm": 2.4832762039226286,
      "learning_rate": 9.476972914141119e-07,
      "loss": 0.4133,
      "step": 2691
    },
    {
      "epoch": 0.7178666666666667,
      "grad_norm": 2.8297953030206626,
      "learning_rate": 9.460307737410077e-07,
      "loss": 0.4549,
      "step": 2692
    },
    {
      "epoch": 0.7181333333333333,
      "grad_norm": 2.7857701083667274,
      "learning_rate": 9.443653806301983e-07,
      "loss": 0.4349,
      "step": 2693
    },
    {
      "epoch": 0.7184,
      "grad_norm": 2.5104973921127423,
      "learning_rate": 9.427011132868799e-07,
      "loss": 0.4219,
      "step": 2694
    },
    {
      "epoch": 0.7186666666666667,
      "grad_norm": 2.887037396897826,
      "learning_rate": 9.410379729154345e-07,
      "loss": 0.3438,
      "step": 2695
    },
    {
      "epoch": 0.7189333333333333,
      "grad_norm": 2.7693553043568984,
      "learning_rate": 9.393759607194283e-07,
      "loss": 0.4553,
      "step": 2696
    },
    {
      "epoch": 0.7192,
      "grad_norm": 2.4777987952032525,
      "learning_rate": 9.377150779016103e-07,
      "loss": 0.3571,
      "step": 2697
    },
    {
      "epoch": 0.7194666666666667,
      "grad_norm": 2.272017808221227,
      "learning_rate": 9.360553256639157e-07,
      "loss": 0.333,
      "step": 2698
    },
    {
      "epoch": 0.7197333333333333,
      "grad_norm": 2.6542782728840195,
      "learning_rate": 9.343967052074551e-07,
      "loss": 0.3722,
      "step": 2699
    },
    {
      "epoch": 0.72,
      "grad_norm": 2.4746262337067453,
      "learning_rate": 9.327392177325271e-07,
      "loss": 0.3981,
      "step": 2700
    },
    {
      "epoch": 0.7202666666666667,
      "grad_norm": 2.5535113738596196,
      "learning_rate": 9.310828644386055e-07,
      "loss": 0.3783,
      "step": 2701
    },
    {
      "epoch": 0.7205333333333334,
      "grad_norm": 2.2487246935182923,
      "learning_rate": 9.294276465243457e-07,
      "loss": 0.3555,
      "step": 2702
    },
    {
      "epoch": 0.7208,
      "grad_norm": 2.4113413079331854,
      "learning_rate": 9.277735651875802e-07,
      "loss": 0.3662,
      "step": 2703
    },
    {
      "epoch": 0.7210666666666666,
      "grad_norm": 2.746898877963143,
      "learning_rate": 9.261206216253188e-07,
      "loss": 0.4673,
      "step": 2704
    },
    {
      "epoch": 0.7213333333333334,
      "grad_norm": 2.6779362134163236,
      "learning_rate": 9.244688170337513e-07,
      "loss": 0.4045,
      "step": 2705
    },
    {
      "epoch": 0.7216,
      "grad_norm": 2.3079488808666087,
      "learning_rate": 9.22818152608237e-07,
      "loss": 0.38,
      "step": 2706
    },
    {
      "epoch": 0.7218666666666667,
      "grad_norm": 3.0738814771877205,
      "learning_rate": 9.211686295433165e-07,
      "loss": 0.4619,
      "step": 2707
    },
    {
      "epoch": 0.7221333333333333,
      "grad_norm": 2.4648051688285384,
      "learning_rate": 9.195202490327005e-07,
      "loss": 0.4014,
      "step": 2708
    },
    {
      "epoch": 0.7224,
      "grad_norm": 2.8023987883947177,
      "learning_rate": 9.178730122692742e-07,
      "loss": 0.3968,
      "step": 2709
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 2.6662788312971344,
      "learning_rate": 9.162269204450947e-07,
      "loss": 0.42,
      "step": 2710
    },
    {
      "epoch": 0.7229333333333333,
      "grad_norm": 2.2757717577915026,
      "learning_rate": 9.145819747513909e-07,
      "loss": 0.3445,
      "step": 2711
    },
    {
      "epoch": 0.7232,
      "grad_norm": 2.8958233549832055,
      "learning_rate": 9.129381763785622e-07,
      "loss": 0.4428,
      "step": 2712
    },
    {
      "epoch": 0.7234666666666667,
      "grad_norm": 2.864598810046732,
      "learning_rate": 9.112955265161766e-07,
      "loss": 0.4365,
      "step": 2713
    },
    {
      "epoch": 0.7237333333333333,
      "grad_norm": 2.459637846248904,
      "learning_rate": 9.096540263529738e-07,
      "loss": 0.4103,
      "step": 2714
    },
    {
      "epoch": 0.724,
      "grad_norm": 2.3666230475731047,
      "learning_rate": 9.080136770768588e-07,
      "loss": 0.3953,
      "step": 2715
    },
    {
      "epoch": 0.7242666666666666,
      "grad_norm": 2.674927147756033,
      "learning_rate": 9.063744798749046e-07,
      "loss": 0.421,
      "step": 2716
    },
    {
      "epoch": 0.7245333333333334,
      "grad_norm": 2.691944997901286,
      "learning_rate": 9.047364359333497e-07,
      "loss": 0.4244,
      "step": 2717
    },
    {
      "epoch": 0.7248,
      "grad_norm": 2.27665428067493,
      "learning_rate": 9.030995464376014e-07,
      "loss": 0.3456,
      "step": 2718
    },
    {
      "epoch": 0.7250666666666666,
      "grad_norm": 3.4293704177520317,
      "learning_rate": 9.014638125722253e-07,
      "loss": 0.4713,
      "step": 2719
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 2.4044741176219793,
      "learning_rate": 8.998292355209574e-07,
      "loss": 0.3768,
      "step": 2720
    },
    {
      "epoch": 0.7256,
      "grad_norm": 2.7111171524612487,
      "learning_rate": 8.981958164666924e-07,
      "loss": 0.4309,
      "step": 2721
    },
    {
      "epoch": 0.7258666666666667,
      "grad_norm": 2.2959711943543835,
      "learning_rate": 8.965635565914879e-07,
      "loss": 0.359,
      "step": 2722
    },
    {
      "epoch": 0.7261333333333333,
      "grad_norm": 2.494765106873342,
      "learning_rate": 8.949324570765633e-07,
      "loss": 0.3608,
      "step": 2723
    },
    {
      "epoch": 0.7264,
      "grad_norm": 2.9902046354311134,
      "learning_rate": 8.933025191022976e-07,
      "loss": 0.4354,
      "step": 2724
    },
    {
      "epoch": 0.7266666666666667,
      "grad_norm": 2.743727203258282,
      "learning_rate": 8.916737438482295e-07,
      "loss": 0.4114,
      "step": 2725
    },
    {
      "epoch": 0.7269333333333333,
      "grad_norm": 2.604728633564847,
      "learning_rate": 8.900461324930553e-07,
      "loss": 0.4383,
      "step": 2726
    },
    {
      "epoch": 0.7272,
      "grad_norm": 2.611839174631844,
      "learning_rate": 8.884196862146319e-07,
      "loss": 0.4093,
      "step": 2727
    },
    {
      "epoch": 0.7274666666666667,
      "grad_norm": 2.632831075070098,
      "learning_rate": 8.867944061899703e-07,
      "loss": 0.4728,
      "step": 2728
    },
    {
      "epoch": 0.7277333333333333,
      "grad_norm": 2.4865194380847653,
      "learning_rate": 8.851702935952377e-07,
      "loss": 0.4212,
      "step": 2729
    },
    {
      "epoch": 0.728,
      "grad_norm": 2.4976847986576627,
      "learning_rate": 8.835473496057581e-07,
      "loss": 0.4164,
      "step": 2730
    },
    {
      "epoch": 0.7282666666666666,
      "grad_norm": 2.695638131792631,
      "learning_rate": 8.819255753960079e-07,
      "loss": 0.4231,
      "step": 2731
    },
    {
      "epoch": 0.7285333333333334,
      "grad_norm": 2.260435248012946,
      "learning_rate": 8.803049721396187e-07,
      "loss": 0.3791,
      "step": 2732
    },
    {
      "epoch": 0.7288,
      "grad_norm": 2.366128156267025,
      "learning_rate": 8.786855410093725e-07,
      "loss": 0.3851,
      "step": 2733
    },
    {
      "epoch": 0.7290666666666666,
      "grad_norm": 2.4487026149605375,
      "learning_rate": 8.770672831772071e-07,
      "loss": 0.3838,
      "step": 2734
    },
    {
      "epoch": 0.7293333333333333,
      "grad_norm": 2.9390751907384316,
      "learning_rate": 8.754501998142053e-07,
      "loss": 0.4566,
      "step": 2735
    },
    {
      "epoch": 0.7296,
      "grad_norm": 2.5083174446171133,
      "learning_rate": 8.738342920906056e-07,
      "loss": 0.3726,
      "step": 2736
    },
    {
      "epoch": 0.7298666666666667,
      "grad_norm": 2.9352907682913805,
      "learning_rate": 8.72219561175793e-07,
      "loss": 0.4467,
      "step": 2737
    },
    {
      "epoch": 0.7301333333333333,
      "grad_norm": 2.8768063715705887,
      "learning_rate": 8.706060082383008e-07,
      "loss": 0.446,
      "step": 2738
    },
    {
      "epoch": 0.7304,
      "grad_norm": 2.6347340848687137,
      "learning_rate": 8.689936344458105e-07,
      "loss": 0.4302,
      "step": 2739
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 2.434607110166239,
      "learning_rate": 8.673824409651493e-07,
      "loss": 0.3756,
      "step": 2740
    },
    {
      "epoch": 0.7309333333333333,
      "grad_norm": 2.7811351198713856,
      "learning_rate": 8.657724289622931e-07,
      "loss": 0.4357,
      "step": 2741
    },
    {
      "epoch": 0.7312,
      "grad_norm": 2.5290377700339532,
      "learning_rate": 8.641635996023582e-07,
      "loss": 0.4052,
      "step": 2742
    },
    {
      "epoch": 0.7314666666666667,
      "grad_norm": 2.4501308584671424,
      "learning_rate": 8.625559540496092e-07,
      "loss": 0.388,
      "step": 2743
    },
    {
      "epoch": 0.7317333333333333,
      "grad_norm": 2.9552201674020746,
      "learning_rate": 8.60949493467452e-07,
      "loss": 0.4309,
      "step": 2744
    },
    {
      "epoch": 0.732,
      "grad_norm": 3.1943664810129975,
      "learning_rate": 8.593442190184353e-07,
      "loss": 0.4381,
      "step": 2745
    },
    {
      "epoch": 0.7322666666666666,
      "grad_norm": 2.3941992151378533,
      "learning_rate": 8.577401318642489e-07,
      "loss": 0.4197,
      "step": 2746
    },
    {
      "epoch": 0.7325333333333334,
      "grad_norm": 3.104604203225406,
      "learning_rate": 8.561372331657261e-07,
      "loss": 0.4389,
      "step": 2747
    },
    {
      "epoch": 0.7328,
      "grad_norm": 2.486915803312621,
      "learning_rate": 8.545355240828346e-07,
      "loss": 0.3796,
      "step": 2748
    },
    {
      "epoch": 0.7330666666666666,
      "grad_norm": 2.6777610299670447,
      "learning_rate": 8.529350057746877e-07,
      "loss": 0.4581,
      "step": 2749
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 2.667236842807598,
      "learning_rate": 8.513356793995326e-07,
      "loss": 0.3901,
      "step": 2750
    },
    {
      "epoch": 0.7336,
      "grad_norm": 2.7636554039360344,
      "learning_rate": 8.497375461147553e-07,
      "loss": 0.4405,
      "step": 2751
    },
    {
      "epoch": 0.7338666666666667,
      "grad_norm": 2.5732739762225036,
      "learning_rate": 8.481406070768785e-07,
      "loss": 0.4161,
      "step": 2752
    },
    {
      "epoch": 0.7341333333333333,
      "grad_norm": 2.3564324814576927,
      "learning_rate": 8.465448634415596e-07,
      "loss": 0.3683,
      "step": 2753
    },
    {
      "epoch": 0.7344,
      "grad_norm": 2.5812432250275372,
      "learning_rate": 8.449503163635944e-07,
      "loss": 0.4148,
      "step": 2754
    },
    {
      "epoch": 0.7346666666666667,
      "grad_norm": 2.6363076611183787,
      "learning_rate": 8.433569669969069e-07,
      "loss": 0.3984,
      "step": 2755
    },
    {
      "epoch": 0.7349333333333333,
      "grad_norm": 2.5327700964494846,
      "learning_rate": 8.4176481649456e-07,
      "loss": 0.4129,
      "step": 2756
    },
    {
      "epoch": 0.7352,
      "grad_norm": 2.6440255465051163,
      "learning_rate": 8.401738660087455e-07,
      "loss": 0.4742,
      "step": 2757
    },
    {
      "epoch": 0.7354666666666667,
      "grad_norm": 2.4849178661420774,
      "learning_rate": 8.385841166907888e-07,
      "loss": 0.402,
      "step": 2758
    },
    {
      "epoch": 0.7357333333333334,
      "grad_norm": 2.4586490252234867,
      "learning_rate": 8.369955696911444e-07,
      "loss": 0.402,
      "step": 2759
    },
    {
      "epoch": 0.736,
      "grad_norm": 2.720619905585066,
      "learning_rate": 8.354082261593982e-07,
      "loss": 0.4011,
      "step": 2760
    },
    {
      "epoch": 0.7362666666666666,
      "grad_norm": 4.384956310186125,
      "learning_rate": 8.338220872442637e-07,
      "loss": 0.3897,
      "step": 2761
    },
    {
      "epoch": 0.7365333333333334,
      "grad_norm": 2.8057075586533946,
      "learning_rate": 8.322371540935836e-07,
      "loss": 0.4586,
      "step": 2762
    },
    {
      "epoch": 0.7368,
      "grad_norm": 2.6586854319330873,
      "learning_rate": 8.306534278543287e-07,
      "loss": 0.4194,
      "step": 2763
    },
    {
      "epoch": 0.7370666666666666,
      "grad_norm": 2.349732784209399,
      "learning_rate": 8.290709096725955e-07,
      "loss": 0.3739,
      "step": 2764
    },
    {
      "epoch": 0.7373333333333333,
      "grad_norm": 2.569808707213451,
      "learning_rate": 8.274896006936056e-07,
      "loss": 0.372,
      "step": 2765
    },
    {
      "epoch": 0.7376,
      "grad_norm": 2.3684532613445035,
      "learning_rate": 8.259095020617066e-07,
      "loss": 0.3775,
      "step": 2766
    },
    {
      "epoch": 0.7378666666666667,
      "grad_norm": 2.6078061452446257,
      "learning_rate": 8.2433061492037e-07,
      "loss": 0.4117,
      "step": 2767
    },
    {
      "epoch": 0.7381333333333333,
      "grad_norm": 2.310764562699799,
      "learning_rate": 8.227529404121903e-07,
      "loss": 0.3707,
      "step": 2768
    },
    {
      "epoch": 0.7384,
      "grad_norm": 2.4328178938418894,
      "learning_rate": 8.211764796788841e-07,
      "loss": 0.3967,
      "step": 2769
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 2.7080570268568662,
      "learning_rate": 8.196012338612922e-07,
      "loss": 0.4629,
      "step": 2770
    },
    {
      "epoch": 0.7389333333333333,
      "grad_norm": 3.0059101124219367,
      "learning_rate": 8.180272040993709e-07,
      "loss": 0.4244,
      "step": 2771
    },
    {
      "epoch": 0.7392,
      "grad_norm": 2.845113216755147,
      "learning_rate": 8.164543915322026e-07,
      "loss": 0.4226,
      "step": 2772
    },
    {
      "epoch": 0.7394666666666667,
      "grad_norm": 2.448613091383591,
      "learning_rate": 8.148827972979848e-07,
      "loss": 0.369,
      "step": 2773
    },
    {
      "epoch": 0.7397333333333334,
      "grad_norm": 2.687630002640376,
      "learning_rate": 8.133124225340344e-07,
      "loss": 0.4011,
      "step": 2774
    },
    {
      "epoch": 0.74,
      "grad_norm": 2.852196330609617,
      "learning_rate": 8.117432683767854e-07,
      "loss": 0.4302,
      "step": 2775
    },
    {
      "epoch": 0.7402666666666666,
      "grad_norm": 2.540627553299391,
      "learning_rate": 8.101753359617903e-07,
      "loss": 0.3801,
      "step": 2776
    },
    {
      "epoch": 0.7405333333333334,
      "grad_norm": 2.744990899603702,
      "learning_rate": 8.086086264237156e-07,
      "loss": 0.3959,
      "step": 2777
    },
    {
      "epoch": 0.7408,
      "grad_norm": 2.7859786940682367,
      "learning_rate": 8.070431408963434e-07,
      "loss": 0.4451,
      "step": 2778
    },
    {
      "epoch": 0.7410666666666667,
      "grad_norm": 2.9102290936647233,
      "learning_rate": 8.054788805125699e-07,
      "loss": 0.377,
      "step": 2779
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 2.404319632804378,
      "learning_rate": 8.039158464044047e-07,
      "loss": 0.3632,
      "step": 2780
    },
    {
      "epoch": 0.7416,
      "grad_norm": 2.212079870773194,
      "learning_rate": 8.023540397029703e-07,
      "loss": 0.338,
      "step": 2781
    },
    {
      "epoch": 0.7418666666666667,
      "grad_norm": 2.1933005869590754,
      "learning_rate": 8.007934615384996e-07,
      "loss": 0.3216,
      "step": 2782
    },
    {
      "epoch": 0.7421333333333333,
      "grad_norm": 3.4130506817966775,
      "learning_rate": 7.992341130403402e-07,
      "loss": 0.4712,
      "step": 2783
    },
    {
      "epoch": 0.7424,
      "grad_norm": 2.564058542044049,
      "learning_rate": 7.976759953369445e-07,
      "loss": 0.384,
      "step": 2784
    },
    {
      "epoch": 0.7426666666666667,
      "grad_norm": 2.633866827975255,
      "learning_rate": 7.961191095558785e-07,
      "loss": 0.3839,
      "step": 2785
    },
    {
      "epoch": 0.7429333333333333,
      "grad_norm": 2.214558296409854,
      "learning_rate": 7.945634568238148e-07,
      "loss": 0.3075,
      "step": 2786
    },
    {
      "epoch": 0.7432,
      "grad_norm": 2.5370832992452286,
      "learning_rate": 7.93009038266534e-07,
      "loss": 0.3704,
      "step": 2787
    },
    {
      "epoch": 0.7434666666666667,
      "grad_norm": 2.3511618508818852,
      "learning_rate": 7.914558550089232e-07,
      "loss": 0.3462,
      "step": 2788
    },
    {
      "epoch": 0.7437333333333334,
      "grad_norm": 2.3300930463733764,
      "learning_rate": 7.899039081749754e-07,
      "loss": 0.3531,
      "step": 2789
    },
    {
      "epoch": 0.744,
      "grad_norm": 2.266563256808987,
      "learning_rate": 7.883531988877921e-07,
      "loss": 0.3294,
      "step": 2790
    },
    {
      "epoch": 0.7442666666666666,
      "grad_norm": 2.516984772828089,
      "learning_rate": 7.868037282695726e-07,
      "loss": 0.4018,
      "step": 2791
    },
    {
      "epoch": 0.7445333333333334,
      "grad_norm": 2.5230098982229023,
      "learning_rate": 7.852554974416263e-07,
      "loss": 0.4012,
      "step": 2792
    },
    {
      "epoch": 0.7448,
      "grad_norm": 2.7176021442109715,
      "learning_rate": 7.837085075243623e-07,
      "loss": 0.4159,
      "step": 2793
    },
    {
      "epoch": 0.7450666666666667,
      "grad_norm": 2.6938145783021694,
      "learning_rate": 7.821627596372916e-07,
      "loss": 0.4465,
      "step": 2794
    },
    {
      "epoch": 0.7453333333333333,
      "grad_norm": 2.657033959696116,
      "learning_rate": 7.806182548990274e-07,
      "loss": 0.3874,
      "step": 2795
    },
    {
      "epoch": 0.7456,
      "grad_norm": 2.3547066142727666,
      "learning_rate": 7.790749944272827e-07,
      "loss": 0.3847,
      "step": 2796
    },
    {
      "epoch": 0.7458666666666667,
      "grad_norm": 3.1959701736474404,
      "learning_rate": 7.775329793388703e-07,
      "loss": 0.4446,
      "step": 2797
    },
    {
      "epoch": 0.7461333333333333,
      "grad_norm": 3.13326954148568,
      "learning_rate": 7.759922107497006e-07,
      "loss": 0.5241,
      "step": 2798
    },
    {
      "epoch": 0.7464,
      "grad_norm": 4.024975143007024,
      "learning_rate": 7.744526897747845e-07,
      "loss": 0.4155,
      "step": 2799
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 2.6277966758930877,
      "learning_rate": 7.729144175282283e-07,
      "loss": 0.4488,
      "step": 2800
    },
    {
      "epoch": 0.7469333333333333,
      "grad_norm": 2.3408794295631035,
      "learning_rate": 7.713773951232342e-07,
      "loss": 0.3133,
      "step": 2801
    },
    {
      "epoch": 0.7472,
      "grad_norm": 2.6139259910687134,
      "learning_rate": 7.698416236721001e-07,
      "loss": 0.4512,
      "step": 2802
    },
    {
      "epoch": 0.7474666666666666,
      "grad_norm": 2.5859380530816027,
      "learning_rate": 7.683071042862214e-07,
      "loss": 0.4064,
      "step": 2803
    },
    {
      "epoch": 0.7477333333333334,
      "grad_norm": 2.425563877218714,
      "learning_rate": 7.66773838076082e-07,
      "loss": 0.3532,
      "step": 2804
    },
    {
      "epoch": 0.748,
      "grad_norm": 3.1621432859078005,
      "learning_rate": 7.65241826151264e-07,
      "loss": 0.4259,
      "step": 2805
    },
    {
      "epoch": 0.7482666666666666,
      "grad_norm": 2.4842409081027212,
      "learning_rate": 7.637110696204397e-07,
      "loss": 0.3833,
      "step": 2806
    },
    {
      "epoch": 0.7485333333333334,
      "grad_norm": 2.550549547613148,
      "learning_rate": 7.621815695913728e-07,
      "loss": 0.3777,
      "step": 2807
    },
    {
      "epoch": 0.7488,
      "grad_norm": 2.7991106830113024,
      "learning_rate": 7.606533271709177e-07,
      "loss": 0.4538,
      "step": 2808
    },
    {
      "epoch": 0.7490666666666667,
      "grad_norm": 2.4230686356061795,
      "learning_rate": 7.591263434650192e-07,
      "loss": 0.3782,
      "step": 2809
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 3.030686541115548,
      "learning_rate": 7.576006195787109e-07,
      "loss": 0.4347,
      "step": 2810
    },
    {
      "epoch": 0.7496,
      "grad_norm": 2.4658306494203717,
      "learning_rate": 7.56076156616114e-07,
      "loss": 0.3688,
      "step": 2811
    },
    {
      "epoch": 0.7498666666666667,
      "grad_norm": 2.660438586481405,
      "learning_rate": 7.545529556804393e-07,
      "loss": 0.3657,
      "step": 2812
    },
    {
      "epoch": 0.7501333333333333,
      "grad_norm": 2.9559762368374893,
      "learning_rate": 7.530310178739828e-07,
      "loss": 0.4576,
      "step": 2813
    },
    {
      "epoch": 0.7504,
      "grad_norm": 2.6390952410003865,
      "learning_rate": 7.515103442981259e-07,
      "loss": 0.413,
      "step": 2814
    },
    {
      "epoch": 0.7506666666666667,
      "grad_norm": 2.4921514827124933,
      "learning_rate": 7.499909360533361e-07,
      "loss": 0.3676,
      "step": 2815
    },
    {
      "epoch": 0.7509333333333333,
      "grad_norm": 2.678309786668359,
      "learning_rate": 7.48472794239165e-07,
      "loss": 0.4388,
      "step": 2816
    },
    {
      "epoch": 0.7512,
      "grad_norm": 2.521400194607578,
      "learning_rate": 7.469559199542475e-07,
      "loss": 0.3782,
      "step": 2817
    },
    {
      "epoch": 0.7514666666666666,
      "grad_norm": 2.5739708800028396,
      "learning_rate": 7.454403142963007e-07,
      "loss": 0.4135,
      "step": 2818
    },
    {
      "epoch": 0.7517333333333334,
      "grad_norm": 2.526303369463712,
      "learning_rate": 7.439259783621267e-07,
      "loss": 0.3422,
      "step": 2819
    },
    {
      "epoch": 0.752,
      "grad_norm": 2.414697980697904,
      "learning_rate": 7.424129132476027e-07,
      "loss": 0.3806,
      "step": 2820
    },
    {
      "epoch": 0.7522666666666666,
      "grad_norm": 2.6940734929936436,
      "learning_rate": 7.409011200476928e-07,
      "loss": 0.4025,
      "step": 2821
    },
    {
      "epoch": 0.7525333333333334,
      "grad_norm": 3.6416498413438276,
      "learning_rate": 7.393905998564369e-07,
      "loss": 0.478,
      "step": 2822
    },
    {
      "epoch": 0.7528,
      "grad_norm": 2.4014413364224865,
      "learning_rate": 7.378813537669543e-07,
      "loss": 0.3898,
      "step": 2823
    },
    {
      "epoch": 0.7530666666666667,
      "grad_norm": 3.0153900028476555,
      "learning_rate": 7.363733828714426e-07,
      "loss": 0.4624,
      "step": 2824
    },
    {
      "epoch": 0.7533333333333333,
      "grad_norm": 2.442705582069899,
      "learning_rate": 7.348666882611752e-07,
      "loss": 0.4067,
      "step": 2825
    },
    {
      "epoch": 0.7536,
      "grad_norm": 2.9702435944295145,
      "learning_rate": 7.333612710265062e-07,
      "loss": 0.393,
      "step": 2826
    },
    {
      "epoch": 0.7538666666666667,
      "grad_norm": 2.347824057776328,
      "learning_rate": 7.318571322568588e-07,
      "loss": 0.3798,
      "step": 2827
    },
    {
      "epoch": 0.7541333333333333,
      "grad_norm": 2.789121210217956,
      "learning_rate": 7.303542730407364e-07,
      "loss": 0.4448,
      "step": 2828
    },
    {
      "epoch": 0.7544,
      "grad_norm": 2.666054728566407,
      "learning_rate": 7.288526944657142e-07,
      "loss": 0.4006,
      "step": 2829
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 2.6362514486467195,
      "learning_rate": 7.27352397618441e-07,
      "loss": 0.3875,
      "step": 2830
    },
    {
      "epoch": 0.7549333333333333,
      "grad_norm": 2.730520804131372,
      "learning_rate": 7.258533835846365e-07,
      "loss": 0.4307,
      "step": 2831
    },
    {
      "epoch": 0.7552,
      "grad_norm": 2.3685388400108427,
      "learning_rate": 7.243556534490967e-07,
      "loss": 0.3608,
      "step": 2832
    },
    {
      "epoch": 0.7554666666666666,
      "grad_norm": 2.9539069287047433,
      "learning_rate": 7.228592082956815e-07,
      "loss": 0.4399,
      "step": 2833
    },
    {
      "epoch": 0.7557333333333334,
      "grad_norm": 2.5409076835523896,
      "learning_rate": 7.213640492073273e-07,
      "loss": 0.3764,
      "step": 2834
    },
    {
      "epoch": 0.756,
      "grad_norm": 2.435680796898176,
      "learning_rate": 7.198701772660363e-07,
      "loss": 0.4273,
      "step": 2835
    },
    {
      "epoch": 0.7562666666666666,
      "grad_norm": 2.5065711175229772,
      "learning_rate": 7.183775935528805e-07,
      "loss": 0.3834,
      "step": 2836
    },
    {
      "epoch": 0.7565333333333333,
      "grad_norm": 2.7587235004092063,
      "learning_rate": 7.168862991479988e-07,
      "loss": 0.4695,
      "step": 2837
    },
    {
      "epoch": 0.7568,
      "grad_norm": 2.9995771188163878,
      "learning_rate": 7.153962951305973e-07,
      "loss": 0.4776,
      "step": 2838
    },
    {
      "epoch": 0.7570666666666667,
      "grad_norm": 3.0977232884992474,
      "learning_rate": 7.139075825789504e-07,
      "loss": 0.4095,
      "step": 2839
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 2.6667023587143435,
      "learning_rate": 7.124201625703933e-07,
      "loss": 0.4012,
      "step": 2840
    },
    {
      "epoch": 0.7576,
      "grad_norm": 2.618886875525764,
      "learning_rate": 7.109340361813305e-07,
      "loss": 0.3779,
      "step": 2841
    },
    {
      "epoch": 0.7578666666666667,
      "grad_norm": 3.8046197591597792,
      "learning_rate": 7.094492044872281e-07,
      "loss": 0.4269,
      "step": 2842
    },
    {
      "epoch": 0.7581333333333333,
      "grad_norm": 3.1823659487560123,
      "learning_rate": 7.079656685626152e-07,
      "loss": 0.4995,
      "step": 2843
    },
    {
      "epoch": 0.7584,
      "grad_norm": 2.466349631931825,
      "learning_rate": 7.064834294810835e-07,
      "loss": 0.3632,
      "step": 2844
    },
    {
      "epoch": 0.7586666666666667,
      "grad_norm": 2.5058171602827297,
      "learning_rate": 7.050024883152867e-07,
      "loss": 0.374,
      "step": 2845
    },
    {
      "epoch": 0.7589333333333333,
      "grad_norm": 2.682930014255041,
      "learning_rate": 7.035228461369384e-07,
      "loss": 0.4367,
      "step": 2846
    },
    {
      "epoch": 0.7592,
      "grad_norm": 2.431480244730602,
      "learning_rate": 7.020445040168122e-07,
      "loss": 0.3727,
      "step": 2847
    },
    {
      "epoch": 0.7594666666666666,
      "grad_norm": 2.586182423879681,
      "learning_rate": 7.005674630247434e-07,
      "loss": 0.3911,
      "step": 2848
    },
    {
      "epoch": 0.7597333333333334,
      "grad_norm": 2.9288755873146215,
      "learning_rate": 6.9909172422962e-07,
      "loss": 0.4595,
      "step": 2849
    },
    {
      "epoch": 0.76,
      "grad_norm": 3.040010570022961,
      "learning_rate": 6.976172886993943e-07,
      "loss": 0.4599,
      "step": 2850
    },
    {
      "epoch": 0.7602666666666666,
      "grad_norm": 2.427847682686299,
      "learning_rate": 6.961441575010703e-07,
      "loss": 0.3762,
      "step": 2851
    },
    {
      "epoch": 0.7605333333333333,
      "grad_norm": 2.253222603769582,
      "learning_rate": 6.946723317007129e-07,
      "loss": 0.3382,
      "step": 2852
    },
    {
      "epoch": 0.7608,
      "grad_norm": 2.5276513212740634,
      "learning_rate": 6.932018123634368e-07,
      "loss": 0.3905,
      "step": 2853
    },
    {
      "epoch": 0.7610666666666667,
      "grad_norm": 2.798415268721646,
      "learning_rate": 6.917326005534145e-07,
      "loss": 0.4595,
      "step": 2854
    },
    {
      "epoch": 0.7613333333333333,
      "grad_norm": 2.79655534029136,
      "learning_rate": 6.902646973338736e-07,
      "loss": 0.397,
      "step": 2855
    },
    {
      "epoch": 0.7616,
      "grad_norm": 2.380270333649334,
      "learning_rate": 6.887981037670905e-07,
      "loss": 0.3793,
      "step": 2856
    },
    {
      "epoch": 0.7618666666666667,
      "grad_norm": 2.5067577809792247,
      "learning_rate": 6.873328209143981e-07,
      "loss": 0.3508,
      "step": 2857
    },
    {
      "epoch": 0.7621333333333333,
      "grad_norm": 3.011023964039911,
      "learning_rate": 6.858688498361785e-07,
      "loss": 0.5086,
      "step": 2858
    },
    {
      "epoch": 0.7624,
      "grad_norm": 2.7380345174140093,
      "learning_rate": 6.844061915918646e-07,
      "loss": 0.4725,
      "step": 2859
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 2.7290795967967947,
      "learning_rate": 6.829448472399388e-07,
      "loss": 0.4548,
      "step": 2860
    },
    {
      "epoch": 0.7629333333333334,
      "grad_norm": 2.4176937652267743,
      "learning_rate": 6.814848178379357e-07,
      "loss": 0.3791,
      "step": 2861
    },
    {
      "epoch": 0.7632,
      "grad_norm": 2.3472737991677377,
      "learning_rate": 6.800261044424344e-07,
      "loss": 0.3348,
      "step": 2862
    },
    {
      "epoch": 0.7634666666666666,
      "grad_norm": 3.0686143679969438,
      "learning_rate": 6.785687081090642e-07,
      "loss": 0.3918,
      "step": 2863
    },
    {
      "epoch": 0.7637333333333334,
      "grad_norm": 2.6032249119397455,
      "learning_rate": 6.771126298924996e-07,
      "loss": 0.3864,
      "step": 2864
    },
    {
      "epoch": 0.764,
      "grad_norm": 2.7178457281526054,
      "learning_rate": 6.756578708464623e-07,
      "loss": 0.4811,
      "step": 2865
    },
    {
      "epoch": 0.7642666666666666,
      "grad_norm": 4.10140119634581,
      "learning_rate": 6.742044320237193e-07,
      "loss": 0.4098,
      "step": 2866
    },
    {
      "epoch": 0.7645333333333333,
      "grad_norm": 2.751376038321396,
      "learning_rate": 6.727523144760812e-07,
      "loss": 0.4351,
      "step": 2867
    },
    {
      "epoch": 0.7648,
      "grad_norm": 2.943271192272596,
      "learning_rate": 6.713015192544051e-07,
      "loss": 0.4574,
      "step": 2868
    },
    {
      "epoch": 0.7650666666666667,
      "grad_norm": 2.602594648232443,
      "learning_rate": 6.698520474085865e-07,
      "loss": 0.4523,
      "step": 2869
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 2.496545918502756,
      "learning_rate": 6.684038999875683e-07,
      "loss": 0.4019,
      "step": 2870
    },
    {
      "epoch": 0.7656,
      "grad_norm": 2.8356012410622964,
      "learning_rate": 6.669570780393317e-07,
      "loss": 0.4242,
      "step": 2871
    },
    {
      "epoch": 0.7658666666666667,
      "grad_norm": 2.3898107992025848,
      "learning_rate": 6.655115826108999e-07,
      "loss": 0.3994,
      "step": 2872
    },
    {
      "epoch": 0.7661333333333333,
      "grad_norm": 2.836990126795909,
      "learning_rate": 6.640674147483356e-07,
      "loss": 0.4516,
      "step": 2873
    },
    {
      "epoch": 0.7664,
      "grad_norm": 3.009453051218367,
      "learning_rate": 6.626245754967403e-07,
      "loss": 0.4449,
      "step": 2874
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 2.3258995417936466,
      "learning_rate": 6.611830659002572e-07,
      "loss": 0.3673,
      "step": 2875
    },
    {
      "epoch": 0.7669333333333334,
      "grad_norm": 2.979081208704945,
      "learning_rate": 6.597428870020617e-07,
      "loss": 0.4194,
      "step": 2876
    },
    {
      "epoch": 0.7672,
      "grad_norm": 2.6867556498332315,
      "learning_rate": 6.583040398443716e-07,
      "loss": 0.4314,
      "step": 2877
    },
    {
      "epoch": 0.7674666666666666,
      "grad_norm": 2.909911953120662,
      "learning_rate": 6.568665254684382e-07,
      "loss": 0.4467,
      "step": 2878
    },
    {
      "epoch": 0.7677333333333334,
      "grad_norm": 2.8960689147012255,
      "learning_rate": 6.554303449145483e-07,
      "loss": 0.4355,
      "step": 2879
    },
    {
      "epoch": 0.768,
      "grad_norm": 2.984410631845472,
      "learning_rate": 6.539954992220235e-07,
      "loss": 0.4033,
      "step": 2880
    },
    {
      "epoch": 0.7682666666666667,
      "grad_norm": 2.9991775047115747,
      "learning_rate": 6.525619894292224e-07,
      "loss": 0.5272,
      "step": 2881
    },
    {
      "epoch": 0.7685333333333333,
      "grad_norm": 2.5506311800580703,
      "learning_rate": 6.511298165735317e-07,
      "loss": 0.3911,
      "step": 2882
    },
    {
      "epoch": 0.7688,
      "grad_norm": 2.347810907149197,
      "learning_rate": 6.496989816913732e-07,
      "loss": 0.3847,
      "step": 2883
    },
    {
      "epoch": 0.7690666666666667,
      "grad_norm": 3.364365954641429,
      "learning_rate": 6.482694858182029e-07,
      "loss": 0.4728,
      "step": 2884
    },
    {
      "epoch": 0.7693333333333333,
      "grad_norm": 2.940417494012912,
      "learning_rate": 6.46841329988502e-07,
      "loss": 0.4601,
      "step": 2885
    },
    {
      "epoch": 0.7696,
      "grad_norm": 3.3834053532970936,
      "learning_rate": 6.45414515235788e-07,
      "loss": 0.5226,
      "step": 2886
    },
    {
      "epoch": 0.7698666666666667,
      "grad_norm": 2.798554801307848,
      "learning_rate": 6.439890425926035e-07,
      "loss": 0.4251,
      "step": 2887
    },
    {
      "epoch": 0.7701333333333333,
      "grad_norm": 2.3729133800489643,
      "learning_rate": 6.425649130905237e-07,
      "loss": 0.361,
      "step": 2888
    },
    {
      "epoch": 0.7704,
      "grad_norm": 2.9662567913832945,
      "learning_rate": 6.411421277601468e-07,
      "loss": 0.4689,
      "step": 2889
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 2.659865370379998,
      "learning_rate": 6.397206876311032e-07,
      "loss": 0.4312,
      "step": 2890
    },
    {
      "epoch": 0.7709333333333334,
      "grad_norm": 2.4570112800680306,
      "learning_rate": 6.383005937320474e-07,
      "loss": 0.3736,
      "step": 2891
    },
    {
      "epoch": 0.7712,
      "grad_norm": 2.6078482205038807,
      "learning_rate": 6.368818470906598e-07,
      "loss": 0.4167,
      "step": 2892
    },
    {
      "epoch": 0.7714666666666666,
      "grad_norm": 2.4789616319321865,
      "learning_rate": 6.354644487336459e-07,
      "loss": 0.3992,
      "step": 2893
    },
    {
      "epoch": 0.7717333333333334,
      "grad_norm": 2.5598297468900992,
      "learning_rate": 6.340483996867356e-07,
      "loss": 0.4321,
      "step": 2894
    },
    {
      "epoch": 0.772,
      "grad_norm": 2.6744405032089413,
      "learning_rate": 6.326337009746828e-07,
      "loss": 0.3812,
      "step": 2895
    },
    {
      "epoch": 0.7722666666666667,
      "grad_norm": 2.811962695917034,
      "learning_rate": 6.312203536212625e-07,
      "loss": 0.4133,
      "step": 2896
    },
    {
      "epoch": 0.7725333333333333,
      "grad_norm": 2.8969582810853636,
      "learning_rate": 6.298083586492757e-07,
      "loss": 0.4346,
      "step": 2897
    },
    {
      "epoch": 0.7728,
      "grad_norm": 2.663028285155219,
      "learning_rate": 6.283977170805386e-07,
      "loss": 0.3979,
      "step": 2898
    },
    {
      "epoch": 0.7730666666666667,
      "grad_norm": 2.7050132071365525,
      "learning_rate": 6.269884299358942e-07,
      "loss": 0.41,
      "step": 2899
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 2.705984935195955,
      "learning_rate": 6.255804982352015e-07,
      "loss": 0.4209,
      "step": 2900
    },
    {
      "epoch": 0.7736,
      "grad_norm": 2.7446412264383384,
      "learning_rate": 6.2417392299734e-07,
      "loss": 0.4238,
      "step": 2901
    },
    {
      "epoch": 0.7738666666666667,
      "grad_norm": 2.774258686857121,
      "learning_rate": 6.227687052402071e-07,
      "loss": 0.4445,
      "step": 2902
    },
    {
      "epoch": 0.7741333333333333,
      "grad_norm": 2.4375222113069968,
      "learning_rate": 6.21364845980717e-07,
      "loss": 0.3635,
      "step": 2903
    },
    {
      "epoch": 0.7744,
      "grad_norm": 2.571474148453655,
      "learning_rate": 6.199623462348042e-07,
      "loss": 0.3739,
      "step": 2904
    },
    {
      "epoch": 0.7746666666666666,
      "grad_norm": 2.947001029914485,
      "learning_rate": 6.18561207017414e-07,
      "loss": 0.4687,
      "step": 2905
    },
    {
      "epoch": 0.7749333333333334,
      "grad_norm": 2.7833175361661486,
      "learning_rate": 6.171614293425124e-07,
      "loss": 0.4199,
      "step": 2906
    },
    {
      "epoch": 0.7752,
      "grad_norm": 2.959306159040219,
      "learning_rate": 6.157630142230767e-07,
      "loss": 0.4115,
      "step": 2907
    },
    {
      "epoch": 0.7754666666666666,
      "grad_norm": 2.613815185402988,
      "learning_rate": 6.143659626710996e-07,
      "loss": 0.4179,
      "step": 2908
    },
    {
      "epoch": 0.7757333333333334,
      "grad_norm": 2.5819532665634575,
      "learning_rate": 6.129702756975856e-07,
      "loss": 0.4153,
      "step": 2909
    },
    {
      "epoch": 0.776,
      "grad_norm": 2.7624106584780033,
      "learning_rate": 6.115759543125552e-07,
      "loss": 0.3734,
      "step": 2910
    },
    {
      "epoch": 0.7762666666666667,
      "grad_norm": 3.0743968604390313,
      "learning_rate": 6.101829995250355e-07,
      "loss": 0.4665,
      "step": 2911
    },
    {
      "epoch": 0.7765333333333333,
      "grad_norm": 2.9343329283504813,
      "learning_rate": 6.08791412343068e-07,
      "loss": 0.4616,
      "step": 2912
    },
    {
      "epoch": 0.7768,
      "grad_norm": 2.860965148425165,
      "learning_rate": 6.074011937737049e-07,
      "loss": 0.4599,
      "step": 2913
    },
    {
      "epoch": 0.7770666666666667,
      "grad_norm": 2.562995630251855,
      "learning_rate": 6.060123448230062e-07,
      "loss": 0.4255,
      "step": 2914
    },
    {
      "epoch": 0.7773333333333333,
      "grad_norm": 2.4784623209611305,
      "learning_rate": 6.046248664960417e-07,
      "loss": 0.3989,
      "step": 2915
    },
    {
      "epoch": 0.7776,
      "grad_norm": 2.4508932392214082,
      "learning_rate": 6.032387597968881e-07,
      "loss": 0.3476,
      "step": 2916
    },
    {
      "epoch": 0.7778666666666667,
      "grad_norm": 3.0301032095312643,
      "learning_rate": 6.018540257286326e-07,
      "loss": 0.4129,
      "step": 2917
    },
    {
      "epoch": 0.7781333333333333,
      "grad_norm": 2.5781891361399945,
      "learning_rate": 6.004706652933643e-07,
      "loss": 0.3924,
      "step": 2918
    },
    {
      "epoch": 0.7784,
      "grad_norm": 2.2026528115853923,
      "learning_rate": 5.990886794921827e-07,
      "loss": 0.3442,
      "step": 2919
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 2.4984988439674383,
      "learning_rate": 5.977080693251902e-07,
      "loss": 0.3761,
      "step": 2920
    },
    {
      "epoch": 0.7789333333333334,
      "grad_norm": 3.009557861218217,
      "learning_rate": 5.963288357914943e-07,
      "loss": 0.4665,
      "step": 2921
    },
    {
      "epoch": 0.7792,
      "grad_norm": 2.7553385348744173,
      "learning_rate": 5.949509798892058e-07,
      "loss": 0.4441,
      "step": 2922
    },
    {
      "epoch": 0.7794666666666666,
      "grad_norm": 2.538373118963494,
      "learning_rate": 5.935745026154394e-07,
      "loss": 0.3991,
      "step": 2923
    },
    {
      "epoch": 0.7797333333333333,
      "grad_norm": 2.6812763501307812,
      "learning_rate": 5.921994049663113e-07,
      "loss": 0.4243,
      "step": 2924
    },
    {
      "epoch": 0.78,
      "grad_norm": 2.6328954231959374,
      "learning_rate": 5.90825687936939e-07,
      "loss": 0.3674,
      "step": 2925
    },
    {
      "epoch": 0.7802666666666667,
      "grad_norm": 2.514843997260084,
      "learning_rate": 5.89453352521443e-07,
      "loss": 0.3698,
      "step": 2926
    },
    {
      "epoch": 0.7805333333333333,
      "grad_norm": 2.212848318311014,
      "learning_rate": 5.880823997129417e-07,
      "loss": 0.3427,
      "step": 2927
    },
    {
      "epoch": 0.7808,
      "grad_norm": 2.680059977579938,
      "learning_rate": 5.867128305035538e-07,
      "loss": 0.445,
      "step": 2928
    },
    {
      "epoch": 0.7810666666666667,
      "grad_norm": 2.6246933147637104,
      "learning_rate": 5.853446458843964e-07,
      "loss": 0.4042,
      "step": 2929
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 2.622882319448965,
      "learning_rate": 5.839778468455853e-07,
      "loss": 0.4213,
      "step": 2930
    },
    {
      "epoch": 0.7816,
      "grad_norm": 2.689720568330337,
      "learning_rate": 5.826124343762332e-07,
      "loss": 0.4254,
      "step": 2931
    },
    {
      "epoch": 0.7818666666666667,
      "grad_norm": 2.488571267107362,
      "learning_rate": 5.812484094644483e-07,
      "loss": 0.3826,
      "step": 2932
    },
    {
      "epoch": 0.7821333333333333,
      "grad_norm": 2.7307527569016674,
      "learning_rate": 5.798857730973379e-07,
      "loss": 0.3942,
      "step": 2933
    },
    {
      "epoch": 0.7824,
      "grad_norm": 2.282197771200289,
      "learning_rate": 5.785245262609995e-07,
      "loss": 0.3404,
      "step": 2934
    },
    {
      "epoch": 0.7826666666666666,
      "grad_norm": 2.684711451114457,
      "learning_rate": 5.7716466994053e-07,
      "loss": 0.4397,
      "step": 2935
    },
    {
      "epoch": 0.7829333333333334,
      "grad_norm": 2.2845538094564652,
      "learning_rate": 5.758062051200166e-07,
      "loss": 0.3555,
      "step": 2936
    },
    {
      "epoch": 0.7832,
      "grad_norm": 2.502563991123121,
      "learning_rate": 5.744491327825425e-07,
      "loss": 0.3764,
      "step": 2937
    },
    {
      "epoch": 0.7834666666666666,
      "grad_norm": 2.7425445697830577,
      "learning_rate": 5.73093453910179e-07,
      "loss": 0.3861,
      "step": 2938
    },
    {
      "epoch": 0.7837333333333333,
      "grad_norm": 2.7859393727939854,
      "learning_rate": 5.71739169483993e-07,
      "loss": 0.4288,
      "step": 2939
    },
    {
      "epoch": 0.784,
      "grad_norm": 2.623564064765194,
      "learning_rate": 5.703862804840408e-07,
      "loss": 0.3895,
      "step": 2940
    },
    {
      "epoch": 0.7842666666666667,
      "grad_norm": 2.7692085006850906,
      "learning_rate": 5.690347878893679e-07,
      "loss": 0.3867,
      "step": 2941
    },
    {
      "epoch": 0.7845333333333333,
      "grad_norm": 2.654590511241293,
      "learning_rate": 5.676846926780108e-07,
      "loss": 0.4028,
      "step": 2942
    },
    {
      "epoch": 0.7848,
      "grad_norm": 2.8091491084267664,
      "learning_rate": 5.663359958269937e-07,
      "loss": 0.4562,
      "step": 2943
    },
    {
      "epoch": 0.7850666666666667,
      "grad_norm": 2.6835488910866703,
      "learning_rate": 5.649886983123298e-07,
      "loss": 0.4337,
      "step": 2944
    },
    {
      "epoch": 0.7853333333333333,
      "grad_norm": 2.978481290463809,
      "learning_rate": 5.636428011090178e-07,
      "loss": 0.4823,
      "step": 2945
    },
    {
      "epoch": 0.7856,
      "grad_norm": 2.565605902092165,
      "learning_rate": 5.622983051910466e-07,
      "loss": 0.3983,
      "step": 2946
    },
    {
      "epoch": 0.7858666666666667,
      "grad_norm": 2.3041766355102284,
      "learning_rate": 5.609552115313863e-07,
      "loss": 0.352,
      "step": 2947
    },
    {
      "epoch": 0.7861333333333334,
      "grad_norm": 2.5266509773924124,
      "learning_rate": 5.596135211019962e-07,
      "loss": 0.4039,
      "step": 2948
    },
    {
      "epoch": 0.7864,
      "grad_norm": 2.767004925648691,
      "learning_rate": 5.582732348738185e-07,
      "loss": 0.4245,
      "step": 2949
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 2.3175753214763484,
      "learning_rate": 5.569343538167791e-07,
      "loss": 0.3618,
      "step": 2950
    },
    {
      "epoch": 0.7869333333333334,
      "grad_norm": 2.5264844354839173,
      "learning_rate": 5.55596878899787e-07,
      "loss": 0.3512,
      "step": 2951
    },
    {
      "epoch": 0.7872,
      "grad_norm": 2.3100655843978393,
      "learning_rate": 5.542608110907333e-07,
      "loss": 0.3241,
      "step": 2952
    },
    {
      "epoch": 0.7874666666666666,
      "grad_norm": 3.1487539711308767,
      "learning_rate": 5.529261513564938e-07,
      "loss": 0.4613,
      "step": 2953
    },
    {
      "epoch": 0.7877333333333333,
      "grad_norm": 2.805973870717925,
      "learning_rate": 5.515929006629194e-07,
      "loss": 0.4399,
      "step": 2954
    },
    {
      "epoch": 0.788,
      "grad_norm": 2.4809670219099185,
      "learning_rate": 5.502610599748478e-07,
      "loss": 0.3494,
      "step": 2955
    },
    {
      "epoch": 0.7882666666666667,
      "grad_norm": 2.8674142864338634,
      "learning_rate": 5.48930630256092e-07,
      "loss": 0.4538,
      "step": 2956
    },
    {
      "epoch": 0.7885333333333333,
      "grad_norm": 2.7233729273836422,
      "learning_rate": 5.476016124694455e-07,
      "loss": 0.4162,
      "step": 2957
    },
    {
      "epoch": 0.7888,
      "grad_norm": 2.8273509285087255,
      "learning_rate": 5.462740075766798e-07,
      "loss": 0.4133,
      "step": 2958
    },
    {
      "epoch": 0.7890666666666667,
      "grad_norm": 2.5336598412029225,
      "learning_rate": 5.449478165385439e-07,
      "loss": 0.3822,
      "step": 2959
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 2.5665999779840667,
      "learning_rate": 5.436230403147635e-07,
      "loss": 0.3762,
      "step": 2960
    },
    {
      "epoch": 0.7896,
      "grad_norm": 2.3938459829887684,
      "learning_rate": 5.422996798640401e-07,
      "loss": 0.3853,
      "step": 2961
    },
    {
      "epoch": 0.7898666666666667,
      "grad_norm": 2.9201155764312614,
      "learning_rate": 5.409777361440524e-07,
      "loss": 0.4318,
      "step": 2962
    },
    {
      "epoch": 0.7901333333333334,
      "grad_norm": 2.5158948189122303,
      "learning_rate": 5.39657210111452e-07,
      "loss": 0.348,
      "step": 2963
    },
    {
      "epoch": 0.7904,
      "grad_norm": 2.695232212215225,
      "learning_rate": 5.383381027218648e-07,
      "loss": 0.3763,
      "step": 2964
    },
    {
      "epoch": 0.7906666666666666,
      "grad_norm": 3.228999205365549,
      "learning_rate": 5.370204149298902e-07,
      "loss": 0.4951,
      "step": 2965
    },
    {
      "epoch": 0.7909333333333334,
      "grad_norm": 2.9758506651321612,
      "learning_rate": 5.357041476891025e-07,
      "loss": 0.4361,
      "step": 2966
    },
    {
      "epoch": 0.7912,
      "grad_norm": 3.0650764051653505,
      "learning_rate": 5.34389301952043e-07,
      "loss": 0.4341,
      "step": 2967
    },
    {
      "epoch": 0.7914666666666667,
      "grad_norm": 2.4142176909934183,
      "learning_rate": 5.330758786702295e-07,
      "loss": 0.4066,
      "step": 2968
    },
    {
      "epoch": 0.7917333333333333,
      "grad_norm": 5.07257596862862,
      "learning_rate": 5.317638787941474e-07,
      "loss": 0.4056,
      "step": 2969
    },
    {
      "epoch": 0.792,
      "grad_norm": 2.7645878276192324,
      "learning_rate": 5.304533032732529e-07,
      "loss": 0.3889,
      "step": 2970
    },
    {
      "epoch": 0.7922666666666667,
      "grad_norm": 2.5345797919802573,
      "learning_rate": 5.291441530559713e-07,
      "loss": 0.3808,
      "step": 2971
    },
    {
      "epoch": 0.7925333333333333,
      "grad_norm": 2.502018317581386,
      "learning_rate": 5.278364290896964e-07,
      "loss": 0.3633,
      "step": 2972
    },
    {
      "epoch": 0.7928,
      "grad_norm": 2.4136393498617554,
      "learning_rate": 5.265301323207905e-07,
      "loss": 0.3959,
      "step": 2973
    },
    {
      "epoch": 0.7930666666666667,
      "grad_norm": 2.2407331911040633,
      "learning_rate": 5.252252636945812e-07,
      "loss": 0.3461,
      "step": 2974
    },
    {
      "epoch": 0.7933333333333333,
      "grad_norm": 2.44336393258173,
      "learning_rate": 5.239218241553656e-07,
      "loss": 0.3929,
      "step": 2975
    },
    {
      "epoch": 0.7936,
      "grad_norm": 2.59498690903291,
      "learning_rate": 5.226198146464043e-07,
      "loss": 0.3822,
      "step": 2976
    },
    {
      "epoch": 0.7938666666666667,
      "grad_norm": 2.659270098768909,
      "learning_rate": 5.213192361099237e-07,
      "loss": 0.4021,
      "step": 2977
    },
    {
      "epoch": 0.7941333333333334,
      "grad_norm": 2.5671665662050827,
      "learning_rate": 5.200200894871146e-07,
      "loss": 0.4142,
      "step": 2978
    },
    {
      "epoch": 0.7944,
      "grad_norm": 2.7138657641736055,
      "learning_rate": 5.187223757181314e-07,
      "loss": 0.449,
      "step": 2979
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 2.3178298984056527,
      "learning_rate": 5.17426095742092e-07,
      "loss": 0.3481,
      "step": 2980
    },
    {
      "epoch": 0.7949333333333334,
      "grad_norm": 5.227212483964543,
      "learning_rate": 5.161312504970759e-07,
      "loss": 0.4401,
      "step": 2981
    },
    {
      "epoch": 0.7952,
      "grad_norm": 2.873513553342811,
      "learning_rate": 5.148378409201266e-07,
      "loss": 0.437,
      "step": 2982
    },
    {
      "epoch": 0.7954666666666667,
      "grad_norm": 3.1268114854186133,
      "learning_rate": 5.135458679472443e-07,
      "loss": 0.476,
      "step": 2983
    },
    {
      "epoch": 0.7957333333333333,
      "grad_norm": 2.6041157829282398,
      "learning_rate": 5.122553325133947e-07,
      "loss": 0.4023,
      "step": 2984
    },
    {
      "epoch": 0.796,
      "grad_norm": 2.8273639657731624,
      "learning_rate": 5.109662355524997e-07,
      "loss": 0.4279,
      "step": 2985
    },
    {
      "epoch": 0.7962666666666667,
      "grad_norm": 2.778178574714288,
      "learning_rate": 5.096785779974411e-07,
      "loss": 0.4197,
      "step": 2986
    },
    {
      "epoch": 0.7965333333333333,
      "grad_norm": 2.56448282555024,
      "learning_rate": 5.083923607800597e-07,
      "loss": 0.4038,
      "step": 2987
    },
    {
      "epoch": 0.7968,
      "grad_norm": 2.874080034341411,
      "learning_rate": 5.071075848311524e-07,
      "loss": 0.4532,
      "step": 2988
    },
    {
      "epoch": 0.7970666666666667,
      "grad_norm": 2.5442419440181583,
      "learning_rate": 5.058242510804762e-07,
      "loss": 0.3899,
      "step": 2989
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 2.6950831538067743,
      "learning_rate": 5.045423604567396e-07,
      "loss": 0.3972,
      "step": 2990
    },
    {
      "epoch": 0.7976,
      "grad_norm": 2.900638543258604,
      "learning_rate": 5.032619138876119e-07,
      "loss": 0.4117,
      "step": 2991
    },
    {
      "epoch": 0.7978666666666666,
      "grad_norm": 2.4529848944791373,
      "learning_rate": 5.019829122997139e-07,
      "loss": 0.4092,
      "step": 2992
    },
    {
      "epoch": 0.7981333333333334,
      "grad_norm": 2.3295934635292626,
      "learning_rate": 5.007053566186223e-07,
      "loss": 0.3469,
      "step": 2993
    },
    {
      "epoch": 0.7984,
      "grad_norm": 2.6783059938592717,
      "learning_rate": 4.994292477688658e-07,
      "loss": 0.4365,
      "step": 2994
    },
    {
      "epoch": 0.7986666666666666,
      "grad_norm": 2.5653132769475167,
      "learning_rate": 4.981545866739295e-07,
      "loss": 0.3626,
      "step": 2995
    },
    {
      "epoch": 0.7989333333333334,
      "grad_norm": 2.9164522461623155,
      "learning_rate": 4.968813742562461e-07,
      "loss": 0.406,
      "step": 2996
    },
    {
      "epoch": 0.7992,
      "grad_norm": 2.793201889802583,
      "learning_rate": 4.956096114372039e-07,
      "loss": 0.4351,
      "step": 2997
    },
    {
      "epoch": 0.7994666666666667,
      "grad_norm": 2.6691039188528114,
      "learning_rate": 4.943392991371402e-07,
      "loss": 0.4168,
      "step": 2998
    },
    {
      "epoch": 0.7997333333333333,
      "grad_norm": 2.838472088491379,
      "learning_rate": 4.930704382753429e-07,
      "loss": 0.4066,
      "step": 2999
    },
    {
      "epoch": 0.8,
      "grad_norm": 2.8853687991618755,
      "learning_rate": 4.918030297700499e-07,
      "loss": 0.4265,
      "step": 3000
    },
    {
      "epoch": 0.8002666666666667,
      "grad_norm": 2.326677008495504,
      "learning_rate": 4.905370745384469e-07,
      "loss": 0.3534,
      "step": 3001
    },
    {
      "epoch": 0.8005333333333333,
      "grad_norm": 2.4923901285980805,
      "learning_rate": 4.892725734966711e-07,
      "loss": 0.3831,
      "step": 3002
    },
    {
      "epoch": 0.8008,
      "grad_norm": 2.7622948679972525,
      "learning_rate": 4.880095275598023e-07,
      "loss": 0.432,
      "step": 3003
    },
    {
      "epoch": 0.8010666666666667,
      "grad_norm": 2.5722089106329262,
      "learning_rate": 4.867479376418721e-07,
      "loss": 0.3944,
      "step": 3004
    },
    {
      "epoch": 0.8013333333333333,
      "grad_norm": 2.510194299436287,
      "learning_rate": 4.854878046558556e-07,
      "loss": 0.3566,
      "step": 3005
    },
    {
      "epoch": 0.8016,
      "grad_norm": 2.6242055253807464,
      "learning_rate": 4.842291295136747e-07,
      "loss": 0.3781,
      "step": 3006
    },
    {
      "epoch": 0.8018666666666666,
      "grad_norm": 2.491862037001128,
      "learning_rate": 4.829719131261957e-07,
      "loss": 0.3843,
      "step": 3007
    },
    {
      "epoch": 0.8021333333333334,
      "grad_norm": 2.9676691606500314,
      "learning_rate": 4.817161564032294e-07,
      "loss": 0.4451,
      "step": 3008
    },
    {
      "epoch": 0.8024,
      "grad_norm": 2.4929893694377108,
      "learning_rate": 4.804618602535308e-07,
      "loss": 0.3871,
      "step": 3009
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 2.6700055602887294,
      "learning_rate": 4.792090255847964e-07,
      "loss": 0.37,
      "step": 3010
    },
    {
      "epoch": 0.8029333333333334,
      "grad_norm": 2.583160012755656,
      "learning_rate": 4.779576533036676e-07,
      "loss": 0.4318,
      "step": 3011
    },
    {
      "epoch": 0.8032,
      "grad_norm": 2.2216132078632587,
      "learning_rate": 4.767077443157259e-07,
      "loss": 0.3366,
      "step": 3012
    },
    {
      "epoch": 0.8034666666666667,
      "grad_norm": 2.770968989138659,
      "learning_rate": 4.7545929952549336e-07,
      "loss": 0.4489,
      "step": 3013
    },
    {
      "epoch": 0.8037333333333333,
      "grad_norm": 2.343797322210326,
      "learning_rate": 4.7421231983643345e-07,
      "loss": 0.4089,
      "step": 3014
    },
    {
      "epoch": 0.804,
      "grad_norm": 2.4275736202610116,
      "learning_rate": 4.729668061509493e-07,
      "loss": 0.3677,
      "step": 3015
    },
    {
      "epoch": 0.8042666666666667,
      "grad_norm": 2.9789658513554276,
      "learning_rate": 4.717227593703824e-07,
      "loss": 0.3984,
      "step": 3016
    },
    {
      "epoch": 0.8045333333333333,
      "grad_norm": 2.6344563538365686,
      "learning_rate": 4.704801803950132e-07,
      "loss": 0.3961,
      "step": 3017
    },
    {
      "epoch": 0.8048,
      "grad_norm": 2.5063916914208746,
      "learning_rate": 4.692390701240612e-07,
      "loss": 0.3911,
      "step": 3018
    },
    {
      "epoch": 0.8050666666666667,
      "grad_norm": 2.547390941228231,
      "learning_rate": 4.6799942945567943e-07,
      "loss": 0.3834,
      "step": 3019
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 2.4228022194702445,
      "learning_rate": 4.667612592869622e-07,
      "loss": 0.3877,
      "step": 3020
    },
    {
      "epoch": 0.8056,
      "grad_norm": 2.967942825005316,
      "learning_rate": 4.655245605139358e-07,
      "loss": 0.399,
      "step": 3021
    },
    {
      "epoch": 0.8058666666666666,
      "grad_norm": 2.657279575770166,
      "learning_rate": 4.642893340315635e-07,
      "loss": 0.3919,
      "step": 3022
    },
    {
      "epoch": 0.8061333333333334,
      "grad_norm": 2.984625456682371,
      "learning_rate": 4.6305558073374195e-07,
      "loss": 0.411,
      "step": 3023
    },
    {
      "epoch": 0.8064,
      "grad_norm": 2.2307335765286527,
      "learning_rate": 4.618233015133042e-07,
      "loss": 0.3511,
      "step": 3024
    },
    {
      "epoch": 0.8066666666666666,
      "grad_norm": 3.0627782305824405,
      "learning_rate": 4.605924972620138e-07,
      "loss": 0.4915,
      "step": 3025
    },
    {
      "epoch": 0.8069333333333333,
      "grad_norm": 2.3881060939763543,
      "learning_rate": 4.59363168870568e-07,
      "loss": 0.3636,
      "step": 3026
    },
    {
      "epoch": 0.8072,
      "grad_norm": 2.5342760026421582,
      "learning_rate": 4.58135317228596e-07,
      "loss": 0.3996,
      "step": 3027
    },
    {
      "epoch": 0.8074666666666667,
      "grad_norm": 2.6921049753262625,
      "learning_rate": 4.5690894322465845e-07,
      "loss": 0.3997,
      "step": 3028
    },
    {
      "epoch": 0.8077333333333333,
      "grad_norm": 2.516530192127829,
      "learning_rate": 4.5568404774624654e-07,
      "loss": 0.3581,
      "step": 3029
    },
    {
      "epoch": 0.808,
      "grad_norm": 2.725364717450899,
      "learning_rate": 4.544606316797806e-07,
      "loss": 0.4011,
      "step": 3030
    },
    {
      "epoch": 0.8082666666666667,
      "grad_norm": 3.710758305491939,
      "learning_rate": 4.53238695910613e-07,
      "loss": 0.501,
      "step": 3031
    },
    {
      "epoch": 0.8085333333333333,
      "grad_norm": 2.500296097235069,
      "learning_rate": 4.5201824132302117e-07,
      "loss": 0.386,
      "step": 3032
    },
    {
      "epoch": 0.8088,
      "grad_norm": 2.5854979449298936,
      "learning_rate": 4.5079926880021387e-07,
      "loss": 0.387,
      "step": 3033
    },
    {
      "epoch": 0.8090666666666667,
      "grad_norm": 2.786619690918435,
      "learning_rate": 4.4958177922432564e-07,
      "loss": 0.4357,
      "step": 3034
    },
    {
      "epoch": 0.8093333333333333,
      "grad_norm": 2.8933251986305515,
      "learning_rate": 4.4836577347641824e-07,
      "loss": 0.41,
      "step": 3035
    },
    {
      "epoch": 0.8096,
      "grad_norm": 2.6829285440101804,
      "learning_rate": 4.471512524364796e-07,
      "loss": 0.4338,
      "step": 3036
    },
    {
      "epoch": 0.8098666666666666,
      "grad_norm": 2.7417552122326487,
      "learning_rate": 4.4593821698342253e-07,
      "loss": 0.4688,
      "step": 3037
    },
    {
      "epoch": 0.8101333333333334,
      "grad_norm": 2.3299775019748203,
      "learning_rate": 4.447266679950876e-07,
      "loss": 0.3606,
      "step": 3038
    },
    {
      "epoch": 0.8104,
      "grad_norm": 2.693854033340989,
      "learning_rate": 4.435166063482349e-07,
      "loss": 0.4062,
      "step": 3039
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 2.924354761825199,
      "learning_rate": 4.423080329185525e-07,
      "loss": 0.4106,
      "step": 3040
    },
    {
      "epoch": 0.8109333333333333,
      "grad_norm": 2.19407633352933,
      "learning_rate": 4.411009485806497e-07,
      "loss": 0.337,
      "step": 3041
    },
    {
      "epoch": 0.8112,
      "grad_norm": 2.939573484499129,
      "learning_rate": 4.398953542080578e-07,
      "loss": 0.4025,
      "step": 3042
    },
    {
      "epoch": 0.8114666666666667,
      "grad_norm": 2.3629579234453306,
      "learning_rate": 4.3869125067323047e-07,
      "loss": 0.3698,
      "step": 3043
    },
    {
      "epoch": 0.8117333333333333,
      "grad_norm": 2.5232786982893862,
      "learning_rate": 4.3748863884754246e-07,
      "loss": 0.4061,
      "step": 3044
    },
    {
      "epoch": 0.812,
      "grad_norm": 2.4516802934773727,
      "learning_rate": 4.362875196012889e-07,
      "loss": 0.3609,
      "step": 3045
    },
    {
      "epoch": 0.8122666666666667,
      "grad_norm": 2.597731896345142,
      "learning_rate": 4.350878938036843e-07,
      "loss": 0.3845,
      "step": 3046
    },
    {
      "epoch": 0.8125333333333333,
      "grad_norm": 3.0035944337575415,
      "learning_rate": 4.3388976232286494e-07,
      "loss": 0.4532,
      "step": 3047
    },
    {
      "epoch": 0.8128,
      "grad_norm": 2.7385798688500937,
      "learning_rate": 4.326931260258807e-07,
      "loss": 0.4059,
      "step": 3048
    },
    {
      "epoch": 0.8130666666666667,
      "grad_norm": 2.3654460744559165,
      "learning_rate": 4.3149798577870467e-07,
      "loss": 0.3503,
      "step": 3049
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 2.8081383972611595,
      "learning_rate": 4.303043424462239e-07,
      "loss": 0.43,
      "step": 3050
    },
    {
      "epoch": 0.8136,
      "grad_norm": 2.5506635281520134,
      "learning_rate": 4.2911219689224485e-07,
      "loss": 0.3765,
      "step": 3051
    },
    {
      "epoch": 0.8138666666666666,
      "grad_norm": 2.938556887959325,
      "learning_rate": 4.2792154997948613e-07,
      "loss": 0.3905,
      "step": 3052
    },
    {
      "epoch": 0.8141333333333334,
      "grad_norm": 2.622108981670773,
      "learning_rate": 4.2673240256958655e-07,
      "loss": 0.4333,
      "step": 3053
    },
    {
      "epoch": 0.8144,
      "grad_norm": 2.480598879686512,
      "learning_rate": 4.255447555230963e-07,
      "loss": 0.4001,
      "step": 3054
    },
    {
      "epoch": 0.8146666666666667,
      "grad_norm": 2.9731198255108153,
      "learning_rate": 4.2435860969948146e-07,
      "loss": 0.4714,
      "step": 3055
    },
    {
      "epoch": 0.8149333333333333,
      "grad_norm": 2.8509175360397077,
      "learning_rate": 4.2317396595712074e-07,
      "loss": 0.4117,
      "step": 3056
    },
    {
      "epoch": 0.8152,
      "grad_norm": 2.594576027249067,
      "learning_rate": 4.219908251533067e-07,
      "loss": 0.3923,
      "step": 3057
    },
    {
      "epoch": 0.8154666666666667,
      "grad_norm": 2.5622566314245594,
      "learning_rate": 4.208091881442439e-07,
      "loss": 0.4133,
      "step": 3058
    },
    {
      "epoch": 0.8157333333333333,
      "grad_norm": 2.9836903571628928,
      "learning_rate": 4.196290557850477e-07,
      "loss": 0.3815,
      "step": 3059
    },
    {
      "epoch": 0.816,
      "grad_norm": 2.509290184470619,
      "learning_rate": 4.1845042892974726e-07,
      "loss": 0.3831,
      "step": 3060
    },
    {
      "epoch": 0.8162666666666667,
      "grad_norm": 2.420320941088841,
      "learning_rate": 4.172733084312794e-07,
      "loss": 0.3424,
      "step": 3061
    },
    {
      "epoch": 0.8165333333333333,
      "grad_norm": 2.6306784667680034,
      "learning_rate": 4.1609769514149217e-07,
      "loss": 0.409,
      "step": 3062
    },
    {
      "epoch": 0.8168,
      "grad_norm": 2.8701124687929034,
      "learning_rate": 4.1492358991114287e-07,
      "loss": 0.4854,
      "step": 3063
    },
    {
      "epoch": 0.8170666666666667,
      "grad_norm": 2.5606675707134765,
      "learning_rate": 4.13750993589897e-07,
      "loss": 0.4003,
      "step": 3064
    },
    {
      "epoch": 0.8173333333333334,
      "grad_norm": 2.5795083889327075,
      "learning_rate": 4.125799070263287e-07,
      "loss": 0.4001,
      "step": 3065
    },
    {
      "epoch": 0.8176,
      "grad_norm": 3.1367159565639646,
      "learning_rate": 4.114103310679182e-07,
      "loss": 0.4206,
      "step": 3066
    },
    {
      "epoch": 0.8178666666666666,
      "grad_norm": 2.4348193773609585,
      "learning_rate": 4.102422665610556e-07,
      "loss": 0.3978,
      "step": 3067
    },
    {
      "epoch": 0.8181333333333334,
      "grad_norm": 2.667006359814481,
      "learning_rate": 4.090757143510329e-07,
      "loss": 0.4002,
      "step": 3068
    },
    {
      "epoch": 0.8184,
      "grad_norm": 2.4983942727555544,
      "learning_rate": 4.079106752820516e-07,
      "loss": 0.3721,
      "step": 3069
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 2.501974179099744,
      "learning_rate": 4.0674715019721616e-07,
      "loss": 0.3977,
      "step": 3070
    },
    {
      "epoch": 0.8189333333333333,
      "grad_norm": 2.7377578912880813,
      "learning_rate": 4.0558513993853576e-07,
      "loss": 0.395,
      "step": 3071
    },
    {
      "epoch": 0.8192,
      "grad_norm": 2.3838281278017854,
      "learning_rate": 4.044246453469231e-07,
      "loss": 0.3838,
      "step": 3072
    },
    {
      "epoch": 0.8194666666666667,
      "grad_norm": 2.4265977352448176,
      "learning_rate": 4.03265667262194e-07,
      "loss": 0.3784,
      "step": 3073
    },
    {
      "epoch": 0.8197333333333333,
      "grad_norm": 2.85866944555653,
      "learning_rate": 4.021082065230689e-07,
      "loss": 0.3959,
      "step": 3074
    },
    {
      "epoch": 0.82,
      "grad_norm": 2.620549900827815,
      "learning_rate": 4.009522639671662e-07,
      "loss": 0.3752,
      "step": 3075
    },
    {
      "epoch": 0.8202666666666667,
      "grad_norm": 2.4070090700511706,
      "learning_rate": 3.997978404310096e-07,
      "loss": 0.3655,
      "step": 3076
    },
    {
      "epoch": 0.8205333333333333,
      "grad_norm": 2.819236120858561,
      "learning_rate": 3.986449367500209e-07,
      "loss": 0.4356,
      "step": 3077
    },
    {
      "epoch": 0.8208,
      "grad_norm": 2.9312860664860185,
      "learning_rate": 3.9749355375852337e-07,
      "loss": 0.4122,
      "step": 3078
    },
    {
      "epoch": 0.8210666666666666,
      "grad_norm": 2.6163283117185943,
      "learning_rate": 3.9634369228973843e-07,
      "loss": 0.4043,
      "step": 3079
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 3.02480936824398,
      "learning_rate": 3.951953531757893e-07,
      "loss": 0.4875,
      "step": 3080
    },
    {
      "epoch": 0.8216,
      "grad_norm": 2.6242500143340384,
      "learning_rate": 3.940485372476935e-07,
      "loss": 0.4066,
      "step": 3081
    },
    {
      "epoch": 0.8218666666666666,
      "grad_norm": 3.2621169393405496,
      "learning_rate": 3.9290324533536956e-07,
      "loss": 0.4267,
      "step": 3082
    },
    {
      "epoch": 0.8221333333333334,
      "grad_norm": 2.723887224925732,
      "learning_rate": 3.917594782676315e-07,
      "loss": 0.3949,
      "step": 3083
    },
    {
      "epoch": 0.8224,
      "grad_norm": 2.7268344743094444,
      "learning_rate": 3.9061723687219027e-07,
      "loss": 0.4708,
      "step": 3084
    },
    {
      "epoch": 0.8226666666666667,
      "grad_norm": 2.585996997022254,
      "learning_rate": 3.89476521975653e-07,
      "loss": 0.3968,
      "step": 3085
    },
    {
      "epoch": 0.8229333333333333,
      "grad_norm": 2.6572303318828294,
      "learning_rate": 3.88337334403521e-07,
      "loss": 0.3732,
      "step": 3086
    },
    {
      "epoch": 0.8232,
      "grad_norm": 2.7585012689731774,
      "learning_rate": 3.871996749801926e-07,
      "loss": 0.4069,
      "step": 3087
    },
    {
      "epoch": 0.8234666666666667,
      "grad_norm": 2.550543893582769,
      "learning_rate": 3.8606354452895704e-07,
      "loss": 0.4014,
      "step": 3088
    },
    {
      "epoch": 0.8237333333333333,
      "grad_norm": 2.868433247658423,
      "learning_rate": 3.8492894387200054e-07,
      "loss": 0.4409,
      "step": 3089
    },
    {
      "epoch": 0.824,
      "grad_norm": 2.8248107784611864,
      "learning_rate": 3.8379587383039954e-07,
      "loss": 0.444,
      "step": 3090
    },
    {
      "epoch": 0.8242666666666667,
      "grad_norm": 2.5574405571198358,
      "learning_rate": 3.826643352241241e-07,
      "loss": 0.4073,
      "step": 3091
    },
    {
      "epoch": 0.8245333333333333,
      "grad_norm": 2.5555259571320437,
      "learning_rate": 3.8153432887203607e-07,
      "loss": 0.3885,
      "step": 3092
    },
    {
      "epoch": 0.8248,
      "grad_norm": 2.3388020678340613,
      "learning_rate": 3.8040585559188767e-07,
      "loss": 0.3636,
      "step": 3093
    },
    {
      "epoch": 0.8250666666666666,
      "grad_norm": 2.2967082289989205,
      "learning_rate": 3.792789162003224e-07,
      "loss": 0.3138,
      "step": 3094
    },
    {
      "epoch": 0.8253333333333334,
      "grad_norm": 2.308334622689365,
      "learning_rate": 3.781535115128729e-07,
      "loss": 0.349,
      "step": 3095
    },
    {
      "epoch": 0.8256,
      "grad_norm": 2.7053456274361625,
      "learning_rate": 3.7702964234396346e-07,
      "loss": 0.391,
      "step": 3096
    },
    {
      "epoch": 0.8258666666666666,
      "grad_norm": 2.380889868981662,
      "learning_rate": 3.7590730950690323e-07,
      "loss": 0.3629,
      "step": 3097
    },
    {
      "epoch": 0.8261333333333334,
      "grad_norm": 4.416567937637563,
      "learning_rate": 3.7478651381389367e-07,
      "loss": 0.4894,
      "step": 3098
    },
    {
      "epoch": 0.8264,
      "grad_norm": 2.4978557966411805,
      "learning_rate": 3.736672560760207e-07,
      "loss": 0.4035,
      "step": 3099
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 3.2144386017983764,
      "learning_rate": 3.7254953710326004e-07,
      "loss": 0.4192,
      "step": 3100
    },
    {
      "epoch": 0.8269333333333333,
      "grad_norm": 2.8216710605380038,
      "learning_rate": 3.7143335770447125e-07,
      "loss": 0.4092,
      "step": 3101
    },
    {
      "epoch": 0.8272,
      "grad_norm": 2.8284581622908003,
      "learning_rate": 3.703187186874002e-07,
      "loss": 0.4681,
      "step": 3102
    },
    {
      "epoch": 0.8274666666666667,
      "grad_norm": 2.5989415874622894,
      "learning_rate": 3.692056208586808e-07,
      "loss": 0.3938,
      "step": 3103
    },
    {
      "epoch": 0.8277333333333333,
      "grad_norm": 2.5659075092004113,
      "learning_rate": 3.680940650238274e-07,
      "loss": 0.3859,
      "step": 3104
    },
    {
      "epoch": 0.828,
      "grad_norm": 2.5778274473874716,
      "learning_rate": 3.6698405198724194e-07,
      "loss": 0.4014,
      "step": 3105
    },
    {
      "epoch": 0.8282666666666667,
      "grad_norm": 2.664668665616601,
      "learning_rate": 3.658755825522084e-07,
      "loss": 0.4181,
      "step": 3106
    },
    {
      "epoch": 0.8285333333333333,
      "grad_norm": 2.5515120133364646,
      "learning_rate": 3.6476865752089334e-07,
      "loss": 0.4132,
      "step": 3107
    },
    {
      "epoch": 0.8288,
      "grad_norm": 2.291801599071358,
      "learning_rate": 3.6366327769434604e-07,
      "loss": 0.3268,
      "step": 3108
    },
    {
      "epoch": 0.8290666666666666,
      "grad_norm": 2.804153688942232,
      "learning_rate": 3.6255944387249913e-07,
      "loss": 0.4156,
      "step": 3109
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 2.360114603549388,
      "learning_rate": 3.614571568541631e-07,
      "loss": 0.3771,
      "step": 3110
    },
    {
      "epoch": 0.8296,
      "grad_norm": 2.682158449660243,
      "learning_rate": 3.603564174370322e-07,
      "loss": 0.3853,
      "step": 3111
    },
    {
      "epoch": 0.8298666666666666,
      "grad_norm": 2.9674502907576707,
      "learning_rate": 3.5925722641767914e-07,
      "loss": 0.4565,
      "step": 3112
    },
    {
      "epoch": 0.8301333333333333,
      "grad_norm": 2.365076192769702,
      "learning_rate": 3.581595845915567e-07,
      "loss": 0.3386,
      "step": 3113
    },
    {
      "epoch": 0.8304,
      "grad_norm": 2.737684350924757,
      "learning_rate": 3.570634927529959e-07,
      "loss": 0.424,
      "step": 3114
    },
    {
      "epoch": 0.8306666666666667,
      "grad_norm": 2.361359012041748,
      "learning_rate": 3.559689516952064e-07,
      "loss": 0.4041,
      "step": 3115
    },
    {
      "epoch": 0.8309333333333333,
      "grad_norm": 2.8012083757485504,
      "learning_rate": 3.548759622102768e-07,
      "loss": 0.4265,
      "step": 3116
    },
    {
      "epoch": 0.8312,
      "grad_norm": 3.222833508115907,
      "learning_rate": 3.5378452508917027e-07,
      "loss": 0.4664,
      "step": 3117
    },
    {
      "epoch": 0.8314666666666667,
      "grad_norm": 3.1713210185302287,
      "learning_rate": 3.5269464112172913e-07,
      "loss": 0.4806,
      "step": 3118
    },
    {
      "epoch": 0.8317333333333333,
      "grad_norm": 2.6809857873627574,
      "learning_rate": 3.5160631109667025e-07,
      "loss": 0.4121,
      "step": 3119
    },
    {
      "epoch": 0.832,
      "grad_norm": 2.6563191798330346,
      "learning_rate": 3.505195358015867e-07,
      "loss": 0.4414,
      "step": 3120
    },
    {
      "epoch": 0.8322666666666667,
      "grad_norm": 2.462385355001219,
      "learning_rate": 3.4943431602294576e-07,
      "loss": 0.4086,
      "step": 3121
    },
    {
      "epoch": 0.8325333333333333,
      "grad_norm": 2.5389160994101827,
      "learning_rate": 3.4835065254608977e-07,
      "loss": 0.3945,
      "step": 3122
    },
    {
      "epoch": 0.8328,
      "grad_norm": 2.6081717866942924,
      "learning_rate": 3.472685461552341e-07,
      "loss": 0.3864,
      "step": 3123
    },
    {
      "epoch": 0.8330666666666666,
      "grad_norm": 2.4964666544468983,
      "learning_rate": 3.461879976334673e-07,
      "loss": 0.3604,
      "step": 3124
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 2.576607366791878,
      "learning_rate": 3.4510900776275195e-07,
      "loss": 0.4174,
      "step": 3125
    },
    {
      "epoch": 0.8336,
      "grad_norm": 2.5227918491243124,
      "learning_rate": 3.4403157732392085e-07,
      "loss": 0.4229,
      "step": 3126
    },
    {
      "epoch": 0.8338666666666666,
      "grad_norm": 2.7455066808412267,
      "learning_rate": 3.429557070966794e-07,
      "loss": 0.4058,
      "step": 3127
    },
    {
      "epoch": 0.8341333333333333,
      "grad_norm": 2.7615162160329483,
      "learning_rate": 3.418813978596025e-07,
      "loss": 0.3818,
      "step": 3128
    },
    {
      "epoch": 0.8344,
      "grad_norm": 2.569269209166574,
      "learning_rate": 3.4080865039013895e-07,
      "loss": 0.3807,
      "step": 3129
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 2.865299459252496,
      "learning_rate": 3.397374654646024e-07,
      "loss": 0.4264,
      "step": 3130
    },
    {
      "epoch": 0.8349333333333333,
      "grad_norm": 2.397822667116492,
      "learning_rate": 3.3866784385817864e-07,
      "loss": 0.3731,
      "step": 3131
    },
    {
      "epoch": 0.8352,
      "grad_norm": 2.6873816056609803,
      "learning_rate": 3.3759978634492317e-07,
      "loss": 0.4155,
      "step": 3132
    },
    {
      "epoch": 0.8354666666666667,
      "grad_norm": 2.601571200087339,
      "learning_rate": 3.365332936977558e-07,
      "loss": 0.3672,
      "step": 3133
    },
    {
      "epoch": 0.8357333333333333,
      "grad_norm": 2.7118279285290554,
      "learning_rate": 3.354683666884684e-07,
      "loss": 0.4542,
      "step": 3134
    },
    {
      "epoch": 0.836,
      "grad_norm": 2.366282468178098,
      "learning_rate": 3.3440500608771575e-07,
      "loss": 0.3553,
      "step": 3135
    },
    {
      "epoch": 0.8362666666666667,
      "grad_norm": 2.460329834389282,
      "learning_rate": 3.333432126650235e-07,
      "loss": 0.4447,
      "step": 3136
    },
    {
      "epoch": 0.8365333333333334,
      "grad_norm": 2.5706420983425433,
      "learning_rate": 3.3228298718877785e-07,
      "loss": 0.3841,
      "step": 3137
    },
    {
      "epoch": 0.8368,
      "grad_norm": 2.3918113243602903,
      "learning_rate": 3.312243304262347e-07,
      "loss": 0.351,
      "step": 3138
    },
    {
      "epoch": 0.8370666666666666,
      "grad_norm": 2.918347869990177,
      "learning_rate": 3.3016724314351295e-07,
      "loss": 0.3955,
      "step": 3139
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 3.2729718953952442,
      "learning_rate": 3.2911172610559565e-07,
      "loss": 0.3897,
      "step": 3140
    },
    {
      "epoch": 0.8376,
      "grad_norm": 2.479814068796348,
      "learning_rate": 3.2805778007633014e-07,
      "loss": 0.3621,
      "step": 3141
    },
    {
      "epoch": 0.8378666666666666,
      "grad_norm": 2.411715832950565,
      "learning_rate": 3.2700540581842576e-07,
      "loss": 0.3963,
      "step": 3142
    },
    {
      "epoch": 0.8381333333333333,
      "grad_norm": 2.4617793964870693,
      "learning_rate": 3.259546040934558e-07,
      "loss": 0.3774,
      "step": 3143
    },
    {
      "epoch": 0.8384,
      "grad_norm": 2.9830554410385886,
      "learning_rate": 3.249053756618542e-07,
      "loss": 0.4386,
      "step": 3144
    },
    {
      "epoch": 0.8386666666666667,
      "grad_norm": 2.3713761528017283,
      "learning_rate": 3.238577212829183e-07,
      "loss": 0.3632,
      "step": 3145
    },
    {
      "epoch": 0.8389333333333333,
      "grad_norm": 2.4355016139520274,
      "learning_rate": 3.2281164171480336e-07,
      "loss": 0.3795,
      "step": 3146
    },
    {
      "epoch": 0.8392,
      "grad_norm": 3.215455766737583,
      "learning_rate": 3.2176713771452787e-07,
      "loss": 0.4678,
      "step": 3147
    },
    {
      "epoch": 0.8394666666666667,
      "grad_norm": 2.759713613774461,
      "learning_rate": 3.20724210037969e-07,
      "loss": 0.4395,
      "step": 3148
    },
    {
      "epoch": 0.8397333333333333,
      "grad_norm": 2.5773859344354024,
      "learning_rate": 3.196828594398627e-07,
      "loss": 0.3723,
      "step": 3149
    },
    {
      "epoch": 0.84,
      "grad_norm": 2.5402271485147025,
      "learning_rate": 3.186430866738041e-07,
      "loss": 0.3781,
      "step": 3150
    },
    {
      "epoch": 0.8402666666666667,
      "grad_norm": 2.5978140916738406,
      "learning_rate": 3.176048924922462e-07,
      "loss": 0.4426,
      "step": 3151
    },
    {
      "epoch": 0.8405333333333334,
      "grad_norm": 2.5337671778157342,
      "learning_rate": 3.165682776465015e-07,
      "loss": 0.4071,
      "step": 3152
    },
    {
      "epoch": 0.8408,
      "grad_norm": 2.7556990892821505,
      "learning_rate": 3.1553324288673553e-07,
      "loss": 0.4035,
      "step": 3153
    },
    {
      "epoch": 0.8410666666666666,
      "grad_norm": 2.75717621289889,
      "learning_rate": 3.14499788961975e-07,
      "loss": 0.3619,
      "step": 3154
    },
    {
      "epoch": 0.8413333333333334,
      "grad_norm": 2.744218217867386,
      "learning_rate": 3.134679166200991e-07,
      "loss": 0.4254,
      "step": 3155
    },
    {
      "epoch": 0.8416,
      "grad_norm": 2.3570127728530905,
      "learning_rate": 3.1243762660784464e-07,
      "loss": 0.3532,
      "step": 3156
    },
    {
      "epoch": 0.8418666666666667,
      "grad_norm": 2.3502959213930588,
      "learning_rate": 3.114089196708012e-07,
      "loss": 0.3465,
      "step": 3157
    },
    {
      "epoch": 0.8421333333333333,
      "grad_norm": 2.5970925979204056,
      "learning_rate": 3.103817965534162e-07,
      "loss": 0.3903,
      "step": 3158
    },
    {
      "epoch": 0.8424,
      "grad_norm": 2.83321717764484,
      "learning_rate": 3.09356257998987e-07,
      "loss": 0.4455,
      "step": 3159
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 2.6255353912864825,
      "learning_rate": 3.083323047496659e-07,
      "loss": 0.4055,
      "step": 3160
    },
    {
      "epoch": 0.8429333333333333,
      "grad_norm": 2.5693294645387192,
      "learning_rate": 3.0730993754645944e-07,
      "loss": 0.4167,
      "step": 3161
    },
    {
      "epoch": 0.8432,
      "grad_norm": 2.45655143872533,
      "learning_rate": 3.0628915712922397e-07,
      "loss": 0.3732,
      "step": 3162
    },
    {
      "epoch": 0.8434666666666667,
      "grad_norm": 2.4156117932980585,
      "learning_rate": 3.0526996423666885e-07,
      "loss": 0.3834,
      "step": 3163
    },
    {
      "epoch": 0.8437333333333333,
      "grad_norm": 2.5552803857079684,
      "learning_rate": 3.0425235960635375e-07,
      "loss": 0.3635,
      "step": 3164
    },
    {
      "epoch": 0.844,
      "grad_norm": 2.5033856805816557,
      "learning_rate": 3.0323634397469106e-07,
      "loss": 0.3572,
      "step": 3165
    },
    {
      "epoch": 0.8442666666666667,
      "grad_norm": 3.2490823948465968,
      "learning_rate": 3.022219180769398e-07,
      "loss": 0.4586,
      "step": 3166
    },
    {
      "epoch": 0.8445333333333334,
      "grad_norm": 2.9836344362619163,
      "learning_rate": 3.0120908264721167e-07,
      "loss": 0.4447,
      "step": 3167
    },
    {
      "epoch": 0.8448,
      "grad_norm": 2.84311963701449,
      "learning_rate": 3.001978384184662e-07,
      "loss": 0.4243,
      "step": 3168
    },
    {
      "epoch": 0.8450666666666666,
      "grad_norm": 2.340818222499845,
      "learning_rate": 2.991881861225107e-07,
      "loss": 0.3912,
      "step": 3169
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 3.259921225251522,
      "learning_rate": 2.9818012649000165e-07,
      "loss": 0.487,
      "step": 3170
    },
    {
      "epoch": 0.8456,
      "grad_norm": 3.1490295656905394,
      "learning_rate": 2.971736602504427e-07,
      "loss": 0.4634,
      "step": 3171
    },
    {
      "epoch": 0.8458666666666667,
      "grad_norm": 2.5343155004980997,
      "learning_rate": 2.961687881321834e-07,
      "loss": 0.4063,
      "step": 3172
    },
    {
      "epoch": 0.8461333333333333,
      "grad_norm": 2.8965422252981936,
      "learning_rate": 2.9516551086242045e-07,
      "loss": 0.412,
      "step": 3173
    },
    {
      "epoch": 0.8464,
      "grad_norm": 2.713395224107103,
      "learning_rate": 2.941638291671975e-07,
      "loss": 0.3895,
      "step": 3174
    },
    {
      "epoch": 0.8466666666666667,
      "grad_norm": 2.527737100275072,
      "learning_rate": 2.931637437714016e-07,
      "loss": 0.4173,
      "step": 3175
    },
    {
      "epoch": 0.8469333333333333,
      "grad_norm": 2.58815073951803,
      "learning_rate": 2.921652553987656e-07,
      "loss": 0.4118,
      "step": 3176
    },
    {
      "epoch": 0.8472,
      "grad_norm": 2.8500476354364825,
      "learning_rate": 2.911683647718666e-07,
      "loss": 0.3892,
      "step": 3177
    },
    {
      "epoch": 0.8474666666666667,
      "grad_norm": 2.530030167768666,
      "learning_rate": 2.901730726121252e-07,
      "loss": 0.3962,
      "step": 3178
    },
    {
      "epoch": 0.8477333333333333,
      "grad_norm": 2.607657078722488,
      "learning_rate": 2.8917937963980514e-07,
      "loss": 0.4016,
      "step": 3179
    },
    {
      "epoch": 0.848,
      "grad_norm": 2.3016263591525923,
      "learning_rate": 2.881872865740129e-07,
      "loss": 0.3512,
      "step": 3180
    },
    {
      "epoch": 0.8482666666666666,
      "grad_norm": 2.740969014957987,
      "learning_rate": 2.8719679413269893e-07,
      "loss": 0.4095,
      "step": 3181
    },
    {
      "epoch": 0.8485333333333334,
      "grad_norm": 2.5372907902587793,
      "learning_rate": 2.8620790303265146e-07,
      "loss": 0.3743,
      "step": 3182
    },
    {
      "epoch": 0.8488,
      "grad_norm": 2.2551871317153043,
      "learning_rate": 2.852206139895039e-07,
      "loss": 0.3442,
      "step": 3183
    },
    {
      "epoch": 0.8490666666666666,
      "grad_norm": 2.624883711843122,
      "learning_rate": 2.842349277177281e-07,
      "loss": 0.394,
      "step": 3184
    },
    {
      "epoch": 0.8493333333333334,
      "grad_norm": 2.390725969531797,
      "learning_rate": 2.8325084493063647e-07,
      "loss": 0.4332,
      "step": 3185
    },
    {
      "epoch": 0.8496,
      "grad_norm": 2.4827245843317094,
      "learning_rate": 2.822683663403805e-07,
      "loss": 0.3913,
      "step": 3186
    },
    {
      "epoch": 0.8498666666666667,
      "grad_norm": 2.8375786612161678,
      "learning_rate": 2.812874926579523e-07,
      "loss": 0.42,
      "step": 3187
    },
    {
      "epoch": 0.8501333333333333,
      "grad_norm": 2.5132237433747275,
      "learning_rate": 2.8030822459318153e-07,
      "loss": 0.3432,
      "step": 3188
    },
    {
      "epoch": 0.8504,
      "grad_norm": 2.9405221441596323,
      "learning_rate": 2.7933056285473547e-07,
      "loss": 0.393,
      "step": 3189
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 2.6404572843665104,
      "learning_rate": 2.783545081501196e-07,
      "loss": 0.397,
      "step": 3190
    },
    {
      "epoch": 0.8509333333333333,
      "grad_norm": 2.9467121204287707,
      "learning_rate": 2.773800611856764e-07,
      "loss": 0.433,
      "step": 3191
    },
    {
      "epoch": 0.8512,
      "grad_norm": 2.593027181216789,
      "learning_rate": 2.764072226665848e-07,
      "loss": 0.4044,
      "step": 3192
    },
    {
      "epoch": 0.8514666666666667,
      "grad_norm": 2.8045863289834774,
      "learning_rate": 2.754359932968592e-07,
      "loss": 0.4061,
      "step": 3193
    },
    {
      "epoch": 0.8517333333333333,
      "grad_norm": 2.2862490468445245,
      "learning_rate": 2.7446637377935154e-07,
      "loss": 0.3337,
      "step": 3194
    },
    {
      "epoch": 0.852,
      "grad_norm": 2.7609880121654706,
      "learning_rate": 2.734983648157452e-07,
      "loss": 0.3588,
      "step": 3195
    },
    {
      "epoch": 0.8522666666666666,
      "grad_norm": 3.105710449291612,
      "learning_rate": 2.7253196710656125e-07,
      "loss": 0.4354,
      "step": 3196
    },
    {
      "epoch": 0.8525333333333334,
      "grad_norm": 2.5491667449638387,
      "learning_rate": 2.7156718135115364e-07,
      "loss": 0.3919,
      "step": 3197
    },
    {
      "epoch": 0.8528,
      "grad_norm": 2.9832830441031155,
      "learning_rate": 2.706040082477096e-07,
      "loss": 0.4276,
      "step": 3198
    },
    {
      "epoch": 0.8530666666666666,
      "grad_norm": 3.1185849860093366,
      "learning_rate": 2.6964244849324916e-07,
      "loss": 0.4255,
      "step": 3199
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 2.420668436275142,
      "learning_rate": 2.686825027836248e-07,
      "loss": 0.394,
      "step": 3200
    },
    {
      "epoch": 0.8536,
      "grad_norm": 2.7588708294361277,
      "learning_rate": 2.6772417181352317e-07,
      "loss": 0.4122,
      "step": 3201
    },
    {
      "epoch": 0.8538666666666667,
      "grad_norm": 3.0378298219973168,
      "learning_rate": 2.667674562764577e-07,
      "loss": 0.4597,
      "step": 3202
    },
    {
      "epoch": 0.8541333333333333,
      "grad_norm": 2.953098241616933,
      "learning_rate": 2.6581235686477775e-07,
      "loss": 0.4273,
      "step": 3203
    },
    {
      "epoch": 0.8544,
      "grad_norm": 2.220901665153803,
      "learning_rate": 2.6485887426966035e-07,
      "loss": 0.3221,
      "step": 3204
    },
    {
      "epoch": 0.8546666666666667,
      "grad_norm": 2.9688675082340064,
      "learning_rate": 2.6390700918111273e-07,
      "loss": 0.4369,
      "step": 3205
    },
    {
      "epoch": 0.8549333333333333,
      "grad_norm": 2.946793869626384,
      "learning_rate": 2.629567622879722e-07,
      "loss": 0.4924,
      "step": 3206
    },
    {
      "epoch": 0.8552,
      "grad_norm": 2.4549354658499665,
      "learning_rate": 2.620081342779049e-07,
      "loss": 0.3798,
      "step": 3207
    },
    {
      "epoch": 0.8554666666666667,
      "grad_norm": 2.823715269468484,
      "learning_rate": 2.610611258374052e-07,
      "loss": 0.3982,
      "step": 3208
    },
    {
      "epoch": 0.8557333333333333,
      "grad_norm": 2.6574765008532046,
      "learning_rate": 2.6011573765179516e-07,
      "loss": 0.4088,
      "step": 3209
    },
    {
      "epoch": 0.856,
      "grad_norm": 3.2365971847082595,
      "learning_rate": 2.5917197040522534e-07,
      "loss": 0.4715,
      "step": 3210
    },
    {
      "epoch": 0.8562666666666666,
      "grad_norm": 2.366620120190183,
      "learning_rate": 2.582298247806722e-07,
      "loss": 0.3743,
      "step": 3211
    },
    {
      "epoch": 0.8565333333333334,
      "grad_norm": 2.5157695430117126,
      "learning_rate": 2.5728930145993953e-07,
      "loss": 0.3972,
      "step": 3212
    },
    {
      "epoch": 0.8568,
      "grad_norm": 2.78905654216402,
      "learning_rate": 2.563504011236556e-07,
      "loss": 0.3922,
      "step": 3213
    },
    {
      "epoch": 0.8570666666666666,
      "grad_norm": 2.7114847284683714,
      "learning_rate": 2.554131244512773e-07,
      "loss": 0.3948,
      "step": 3214
    },
    {
      "epoch": 0.8573333333333333,
      "grad_norm": 3.6862462961209146,
      "learning_rate": 2.5447747212108217e-07,
      "loss": 0.4548,
      "step": 3215
    },
    {
      "epoch": 0.8576,
      "grad_norm": 2.8536544587845474,
      "learning_rate": 2.535434448101762e-07,
      "loss": 0.4233,
      "step": 3216
    },
    {
      "epoch": 0.8578666666666667,
      "grad_norm": 2.8874281192398192,
      "learning_rate": 2.52611043194487e-07,
      "loss": 0.4439,
      "step": 3217
    },
    {
      "epoch": 0.8581333333333333,
      "grad_norm": 2.632760331963513,
      "learning_rate": 2.5168026794876674e-07,
      "loss": 0.4066,
      "step": 3218
    },
    {
      "epoch": 0.8584,
      "grad_norm": 2.628455455892437,
      "learning_rate": 2.5075111974659006e-07,
      "loss": 0.4125,
      "step": 3219
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 2.665657105638292,
      "learning_rate": 2.498235992603551e-07,
      "loss": 0.3656,
      "step": 3220
    },
    {
      "epoch": 0.8589333333333333,
      "grad_norm": 2.787755822598452,
      "learning_rate": 2.488977071612808e-07,
      "loss": 0.4197,
      "step": 3221
    },
    {
      "epoch": 0.8592,
      "grad_norm": 2.5844344152607235,
      "learning_rate": 2.4797344411940816e-07,
      "loss": 0.4015,
      "step": 3222
    },
    {
      "epoch": 0.8594666666666667,
      "grad_norm": 2.2227151175803503,
      "learning_rate": 2.470508108036002e-07,
      "loss": 0.3186,
      "step": 3223
    },
    {
      "epoch": 0.8597333333333333,
      "grad_norm": 2.9097907037870647,
      "learning_rate": 2.461298078815394e-07,
      "loss": 0.4134,
      "step": 3224
    },
    {
      "epoch": 0.86,
      "grad_norm": 2.518293007913514,
      "learning_rate": 2.4521043601972883e-07,
      "loss": 0.3822,
      "step": 3225
    },
    {
      "epoch": 0.8602666666666666,
      "grad_norm": 2.473582797653398,
      "learning_rate": 2.4429269588349126e-07,
      "loss": 0.3619,
      "step": 3226
    },
    {
      "epoch": 0.8605333333333334,
      "grad_norm": 2.7305338771572036,
      "learning_rate": 2.433765881369682e-07,
      "loss": 0.3676,
      "step": 3227
    },
    {
      "epoch": 0.8608,
      "grad_norm": 2.729718231708357,
      "learning_rate": 2.424621134431204e-07,
      "loss": 0.3814,
      "step": 3228
    },
    {
      "epoch": 0.8610666666666666,
      "grad_norm": 2.4772336263131027,
      "learning_rate": 2.4154927246372613e-07,
      "loss": 0.4237,
      "step": 3229
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 2.382496645237156,
      "learning_rate": 2.4063806585938294e-07,
      "loss": 0.364,
      "step": 3230
    },
    {
      "epoch": 0.8616,
      "grad_norm": 2.683073744669998,
      "learning_rate": 2.397284942895028e-07,
      "loss": 0.4111,
      "step": 3231
    },
    {
      "epoch": 0.8618666666666667,
      "grad_norm": 2.173941578625788,
      "learning_rate": 2.3882055841231767e-07,
      "loss": 0.3278,
      "step": 3232
    },
    {
      "epoch": 0.8621333333333333,
      "grad_norm": 3.2307718866962354,
      "learning_rate": 2.3791425888487402e-07,
      "loss": 0.4164,
      "step": 3233
    },
    {
      "epoch": 0.8624,
      "grad_norm": 2.7462881297684354,
      "learning_rate": 2.3700959636303395e-07,
      "loss": 0.3875,
      "step": 3234
    },
    {
      "epoch": 0.8626666666666667,
      "grad_norm": 2.5325930243671326,
      "learning_rate": 2.3610657150147597e-07,
      "loss": 0.3936,
      "step": 3235
    },
    {
      "epoch": 0.8629333333333333,
      "grad_norm": 2.552196951051083,
      "learning_rate": 2.352051849536918e-07,
      "loss": 0.3932,
      "step": 3236
    },
    {
      "epoch": 0.8632,
      "grad_norm": 2.709236053574483,
      "learning_rate": 2.343054373719905e-07,
      "loss": 0.4177,
      "step": 3237
    },
    {
      "epoch": 0.8634666666666667,
      "grad_norm": 3.0142186955914516,
      "learning_rate": 2.3340732940749121e-07,
      "loss": 0.4532,
      "step": 3238
    },
    {
      "epoch": 0.8637333333333334,
      "grad_norm": 2.5597273790363078,
      "learning_rate": 2.3251086171013014e-07,
      "loss": 0.3767,
      "step": 3239
    },
    {
      "epoch": 0.864,
      "grad_norm": 2.417005513752467,
      "learning_rate": 2.3161603492865393e-07,
      "loss": 0.3806,
      "step": 3240
    },
    {
      "epoch": 0.8642666666666666,
      "grad_norm": 2.813745128487116,
      "learning_rate": 2.3072284971062287e-07,
      "loss": 0.4306,
      "step": 3241
    },
    {
      "epoch": 0.8645333333333334,
      "grad_norm": 2.2542280975325446,
      "learning_rate": 2.2983130670240883e-07,
      "loss": 0.339,
      "step": 3242
    },
    {
      "epoch": 0.8648,
      "grad_norm": 2.596730022161963,
      "learning_rate": 2.2894140654919655e-07,
      "loss": 0.4037,
      "step": 3243
    },
    {
      "epoch": 0.8650666666666667,
      "grad_norm": 2.735814658184686,
      "learning_rate": 2.280531498949795e-07,
      "loss": 0.4342,
      "step": 3244
    },
    {
      "epoch": 0.8653333333333333,
      "grad_norm": 2.818711396167196,
      "learning_rate": 2.2716653738256405e-07,
      "loss": 0.4461,
      "step": 3245
    },
    {
      "epoch": 0.8656,
      "grad_norm": 2.9865059352920533,
      "learning_rate": 2.2628156965356584e-07,
      "loss": 0.4084,
      "step": 3246
    },
    {
      "epoch": 0.8658666666666667,
      "grad_norm": 2.7533812916210207,
      "learning_rate": 2.253982473484101e-07,
      "loss": 0.4022,
      "step": 3247
    },
    {
      "epoch": 0.8661333333333333,
      "grad_norm": 2.7688582985521943,
      "learning_rate": 2.245165711063313e-07,
      "loss": 0.4263,
      "step": 3248
    },
    {
      "epoch": 0.8664,
      "grad_norm": 3.553065175127651,
      "learning_rate": 2.236365415653727e-07,
      "loss": 0.4793,
      "step": 3249
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 3.3426862030283657,
      "learning_rate": 2.2275815936238704e-07,
      "loss": 0.4449,
      "step": 3250
    },
    {
      "epoch": 0.8669333333333333,
      "grad_norm": 2.5530246241242303,
      "learning_rate": 2.2188142513303257e-07,
      "loss": 0.368,
      "step": 3251
    },
    {
      "epoch": 0.8672,
      "grad_norm": 2.586223109832651,
      "learning_rate": 2.2100633951177757e-07,
      "loss": 0.3955,
      "step": 3252
    },
    {
      "epoch": 0.8674666666666667,
      "grad_norm": 2.8074215691670488,
      "learning_rate": 2.2013290313189523e-07,
      "loss": 0.4224,
      "step": 3253
    },
    {
      "epoch": 0.8677333333333334,
      "grad_norm": 3.3556540010673555,
      "learning_rate": 2.1926111662546656e-07,
      "loss": 0.4414,
      "step": 3254
    },
    {
      "epoch": 0.868,
      "grad_norm": 2.416985881526,
      "learning_rate": 2.1839098062337776e-07,
      "loss": 0.3683,
      "step": 3255
    },
    {
      "epoch": 0.8682666666666666,
      "grad_norm": 2.4796291351031603,
      "learning_rate": 2.1752249575532096e-07,
      "loss": 0.4001,
      "step": 3256
    },
    {
      "epoch": 0.8685333333333334,
      "grad_norm": 2.485063862454248,
      "learning_rate": 2.1665566264979343e-07,
      "loss": 0.3685,
      "step": 3257
    },
    {
      "epoch": 0.8688,
      "grad_norm": 2.4844249211658336,
      "learning_rate": 2.1579048193409642e-07,
      "loss": 0.3512,
      "step": 3258
    },
    {
      "epoch": 0.8690666666666667,
      "grad_norm": 2.3575417304239763,
      "learning_rate": 2.1492695423433714e-07,
      "loss": 0.3524,
      "step": 3259
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 3.0226692812516256,
      "learning_rate": 2.1406508017542516e-07,
      "loss": 0.3845,
      "step": 3260
    },
    {
      "epoch": 0.8696,
      "grad_norm": 3.346540784755848,
      "learning_rate": 2.1320486038107324e-07,
      "loss": 0.4666,
      "step": 3261
    },
    {
      "epoch": 0.8698666666666667,
      "grad_norm": 2.6924440375670757,
      "learning_rate": 2.1234629547379786e-07,
      "loss": 0.379,
      "step": 3262
    },
    {
      "epoch": 0.8701333333333333,
      "grad_norm": 2.5946764765432704,
      "learning_rate": 2.1148938607491675e-07,
      "loss": 0.4079,
      "step": 3263
    },
    {
      "epoch": 0.8704,
      "grad_norm": 2.4232063739446894,
      "learning_rate": 2.1063413280455108e-07,
      "loss": 0.371,
      "step": 3264
    },
    {
      "epoch": 0.8706666666666667,
      "grad_norm": 2.50350477860827,
      "learning_rate": 2.0978053628162186e-07,
      "loss": 0.3721,
      "step": 3265
    },
    {
      "epoch": 0.8709333333333333,
      "grad_norm": 2.449648838620864,
      "learning_rate": 2.089285971238536e-07,
      "loss": 0.3922,
      "step": 3266
    },
    {
      "epoch": 0.8712,
      "grad_norm": 2.4816124323728976,
      "learning_rate": 2.080783159477681e-07,
      "loss": 0.3547,
      "step": 3267
    },
    {
      "epoch": 0.8714666666666666,
      "grad_norm": 2.954675936932765,
      "learning_rate": 2.0722969336869016e-07,
      "loss": 0.4529,
      "step": 3268
    },
    {
      "epoch": 0.8717333333333334,
      "grad_norm": 2.5351630070701336,
      "learning_rate": 2.0638273000074288e-07,
      "loss": 0.3377,
      "step": 3269
    },
    {
      "epoch": 0.872,
      "grad_norm": 2.4394057394340947,
      "learning_rate": 2.055374264568491e-07,
      "loss": 0.3387,
      "step": 3270
    },
    {
      "epoch": 0.8722666666666666,
      "grad_norm": 2.995368904037047,
      "learning_rate": 2.0469378334872974e-07,
      "loss": 0.4506,
      "step": 3271
    },
    {
      "epoch": 0.8725333333333334,
      "grad_norm": 2.682256026018375,
      "learning_rate": 2.038518012869059e-07,
      "loss": 0.3835,
      "step": 3272
    },
    {
      "epoch": 0.8728,
      "grad_norm": 2.578518445735943,
      "learning_rate": 2.0301148088069516e-07,
      "loss": 0.3913,
      "step": 3273
    },
    {
      "epoch": 0.8730666666666667,
      "grad_norm": 2.7256926841374844,
      "learning_rate": 2.021728227382125e-07,
      "loss": 0.4754,
      "step": 3274
    },
    {
      "epoch": 0.8733333333333333,
      "grad_norm": 2.4672584790950145,
      "learning_rate": 2.013358274663707e-07,
      "loss": 0.4147,
      "step": 3275
    },
    {
      "epoch": 0.8736,
      "grad_norm": 2.736156278616206,
      "learning_rate": 2.0050049567087892e-07,
      "loss": 0.3942,
      "step": 3276
    },
    {
      "epoch": 0.8738666666666667,
      "grad_norm": 2.7631538331491527,
      "learning_rate": 1.996668279562422e-07,
      "loss": 0.4034,
      "step": 3277
    },
    {
      "epoch": 0.8741333333333333,
      "grad_norm": 2.7192513079360707,
      "learning_rate": 1.9883482492576155e-07,
      "loss": 0.4097,
      "step": 3278
    },
    {
      "epoch": 0.8744,
      "grad_norm": 2.6614119416911906,
      "learning_rate": 1.9800448718153425e-07,
      "loss": 0.4343,
      "step": 3279
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 2.6506002807558433,
      "learning_rate": 1.971758153244499e-07,
      "loss": 0.3578,
      "step": 3280
    },
    {
      "epoch": 0.8749333333333333,
      "grad_norm": 2.286961878753403,
      "learning_rate": 1.9634880995419575e-07,
      "loss": 0.3552,
      "step": 3281
    },
    {
      "epoch": 0.8752,
      "grad_norm": 2.7515542520859286,
      "learning_rate": 1.9552347166925085e-07,
      "loss": 0.4256,
      "step": 3282
    },
    {
      "epoch": 0.8754666666666666,
      "grad_norm": 2.6239285556393455,
      "learning_rate": 1.946998010668885e-07,
      "loss": 0.4008,
      "step": 3283
    },
    {
      "epoch": 0.8757333333333334,
      "grad_norm": 2.689213622248854,
      "learning_rate": 1.938777987431753e-07,
      "loss": 0.4445,
      "step": 3284
    },
    {
      "epoch": 0.876,
      "grad_norm": 2.854569097440557,
      "learning_rate": 1.9305746529296982e-07,
      "loss": 0.3776,
      "step": 3285
    },
    {
      "epoch": 0.8762666666666666,
      "grad_norm": 2.9473523680846165,
      "learning_rate": 1.9223880130992496e-07,
      "loss": 0.4057,
      "step": 3286
    },
    {
      "epoch": 0.8765333333333334,
      "grad_norm": 2.9810099158710983,
      "learning_rate": 1.914218073864821e-07,
      "loss": 0.3865,
      "step": 3287
    },
    {
      "epoch": 0.8768,
      "grad_norm": 2.899832788166525,
      "learning_rate": 1.9060648411387716e-07,
      "loss": 0.4628,
      "step": 3288
    },
    {
      "epoch": 0.8770666666666667,
      "grad_norm": 2.5696976333679897,
      "learning_rate": 1.8979283208213574e-07,
      "loss": 0.3727,
      "step": 3289
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 2.3659503604995695,
      "learning_rate": 1.88980851880074e-07,
      "loss": 0.3316,
      "step": 3290
    },
    {
      "epoch": 0.8776,
      "grad_norm": 3.0483522255100977,
      "learning_rate": 1.8817054409529829e-07,
      "loss": 0.4363,
      "step": 3291
    },
    {
      "epoch": 0.8778666666666667,
      "grad_norm": 2.8973268628196998,
      "learning_rate": 1.8736190931420483e-07,
      "loss": 0.4097,
      "step": 3292
    },
    {
      "epoch": 0.8781333333333333,
      "grad_norm": 2.5749209399786808,
      "learning_rate": 1.8655494812197917e-07,
      "loss": 0.3847,
      "step": 3293
    },
    {
      "epoch": 0.8784,
      "grad_norm": 2.4956485631830736,
      "learning_rate": 1.8574966110259524e-07,
      "loss": 0.3751,
      "step": 3294
    },
    {
      "epoch": 0.8786666666666667,
      "grad_norm": 2.836166671107596,
      "learning_rate": 1.849460488388169e-07,
      "loss": 0.3946,
      "step": 3295
    },
    {
      "epoch": 0.8789333333333333,
      "grad_norm": 2.437373653164744,
      "learning_rate": 1.8414411191219312e-07,
      "loss": 0.3483,
      "step": 3296
    },
    {
      "epoch": 0.8792,
      "grad_norm": 4.4001050917141455,
      "learning_rate": 1.8334385090306385e-07,
      "loss": 0.3623,
      "step": 3297
    },
    {
      "epoch": 0.8794666666666666,
      "grad_norm": 2.8218945947842613,
      "learning_rate": 1.8254526639055388e-07,
      "loss": 0.4098,
      "step": 3298
    },
    {
      "epoch": 0.8797333333333334,
      "grad_norm": 2.7341414951431826,
      "learning_rate": 1.8174835895257674e-07,
      "loss": 0.4042,
      "step": 3299
    },
    {
      "epoch": 0.88,
      "grad_norm": 2.9820462361986024,
      "learning_rate": 1.8095312916582953e-07,
      "loss": 0.4304,
      "step": 3300
    },
    {
      "epoch": 0.8802666666666666,
      "grad_norm": 2.8704081686487983,
      "learning_rate": 1.8015957760579793e-07,
      "loss": 0.4291,
      "step": 3301
    },
    {
      "epoch": 0.8805333333333333,
      "grad_norm": 2.3191127221331964,
      "learning_rate": 1.7936770484675208e-07,
      "loss": 0.342,
      "step": 3302
    },
    {
      "epoch": 0.8808,
      "grad_norm": 2.5420975974787927,
      "learning_rate": 1.7857751146174662e-07,
      "loss": 0.3914,
      "step": 3303
    },
    {
      "epoch": 0.8810666666666667,
      "grad_norm": 2.761893747434971,
      "learning_rate": 1.7778899802262218e-07,
      "loss": 0.4065,
      "step": 3304
    },
    {
      "epoch": 0.8813333333333333,
      "grad_norm": 2.653899220475779,
      "learning_rate": 1.7700216510000286e-07,
      "loss": 0.3794,
      "step": 3305
    },
    {
      "epoch": 0.8816,
      "grad_norm": 2.397647539378242,
      "learning_rate": 1.762170132632962e-07,
      "loss": 0.3481,
      "step": 3306
    },
    {
      "epoch": 0.8818666666666667,
      "grad_norm": 2.7382435809717,
      "learning_rate": 1.7543354308069388e-07,
      "loss": 0.3971,
      "step": 3307
    },
    {
      "epoch": 0.8821333333333333,
      "grad_norm": 2.6345579984001115,
      "learning_rate": 1.7465175511917148e-07,
      "loss": 0.3963,
      "step": 3308
    },
    {
      "epoch": 0.8824,
      "grad_norm": 2.71966778470371,
      "learning_rate": 1.7387164994448452e-07,
      "loss": 0.3756,
      "step": 3309
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 2.553220433235879,
      "learning_rate": 1.730932281211739e-07,
      "loss": 0.3916,
      "step": 3310
    },
    {
      "epoch": 0.8829333333333333,
      "grad_norm": 2.626528930144365,
      "learning_rate": 1.7231649021256014e-07,
      "loss": 0.416,
      "step": 3311
    },
    {
      "epoch": 0.8832,
      "grad_norm": 2.435365881193696,
      "learning_rate": 1.715414367807458e-07,
      "loss": 0.3745,
      "step": 3312
    },
    {
      "epoch": 0.8834666666666666,
      "grad_norm": 2.756721368443525,
      "learning_rate": 1.7076806838661476e-07,
      "loss": 0.3914,
      "step": 3313
    },
    {
      "epoch": 0.8837333333333334,
      "grad_norm": 3.0911877913026515,
      "learning_rate": 1.6999638558983068e-07,
      "loss": 0.4642,
      "step": 3314
    },
    {
      "epoch": 0.884,
      "grad_norm": 2.7243545735863086,
      "learning_rate": 1.692263889488391e-07,
      "loss": 0.3923,
      "step": 3315
    },
    {
      "epoch": 0.8842666666666666,
      "grad_norm": 2.982793099159781,
      "learning_rate": 1.684580790208626e-07,
      "loss": 0.4726,
      "step": 3316
    },
    {
      "epoch": 0.8845333333333333,
      "grad_norm": 2.5734635395359264,
      "learning_rate": 1.6769145636190587e-07,
      "loss": 0.4198,
      "step": 3317
    },
    {
      "epoch": 0.8848,
      "grad_norm": 2.69342679931977,
      "learning_rate": 1.6692652152675127e-07,
      "loss": 0.3762,
      "step": 3318
    },
    {
      "epoch": 0.8850666666666667,
      "grad_norm": 2.7311225255079568,
      "learning_rate": 1.6616327506895957e-07,
      "loss": 0.3796,
      "step": 3319
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 2.617327940622262,
      "learning_rate": 1.6540171754087008e-07,
      "loss": 0.3601,
      "step": 3320
    },
    {
      "epoch": 0.8856,
      "grad_norm": 2.8466761803327194,
      "learning_rate": 1.6464184949359975e-07,
      "loss": 0.437,
      "step": 3321
    },
    {
      "epoch": 0.8858666666666667,
      "grad_norm": 3.1325066307895852,
      "learning_rate": 1.638836714770431e-07,
      "loss": 0.439,
      "step": 3322
    },
    {
      "epoch": 0.8861333333333333,
      "grad_norm": 2.798294801607777,
      "learning_rate": 1.6312718403987128e-07,
      "loss": 0.4361,
      "step": 3323
    },
    {
      "epoch": 0.8864,
      "grad_norm": 2.4285928816262556,
      "learning_rate": 1.6237238772953274e-07,
      "loss": 0.3922,
      "step": 3324
    },
    {
      "epoch": 0.8866666666666667,
      "grad_norm": 2.3838343372646946,
      "learning_rate": 1.616192830922511e-07,
      "loss": 0.3531,
      "step": 3325
    },
    {
      "epoch": 0.8869333333333334,
      "grad_norm": 2.6196981748091708,
      "learning_rate": 1.6086787067302656e-07,
      "loss": 0.415,
      "step": 3326
    },
    {
      "epoch": 0.8872,
      "grad_norm": 3.025861789977464,
      "learning_rate": 1.6011815101563382e-07,
      "loss": 0.4562,
      "step": 3327
    },
    {
      "epoch": 0.8874666666666666,
      "grad_norm": 2.733991576853505,
      "learning_rate": 1.5937012466262448e-07,
      "loss": 0.3993,
      "step": 3328
    },
    {
      "epoch": 0.8877333333333334,
      "grad_norm": 2.626373421540736,
      "learning_rate": 1.586237921553216e-07,
      "loss": 0.3983,
      "step": 3329
    },
    {
      "epoch": 0.888,
      "grad_norm": 2.622431557515372,
      "learning_rate": 1.5787915403382593e-07,
      "loss": 0.386,
      "step": 3330
    },
    {
      "epoch": 0.8882666666666666,
      "grad_norm": 2.755973686013132,
      "learning_rate": 1.5713621083700975e-07,
      "loss": 0.4588,
      "step": 3331
    },
    {
      "epoch": 0.8885333333333333,
      "grad_norm": 2.7959380702711223,
      "learning_rate": 1.563949631025194e-07,
      "loss": 0.446,
      "step": 3332
    },
    {
      "epoch": 0.8888,
      "grad_norm": 2.5426345710504044,
      "learning_rate": 1.556554113667741e-07,
      "loss": 0.3759,
      "step": 3333
    },
    {
      "epoch": 0.8890666666666667,
      "grad_norm": 2.3726044367473236,
      "learning_rate": 1.54917556164966e-07,
      "loss": 0.3552,
      "step": 3334
    },
    {
      "epoch": 0.8893333333333333,
      "grad_norm": 3.3638424151360735,
      "learning_rate": 1.5418139803106026e-07,
      "loss": 0.3853,
      "step": 3335
    },
    {
      "epoch": 0.8896,
      "grad_norm": 2.837031981247287,
      "learning_rate": 1.534469374977915e-07,
      "loss": 0.3991,
      "step": 3336
    },
    {
      "epoch": 0.8898666666666667,
      "grad_norm": 2.5325314998020114,
      "learning_rate": 1.5271417509666904e-07,
      "loss": 0.3844,
      "step": 3337
    },
    {
      "epoch": 0.8901333333333333,
      "grad_norm": 2.4328728452682022,
      "learning_rate": 1.5198311135797063e-07,
      "loss": 0.3685,
      "step": 3338
    },
    {
      "epoch": 0.8904,
      "grad_norm": 2.2891976696162146,
      "learning_rate": 1.512537468107464e-07,
      "loss": 0.3614,
      "step": 3339
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 2.6150837289053483,
      "learning_rate": 1.505260819828158e-07,
      "loss": 0.4053,
      "step": 3340
    },
    {
      "epoch": 0.8909333333333334,
      "grad_norm": 2.661284016916046,
      "learning_rate": 1.4980011740076904e-07,
      "loss": 0.4661,
      "step": 3341
    },
    {
      "epoch": 0.8912,
      "grad_norm": 2.7881469193319863,
      "learning_rate": 1.4907585358996557e-07,
      "loss": 0.3946,
      "step": 3342
    },
    {
      "epoch": 0.8914666666666666,
      "grad_norm": 2.2708031500062478,
      "learning_rate": 1.4835329107453334e-07,
      "loss": 0.3425,
      "step": 3343
    },
    {
      "epoch": 0.8917333333333334,
      "grad_norm": 3.006631117734822,
      "learning_rate": 1.4763243037737102e-07,
      "loss": 0.4348,
      "step": 3344
    },
    {
      "epoch": 0.892,
      "grad_norm": 2.6322624004041355,
      "learning_rate": 1.46913272020143e-07,
      "loss": 0.4403,
      "step": 3345
    },
    {
      "epoch": 0.8922666666666667,
      "grad_norm": 3.034436348951999,
      "learning_rate": 1.4619581652328464e-07,
      "loss": 0.4484,
      "step": 3346
    },
    {
      "epoch": 0.8925333333333333,
      "grad_norm": 2.6479433244930948,
      "learning_rate": 1.454800644059967e-07,
      "loss": 0.3963,
      "step": 3347
    },
    {
      "epoch": 0.8928,
      "grad_norm": 2.6592143660551106,
      "learning_rate": 1.447660161862491e-07,
      "loss": 0.4366,
      "step": 3348
    },
    {
      "epoch": 0.8930666666666667,
      "grad_norm": 2.857430218240617,
      "learning_rate": 1.44053672380777e-07,
      "loss": 0.4677,
      "step": 3349
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 2.3409012105315012,
      "learning_rate": 1.4334303350508255e-07,
      "loss": 0.3419,
      "step": 3350
    },
    {
      "epoch": 0.8936,
      "grad_norm": 2.380427044738951,
      "learning_rate": 1.4263410007343548e-07,
      "loss": 0.3934,
      "step": 3351
    },
    {
      "epoch": 0.8938666666666667,
      "grad_norm": 2.285527343225356,
      "learning_rate": 1.41926872598869e-07,
      "loss": 0.3436,
      "step": 3352
    },
    {
      "epoch": 0.8941333333333333,
      "grad_norm": 2.707059352609682,
      "learning_rate": 1.412213515931843e-07,
      "loss": 0.4038,
      "step": 3353
    },
    {
      "epoch": 0.8944,
      "grad_norm": 3.096255427952246,
      "learning_rate": 1.405175375669457e-07,
      "loss": 0.4347,
      "step": 3354
    },
    {
      "epoch": 0.8946666666666667,
      "grad_norm": 2.319392266836252,
      "learning_rate": 1.3981543102948303e-07,
      "loss": 0.3197,
      "step": 3355
    },
    {
      "epoch": 0.8949333333333334,
      "grad_norm": 2.5439902993770054,
      "learning_rate": 1.3911503248888986e-07,
      "loss": 0.3715,
      "step": 3356
    },
    {
      "epoch": 0.8952,
      "grad_norm": 3.058159056595082,
      "learning_rate": 1.3841634245202573e-07,
      "loss": 0.4645,
      "step": 3357
    },
    {
      "epoch": 0.8954666666666666,
      "grad_norm": 2.3788514844379267,
      "learning_rate": 1.3771936142451036e-07,
      "loss": 0.3666,
      "step": 3358
    },
    {
      "epoch": 0.8957333333333334,
      "grad_norm": 2.586415407701313,
      "learning_rate": 1.370240899107303e-07,
      "loss": 0.3397,
      "step": 3359
    },
    {
      "epoch": 0.896,
      "grad_norm": 2.5889802722260655,
      "learning_rate": 1.363305284138322e-07,
      "loss": 0.4181,
      "step": 3360
    },
    {
      "epoch": 0.8962666666666667,
      "grad_norm": 2.58753154828537,
      "learning_rate": 1.3563867743572683e-07,
      "loss": 0.396,
      "step": 3361
    },
    {
      "epoch": 0.8965333333333333,
      "grad_norm": 2.6117172869281737,
      "learning_rate": 1.3494853747708648e-07,
      "loss": 0.3946,
      "step": 3362
    },
    {
      "epoch": 0.8968,
      "grad_norm": 2.8419953775246176,
      "learning_rate": 1.3426010903734493e-07,
      "loss": 0.3889,
      "step": 3363
    },
    {
      "epoch": 0.8970666666666667,
      "grad_norm": 2.922662754886384,
      "learning_rate": 1.3357339261469898e-07,
      "loss": 0.4161,
      "step": 3364
    },
    {
      "epoch": 0.8973333333333333,
      "grad_norm": 2.4244757542974553,
      "learning_rate": 1.3288838870610387e-07,
      "loss": 0.3692,
      "step": 3365
    },
    {
      "epoch": 0.8976,
      "grad_norm": 2.593254195411819,
      "learning_rate": 1.322050978072778e-07,
      "loss": 0.4152,
      "step": 3366
    },
    {
      "epoch": 0.8978666666666667,
      "grad_norm": 2.5728700777044473,
      "learning_rate": 1.3152352041269855e-07,
      "loss": 0.4407,
      "step": 3367
    },
    {
      "epoch": 0.8981333333333333,
      "grad_norm": 2.619119198503521,
      "learning_rate": 1.308436570156038e-07,
      "loss": 0.3865,
      "step": 3368
    },
    {
      "epoch": 0.8984,
      "grad_norm": 2.4982547164075766,
      "learning_rate": 1.3016550810799055e-07,
      "loss": 0.3892,
      "step": 3369
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 2.5855167453568337,
      "learning_rate": 1.2948907418061567e-07,
      "loss": 0.3949,
      "step": 3370
    },
    {
      "epoch": 0.8989333333333334,
      "grad_norm": 2.489761094976563,
      "learning_rate": 1.2881435572299484e-07,
      "loss": 0.3648,
      "step": 3371
    },
    {
      "epoch": 0.8992,
      "grad_norm": 3.146979133712614,
      "learning_rate": 1.2814135322340133e-07,
      "loss": 0.4978,
      "step": 3372
    },
    {
      "epoch": 0.8994666666666666,
      "grad_norm": 2.861896902391274,
      "learning_rate": 1.274700671688686e-07,
      "loss": 0.4141,
      "step": 3373
    },
    {
      "epoch": 0.8997333333333334,
      "grad_norm": 2.7960668299964326,
      "learning_rate": 1.2680049804518646e-07,
      "loss": 0.4566,
      "step": 3374
    },
    {
      "epoch": 0.9,
      "grad_norm": 2.863694618219217,
      "learning_rate": 1.2613264633690253e-07,
      "loss": 0.4113,
      "step": 3375
    },
    {
      "epoch": 0.9002666666666667,
      "grad_norm": 2.5267883230819583,
      "learning_rate": 1.2546651252732105e-07,
      "loss": 0.3434,
      "step": 3376
    },
    {
      "epoch": 0.9005333333333333,
      "grad_norm": 2.960681132662007,
      "learning_rate": 1.2480209709850505e-07,
      "loss": 0.3834,
      "step": 3377
    },
    {
      "epoch": 0.9008,
      "grad_norm": 2.5384814626267476,
      "learning_rate": 1.2413940053127155e-07,
      "loss": 0.3828,
      "step": 3378
    },
    {
      "epoch": 0.9010666666666667,
      "grad_norm": 2.8196944094856815,
      "learning_rate": 1.2347842330519472e-07,
      "loss": 0.4084,
      "step": 3379
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 2.7155647373352165,
      "learning_rate": 1.2281916589860526e-07,
      "loss": 0.39,
      "step": 3380
    },
    {
      "epoch": 0.9016,
      "grad_norm": 2.434928462235479,
      "learning_rate": 1.2216162878858768e-07,
      "loss": 0.3675,
      "step": 3381
    },
    {
      "epoch": 0.9018666666666667,
      "grad_norm": 3.1284034212858707,
      "learning_rate": 1.2150581245098325e-07,
      "loss": 0.4432,
      "step": 3382
    },
    {
      "epoch": 0.9021333333333333,
      "grad_norm": 2.6063873223418654,
      "learning_rate": 1.2085171736038653e-07,
      "loss": 0.3902,
      "step": 3383
    },
    {
      "epoch": 0.9024,
      "grad_norm": 2.794509924817432,
      "learning_rate": 1.2019934399014777e-07,
      "loss": 0.4347,
      "step": 3384
    },
    {
      "epoch": 0.9026666666666666,
      "grad_norm": 2.7101681800261233,
      "learning_rate": 1.1954869281236958e-07,
      "loss": 0.3932,
      "step": 3385
    },
    {
      "epoch": 0.9029333333333334,
      "grad_norm": 2.6013375780671555,
      "learning_rate": 1.1889976429791061e-07,
      "loss": 0.3889,
      "step": 3386
    },
    {
      "epoch": 0.9032,
      "grad_norm": 2.3364503476879737,
      "learning_rate": 1.1825255891638049e-07,
      "loss": 0.3435,
      "step": 3387
    },
    {
      "epoch": 0.9034666666666666,
      "grad_norm": 2.410736223372257,
      "learning_rate": 1.1760707713614345e-07,
      "loss": 0.3518,
      "step": 3388
    },
    {
      "epoch": 0.9037333333333334,
      "grad_norm": 3.361837081925775,
      "learning_rate": 1.1696331942431555e-07,
      "loss": 0.3909,
      "step": 3389
    },
    {
      "epoch": 0.904,
      "grad_norm": 2.4815445704670966,
      "learning_rate": 1.1632128624676581e-07,
      "loss": 0.3615,
      "step": 3390
    },
    {
      "epoch": 0.9042666666666667,
      "grad_norm": 2.7974774796299053,
      "learning_rate": 1.1568097806811451e-07,
      "loss": 0.4272,
      "step": 3391
    },
    {
      "epoch": 0.9045333333333333,
      "grad_norm": 2.2485781536799263,
      "learning_rate": 1.1504239535173433e-07,
      "loss": 0.3143,
      "step": 3392
    },
    {
      "epoch": 0.9048,
      "grad_norm": 3.0654899957357222,
      "learning_rate": 1.1440553855974923e-07,
      "loss": 0.4818,
      "step": 3393
    },
    {
      "epoch": 0.9050666666666667,
      "grad_norm": 2.8456851962552165,
      "learning_rate": 1.1377040815303331e-07,
      "loss": 0.3832,
      "step": 3394
    },
    {
      "epoch": 0.9053333333333333,
      "grad_norm": 2.5238224163275795,
      "learning_rate": 1.1313700459121252e-07,
      "loss": 0.3868,
      "step": 3395
    },
    {
      "epoch": 0.9056,
      "grad_norm": 2.659958590481764,
      "learning_rate": 1.1250532833266242e-07,
      "loss": 0.3974,
      "step": 3396
    },
    {
      "epoch": 0.9058666666666667,
      "grad_norm": 2.441922683948359,
      "learning_rate": 1.1187537983450874e-07,
      "loss": 0.3414,
      "step": 3397
    },
    {
      "epoch": 0.9061333333333333,
      "grad_norm": 2.921254762702188,
      "learning_rate": 1.1124715955262683e-07,
      "loss": 0.4322,
      "step": 3398
    },
    {
      "epoch": 0.9064,
      "grad_norm": 2.3936480313115944,
      "learning_rate": 1.1062066794164105e-07,
      "loss": 0.3571,
      "step": 3399
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 2.6925571803484027,
      "learning_rate": 1.09995905454926e-07,
      "loss": 0.373,
      "step": 3400
    },
    {
      "epoch": 0.9069333333333334,
      "grad_norm": 2.702355588578171,
      "learning_rate": 1.0937287254460332e-07,
      "loss": 0.4149,
      "step": 3401
    },
    {
      "epoch": 0.9072,
      "grad_norm": 2.805335816573016,
      "learning_rate": 1.0875156966154404e-07,
      "loss": 0.4211,
      "step": 3402
    },
    {
      "epoch": 0.9074666666666666,
      "grad_norm": 2.387774702256839,
      "learning_rate": 1.081319972553671e-07,
      "loss": 0.3584,
      "step": 3403
    },
    {
      "epoch": 0.9077333333333333,
      "grad_norm": 2.8267727458230314,
      "learning_rate": 1.0751415577443914e-07,
      "loss": 0.4183,
      "step": 3404
    },
    {
      "epoch": 0.908,
      "grad_norm": 2.636510039685159,
      "learning_rate": 1.0689804566587331e-07,
      "loss": 0.4118,
      "step": 3405
    },
    {
      "epoch": 0.9082666666666667,
      "grad_norm": 3.247981796949848,
      "learning_rate": 1.0628366737553187e-07,
      "loss": 0.4054,
      "step": 3406
    },
    {
      "epoch": 0.9085333333333333,
      "grad_norm": 2.3588600363838927,
      "learning_rate": 1.0567102134802081e-07,
      "loss": 0.3501,
      "step": 3407
    },
    {
      "epoch": 0.9088,
      "grad_norm": 2.41911462033397,
      "learning_rate": 1.050601080266958e-07,
      "loss": 0.344,
      "step": 3408
    },
    {
      "epoch": 0.9090666666666667,
      "grad_norm": 2.5982730323845797,
      "learning_rate": 1.0445092785365624e-07,
      "loss": 0.3907,
      "step": 3409
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 2.2989077542464758,
      "learning_rate": 1.0384348126974808e-07,
      "loss": 0.3545,
      "step": 3410
    },
    {
      "epoch": 0.9096,
      "grad_norm": 2.5437183493347226,
      "learning_rate": 1.0323776871456304e-07,
      "loss": 0.3719,
      "step": 3411
    },
    {
      "epoch": 0.9098666666666667,
      "grad_norm": 2.9509192480647033,
      "learning_rate": 1.0263379062643714e-07,
      "loss": 0.4444,
      "step": 3412
    },
    {
      "epoch": 0.9101333333333333,
      "grad_norm": 2.619200035625233,
      "learning_rate": 1.0203154744245298e-07,
      "loss": 0.4037,
      "step": 3413
    },
    {
      "epoch": 0.9104,
      "grad_norm": 2.623231820536228,
      "learning_rate": 1.0143103959843443e-07,
      "loss": 0.3709,
      "step": 3414
    },
    {
      "epoch": 0.9106666666666666,
      "grad_norm": 2.584262219727804,
      "learning_rate": 1.0083226752895331e-07,
      "loss": 0.4076,
      "step": 3415
    },
    {
      "epoch": 0.9109333333333334,
      "grad_norm": 2.5577806408042787,
      "learning_rate": 1.0023523166732275e-07,
      "loss": 0.3774,
      "step": 3416
    },
    {
      "epoch": 0.9112,
      "grad_norm": 2.7619905024418276,
      "learning_rate": 9.963993244560044e-08,
      "loss": 0.3673,
      "step": 3417
    },
    {
      "epoch": 0.9114666666666666,
      "grad_norm": 3.0253022026766,
      "learning_rate": 9.90463702945868e-08,
      "loss": 0.4375,
      "step": 3418
    },
    {
      "epoch": 0.9117333333333333,
      "grad_norm": 2.5096595069216434,
      "learning_rate": 9.8454545643826e-08,
      "loss": 0.3793,
      "step": 3419
    },
    {
      "epoch": 0.912,
      "grad_norm": 2.547525360077352,
      "learning_rate": 9.786445892160378e-08,
      "loss": 0.3845,
      "step": 3420
    },
    {
      "epoch": 0.9122666666666667,
      "grad_norm": 2.1691048007126916,
      "learning_rate": 9.727611055494857e-08,
      "loss": 0.3384,
      "step": 3421
    },
    {
      "epoch": 0.9125333333333333,
      "grad_norm": 2.5521228519820216,
      "learning_rate": 9.66895009696317e-08,
      "loss": 0.3999,
      "step": 3422
    },
    {
      "epoch": 0.9128,
      "grad_norm": 2.18151585229125,
      "learning_rate": 9.610463059016528e-08,
      "loss": 0.3133,
      "step": 3423
    },
    {
      "epoch": 0.9130666666666667,
      "grad_norm": 2.844254398132889,
      "learning_rate": 9.552149983980242e-08,
      "loss": 0.4323,
      "step": 3424
    },
    {
      "epoch": 0.9133333333333333,
      "grad_norm": 3.19263139155863,
      "learning_rate": 9.494010914053858e-08,
      "loss": 0.4903,
      "step": 3425
    },
    {
      "epoch": 0.9136,
      "grad_norm": 2.8925850230724492,
      "learning_rate": 9.436045891310864e-08,
      "loss": 0.432,
      "step": 3426
    },
    {
      "epoch": 0.9138666666666667,
      "grad_norm": 2.8549749058082345,
      "learning_rate": 9.378254957698924e-08,
      "loss": 0.4401,
      "step": 3427
    },
    {
      "epoch": 0.9141333333333334,
      "grad_norm": 2.5052938142427648,
      "learning_rate": 9.320638155039558e-08,
      "loss": 0.3636,
      "step": 3428
    },
    {
      "epoch": 0.9144,
      "grad_norm": 2.8610015793484216,
      "learning_rate": 9.263195525028495e-08,
      "loss": 0.448,
      "step": 3429
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 2.761085256404884,
      "learning_rate": 9.20592710923518e-08,
      "loss": 0.4089,
      "step": 3430
    },
    {
      "epoch": 0.9149333333333334,
      "grad_norm": 2.1171333834238983,
      "learning_rate": 9.148832949103181e-08,
      "loss": 0.3254,
      "step": 3431
    },
    {
      "epoch": 0.9152,
      "grad_norm": 2.803970698659416,
      "learning_rate": 9.091913085949838e-08,
      "loss": 0.3997,
      "step": 3432
    },
    {
      "epoch": 0.9154666666666667,
      "grad_norm": 2.4172146441875153,
      "learning_rate": 9.035167560966395e-08,
      "loss": 0.371,
      "step": 3433
    },
    {
      "epoch": 0.9157333333333333,
      "grad_norm": 2.830538389089287,
      "learning_rate": 8.97859641521795e-08,
      "loss": 0.4415,
      "step": 3434
    },
    {
      "epoch": 0.916,
      "grad_norm": 2.254215023438137,
      "learning_rate": 8.922199689643391e-08,
      "loss": 0.3227,
      "step": 3435
    },
    {
      "epoch": 0.9162666666666667,
      "grad_norm": 2.8424771568857996,
      "learning_rate": 8.865977425055433e-08,
      "loss": 0.4152,
      "step": 3436
    },
    {
      "epoch": 0.9165333333333333,
      "grad_norm": 2.5920601441654907,
      "learning_rate": 8.80992966214042e-08,
      "loss": 0.385,
      "step": 3437
    },
    {
      "epoch": 0.9168,
      "grad_norm": 2.7446165435150216,
      "learning_rate": 8.75405644145852e-08,
      "loss": 0.4681,
      "step": 3438
    },
    {
      "epoch": 0.9170666666666667,
      "grad_norm": 2.4311609978021678,
      "learning_rate": 8.698357803443525e-08,
      "loss": 0.3621,
      "step": 3439
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 3.025017649897863,
      "learning_rate": 8.642833788402971e-08,
      "loss": 0.5049,
      "step": 3440
    },
    {
      "epoch": 0.9176,
      "grad_norm": 2.538114834410985,
      "learning_rate": 8.58748443651794e-08,
      "loss": 0.416,
      "step": 3441
    },
    {
      "epoch": 0.9178666666666667,
      "grad_norm": 2.6384190691599825,
      "learning_rate": 8.532309787843169e-08,
      "loss": 0.411,
      "step": 3442
    },
    {
      "epoch": 0.9181333333333334,
      "grad_norm": 2.9431096992146584,
      "learning_rate": 8.477309882306884e-08,
      "loss": 0.41,
      "step": 3443
    },
    {
      "epoch": 0.9184,
      "grad_norm": 2.7046316601626468,
      "learning_rate": 8.422484759710998e-08,
      "loss": 0.3878,
      "step": 3444
    },
    {
      "epoch": 0.9186666666666666,
      "grad_norm": 2.3145507171301367,
      "learning_rate": 8.367834459730828e-08,
      "loss": 0.362,
      "step": 3445
    },
    {
      "epoch": 0.9189333333333334,
      "grad_norm": 2.9003135186101714,
      "learning_rate": 8.313359021915157e-08,
      "loss": 0.3985,
      "step": 3446
    },
    {
      "epoch": 0.9192,
      "grad_norm": 2.6322328485430115,
      "learning_rate": 8.259058485686339e-08,
      "loss": 0.405,
      "step": 3447
    },
    {
      "epoch": 0.9194666666666667,
      "grad_norm": 2.7196512863031024,
      "learning_rate": 8.204932890340051e-08,
      "loss": 0.3928,
      "step": 3448
    },
    {
      "epoch": 0.9197333333333333,
      "grad_norm": 2.8147696268366382,
      "learning_rate": 8.15098227504546e-08,
      "loss": 0.412,
      "step": 3449
    },
    {
      "epoch": 0.92,
      "grad_norm": 2.7528155451027185,
      "learning_rate": 8.097206678844948e-08,
      "loss": 0.412,
      "step": 3450
    },
    {
      "epoch": 0.9202666666666667,
      "grad_norm": 2.7987675394840124,
      "learning_rate": 8.04360614065447e-08,
      "loss": 0.4487,
      "step": 3451
    },
    {
      "epoch": 0.9205333333333333,
      "grad_norm": 2.45156031176913,
      "learning_rate": 7.990180699263134e-08,
      "loss": 0.3802,
      "step": 3452
    },
    {
      "epoch": 0.9208,
      "grad_norm": 2.999165550381656,
      "learning_rate": 7.936930393333347e-08,
      "loss": 0.3689,
      "step": 3453
    },
    {
      "epoch": 0.9210666666666667,
      "grad_norm": 3.1520590875717724,
      "learning_rate": 7.883855261400841e-08,
      "loss": 0.4113,
      "step": 3454
    },
    {
      "epoch": 0.9213333333333333,
      "grad_norm": 2.531865832510428,
      "learning_rate": 7.83095534187453e-08,
      "loss": 0.3433,
      "step": 3455
    },
    {
      "epoch": 0.9216,
      "grad_norm": 2.810804561507447,
      "learning_rate": 7.778230673036541e-08,
      "loss": 0.3953,
      "step": 3456
    },
    {
      "epoch": 0.9218666666666666,
      "grad_norm": 3.1716900512500246,
      "learning_rate": 7.725681293042159e-08,
      "loss": 0.4341,
      "step": 3457
    },
    {
      "epoch": 0.9221333333333334,
      "grad_norm": 2.8089539162471078,
      "learning_rate": 7.673307239919908e-08,
      "loss": 0.4121,
      "step": 3458
    },
    {
      "epoch": 0.9224,
      "grad_norm": 2.4763963910461806,
      "learning_rate": 7.621108551571332e-08,
      "loss": 0.3986,
      "step": 3459
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 2.7080164522178483,
      "learning_rate": 7.569085265771075e-08,
      "loss": 0.4444,
      "step": 3460
    },
    {
      "epoch": 0.9229333333333334,
      "grad_norm": 2.6750155246602367,
      "learning_rate": 7.517237420166884e-08,
      "loss": 0.3668,
      "step": 3461
    },
    {
      "epoch": 0.9232,
      "grad_norm": 2.69090942696542,
      "learning_rate": 7.465565052279578e-08,
      "loss": 0.3821,
      "step": 3462
    },
    {
      "epoch": 0.9234666666666667,
      "grad_norm": 2.43826772922536,
      "learning_rate": 7.414068199502883e-08,
      "loss": 0.3992,
      "step": 3463
    },
    {
      "epoch": 0.9237333333333333,
      "grad_norm": 3.0173972222526797,
      "learning_rate": 7.362746899103628e-08,
      "loss": 0.4358,
      "step": 3464
    },
    {
      "epoch": 0.924,
      "grad_norm": 2.551490552116599,
      "learning_rate": 7.311601188221523e-08,
      "loss": 0.3883,
      "step": 3465
    },
    {
      "epoch": 0.9242666666666667,
      "grad_norm": 2.623588527232749,
      "learning_rate": 7.260631103869237e-08,
      "loss": 0.38,
      "step": 3466
    },
    {
      "epoch": 0.9245333333333333,
      "grad_norm": 2.6032401902176576,
      "learning_rate": 7.20983668293232e-08,
      "loss": 0.3649,
      "step": 3467
    },
    {
      "epoch": 0.9248,
      "grad_norm": 2.871728504368792,
      "learning_rate": 7.15921796216923e-08,
      "loss": 0.4523,
      "step": 3468
    },
    {
      "epoch": 0.9250666666666667,
      "grad_norm": 2.7157085095104314,
      "learning_rate": 7.108774978211247e-08,
      "loss": 0.3794,
      "step": 3469
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 2.370499585293355,
      "learning_rate": 7.058507767562451e-08,
      "loss": 0.3347,
      "step": 3470
    },
    {
      "epoch": 0.9256,
      "grad_norm": 2.5437726606972926,
      "learning_rate": 7.008416366599852e-08,
      "loss": 0.4211,
      "step": 3471
    },
    {
      "epoch": 0.9258666666666666,
      "grad_norm": 3.065449052123195,
      "learning_rate": 6.958500811573093e-08,
      "loss": 0.4366,
      "step": 3472
    },
    {
      "epoch": 0.9261333333333334,
      "grad_norm": 3.1096906092667878,
      "learning_rate": 6.908761138604614e-08,
      "loss": 0.4673,
      "step": 3473
    },
    {
      "epoch": 0.9264,
      "grad_norm": 2.871346866590779,
      "learning_rate": 6.859197383689565e-08,
      "loss": 0.4312,
      "step": 3474
    },
    {
      "epoch": 0.9266666666666666,
      "grad_norm": 2.831796956224638,
      "learning_rate": 6.809809582695781e-08,
      "loss": 0.4152,
      "step": 3475
    },
    {
      "epoch": 0.9269333333333334,
      "grad_norm": 2.6782879978647234,
      "learning_rate": 6.760597771363786e-08,
      "loss": 0.3701,
      "step": 3476
    },
    {
      "epoch": 0.9272,
      "grad_norm": 2.5239185630345284,
      "learning_rate": 6.71156198530673e-08,
      "loss": 0.4164,
      "step": 3477
    },
    {
      "epoch": 0.9274666666666667,
      "grad_norm": 3.1085036090476166,
      "learning_rate": 6.662702260010423e-08,
      "loss": 0.488,
      "step": 3478
    },
    {
      "epoch": 0.9277333333333333,
      "grad_norm": 3.8905487417775833,
      "learning_rate": 6.614018630833136e-08,
      "loss": 0.4527,
      "step": 3479
    },
    {
      "epoch": 0.928,
      "grad_norm": 3.3651765133555585,
      "learning_rate": 6.565511133005881e-08,
      "loss": 0.446,
      "step": 3480
    },
    {
      "epoch": 0.9282666666666667,
      "grad_norm": 3.911233270513516,
      "learning_rate": 6.517179801632106e-08,
      "loss": 0.4294,
      "step": 3481
    },
    {
      "epoch": 0.9285333333333333,
      "grad_norm": 2.986727019024398,
      "learning_rate": 6.469024671687752e-08,
      "loss": 0.4118,
      "step": 3482
    },
    {
      "epoch": 0.9288,
      "grad_norm": 2.6822196165518872,
      "learning_rate": 6.421045778021301e-08,
      "loss": 0.4006,
      "step": 3483
    },
    {
      "epoch": 0.9290666666666667,
      "grad_norm": 2.4858390150764693,
      "learning_rate": 6.373243155353675e-08,
      "loss": 0.3883,
      "step": 3484
    },
    {
      "epoch": 0.9293333333333333,
      "grad_norm": 2.558705842177176,
      "learning_rate": 6.325616838278314e-08,
      "loss": 0.4013,
      "step": 3485
    },
    {
      "epoch": 0.9296,
      "grad_norm": 2.56235673326509,
      "learning_rate": 6.27816686126087e-08,
      "loss": 0.3613,
      "step": 3486
    },
    {
      "epoch": 0.9298666666666666,
      "grad_norm": 2.76051848927449,
      "learning_rate": 6.230893258639597e-08,
      "loss": 0.4134,
      "step": 3487
    },
    {
      "epoch": 0.9301333333333334,
      "grad_norm": 2.4983606332299138,
      "learning_rate": 6.18379606462502e-08,
      "loss": 0.3788,
      "step": 3488
    },
    {
      "epoch": 0.9304,
      "grad_norm": 2.387748908536571,
      "learning_rate": 6.136875313299983e-08,
      "loss": 0.3878,
      "step": 3489
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 2.529213017836541,
      "learning_rate": 6.090131038619662e-08,
      "loss": 0.3557,
      "step": 3490
    },
    {
      "epoch": 0.9309333333333333,
      "grad_norm": 2.967960833527445,
      "learning_rate": 6.043563274411606e-08,
      "loss": 0.4228,
      "step": 3491
    },
    {
      "epoch": 0.9312,
      "grad_norm": 2.758488638663761,
      "learning_rate": 5.997172054375417e-08,
      "loss": 0.3874,
      "step": 3492
    },
    {
      "epoch": 0.9314666666666667,
      "grad_norm": 2.6011313996101135,
      "learning_rate": 5.9509574120831524e-08,
      "loss": 0.3875,
      "step": 3493
    },
    {
      "epoch": 0.9317333333333333,
      "grad_norm": 2.526990720938518,
      "learning_rate": 5.9049193809790073e-08,
      "loss": 0.3834,
      "step": 3494
    },
    {
      "epoch": 0.932,
      "grad_norm": 2.265408261916482,
      "learning_rate": 5.859057994379358e-08,
      "loss": 0.3319,
      "step": 3495
    },
    {
      "epoch": 0.9322666666666667,
      "grad_norm": 2.4260163819313876,
      "learning_rate": 5.81337328547274e-08,
      "loss": 0.3525,
      "step": 3496
    },
    {
      "epoch": 0.9325333333333333,
      "grad_norm": 2.7099420887296475,
      "learning_rate": 5.7678652873198184e-08,
      "loss": 0.4024,
      "step": 3497
    },
    {
      "epoch": 0.9328,
      "grad_norm": 2.5684076577443458,
      "learning_rate": 5.7225340328535e-08,
      "loss": 0.3919,
      "step": 3498
    },
    {
      "epoch": 0.9330666666666667,
      "grad_norm": 2.597777133154891,
      "learning_rate": 5.6773795548785705e-08,
      "loss": 0.3856,
      "step": 3499
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 2.79589455937171,
      "learning_rate": 5.632401886072114e-08,
      "loss": 0.437,
      "step": 3500
    },
    {
      "epoch": 0.9336,
      "grad_norm": 2.6906090145247097,
      "learning_rate": 5.58760105898315e-08,
      "loss": 0.4175,
      "step": 3501
    },
    {
      "epoch": 0.9338666666666666,
      "grad_norm": 2.4448463575094967,
      "learning_rate": 5.54297710603266e-08,
      "loss": 0.3837,
      "step": 3502
    },
    {
      "epoch": 0.9341333333333334,
      "grad_norm": 2.8513827252225434,
      "learning_rate": 5.4985300595137844e-08,
      "loss": 0.4026,
      "step": 3503
    },
    {
      "epoch": 0.9344,
      "grad_norm": 2.849224293494483,
      "learning_rate": 5.454259951591489e-08,
      "loss": 0.3948,
      "step": 3504
    },
    {
      "epoch": 0.9346666666666666,
      "grad_norm": 2.5350827895482184,
      "learning_rate": 5.410166814302814e-08,
      "loss": 0.3972,
      "step": 3505
    },
    {
      "epoch": 0.9349333333333333,
      "grad_norm": 2.52152727939573,
      "learning_rate": 5.366250679556623e-08,
      "loss": 0.3743,
      "step": 3506
    },
    {
      "epoch": 0.9352,
      "grad_norm": 2.7432756228897586,
      "learning_rate": 5.322511579133826e-08,
      "loss": 0.4383,
      "step": 3507
    },
    {
      "epoch": 0.9354666666666667,
      "grad_norm": 3.30667210798587,
      "learning_rate": 5.278949544687023e-08,
      "loss": 0.5007,
      "step": 3508
    },
    {
      "epoch": 0.9357333333333333,
      "grad_norm": 2.6818935204694427,
      "learning_rate": 5.235564607740912e-08,
      "loss": 0.4296,
      "step": 3509
    },
    {
      "epoch": 0.936,
      "grad_norm": 2.483357539450612,
      "learning_rate": 5.19235679969185e-08,
      "loss": 0.3129,
      "step": 3510
    },
    {
      "epoch": 0.9362666666666667,
      "grad_norm": 2.4808157202379117,
      "learning_rate": 5.1493261518080486e-08,
      "loss": 0.4148,
      "step": 3511
    },
    {
      "epoch": 0.9365333333333333,
      "grad_norm": 2.7475254864039864,
      "learning_rate": 5.1064726952295697e-08,
      "loss": 0.4831,
      "step": 3512
    },
    {
      "epoch": 0.9368,
      "grad_norm": 3.147850733379495,
      "learning_rate": 5.06379646096819e-08,
      "loss": 0.438,
      "step": 3513
    },
    {
      "epoch": 0.9370666666666667,
      "grad_norm": 2.613731743025861,
      "learning_rate": 5.021297479907511e-08,
      "loss": 0.4102,
      "step": 3514
    },
    {
      "epoch": 0.9373333333333334,
      "grad_norm": 2.7142094260277467,
      "learning_rate": 4.9789757828027086e-08,
      "loss": 0.412,
      "step": 3515
    },
    {
      "epoch": 0.9376,
      "grad_norm": 2.584430348731399,
      "learning_rate": 4.936831400280867e-08,
      "loss": 0.4082,
      "step": 3516
    },
    {
      "epoch": 0.9378666666666666,
      "grad_norm": 2.431962040197288,
      "learning_rate": 4.89486436284059e-08,
      "loss": 0.3556,
      "step": 3517
    },
    {
      "epoch": 0.9381333333333334,
      "grad_norm": 2.73954023952469,
      "learning_rate": 4.8530747008522225e-08,
      "loss": 0.408,
      "step": 3518
    },
    {
      "epoch": 0.9384,
      "grad_norm": 2.694715052980313,
      "learning_rate": 4.811462444557713e-08,
      "loss": 0.4088,
      "step": 3519
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 2.3743808119759953,
      "learning_rate": 4.770027624070639e-08,
      "loss": 0.3618,
      "step": 3520
    },
    {
      "epoch": 0.9389333333333333,
      "grad_norm": 2.688037677899341,
      "learning_rate": 4.7287702693761817e-08,
      "loss": 0.3861,
      "step": 3521
    },
    {
      "epoch": 0.9392,
      "grad_norm": 2.6440097762669827,
      "learning_rate": 4.6876904103310973e-08,
      "loss": 0.3766,
      "step": 3522
    },
    {
      "epoch": 0.9394666666666667,
      "grad_norm": 2.6554018557477694,
      "learning_rate": 4.6467880766636886e-08,
      "loss": 0.4088,
      "step": 3523
    },
    {
      "epoch": 0.9397333333333333,
      "grad_norm": 2.7800349420179407,
      "learning_rate": 4.6060632979737506e-08,
      "loss": 0.4562,
      "step": 3524
    },
    {
      "epoch": 0.94,
      "grad_norm": 2.731552335299105,
      "learning_rate": 4.5655161037326256e-08,
      "loss": 0.4082,
      "step": 3525
    },
    {
      "epoch": 0.9402666666666667,
      "grad_norm": 2.7018000938516757,
      "learning_rate": 4.525146523283147e-08,
      "loss": 0.3655,
      "step": 3526
    },
    {
      "epoch": 0.9405333333333333,
      "grad_norm": 2.4991761899371987,
      "learning_rate": 4.484954585839668e-08,
      "loss": 0.3496,
      "step": 3527
    },
    {
      "epoch": 0.9408,
      "grad_norm": 2.6089104041006492,
      "learning_rate": 4.444940320487784e-08,
      "loss": 0.374,
      "step": 3528
    },
    {
      "epoch": 0.9410666666666667,
      "grad_norm": 2.562748701125774,
      "learning_rate": 4.405103756184775e-08,
      "loss": 0.3868,
      "step": 3529
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 2.4422018904046023,
      "learning_rate": 4.3654449217591656e-08,
      "loss": 0.3797,
      "step": 3530
    },
    {
      "epoch": 0.9416,
      "grad_norm": 2.830603140975244,
      "learning_rate": 4.325963845910913e-08,
      "loss": 0.441,
      "step": 3531
    },
    {
      "epoch": 0.9418666666666666,
      "grad_norm": 2.8760333976602723,
      "learning_rate": 4.286660557211275e-08,
      "loss": 0.3979,
      "step": 3532
    },
    {
      "epoch": 0.9421333333333334,
      "grad_norm": 2.443509106990942,
      "learning_rate": 4.247535084102916e-08,
      "loss": 0.3969,
      "step": 3533
    },
    {
      "epoch": 0.9424,
      "grad_norm": 2.9041088745308543,
      "learning_rate": 4.2085874548998816e-08,
      "loss": 0.4558,
      "step": 3534
    },
    {
      "epoch": 0.9426666666666667,
      "grad_norm": 2.81021974520016,
      "learning_rate": 4.1698176977872926e-08,
      "loss": 0.4627,
      "step": 3535
    },
    {
      "epoch": 0.9429333333333333,
      "grad_norm": 2.91555006318277,
      "learning_rate": 4.1312258408218174e-08,
      "loss": 0.4121,
      "step": 3536
    },
    {
      "epoch": 0.9432,
      "grad_norm": 2.6167236655453348,
      "learning_rate": 4.092811911931199e-08,
      "loss": 0.3839,
      "step": 3537
    },
    {
      "epoch": 0.9434666666666667,
      "grad_norm": 2.9654545109487174,
      "learning_rate": 4.0545759389145065e-08,
      "loss": 0.4444,
      "step": 3538
    },
    {
      "epoch": 0.9437333333333333,
      "grad_norm": 2.460211189099431,
      "learning_rate": 4.016517949441995e-08,
      "loss": 0.42,
      "step": 3539
    },
    {
      "epoch": 0.944,
      "grad_norm": 2.4217900192465516,
      "learning_rate": 3.9786379710551046e-08,
      "loss": 0.3949,
      "step": 3540
    },
    {
      "epoch": 0.9442666666666667,
      "grad_norm": 4.188016039028772,
      "learning_rate": 3.940936031166492e-08,
      "loss": 0.4628,
      "step": 3541
    },
    {
      "epoch": 0.9445333333333333,
      "grad_norm": 3.2323993543594884,
      "learning_rate": 3.903412157059916e-08,
      "loss": 0.4774,
      "step": 3542
    },
    {
      "epoch": 0.9448,
      "grad_norm": 3.1386982751614143,
      "learning_rate": 3.866066375890404e-08,
      "loss": 0.4552,
      "step": 3543
    },
    {
      "epoch": 0.9450666666666667,
      "grad_norm": 3.0698475548499866,
      "learning_rate": 3.828898714683893e-08,
      "loss": 0.4409,
      "step": 3544
    },
    {
      "epoch": 0.9453333333333334,
      "grad_norm": 2.8499645233368636,
      "learning_rate": 3.791909200337618e-08,
      "loss": 0.4243,
      "step": 3545
    },
    {
      "epoch": 0.9456,
      "grad_norm": 3.103431491781728,
      "learning_rate": 3.75509785961975e-08,
      "loss": 0.399,
      "step": 3546
    },
    {
      "epoch": 0.9458666666666666,
      "grad_norm": 2.974620680435709,
      "learning_rate": 3.718464719169701e-08,
      "loss": 0.4405,
      "step": 3547
    },
    {
      "epoch": 0.9461333333333334,
      "grad_norm": 2.5965490099613793,
      "learning_rate": 3.6820098054976825e-08,
      "loss": 0.4052,
      "step": 3548
    },
    {
      "epoch": 0.9464,
      "grad_norm": 2.244068274494723,
      "learning_rate": 3.6457331449851194e-08,
      "loss": 0.3602,
      "step": 3549
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 2.5603168782878245,
      "learning_rate": 3.6096347638843455e-08,
      "loss": 0.3857,
      "step": 3550
    },
    {
      "epoch": 0.9469333333333333,
      "grad_norm": 2.390944421008176,
      "learning_rate": 3.5737146883187415e-08,
      "loss": 0.3442,
      "step": 3551
    },
    {
      "epoch": 0.9472,
      "grad_norm": 2.5181936305676706,
      "learning_rate": 3.537972944282597e-08,
      "loss": 0.4011,
      "step": 3552
    },
    {
      "epoch": 0.9474666666666667,
      "grad_norm": 2.7249424719220032,
      "learning_rate": 3.5024095576411675e-08,
      "loss": 0.4159,
      "step": 3553
    },
    {
      "epoch": 0.9477333333333333,
      "grad_norm": 2.7901473501148377,
      "learning_rate": 3.4670245541306716e-08,
      "loss": 0.4324,
      "step": 3554
    },
    {
      "epoch": 0.948,
      "grad_norm": 2.536619242901851,
      "learning_rate": 3.431817959358152e-08,
      "loss": 0.366,
      "step": 3555
    },
    {
      "epoch": 0.9482666666666667,
      "grad_norm": 2.778767344082939,
      "learning_rate": 3.396789798801647e-08,
      "loss": 0.4314,
      "step": 3556
    },
    {
      "epoch": 0.9485333333333333,
      "grad_norm": 2.650223941834241,
      "learning_rate": 3.36194009780999e-08,
      "loss": 0.3978,
      "step": 3557
    },
    {
      "epoch": 0.9488,
      "grad_norm": 2.4679137164102403,
      "learning_rate": 3.327268881602924e-08,
      "loss": 0.3662,
      "step": 3558
    },
    {
      "epoch": 0.9490666666666666,
      "grad_norm": 2.388868948333549,
      "learning_rate": 3.292776175270962e-08,
      "loss": 0.3393,
      "step": 3559
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 2.5238553025838253,
      "learning_rate": 3.258462003775498e-08,
      "loss": 0.3802,
      "step": 3560
    },
    {
      "epoch": 0.9496,
      "grad_norm": 2.6217591812389385,
      "learning_rate": 3.224326391948668e-08,
      "loss": 0.3848,
      "step": 3561
    },
    {
      "epoch": 0.9498666666666666,
      "grad_norm": 2.6900662558378317,
      "learning_rate": 3.190369364493462e-08,
      "loss": 0.4007,
      "step": 3562
    },
    {
      "epoch": 0.9501333333333334,
      "grad_norm": 3.022265643654705,
      "learning_rate": 3.1565909459835844e-08,
      "loss": 0.4789,
      "step": 3563
    },
    {
      "epoch": 0.9504,
      "grad_norm": 2.9972209200813333,
      "learning_rate": 3.1229911608634535e-08,
      "loss": 0.4153,
      "step": 3564
    },
    {
      "epoch": 0.9506666666666667,
      "grad_norm": 2.748641489315122,
      "learning_rate": 3.089570033448286e-08,
      "loss": 0.3879,
      "step": 3565
    },
    {
      "epoch": 0.9509333333333333,
      "grad_norm": 2.553944940506227,
      "learning_rate": 3.056327587923985e-08,
      "loss": 0.4069,
      "step": 3566
    },
    {
      "epoch": 0.9512,
      "grad_norm": 2.62511887644279,
      "learning_rate": 3.023263848347141e-08,
      "loss": 0.3759,
      "step": 3567
    },
    {
      "epoch": 0.9514666666666667,
      "grad_norm": 2.4349140115587637,
      "learning_rate": 2.990378838645003e-08,
      "loss": 0.3322,
      "step": 3568
    },
    {
      "epoch": 0.9517333333333333,
      "grad_norm": 3.0008154865237735,
      "learning_rate": 2.9576725826155063e-08,
      "loss": 0.4407,
      "step": 3569
    },
    {
      "epoch": 0.952,
      "grad_norm": 3.0507481497298072,
      "learning_rate": 2.9251451039272183e-08,
      "loss": 0.4413,
      "step": 3570
    },
    {
      "epoch": 0.9522666666666667,
      "grad_norm": 2.30170497465666,
      "learning_rate": 2.892796426119282e-08,
      "loss": 0.3312,
      "step": 3571
    },
    {
      "epoch": 0.9525333333333333,
      "grad_norm": 2.5810805844408815,
      "learning_rate": 2.8606265726015825e-08,
      "loss": 0.3666,
      "step": 3572
    },
    {
      "epoch": 0.9528,
      "grad_norm": 2.6485006922742778,
      "learning_rate": 2.8286355666544417e-08,
      "loss": 0.412,
      "step": 3573
    },
    {
      "epoch": 0.9530666666666666,
      "grad_norm": 2.7597786198914065,
      "learning_rate": 2.7968234314288413e-08,
      "loss": 0.3905,
      "step": 3574
    },
    {
      "epoch": 0.9533333333333334,
      "grad_norm": 2.589103519900476,
      "learning_rate": 2.7651901899462818e-08,
      "loss": 0.3786,
      "step": 3575
    },
    {
      "epoch": 0.9536,
      "grad_norm": 2.883312384585019,
      "learning_rate": 2.7337358650988687e-08,
      "loss": 0.426,
      "step": 3576
    },
    {
      "epoch": 0.9538666666666666,
      "grad_norm": 3.460702879198339,
      "learning_rate": 2.7024604796490883e-08,
      "loss": 0.5208,
      "step": 3577
    },
    {
      "epoch": 0.9541333333333334,
      "grad_norm": 2.687687211373116,
      "learning_rate": 2.6713640562301136e-08,
      "loss": 0.4145,
      "step": 3578
    },
    {
      "epoch": 0.9544,
      "grad_norm": 2.558298983393364,
      "learning_rate": 2.640446617345499e-08,
      "loss": 0.3684,
      "step": 3579
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 2.858427850731316,
      "learning_rate": 2.609708185369264e-08,
      "loss": 0.4396,
      "step": 3580
    },
    {
      "epoch": 0.9549333333333333,
      "grad_norm": 2.4676851412387504,
      "learning_rate": 2.5791487825459483e-08,
      "loss": 0.3928,
      "step": 3581
    },
    {
      "epoch": 0.9552,
      "grad_norm": 2.495549059476647,
      "learning_rate": 2.5487684309905005e-08,
      "loss": 0.3869,
      "step": 3582
    },
    {
      "epoch": 0.9554666666666667,
      "grad_norm": 2.5995109160094656,
      "learning_rate": 2.5185671526882782e-08,
      "loss": 0.3864,
      "step": 3583
    },
    {
      "epoch": 0.9557333333333333,
      "grad_norm": 2.645572343276888,
      "learning_rate": 2.488544969495077e-08,
      "loss": 0.4221,
      "step": 3584
    },
    {
      "epoch": 0.956,
      "grad_norm": 2.079628903806613,
      "learning_rate": 2.458701903137073e-08,
      "loss": 0.3096,
      "step": 3585
    },
    {
      "epoch": 0.9562666666666667,
      "grad_norm": 2.245424431234214,
      "learning_rate": 2.429037975210824e-08,
      "loss": 0.3471,
      "step": 3586
    },
    {
      "epoch": 0.9565333333333333,
      "grad_norm": 2.541356187555057,
      "learning_rate": 2.3995532071832694e-08,
      "loss": 0.383,
      "step": 3587
    },
    {
      "epoch": 0.9568,
      "grad_norm": 2.8872736044943967,
      "learning_rate": 2.3702476203916746e-08,
      "loss": 0.4312,
      "step": 3588
    },
    {
      "epoch": 0.9570666666666666,
      "grad_norm": 2.5252058399429953,
      "learning_rate": 2.341121236043603e-08,
      "loss": 0.3752,
      "step": 3589
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 2.497246133617172,
      "learning_rate": 2.3121740752170273e-08,
      "loss": 0.4448,
      "step": 3590
    },
    {
      "epoch": 0.9576,
      "grad_norm": 2.541316798993406,
      "learning_rate": 2.2834061588600797e-08,
      "loss": 0.3699,
      "step": 3591
    },
    {
      "epoch": 0.9578666666666666,
      "grad_norm": 3.2514435780898783,
      "learning_rate": 2.2548175077913847e-08,
      "loss": 0.4182,
      "step": 3592
    },
    {
      "epoch": 0.9581333333333333,
      "grad_norm": 2.9837026460259404,
      "learning_rate": 2.2264081426996154e-08,
      "loss": 0.4447,
      "step": 3593
    },
    {
      "epoch": 0.9584,
      "grad_norm": 2.6157638585327296,
      "learning_rate": 2.1981780841438537e-08,
      "loss": 0.4402,
      "step": 3594
    },
    {
      "epoch": 0.9586666666666667,
      "grad_norm": 2.730157352278339,
      "learning_rate": 2.1701273525533417e-08,
      "loss": 0.4136,
      "step": 3595
    },
    {
      "epoch": 0.9589333333333333,
      "grad_norm": 3.3907173040400806,
      "learning_rate": 2.142255968227619e-08,
      "loss": 0.4062,
      "step": 3596
    },
    {
      "epoch": 0.9592,
      "grad_norm": 3.0933563431059388,
      "learning_rate": 2.1145639513363293e-08,
      "loss": 0.4986,
      "step": 3597
    },
    {
      "epoch": 0.9594666666666667,
      "grad_norm": 2.626161408702991,
      "learning_rate": 2.087051321919442e-08,
      "loss": 0.387,
      "step": 3598
    },
    {
      "epoch": 0.9597333333333333,
      "grad_norm": 3.131452866694248,
      "learning_rate": 2.0597180998870313e-08,
      "loss": 0.4577,
      "step": 3599
    },
    {
      "epoch": 0.96,
      "grad_norm": 3.0663741897703343,
      "learning_rate": 2.03256430501933e-08,
      "loss": 0.4514,
      "step": 3600
    },
    {
      "epoch": 0.9602666666666667,
      "grad_norm": 2.3379985300628583,
      "learning_rate": 2.005589956966758e-08,
      "loss": 0.3442,
      "step": 3601
    },
    {
      "epoch": 0.9605333333333334,
      "grad_norm": 2.375919010390897,
      "learning_rate": 1.9787950752498676e-08,
      "loss": 0.368,
      "step": 3602
    },
    {
      "epoch": 0.9608,
      "grad_norm": 2.5520296359104506,
      "learning_rate": 1.9521796792593695e-08,
      "loss": 0.38,
      "step": 3603
    },
    {
      "epoch": 0.9610666666666666,
      "grad_norm": 2.743424005727974,
      "learning_rate": 1.925743788255996e-08,
      "loss": 0.4119,
      "step": 3604
    },
    {
      "epoch": 0.9613333333333334,
      "grad_norm": 2.6308999778328186,
      "learning_rate": 1.899487421370666e-08,
      "loss": 0.3928,
      "step": 3605
    },
    {
      "epoch": 0.9616,
      "grad_norm": 2.4986363518122343,
      "learning_rate": 1.8734105976043193e-08,
      "loss": 0.342,
      "step": 3606
    },
    {
      "epoch": 0.9618666666666666,
      "grad_norm": 2.670163668196974,
      "learning_rate": 1.8475133358280273e-08,
      "loss": 0.3821,
      "step": 3607
    },
    {
      "epoch": 0.9621333333333333,
      "grad_norm": 2.7679187958291203,
      "learning_rate": 1.821795654782882e-08,
      "loss": 0.4158,
      "step": 3608
    },
    {
      "epoch": 0.9624,
      "grad_norm": 2.9202983823307362,
      "learning_rate": 1.796257573079996e-08,
      "loss": 0.4303,
      "step": 3609
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 2.896779982942162,
      "learning_rate": 1.770899109200558e-08,
      "loss": 0.4251,
      "step": 3610
    },
    {
      "epoch": 0.9629333333333333,
      "grad_norm": 2.4528119830189348,
      "learning_rate": 1.745720281495722e-08,
      "loss": 0.3435,
      "step": 3611
    },
    {
      "epoch": 0.9632,
      "grad_norm": 2.751236833707184,
      "learning_rate": 1.720721108186718e-08,
      "loss": 0.3993,
      "step": 3612
    },
    {
      "epoch": 0.9634666666666667,
      "grad_norm": 2.7818600378446967,
      "learning_rate": 1.6959016073646585e-08,
      "loss": 0.4484,
      "step": 3613
    },
    {
      "epoch": 0.9637333333333333,
      "grad_norm": 2.60616443094772,
      "learning_rate": 1.6712617969907586e-08,
      "loss": 0.4131,
      "step": 3614
    },
    {
      "epoch": 0.964,
      "grad_norm": 2.9930127700850098,
      "learning_rate": 1.6468016948960886e-08,
      "loss": 0.3601,
      "step": 3615
    },
    {
      "epoch": 0.9642666666666667,
      "grad_norm": 2.560932712364199,
      "learning_rate": 1.622521318781739e-08,
      "loss": 0.4002,
      "step": 3616
    },
    {
      "epoch": 0.9645333333333334,
      "grad_norm": 2.45618318397649,
      "learning_rate": 1.5984206862186825e-08,
      "loss": 0.4041,
      "step": 3617
    },
    {
      "epoch": 0.9648,
      "grad_norm": 2.7383178177152727,
      "learning_rate": 1.574499814647884e-08,
      "loss": 0.3998,
      "step": 3618
    },
    {
      "epoch": 0.9650666666666666,
      "grad_norm": 3.001823962828929,
      "learning_rate": 1.5507587213801356e-08,
      "loss": 0.4573,
      "step": 3619
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 2.9737819449008756,
      "learning_rate": 1.527197423596194e-08,
      "loss": 0.4427,
      "step": 3620
    },
    {
      "epoch": 0.9656,
      "grad_norm": 2.258535342063506,
      "learning_rate": 1.5038159383466976e-08,
      "loss": 0.3149,
      "step": 3621
    },
    {
      "epoch": 0.9658666666666667,
      "grad_norm": 2.6075591106563065,
      "learning_rate": 1.4806142825521397e-08,
      "loss": 0.3849,
      "step": 3622
    },
    {
      "epoch": 0.9661333333333333,
      "grad_norm": 2.500157593761285,
      "learning_rate": 1.4575924730028946e-08,
      "loss": 0.3999,
      "step": 3623
    },
    {
      "epoch": 0.9664,
      "grad_norm": 2.4595814543232946,
      "learning_rate": 1.4347505263591354e-08,
      "loss": 0.3798,
      "step": 3624
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 2.6112277782482707,
      "learning_rate": 1.4120884591509731e-08,
      "loss": 0.3906,
      "step": 3625
    },
    {
      "epoch": 0.9669333333333333,
      "grad_norm": 2.334783502741938,
      "learning_rate": 1.3896062877782335e-08,
      "loss": 0.3334,
      "step": 3626
    },
    {
      "epoch": 0.9672,
      "grad_norm": 2.8591409834388464,
      "learning_rate": 1.3673040285106243e-08,
      "loss": 0.4493,
      "step": 3627
    },
    {
      "epoch": 0.9674666666666667,
      "grad_norm": 2.5906665633471935,
      "learning_rate": 1.3451816974876797e-08,
      "loss": 0.4241,
      "step": 3628
    },
    {
      "epoch": 0.9677333333333333,
      "grad_norm": 2.391084489332109,
      "learning_rate": 1.3232393107186214e-08,
      "loss": 0.3325,
      "step": 3629
    },
    {
      "epoch": 0.968,
      "grad_norm": 2.3578945791678008,
      "learning_rate": 1.301476884082553e-08,
      "loss": 0.3396,
      "step": 3630
    },
    {
      "epoch": 0.9682666666666667,
      "grad_norm": 2.2769133764454046,
      "learning_rate": 1.2798944333283215e-08,
      "loss": 0.3534,
      "step": 3631
    },
    {
      "epoch": 0.9685333333333334,
      "grad_norm": 2.441507137985032,
      "learning_rate": 1.2584919740744883e-08,
      "loss": 0.3505,
      "step": 3632
    },
    {
      "epoch": 0.9688,
      "grad_norm": 2.5339922316123373,
      "learning_rate": 1.2372695218094144e-08,
      "loss": 0.3454,
      "step": 3633
    },
    {
      "epoch": 0.9690666666666666,
      "grad_norm": 2.3275817706031443,
      "learning_rate": 1.2162270918911478e-08,
      "loss": 0.3304,
      "step": 3634
    },
    {
      "epoch": 0.9693333333333334,
      "grad_norm": 3.0345874660646457,
      "learning_rate": 1.1953646995475076e-08,
      "loss": 0.4143,
      "step": 3635
    },
    {
      "epoch": 0.9696,
      "grad_norm": 2.5157489731630758,
      "learning_rate": 1.1746823598759726e-08,
      "loss": 0.3701,
      "step": 3636
    },
    {
      "epoch": 0.9698666666666667,
      "grad_norm": 2.1862842771842264,
      "learning_rate": 1.1541800878437925e-08,
      "loss": 0.3457,
      "step": 3637
    },
    {
      "epoch": 0.9701333333333333,
      "grad_norm": 2.5046672219681,
      "learning_rate": 1.1338578982878213e-08,
      "loss": 0.3801,
      "step": 3638
    },
    {
      "epoch": 0.9704,
      "grad_norm": 2.6226410841290932,
      "learning_rate": 1.1137158059146559e-08,
      "loss": 0.3917,
      "step": 3639
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 2.5419758606264384,
      "learning_rate": 1.0937538253004976e-08,
      "loss": 0.4015,
      "step": 3640
    },
    {
      "epoch": 0.9709333333333333,
      "grad_norm": 2.4684808002032104,
      "learning_rate": 1.0739719708913466e-08,
      "loss": 0.344,
      "step": 3641
    },
    {
      "epoch": 0.9712,
      "grad_norm": 2.7310209307367384,
      "learning_rate": 1.0543702570026682e-08,
      "loss": 0.4139,
      "step": 3642
    },
    {
      "epoch": 0.9714666666666667,
      "grad_norm": 2.9285947210870935,
      "learning_rate": 1.0349486978196987e-08,
      "loss": 0.4607,
      "step": 3643
    },
    {
      "epoch": 0.9717333333333333,
      "grad_norm": 3.0471708776548785,
      "learning_rate": 1.0157073073972234e-08,
      "loss": 0.4674,
      "step": 3644
    },
    {
      "epoch": 0.972,
      "grad_norm": 2.904230669985872,
      "learning_rate": 9.966460996597149e-09,
      "loss": 0.4336,
      "step": 3645
    },
    {
      "epoch": 0.9722666666666666,
      "grad_norm": 2.848900495714319,
      "learning_rate": 9.777650884011669e-09,
      "loss": 0.4229,
      "step": 3646
    },
    {
      "epoch": 0.9725333333333334,
      "grad_norm": 3.000860142498328,
      "learning_rate": 9.590642872852607e-09,
      "loss": 0.4196,
      "step": 3647
    },
    {
      "epoch": 0.9728,
      "grad_norm": 2.510482231333724,
      "learning_rate": 9.405437098451985e-09,
      "loss": 0.3563,
      "step": 3648
    },
    {
      "epoch": 0.9730666666666666,
      "grad_norm": 2.591547991172249,
      "learning_rate": 9.222033694837872e-09,
      "loss": 0.4076,
      "step": 3649
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 2.786829276950838,
      "learning_rate": 9.0404327947341e-09,
      "loss": 0.3939,
      "step": 3650
    },
    {
      "epoch": 0.9736,
      "grad_norm": 2.5272076039558877,
      "learning_rate": 8.860634529559708e-09,
      "loss": 0.3757,
      "step": 3651
    },
    {
      "epoch": 0.9738666666666667,
      "grad_norm": 2.215401993536567,
      "learning_rate": 8.682639029429784e-09,
      "loss": 0.3337,
      "step": 3652
    },
    {
      "epoch": 0.9741333333333333,
      "grad_norm": 2.561378777758312,
      "learning_rate": 8.50644642315407e-09,
      "loss": 0.4023,
      "step": 3653
    },
    {
      "epoch": 0.9744,
      "grad_norm": 2.287779115524206,
      "learning_rate": 8.332056838238344e-09,
      "loss": 0.3488,
      "step": 3654
    },
    {
      "epoch": 0.9746666666666667,
      "grad_norm": 2.9486470591776097,
      "learning_rate": 8.15947040088333e-09,
      "loss": 0.4185,
      "step": 3655
    },
    {
      "epoch": 0.9749333333333333,
      "grad_norm": 2.752952880088581,
      "learning_rate": 7.988687235984394e-09,
      "loss": 0.4181,
      "step": 3656
    },
    {
      "epoch": 0.9752,
      "grad_norm": 2.6305667360538507,
      "learning_rate": 7.819707467132954e-09,
      "loss": 0.4217,
      "step": 3657
    },
    {
      "epoch": 0.9754666666666667,
      "grad_norm": 2.8636296242834507,
      "learning_rate": 7.652531216614245e-09,
      "loss": 0.3985,
      "step": 3658
    },
    {
      "epoch": 0.9757333333333333,
      "grad_norm": 2.928734057716164,
      "learning_rate": 7.487158605408996e-09,
      "loss": 0.4205,
      "step": 3659
    },
    {
      "epoch": 0.976,
      "grad_norm": 2.9216581029601225,
      "learning_rate": 7.323589753192584e-09,
      "loss": 0.4716,
      "step": 3660
    },
    {
      "epoch": 0.9762666666666666,
      "grad_norm": 2.4521911940521397,
      "learning_rate": 7.161824778335047e-09,
      "loss": 0.3854,
      "step": 3661
    },
    {
      "epoch": 0.9765333333333334,
      "grad_norm": 2.534250692745915,
      "learning_rate": 7.001863797901076e-09,
      "loss": 0.3884,
      "step": 3662
    },
    {
      "epoch": 0.9768,
      "grad_norm": 2.7002574910558654,
      "learning_rate": 6.843706927649462e-09,
      "loss": 0.3963,
      "step": 3663
    },
    {
      "epoch": 0.9770666666666666,
      "grad_norm": 2.5581559547874213,
      "learning_rate": 6.687354282033931e-09,
      "loss": 0.3949,
      "step": 3664
    },
    {
      "epoch": 0.9773333333333334,
      "grad_norm": 2.455892002952352,
      "learning_rate": 6.532805974202583e-09,
      "loss": 0.3668,
      "step": 3665
    },
    {
      "epoch": 0.9776,
      "grad_norm": 3.0358431089730087,
      "learning_rate": 6.380062115997066e-09,
      "loss": 0.5026,
      "step": 3666
    },
    {
      "epoch": 0.9778666666666667,
      "grad_norm": 3.5574504221720358,
      "learning_rate": 6.229122817953959e-09,
      "loss": 0.5412,
      "step": 3667
    },
    {
      "epoch": 0.9781333333333333,
      "grad_norm": 2.504434291927375,
      "learning_rate": 6.079988189303665e-09,
      "loss": 0.3841,
      "step": 3668
    },
    {
      "epoch": 0.9784,
      "grad_norm": 2.7441477877403315,
      "learning_rate": 5.9326583379701316e-09,
      "loss": 0.4022,
      "step": 3669
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 2.6191878050475337,
      "learning_rate": 5.78713337057224e-09,
      "loss": 0.3987,
      "step": 3670
    },
    {
      "epoch": 0.9789333333333333,
      "grad_norm": 2.5845675033137443,
      "learning_rate": 5.643413392421859e-09,
      "loss": 0.3838,
      "step": 3671
    },
    {
      "epoch": 0.9792,
      "grad_norm": 2.9130359453268806,
      "learning_rate": 5.5014985075252384e-09,
      "loss": 0.4444,
      "step": 3672
    },
    {
      "epoch": 0.9794666666666667,
      "grad_norm": 2.773265838138167,
      "learning_rate": 5.361388818581892e-09,
      "loss": 0.3978,
      "step": 3673
    },
    {
      "epoch": 0.9797333333333333,
      "grad_norm": 2.674837228546706,
      "learning_rate": 5.223084426984881e-09,
      "loss": 0.4317,
      "step": 3674
    },
    {
      "epoch": 0.98,
      "grad_norm": 3.585218872591551,
      "learning_rate": 5.086585432821367e-09,
      "loss": 0.4461,
      "step": 3675
    },
    {
      "epoch": 0.9802666666666666,
      "grad_norm": 2.702632414355289,
      "learning_rate": 4.9518919348715e-09,
      "loss": 0.4213,
      "step": 3676
    },
    {
      "epoch": 0.9805333333333334,
      "grad_norm": 2.5258357989302547,
      "learning_rate": 4.819004030609531e-09,
      "loss": 0.3893,
      "step": 3677
    },
    {
      "epoch": 0.9808,
      "grad_norm": 2.291380428992264,
      "learning_rate": 4.687921816201868e-09,
      "loss": 0.3772,
      "step": 3678
    },
    {
      "epoch": 0.9810666666666666,
      "grad_norm": 2.441480828326725,
      "learning_rate": 4.558645386509297e-09,
      "loss": 0.3692,
      "step": 3679
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 2.7611910022386796,
      "learning_rate": 4.431174835085317e-09,
      "loss": 0.419,
      "step": 3680
    },
    {
      "epoch": 0.9816,
      "grad_norm": 2.962621664257772,
      "learning_rate": 4.305510254176692e-09,
      "loss": 0.4424,
      "step": 3681
    },
    {
      "epoch": 0.9818666666666667,
      "grad_norm": 3.1700626332121917,
      "learning_rate": 4.181651734722903e-09,
      "loss": 0.4358,
      "step": 3682
    },
    {
      "epoch": 0.9821333333333333,
      "grad_norm": 2.5054422202957287,
      "learning_rate": 4.059599366357525e-09,
      "loss": 0.3578,
      "step": 3683
    },
    {
      "epoch": 0.9824,
      "grad_norm": 2.6289468771216815,
      "learning_rate": 3.939353237405464e-09,
      "loss": 0.3655,
      "step": 3684
    },
    {
      "epoch": 0.9826666666666667,
      "grad_norm": 2.7984813175440753,
      "learning_rate": 3.820913434885998e-09,
      "loss": 0.423,
      "step": 3685
    },
    {
      "epoch": 0.9829333333333333,
      "grad_norm": 2.8166781397418763,
      "learning_rate": 3.7042800445100113e-09,
      "loss": 0.396,
      "step": 3686
    },
    {
      "epoch": 0.9832,
      "grad_norm": 2.7930127120699715,
      "learning_rate": 3.5894531506822094e-09,
      "loss": 0.4065,
      "step": 3687
    },
    {
      "epoch": 0.9834666666666667,
      "grad_norm": 2.8651533879096607,
      "learning_rate": 3.4764328364988997e-09,
      "loss": 0.4786,
      "step": 3688
    },
    {
      "epoch": 0.9837333333333333,
      "grad_norm": 2.423862047452282,
      "learning_rate": 3.3652191837502125e-09,
      "loss": 0.3729,
      "step": 3689
    },
    {
      "epoch": 0.984,
      "grad_norm": 2.7144165470673274,
      "learning_rate": 3.2558122729178797e-09,
      "loss": 0.4105,
      "step": 3690
    },
    {
      "epoch": 0.9842666666666666,
      "grad_norm": 2.553387476002619,
      "learning_rate": 3.1482121831763467e-09,
      "loss": 0.3699,
      "step": 3691
    },
    {
      "epoch": 0.9845333333333334,
      "grad_norm": 2.783322236192133,
      "learning_rate": 3.042418992393048e-09,
      "loss": 0.4121,
      "step": 3692
    },
    {
      "epoch": 0.9848,
      "grad_norm": 2.2913131295286235,
      "learning_rate": 2.9384327771270203e-09,
      "loss": 0.329,
      "step": 3693
    },
    {
      "epoch": 0.9850666666666666,
      "grad_norm": 2.531720574779831,
      "learning_rate": 2.8362536126305685e-09,
      "loss": 0.3729,
      "step": 3694
    },
    {
      "epoch": 0.9853333333333333,
      "grad_norm": 3.0309324627716476,
      "learning_rate": 2.7358815728473207e-09,
      "loss": 0.4247,
      "step": 3695
    },
    {
      "epoch": 0.9856,
      "grad_norm": 2.7215596446461436,
      "learning_rate": 2.637316730413897e-09,
      "loss": 0.3964,
      "step": 3696
    },
    {
      "epoch": 0.9858666666666667,
      "grad_norm": 2.4603487879351693,
      "learning_rate": 2.540559156658795e-09,
      "loss": 0.3697,
      "step": 3697
    },
    {
      "epoch": 0.9861333333333333,
      "grad_norm": 2.522658070927107,
      "learning_rate": 2.4456089216023935e-09,
      "loss": 0.3516,
      "step": 3698
    },
    {
      "epoch": 0.9864,
      "grad_norm": 2.724312152219829,
      "learning_rate": 2.3524660939577838e-09,
      "loss": 0.408,
      "step": 3699
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 2.4077052603210354,
      "learning_rate": 2.2611307411291028e-09,
      "loss": 0.3921,
      "step": 3700
    },
    {
      "epoch": 0.9869333333333333,
      "grad_norm": 2.645787745813466,
      "learning_rate": 2.1716029292137564e-09,
      "loss": 0.3978,
      "step": 3701
    },
    {
      "epoch": 0.9872,
      "grad_norm": 2.5569767815919313,
      "learning_rate": 2.0838827230001967e-09,
      "loss": 0.3966,
      "step": 3702
    },
    {
      "epoch": 0.9874666666666667,
      "grad_norm": 2.319510455577243,
      "learning_rate": 1.9979701859690336e-09,
      "loss": 0.3406,
      "step": 3703
    },
    {
      "epoch": 0.9877333333333334,
      "grad_norm": 2.4308892947726175,
      "learning_rate": 1.913865380292479e-09,
      "loss": 0.3512,
      "step": 3704
    },
    {
      "epoch": 0.988,
      "grad_norm": 2.66878621922538,
      "learning_rate": 1.8315683668346241e-09,
      "loss": 0.3971,
      "step": 3705
    },
    {
      "epoch": 0.9882666666666666,
      "grad_norm": 2.622027094678921,
      "learning_rate": 1.7510792051517177e-09,
      "loss": 0.3744,
      "step": 3706
    },
    {
      "epoch": 0.9885333333333334,
      "grad_norm": 2.887316822874402,
      "learning_rate": 1.6723979534916114e-09,
      "loss": 0.4302,
      "step": 3707
    },
    {
      "epoch": 0.9888,
      "grad_norm": 2.6022318963975852,
      "learning_rate": 1.595524668792925e-09,
      "loss": 0.426,
      "step": 3708
    },
    {
      "epoch": 0.9890666666666666,
      "grad_norm": 2.97674644178224,
      "learning_rate": 1.520459406687269e-09,
      "loss": 0.3913,
      "step": 3709
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 2.403698081837509,
      "learning_rate": 1.447202221497024e-09,
      "loss": 0.36,
      "step": 3710
    },
    {
      "epoch": 0.9896,
      "grad_norm": 3.097506988041782,
      "learning_rate": 1.3757531662361712e-09,
      "loss": 0.4514,
      "step": 3711
    },
    {
      "epoch": 0.9898666666666667,
      "grad_norm": 2.772634068731315,
      "learning_rate": 1.3061122926102954e-09,
      "loss": 0.43,
      "step": 3712
    },
    {
      "epoch": 0.9901333333333333,
      "grad_norm": 2.6250139618570714,
      "learning_rate": 1.2382796510168604e-09,
      "loss": 0.4079,
      "step": 3713
    },
    {
      "epoch": 0.9904,
      "grad_norm": 2.2069437690803224,
      "learning_rate": 1.1722552905438222e-09,
      "loss": 0.3105,
      "step": 3714
    },
    {
      "epoch": 0.9906666666666667,
      "grad_norm": 2.471469796315984,
      "learning_rate": 1.108039258971294e-09,
      "loss": 0.4103,
      "step": 3715
    },
    {
      "epoch": 0.9909333333333333,
      "grad_norm": 2.242845946259748,
      "learning_rate": 1.045631602770436e-09,
      "loss": 0.3419,
      "step": 3716
    },
    {
      "epoch": 0.9912,
      "grad_norm": 2.5752283930604367,
      "learning_rate": 9.850323671042883e-10,
      "loss": 0.3663,
      "step": 3717
    },
    {
      "epoch": 0.9914666666666667,
      "grad_norm": 2.879328751629154,
      "learning_rate": 9.262415958263827e-10,
      "loss": 0.3808,
      "step": 3718
    },
    {
      "epoch": 0.9917333333333334,
      "grad_norm": 2.4709086123751014,
      "learning_rate": 8.692593314818532e-10,
      "loss": 0.3473,
      "step": 3719
    },
    {
      "epoch": 0.992,
      "grad_norm": 2.6181906576491136,
      "learning_rate": 8.140856153071586e-10,
      "loss": 0.3846,
      "step": 3720
    },
    {
      "epoch": 0.9922666666666666,
      "grad_norm": 2.815158337123703,
      "learning_rate": 7.607204872300822e-10,
      "loss": 0.4461,
      "step": 3721
    },
    {
      "epoch": 0.9925333333333334,
      "grad_norm": 2.8645292882193534,
      "learning_rate": 7.091639858694543e-10,
      "loss": 0.4371,
      "step": 3722
    },
    {
      "epoch": 0.9928,
      "grad_norm": 3.163913859274481,
      "learning_rate": 6.594161485348749e-10,
      "loss": 0.3979,
      "step": 3723
    },
    {
      "epoch": 0.9930666666666667,
      "grad_norm": 3.3177698437390557,
      "learning_rate": 6.114770112275459e-10,
      "loss": 0.4634,
      "step": 3724
    },
    {
      "epoch": 0.9933333333333333,
      "grad_norm": 3.405225652635982,
      "learning_rate": 5.653466086399939e-10,
      "loss": 0.4718,
      "step": 3725
    },
    {
      "epoch": 0.9936,
      "grad_norm": 2.3778098462074073,
      "learning_rate": 5.210249741546825e-10,
      "loss": 0.3718,
      "step": 3726
    },
    {
      "epoch": 0.9938666666666667,
      "grad_norm": 2.8606206489181636,
      "learning_rate": 4.785121398467874e-10,
      "loss": 0.4315,
      "step": 3727
    },
    {
      "epoch": 0.9941333333333333,
      "grad_norm": 2.71364620412422,
      "learning_rate": 4.3780813648086617e-10,
      "loss": 0.3901,
      "step": 3728
    },
    {
      "epoch": 0.9944,
      "grad_norm": 2.6396540998433604,
      "learning_rate": 3.9891299351363375e-10,
      "loss": 0.3471,
      "step": 3729
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 2.685183060161541,
      "learning_rate": 3.618267390920194e-10,
      "loss": 0.4504,
      "step": 3730
    },
    {
      "epoch": 0.9949333333333333,
      "grad_norm": 2.8706060238733473,
      "learning_rate": 3.2654940005483193e-10,
      "loss": 0.4188,
      "step": 3731
    },
    {
      "epoch": 0.9952,
      "grad_norm": 3.0698366353774658,
      "learning_rate": 2.9308100193053966e-10,
      "loss": 0.4166,
      "step": 3732
    },
    {
      "epoch": 0.9954666666666667,
      "grad_norm": 2.52540524945966,
      "learning_rate": 2.6142156894004567e-10,
      "loss": 0.3848,
      "step": 3733
    },
    {
      "epoch": 0.9957333333333334,
      "grad_norm": 2.669592457394617,
      "learning_rate": 2.3157112399363467e-10,
      "loss": 0.3898,
      "step": 3734
    },
    {
      "epoch": 0.996,
      "grad_norm": 2.4893870196031846,
      "learning_rate": 2.0352968869374877e-10,
      "loss": 0.3855,
      "step": 3735
    },
    {
      "epoch": 0.9962666666666666,
      "grad_norm": 2.6186679208187877,
      "learning_rate": 1.7729728333276686e-10,
      "loss": 0.4102,
      "step": 3736
    },
    {
      "epoch": 0.9965333333333334,
      "grad_norm": 2.5829254311720704,
      "learning_rate": 1.528739268943924e-10,
      "loss": 0.4217,
      "step": 3737
    },
    {
      "epoch": 0.9968,
      "grad_norm": 2.1419484445506667,
      "learning_rate": 1.3025963705337596e-10,
      "loss": 0.3307,
      "step": 3738
    },
    {
      "epoch": 0.9970666666666667,
      "grad_norm": 2.604272826007305,
      "learning_rate": 1.094544301746825e-10,
      "loss": 0.4022,
      "step": 3739
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 2.6994140460947316,
      "learning_rate": 9.045832131460152e-11,
      "loss": 0.3946,
      "step": 3740
    },
    {
      "epoch": 0.9976,
      "grad_norm": 2.953457056015797,
      "learning_rate": 7.327132422019212e-11,
      "loss": 0.4486,
      "step": 3741
    },
    {
      "epoch": 0.9978666666666667,
      "grad_norm": 2.6341193451518503,
      "learning_rate": 5.7893451328727703e-11,
      "loss": 0.4342,
      "step": 3742
    },
    {
      "epoch": 0.9981333333333333,
      "grad_norm": 3.0776591562423143,
      "learning_rate": 4.4324713769361426e-11,
      "loss": 0.3895,
      "step": 3743
    },
    {
      "epoch": 0.9984,
      "grad_norm": 2.9152434126767903,
      "learning_rate": 3.256512136062817e-11,
      "loss": 0.3985,
      "step": 3744
    },
    {
      "epoch": 0.9986666666666667,
      "grad_norm": 2.5938126257158887,
      "learning_rate": 2.261468261349764e-11,
      "loss": 0.378,
      "step": 3745
    },
    {
      "epoch": 0.9989333333333333,
      "grad_norm": 2.410966789666778,
      "learning_rate": 1.4473404728043704e-11,
      "loss": 0.3465,
      "step": 3746
    },
    {
      "epoch": 0.9992,
      "grad_norm": 2.8121442079307553,
      "learning_rate": 8.141293596219957e-12,
      "loss": 0.4019,
      "step": 3747
    },
    {
      "epoch": 0.9994666666666666,
      "grad_norm": 2.811937136461409,
      "learning_rate": 3.61835380047193e-12,
      "loss": 0.3982,
      "step": 3748
    },
    {
      "epoch": 0.9997333333333334,
      "grad_norm": 2.956444785935936,
      "learning_rate": 9.045886137371007e-13,
      "loss": 0.4205,
      "step": 3749
    },
    {
      "epoch": 1.0,
      "grad_norm": 2.930016200517855,
      "learning_rate": 0.0,
      "loss": 0.4348,
      "step": 3750
    },
    {
      "epoch": 1.0,
      "step": 3750,
      "total_flos": 3318691213279232.0,
      "train_loss": 0.4443156658411026,
      "train_runtime": 19677.6476,
      "train_samples_per_second": 4.574,
      "train_steps_per_second": 0.191
    }
  ],
  "logging_steps": 1,
  "max_steps": 3750,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 800,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 3318691213279232.0,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}