{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 11250,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 8.888888888888889e-05,
      "grad_norm": 2.3531012535095215,
      "learning_rate": 5e-05,
      "loss": 1.5211,
      "step": 1
    },
    {
      "epoch": 0.00017777777777777779,
      "grad_norm": 3.995047092437744,
      "learning_rate": 4.999555555555556e-05,
      "loss": 1.5564,
      "step": 2
    },
    {
      "epoch": 0.0002666666666666667,
      "grad_norm": 3.648165225982666,
      "learning_rate": 4.999111111111111e-05,
      "loss": 1.7195,
      "step": 3
    },
    {
      "epoch": 0.00035555555555555557,
      "grad_norm": 4.093322277069092,
      "learning_rate": 4.9986666666666674e-05,
      "loss": 1.8164,
      "step": 4
    },
    {
      "epoch": 0.00044444444444444447,
      "grad_norm": 2.33286190032959,
      "learning_rate": 4.998222222222222e-05,
      "loss": 1.7287,
      "step": 5
    },
    {
      "epoch": 0.0005333333333333334,
      "grad_norm": 2.6810221672058105,
      "learning_rate": 4.997777777777778e-05,
      "loss": 1.8443,
      "step": 6
    },
    {
      "epoch": 0.0006222222222222223,
      "grad_norm": 2.499145030975342,
      "learning_rate": 4.997333333333333e-05,
      "loss": 1.8891,
      "step": 7
    },
    {
      "epoch": 0.0007111111111111111,
      "grad_norm": 2.9107909202575684,
      "learning_rate": 4.996888888888889e-05,
      "loss": 1.8394,
      "step": 8
    },
    {
      "epoch": 0.0008,
      "grad_norm": 2.6283602714538574,
      "learning_rate": 4.996444444444445e-05,
      "loss": 1.8876,
      "step": 9
    },
    {
      "epoch": 0.0008888888888888889,
      "grad_norm": 2.464566469192505,
      "learning_rate": 4.996e-05,
      "loss": 1.9369,
      "step": 10
    },
    {
      "epoch": 0.0009777777777777777,
      "grad_norm": 2.311979293823242,
      "learning_rate": 4.995555555555556e-05,
      "loss": 1.6825,
      "step": 11
    },
    {
      "epoch": 0.0010666666666666667,
      "grad_norm": 4.183473110198975,
      "learning_rate": 4.995111111111111e-05,
      "loss": 2.0672,
      "step": 12
    },
    {
      "epoch": 0.0011555555555555555,
      "grad_norm": 2.7625925540924072,
      "learning_rate": 4.994666666666667e-05,
      "loss": 1.6858,
      "step": 13
    },
    {
      "epoch": 0.0012444444444444445,
      "grad_norm": 2.9213318824768066,
      "learning_rate": 4.994222222222222e-05,
      "loss": 1.8734,
      "step": 14
    },
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 2.5807080268859863,
      "learning_rate": 4.993777777777778e-05,
      "loss": 1.9485,
      "step": 15
    },
    {
      "epoch": 0.0014222222222222223,
      "grad_norm": 2.355184316635132,
      "learning_rate": 4.993333333333334e-05,
      "loss": 1.7631,
      "step": 16
    },
    {
      "epoch": 0.001511111111111111,
      "grad_norm": 2.2967448234558105,
      "learning_rate": 4.9928888888888893e-05,
      "loss": 1.9014,
      "step": 17
    },
    {
      "epoch": 0.0016,
      "grad_norm": 2.1532392501831055,
      "learning_rate": 4.992444444444445e-05,
      "loss": 1.845,
      "step": 18
    },
    {
      "epoch": 0.0016888888888888889,
      "grad_norm": 2.44671630859375,
      "learning_rate": 4.992e-05,
      "loss": 1.8097,
      "step": 19
    },
    {
      "epoch": 0.0017777777777777779,
      "grad_norm": 2.6243488788604736,
      "learning_rate": 4.991555555555556e-05,
      "loss": 1.9376,
      "step": 20
    },
    {
      "epoch": 0.0018666666666666666,
      "grad_norm": 2.451446533203125,
      "learning_rate": 4.991111111111111e-05,
      "loss": 1.9679,
      "step": 21
    },
    {
      "epoch": 0.0019555555555555554,
      "grad_norm": 2.190685510635376,
      "learning_rate": 4.990666666666667e-05,
      "loss": 1.7698,
      "step": 22
    },
    {
      "epoch": 0.0020444444444444447,
      "grad_norm": 2.1394426822662354,
      "learning_rate": 4.990222222222222e-05,
      "loss": 1.7086,
      "step": 23
    },
    {
      "epoch": 0.0021333333333333334,
      "grad_norm": 2.048832893371582,
      "learning_rate": 4.9897777777777784e-05,
      "loss": 1.7068,
      "step": 24
    },
    {
      "epoch": 0.0022222222222222222,
      "grad_norm": 2.3317484855651855,
      "learning_rate": 4.989333333333334e-05,
      "loss": 1.8647,
      "step": 25
    },
    {
      "epoch": 0.002311111111111111,
      "grad_norm": 2.1953907012939453,
      "learning_rate": 4.9888888888888894e-05,
      "loss": 1.9136,
      "step": 26
    },
    {
      "epoch": 0.0024,
      "grad_norm": 2.451587677001953,
      "learning_rate": 4.988444444444444e-05,
      "loss": 1.8417,
      "step": 27
    },
    {
      "epoch": 0.002488888888888889,
      "grad_norm": 2.759969472885132,
      "learning_rate": 4.9880000000000004e-05,
      "loss": 1.8546,
      "step": 28
    },
    {
      "epoch": 0.002577777777777778,
      "grad_norm": 2.5941691398620605,
      "learning_rate": 4.987555555555556e-05,
      "loss": 1.912,
      "step": 29
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 2.656020402908325,
      "learning_rate": 4.987111111111111e-05,
      "loss": 1.5926,
      "step": 30
    },
    {
      "epoch": 0.0027555555555555554,
      "grad_norm": 2.4222757816314697,
      "learning_rate": 4.986666666666667e-05,
      "loss": 1.8182,
      "step": 31
    },
    {
      "epoch": 0.0028444444444444446,
      "grad_norm": 2.9247982501983643,
      "learning_rate": 4.986222222222223e-05,
      "loss": 1.8425,
      "step": 32
    },
    {
      "epoch": 0.0029333333333333334,
      "grad_norm": 3.6813204288482666,
      "learning_rate": 4.985777777777778e-05,
      "loss": 1.6821,
      "step": 33
    },
    {
      "epoch": 0.003022222222222222,
      "grad_norm": 2.420562982559204,
      "learning_rate": 4.985333333333333e-05,
      "loss": 1.8912,
      "step": 34
    },
    {
      "epoch": 0.003111111111111111,
      "grad_norm": 2.2838096618652344,
      "learning_rate": 4.984888888888889e-05,
      "loss": 1.837,
      "step": 35
    },
    {
      "epoch": 0.0032,
      "grad_norm": 2.318554401397705,
      "learning_rate": 4.984444444444445e-05,
      "loss": 1.7914,
      "step": 36
    },
    {
      "epoch": 0.003288888888888889,
      "grad_norm": 2.3181023597717285,
      "learning_rate": 4.9840000000000004e-05,
      "loss": 1.694,
      "step": 37
    },
    {
      "epoch": 0.0033777777777777777,
      "grad_norm": 2.4494924545288086,
      "learning_rate": 4.983555555555556e-05,
      "loss": 1.9969,
      "step": 38
    },
    {
      "epoch": 0.0034666666666666665,
      "grad_norm": 2.1924023628234863,
      "learning_rate": 4.9831111111111114e-05,
      "loss": 1.8156,
      "step": 39
    },
    {
      "epoch": 0.0035555555555555557,
      "grad_norm": 2.3793368339538574,
      "learning_rate": 4.982666666666667e-05,
      "loss": 1.7035,
      "step": 40
    },
    {
      "epoch": 0.0036444444444444445,
      "grad_norm": 2.2038633823394775,
      "learning_rate": 4.982222222222222e-05,
      "loss": 1.7599,
      "step": 41
    },
    {
      "epoch": 0.0037333333333333333,
      "grad_norm": 1.9155387878417969,
      "learning_rate": 4.981777777777778e-05,
      "loss": 1.8145,
      "step": 42
    },
    {
      "epoch": 0.003822222222222222,
      "grad_norm": 1.9543706178665161,
      "learning_rate": 4.981333333333333e-05,
      "loss": 1.7996,
      "step": 43
    },
    {
      "epoch": 0.003911111111111111,
      "grad_norm": 3.6194260120391846,
      "learning_rate": 4.9808888888888895e-05,
      "loss": 1.9704,
      "step": 44
    },
    {
      "epoch": 0.004,
      "grad_norm": 2.3198981285095215,
      "learning_rate": 4.980444444444445e-05,
      "loss": 1.814,
      "step": 45
    },
    {
      "epoch": 0.004088888888888889,
      "grad_norm": 2.3419625759124756,
      "learning_rate": 4.9800000000000004e-05,
      "loss": 1.619,
      "step": 46
    },
    {
      "epoch": 0.004177777777777778,
      "grad_norm": 2.2805051803588867,
      "learning_rate": 4.979555555555556e-05,
      "loss": 1.7957,
      "step": 47
    },
    {
      "epoch": 0.004266666666666667,
      "grad_norm": 2.3934669494628906,
      "learning_rate": 4.9791111111111114e-05,
      "loss": 1.8718,
      "step": 48
    },
    {
      "epoch": 0.004355555555555555,
      "grad_norm": 2.138780117034912,
      "learning_rate": 4.978666666666667e-05,
      "loss": 1.8475,
      "step": 49
    },
    {
      "epoch": 0.0044444444444444444,
      "grad_norm": 2.322488784790039,
      "learning_rate": 4.9782222222222224e-05,
      "loss": 1.717,
      "step": 50
    },
    {
      "epoch": 0.004533333333333334,
      "grad_norm": 2.0249195098876953,
      "learning_rate": 4.977777777777778e-05,
      "loss": 1.9432,
      "step": 51
    },
    {
      "epoch": 0.004622222222222222,
      "grad_norm": 2.370011806488037,
      "learning_rate": 4.977333333333334e-05,
      "loss": 1.7384,
      "step": 52
    },
    {
      "epoch": 0.004711111111111111,
      "grad_norm": 2.1237905025482178,
      "learning_rate": 4.9768888888888895e-05,
      "loss": 1.5549,
      "step": 53
    },
    {
      "epoch": 0.0048,
      "grad_norm": 2.281357526779175,
      "learning_rate": 4.976444444444445e-05,
      "loss": 1.673,
      "step": 54
    },
    {
      "epoch": 0.004888888888888889,
      "grad_norm": 1.9526458978652954,
      "learning_rate": 4.976e-05,
      "loss": 1.7677,
      "step": 55
    },
    {
      "epoch": 0.004977777777777778,
      "grad_norm": 4.4257283210754395,
      "learning_rate": 4.975555555555555e-05,
      "loss": 2.2159,
      "step": 56
    },
    {
      "epoch": 0.005066666666666666,
      "grad_norm": 2.277620315551758,
      "learning_rate": 4.9751111111111114e-05,
      "loss": 1.5635,
      "step": 57
    },
    {
      "epoch": 0.005155555555555556,
      "grad_norm": 2.020883798599243,
      "learning_rate": 4.974666666666667e-05,
      "loss": 1.6738,
      "step": 58
    },
    {
      "epoch": 0.005244444444444445,
      "grad_norm": 5.044859886169434,
      "learning_rate": 4.9742222222222224e-05,
      "loss": 2.2399,
      "step": 59
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 2.468468189239502,
      "learning_rate": 4.973777777777778e-05,
      "loss": 1.772,
      "step": 60
    },
    {
      "epoch": 0.005422222222222222,
      "grad_norm": 1.9879132509231567,
      "learning_rate": 4.973333333333334e-05,
      "loss": 1.8662,
      "step": 61
    },
    {
      "epoch": 0.005511111111111111,
      "grad_norm": 2.234318494796753,
      "learning_rate": 4.972888888888889e-05,
      "loss": 1.8428,
      "step": 62
    },
    {
      "epoch": 0.0056,
      "grad_norm": 2.0144824981689453,
      "learning_rate": 4.9724444444444443e-05,
      "loss": 1.7328,
      "step": 63
    },
    {
      "epoch": 0.005688888888888889,
      "grad_norm": 3.1329941749572754,
      "learning_rate": 4.972e-05,
      "loss": 2.0239,
      "step": 64
    },
    {
      "epoch": 0.0057777777777777775,
      "grad_norm": 2.3503899574279785,
      "learning_rate": 4.971555555555556e-05,
      "loss": 1.8358,
      "step": 65
    },
    {
      "epoch": 0.005866666666666667,
      "grad_norm": 2.167900562286377,
      "learning_rate": 4.9711111111111115e-05,
      "loss": 1.8541,
      "step": 66
    },
    {
      "epoch": 0.005955555555555556,
      "grad_norm": 2.550446033477783,
      "learning_rate": 4.970666666666667e-05,
      "loss": 1.6915,
      "step": 67
    },
    {
      "epoch": 0.006044444444444444,
      "grad_norm": 2.2864279747009277,
      "learning_rate": 4.9702222222222224e-05,
      "loss": 1.78,
      "step": 68
    },
    {
      "epoch": 0.0061333333333333335,
      "grad_norm": 2.176593780517578,
      "learning_rate": 4.969777777777778e-05,
      "loss": 1.9499,
      "step": 69
    },
    {
      "epoch": 0.006222222222222222,
      "grad_norm": 2.358780860900879,
      "learning_rate": 4.9693333333333334e-05,
      "loss": 1.5643,
      "step": 70
    },
    {
      "epoch": 0.006311111111111111,
      "grad_norm": 1.9860084056854248,
      "learning_rate": 4.968888888888889e-05,
      "loss": 1.7757,
      "step": 71
    },
    {
      "epoch": 0.0064,
      "grad_norm": 2.1823506355285645,
      "learning_rate": 4.9684444444444444e-05,
      "loss": 1.7696,
      "step": 72
    },
    {
      "epoch": 0.006488888888888889,
      "grad_norm": 2.070911407470703,
      "learning_rate": 4.9680000000000005e-05,
      "loss": 1.7787,
      "step": 73
    },
    {
      "epoch": 0.006577777777777778,
      "grad_norm": 2.484304189682007,
      "learning_rate": 4.967555555555556e-05,
      "loss": 1.8739,
      "step": 74
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 2.85019588470459,
      "learning_rate": 4.9671111111111115e-05,
      "loss": 1.8429,
      "step": 75
    },
    {
      "epoch": 0.0067555555555555554,
      "grad_norm": 2.184279441833496,
      "learning_rate": 4.966666666666667e-05,
      "loss": 1.9036,
      "step": 76
    },
    {
      "epoch": 0.006844444444444445,
      "grad_norm": 2.5326406955718994,
      "learning_rate": 4.9662222222222225e-05,
      "loss": 1.8299,
      "step": 77
    },
    {
      "epoch": 0.006933333333333333,
      "grad_norm": 2.6205625534057617,
      "learning_rate": 4.965777777777778e-05,
      "loss": 1.8981,
      "step": 78
    },
    {
      "epoch": 0.007022222222222222,
      "grad_norm": 3.513176679611206,
      "learning_rate": 4.9653333333333335e-05,
      "loss": 1.8652,
      "step": 79
    },
    {
      "epoch": 0.0071111111111111115,
      "grad_norm": 2.5633668899536133,
      "learning_rate": 4.964888888888889e-05,
      "loss": 1.83,
      "step": 80
    },
    {
      "epoch": 0.0072,
      "grad_norm": 2.231003522872925,
      "learning_rate": 4.964444444444445e-05,
      "loss": 1.7978,
      "step": 81
    },
    {
      "epoch": 0.007288888888888889,
      "grad_norm": 2.1591978073120117,
      "learning_rate": 4.9640000000000006e-05,
      "loss": 1.6713,
      "step": 82
    },
    {
      "epoch": 0.007377777777777777,
      "grad_norm": 2.126413583755493,
      "learning_rate": 4.963555555555556e-05,
      "loss": 1.8979,
      "step": 83
    },
    {
      "epoch": 0.007466666666666667,
      "grad_norm": 2.6277430057525635,
      "learning_rate": 4.963111111111111e-05,
      "loss": 1.9564,
      "step": 84
    },
    {
      "epoch": 0.007555555555555556,
      "grad_norm": 2.076350212097168,
      "learning_rate": 4.962666666666667e-05,
      "loss": 1.6841,
      "step": 85
    },
    {
      "epoch": 0.007644444444444444,
      "grad_norm": 1.8857841491699219,
      "learning_rate": 4.9622222222222225e-05,
      "loss": 1.8312,
      "step": 86
    },
    {
      "epoch": 0.007733333333333333,
      "grad_norm": 2.4006853103637695,
      "learning_rate": 4.961777777777778e-05,
      "loss": 1.6762,
      "step": 87
    },
    {
      "epoch": 0.007822222222222222,
      "grad_norm": 2.2285337448120117,
      "learning_rate": 4.9613333333333335e-05,
      "loss": 1.8489,
      "step": 88
    },
    {
      "epoch": 0.007911111111111112,
      "grad_norm": 2.562854528427124,
      "learning_rate": 4.9608888888888897e-05,
      "loss": 1.968,
      "step": 89
    },
    {
      "epoch": 0.008,
      "grad_norm": 2.0626981258392334,
      "learning_rate": 4.9604444444444445e-05,
      "loss": 1.534,
      "step": 90
    },
    {
      "epoch": 0.008088888888888889,
      "grad_norm": 2.2159745693206787,
      "learning_rate": 4.96e-05,
      "loss": 1.8077,
      "step": 91
    },
    {
      "epoch": 0.008177777777777779,
      "grad_norm": 2.076690196990967,
      "learning_rate": 4.9595555555555554e-05,
      "loss": 1.8188,
      "step": 92
    },
    {
      "epoch": 0.008266666666666667,
      "grad_norm": 1.987101435661316,
      "learning_rate": 4.9591111111111116e-05,
      "loss": 1.5503,
      "step": 93
    },
    {
      "epoch": 0.008355555555555555,
      "grad_norm": 1.8614814281463623,
      "learning_rate": 4.958666666666667e-05,
      "loss": 1.6504,
      "step": 94
    },
    {
      "epoch": 0.008444444444444444,
      "grad_norm": 1.917844533920288,
      "learning_rate": 4.9582222222222226e-05,
      "loss": 1.7731,
      "step": 95
    },
    {
      "epoch": 0.008533333333333334,
      "grad_norm": 2.2739644050598145,
      "learning_rate": 4.957777777777778e-05,
      "loss": 1.746,
      "step": 96
    },
    {
      "epoch": 0.008622222222222222,
      "grad_norm": 2.8967883586883545,
      "learning_rate": 4.9573333333333335e-05,
      "loss": 1.8537,
      "step": 97
    },
    {
      "epoch": 0.00871111111111111,
      "grad_norm": 1.9918015003204346,
      "learning_rate": 4.956888888888889e-05,
      "loss": 1.4975,
      "step": 98
    },
    {
      "epoch": 0.0088,
      "grad_norm": 2.138683319091797,
      "learning_rate": 4.9564444444444445e-05,
      "loss": 1.884,
      "step": 99
    },
    {
      "epoch": 0.008888888888888889,
      "grad_norm": 1.9930676221847534,
      "learning_rate": 4.956e-05,
      "loss": 1.8581,
      "step": 100
    },
    {
      "epoch": 0.008977777777777777,
      "grad_norm": 2.752715826034546,
      "learning_rate": 4.955555555555556e-05,
      "loss": 1.9088,
      "step": 101
    },
    {
      "epoch": 0.009066666666666667,
      "grad_norm": 2.2268667221069336,
      "learning_rate": 4.9551111111111116e-05,
      "loss": 1.7784,
      "step": 102
    },
    {
      "epoch": 0.009155555555555556,
      "grad_norm": 2.253488063812256,
      "learning_rate": 4.954666666666667e-05,
      "loss": 1.7381,
      "step": 103
    },
    {
      "epoch": 0.009244444444444444,
      "grad_norm": 2.356184244155884,
      "learning_rate": 4.9542222222222226e-05,
      "loss": 1.9309,
      "step": 104
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 2.941348075866699,
      "learning_rate": 4.9537777777777774e-05,
      "loss": 1.9479,
      "step": 105
    },
    {
      "epoch": 0.009422222222222222,
      "grad_norm": 1.9343492984771729,
      "learning_rate": 4.9533333333333336e-05,
      "loss": 1.7302,
      "step": 106
    },
    {
      "epoch": 0.00951111111111111,
      "grad_norm": 2.6718897819519043,
      "learning_rate": 4.952888888888889e-05,
      "loss": 1.938,
      "step": 107
    },
    {
      "epoch": 0.0096,
      "grad_norm": 2.0558865070343018,
      "learning_rate": 4.9524444444444445e-05,
      "loss": 1.8748,
      "step": 108
    },
    {
      "epoch": 0.00968888888888889,
      "grad_norm": 2.030961275100708,
      "learning_rate": 4.952e-05,
      "loss": 1.7465,
      "step": 109
    },
    {
      "epoch": 0.009777777777777778,
      "grad_norm": 2.187312126159668,
      "learning_rate": 4.951555555555556e-05,
      "loss": 1.6758,
      "step": 110
    },
    {
      "epoch": 0.009866666666666666,
      "grad_norm": 2.035094976425171,
      "learning_rate": 4.951111111111112e-05,
      "loss": 1.7021,
      "step": 111
    },
    {
      "epoch": 0.009955555555555556,
      "grad_norm": 2.6232101917266846,
      "learning_rate": 4.9506666666666665e-05,
      "loss": 1.6382,
      "step": 112
    },
    {
      "epoch": 0.010044444444444444,
      "grad_norm": 2.269892692565918,
      "learning_rate": 4.950222222222222e-05,
      "loss": 1.7952,
      "step": 113
    },
    {
      "epoch": 0.010133333333333333,
      "grad_norm": 2.1355998516082764,
      "learning_rate": 4.949777777777778e-05,
      "loss": 1.7156,
      "step": 114
    },
    {
      "epoch": 0.010222222222222223,
      "grad_norm": 2.6449780464172363,
      "learning_rate": 4.9493333333333336e-05,
      "loss": 1.6516,
      "step": 115
    },
    {
      "epoch": 0.010311111111111111,
      "grad_norm": 3.118377923965454,
      "learning_rate": 4.948888888888889e-05,
      "loss": 1.6217,
      "step": 116
    },
    {
      "epoch": 0.0104,
      "grad_norm": 2.2711691856384277,
      "learning_rate": 4.9484444444444446e-05,
      "loss": 1.7195,
      "step": 117
    },
    {
      "epoch": 0.01048888888888889,
      "grad_norm": 2.1320762634277344,
      "learning_rate": 4.948000000000001e-05,
      "loss": 2.0947,
      "step": 118
    },
    {
      "epoch": 0.010577777777777778,
      "grad_norm": 2.022264242172241,
      "learning_rate": 4.9475555555555555e-05,
      "loss": 1.497,
      "step": 119
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 2.437167167663574,
      "learning_rate": 4.947111111111111e-05,
      "loss": 2.0855,
      "step": 120
    },
    {
      "epoch": 0.010755555555555556,
      "grad_norm": 1.9884405136108398,
      "learning_rate": 4.9466666666666665e-05,
      "loss": 1.9273,
      "step": 121
    },
    {
      "epoch": 0.010844444444444445,
      "grad_norm": 2.4299566745758057,
      "learning_rate": 4.946222222222223e-05,
      "loss": 1.8282,
      "step": 122
    },
    {
      "epoch": 0.010933333333333333,
      "grad_norm": 2.2237820625305176,
      "learning_rate": 4.945777777777778e-05,
      "loss": 1.783,
      "step": 123
    },
    {
      "epoch": 0.011022222222222221,
      "grad_norm": 2.0427815914154053,
      "learning_rate": 4.9453333333333336e-05,
      "loss": 1.8517,
      "step": 124
    },
    {
      "epoch": 0.011111111111111112,
      "grad_norm": 2.600771188735962,
      "learning_rate": 4.944888888888889e-05,
      "loss": 2.2527,
      "step": 125
    },
    {
      "epoch": 0.0112,
      "grad_norm": 2.1525046825408936,
      "learning_rate": 4.9444444444444446e-05,
      "loss": 1.7437,
      "step": 126
    },
    {
      "epoch": 0.011288888888888888,
      "grad_norm": 1.6396191120147705,
      "learning_rate": 4.944e-05,
      "loss": 1.7013,
      "step": 127
    },
    {
      "epoch": 0.011377777777777778,
      "grad_norm": 1.9528329372406006,
      "learning_rate": 4.9435555555555556e-05,
      "loss": 1.7621,
      "step": 128
    },
    {
      "epoch": 0.011466666666666667,
      "grad_norm": 2.3578553199768066,
      "learning_rate": 4.943111111111111e-05,
      "loss": 1.8193,
      "step": 129
    },
    {
      "epoch": 0.011555555555555555,
      "grad_norm": 2.2848048210144043,
      "learning_rate": 4.942666666666667e-05,
      "loss": 2.1061,
      "step": 130
    },
    {
      "epoch": 0.011644444444444445,
      "grad_norm": 2.1300034523010254,
      "learning_rate": 4.942222222222223e-05,
      "loss": 1.682,
      "step": 131
    },
    {
      "epoch": 0.011733333333333333,
      "grad_norm": 2.304337739944458,
      "learning_rate": 4.941777777777778e-05,
      "loss": 1.8597,
      "step": 132
    },
    {
      "epoch": 0.011822222222222222,
      "grad_norm": 2.2310221195220947,
      "learning_rate": 4.941333333333334e-05,
      "loss": 1.9288,
      "step": 133
    },
    {
      "epoch": 0.011911111111111112,
      "grad_norm": 1.9477310180664062,
      "learning_rate": 4.940888888888889e-05,
      "loss": 1.5615,
      "step": 134
    },
    {
      "epoch": 0.012,
      "grad_norm": 1.9804407358169556,
      "learning_rate": 4.9404444444444447e-05,
      "loss": 1.7701,
      "step": 135
    },
    {
      "epoch": 0.012088888888888889,
      "grad_norm": 1.9971662759780884,
      "learning_rate": 4.94e-05,
      "loss": 1.6494,
      "step": 136
    },
    {
      "epoch": 0.012177777777777777,
      "grad_norm": 2.1567671298980713,
      "learning_rate": 4.9395555555555556e-05,
      "loss": 1.8167,
      "step": 137
    },
    {
      "epoch": 0.012266666666666667,
      "grad_norm": 1.844053030014038,
      "learning_rate": 4.939111111111112e-05,
      "loss": 1.7869,
      "step": 138
    },
    {
      "epoch": 0.012355555555555555,
      "grad_norm": 2.9733023643493652,
      "learning_rate": 4.938666666666667e-05,
      "loss": 1.8699,
      "step": 139
    },
    {
      "epoch": 0.012444444444444444,
      "grad_norm": 2.2448322772979736,
      "learning_rate": 4.938222222222223e-05,
      "loss": 1.9895,
      "step": 140
    },
    {
      "epoch": 0.012533333333333334,
      "grad_norm": 2.020217180252075,
      "learning_rate": 4.9377777777777776e-05,
      "loss": 1.721,
      "step": 141
    },
    {
      "epoch": 0.012622222222222222,
      "grad_norm": 2.0747439861297607,
      "learning_rate": 4.937333333333334e-05,
      "loss": 1.6222,
      "step": 142
    },
    {
      "epoch": 0.01271111111111111,
      "grad_norm": 2.166767120361328,
      "learning_rate": 4.936888888888889e-05,
      "loss": 1.6979,
      "step": 143
    },
    {
      "epoch": 0.0128,
      "grad_norm": 2.1541872024536133,
      "learning_rate": 4.936444444444445e-05,
      "loss": 1.7211,
      "step": 144
    },
    {
      "epoch": 0.012888888888888889,
      "grad_norm": 1.8028501272201538,
      "learning_rate": 4.936e-05,
      "loss": 1.6641,
      "step": 145
    },
    {
      "epoch": 0.012977777777777777,
      "grad_norm": 1.9419965744018555,
      "learning_rate": 4.935555555555556e-05,
      "loss": 1.8437,
      "step": 146
    },
    {
      "epoch": 0.013066666666666667,
      "grad_norm": 2.1536786556243896,
      "learning_rate": 4.935111111111111e-05,
      "loss": 1.6553,
      "step": 147
    },
    {
      "epoch": 0.013155555555555556,
      "grad_norm": 2.270939350128174,
      "learning_rate": 4.9346666666666666e-05,
      "loss": 1.912,
      "step": 148
    },
    {
      "epoch": 0.013244444444444444,
      "grad_norm": 4.608254909515381,
      "learning_rate": 4.934222222222222e-05,
      "loss": 2.3411,
      "step": 149
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 2.3868587017059326,
      "learning_rate": 4.933777777777778e-05,
      "loss": 1.7206,
      "step": 150
    },
    {
      "epoch": 0.013422222222222223,
      "grad_norm": 2.1859641075134277,
      "learning_rate": 4.933333333333334e-05,
      "loss": 1.7658,
      "step": 151
    },
    {
      "epoch": 0.013511111111111111,
      "grad_norm": 2.1429860591888428,
      "learning_rate": 4.932888888888889e-05,
      "loss": 1.9059,
      "step": 152
    },
    {
      "epoch": 0.0136,
      "grad_norm": 2.381554126739502,
      "learning_rate": 4.932444444444445e-05,
      "loss": 1.5929,
      "step": 153
    },
    {
      "epoch": 0.01368888888888889,
      "grad_norm": 1.8531153202056885,
      "learning_rate": 4.932e-05,
      "loss": 1.8187,
      "step": 154
    },
    {
      "epoch": 0.013777777777777778,
      "grad_norm": 2.0565645694732666,
      "learning_rate": 4.931555555555556e-05,
      "loss": 1.8435,
      "step": 155
    },
    {
      "epoch": 0.013866666666666666,
      "grad_norm": 1.8367215394973755,
      "learning_rate": 4.931111111111111e-05,
      "loss": 1.6174,
      "step": 156
    },
    {
      "epoch": 0.013955555555555556,
      "grad_norm": 2.1454102993011475,
      "learning_rate": 4.930666666666667e-05,
      "loss": 1.874,
      "step": 157
    },
    {
      "epoch": 0.014044444444444444,
      "grad_norm": 2.2874836921691895,
      "learning_rate": 4.930222222222222e-05,
      "loss": 1.929,
      "step": 158
    },
    {
      "epoch": 0.014133333333333333,
      "grad_norm": 1.7943480014801025,
      "learning_rate": 4.929777777777778e-05,
      "loss": 1.6639,
      "step": 159
    },
    {
      "epoch": 0.014222222222222223,
      "grad_norm": 2.146174430847168,
      "learning_rate": 4.929333333333334e-05,
      "loss": 1.7037,
      "step": 160
    },
    {
      "epoch": 0.014311111111111111,
      "grad_norm": 2.03281569480896,
      "learning_rate": 4.928888888888889e-05,
      "loss": 2.0383,
      "step": 161
    },
    {
      "epoch": 0.0144,
      "grad_norm": 2.116950511932373,
      "learning_rate": 4.928444444444444e-05,
      "loss": 1.7421,
      "step": 162
    },
    {
      "epoch": 0.01448888888888889,
      "grad_norm": 2.5180981159210205,
      "learning_rate": 4.928e-05,
      "loss": 2.052,
      "step": 163
    },
    {
      "epoch": 0.014577777777777778,
      "grad_norm": 1.8855026960372925,
      "learning_rate": 4.927555555555556e-05,
      "loss": 1.6839,
      "step": 164
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 3.8352456092834473,
      "learning_rate": 4.927111111111111e-05,
      "loss": 1.796,
      "step": 165
    },
    {
      "epoch": 0.014755555555555555,
      "grad_norm": 2.5179617404937744,
      "learning_rate": 4.926666666666667e-05,
      "loss": 2.03,
      "step": 166
    },
    {
      "epoch": 0.014844444444444445,
      "grad_norm": 1.9074064493179321,
      "learning_rate": 4.926222222222223e-05,
      "loss": 1.7468,
      "step": 167
    },
    {
      "epoch": 0.014933333333333333,
      "grad_norm": 1.9903556108474731,
      "learning_rate": 4.9257777777777784e-05,
      "loss": 1.7349,
      "step": 168
    },
    {
      "epoch": 0.015022222222222222,
      "grad_norm": 2.2186553478240967,
      "learning_rate": 4.925333333333333e-05,
      "loss": 1.8371,
      "step": 169
    },
    {
      "epoch": 0.015111111111111112,
      "grad_norm": 2.206364154815674,
      "learning_rate": 4.9248888888888886e-05,
      "loss": 1.9397,
      "step": 170
    },
    {
      "epoch": 0.0152,
      "grad_norm": 2.0072293281555176,
      "learning_rate": 4.924444444444445e-05,
      "loss": 1.7553,
      "step": 171
    },
    {
      "epoch": 0.015288888888888888,
      "grad_norm": 2.409921646118164,
      "learning_rate": 4.924e-05,
      "loss": 1.7726,
      "step": 172
    },
    {
      "epoch": 0.015377777777777778,
      "grad_norm": 2.1384503841400146,
      "learning_rate": 4.923555555555556e-05,
      "loss": 1.7946,
      "step": 173
    },
    {
      "epoch": 0.015466666666666667,
      "grad_norm": 1.7633883953094482,
      "learning_rate": 4.923111111111111e-05,
      "loss": 1.5654,
      "step": 174
    },
    {
      "epoch": 0.015555555555555555,
      "grad_norm": 1.8059002161026,
      "learning_rate": 4.9226666666666674e-05,
      "loss": 1.8171,
      "step": 175
    },
    {
      "epoch": 0.015644444444444443,
      "grad_norm": 2.0274174213409424,
      "learning_rate": 4.922222222222222e-05,
      "loss": 1.7802,
      "step": 176
    },
    {
      "epoch": 0.015733333333333332,
      "grad_norm": 6.158536911010742,
      "learning_rate": 4.921777777777778e-05,
      "loss": 1.667,
      "step": 177
    },
    {
      "epoch": 0.015822222222222224,
      "grad_norm": 2.015399694442749,
      "learning_rate": 4.921333333333333e-05,
      "loss": 1.8573,
      "step": 178
    },
    {
      "epoch": 0.015911111111111112,
      "grad_norm": 2.1138579845428467,
      "learning_rate": 4.9208888888888894e-05,
      "loss": 1.8678,
      "step": 179
    },
    {
      "epoch": 0.016,
      "grad_norm": 2.0335865020751953,
      "learning_rate": 4.920444444444445e-05,
      "loss": 1.7226,
      "step": 180
    },
    {
      "epoch": 0.01608888888888889,
      "grad_norm": 1.8820369243621826,
      "learning_rate": 4.92e-05,
      "loss": 1.8301,
      "step": 181
    },
    {
      "epoch": 0.016177777777777777,
      "grad_norm": 1.8643971681594849,
      "learning_rate": 4.919555555555556e-05,
      "loss": 1.8948,
      "step": 182
    },
    {
      "epoch": 0.016266666666666665,
      "grad_norm": 2.335494041442871,
      "learning_rate": 4.919111111111111e-05,
      "loss": 2.0635,
      "step": 183
    },
    {
      "epoch": 0.016355555555555557,
      "grad_norm": 2.370965003967285,
      "learning_rate": 4.918666666666667e-05,
      "loss": 1.6208,
      "step": 184
    },
    {
      "epoch": 0.016444444444444446,
      "grad_norm": 2.2245583534240723,
      "learning_rate": 4.918222222222222e-05,
      "loss": 1.8301,
      "step": 185
    },
    {
      "epoch": 0.016533333333333334,
      "grad_norm": 2.5467255115509033,
      "learning_rate": 4.917777777777778e-05,
      "loss": 1.8595,
      "step": 186
    },
    {
      "epoch": 0.016622222222222222,
      "grad_norm": 2.009657621383667,
      "learning_rate": 4.917333333333334e-05,
      "loss": 1.6658,
      "step": 187
    },
    {
      "epoch": 0.01671111111111111,
      "grad_norm": 2.4348604679107666,
      "learning_rate": 4.9168888888888894e-05,
      "loss": 1.872,
      "step": 188
    },
    {
      "epoch": 0.0168,
      "grad_norm": 1.8739848136901855,
      "learning_rate": 4.916444444444445e-05,
      "loss": 1.8266,
      "step": 189
    },
    {
      "epoch": 0.016888888888888887,
      "grad_norm": 1.9423941373825073,
      "learning_rate": 4.9160000000000004e-05,
      "loss": 1.7216,
      "step": 190
    },
    {
      "epoch": 0.01697777777777778,
      "grad_norm": 2.055241584777832,
      "learning_rate": 4.915555555555556e-05,
      "loss": 1.7556,
      "step": 191
    },
    {
      "epoch": 0.017066666666666667,
      "grad_norm": 2.1946935653686523,
      "learning_rate": 4.915111111111111e-05,
      "loss": 1.8679,
      "step": 192
    },
    {
      "epoch": 0.017155555555555556,
      "grad_norm": 2.101266622543335,
      "learning_rate": 4.914666666666667e-05,
      "loss": 1.7587,
      "step": 193
    },
    {
      "epoch": 0.017244444444444444,
      "grad_norm": 1.8272759914398193,
      "learning_rate": 4.914222222222222e-05,
      "loss": 1.5626,
      "step": 194
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 2.1993627548217773,
      "learning_rate": 4.9137777777777785e-05,
      "loss": 1.9437,
      "step": 195
    },
    {
      "epoch": 0.01742222222222222,
      "grad_norm": 2.0239486694335938,
      "learning_rate": 4.913333333333334e-05,
      "loss": 1.8212,
      "step": 196
    },
    {
      "epoch": 0.017511111111111113,
      "grad_norm": 2.1446690559387207,
      "learning_rate": 4.912888888888889e-05,
      "loss": 1.6549,
      "step": 197
    },
    {
      "epoch": 0.0176,
      "grad_norm": 1.9302171468734741,
      "learning_rate": 4.912444444444444e-05,
      "loss": 1.7529,
      "step": 198
    },
    {
      "epoch": 0.01768888888888889,
      "grad_norm": 2.7919704914093018,
      "learning_rate": 4.9120000000000004e-05,
      "loss": 2.058,
      "step": 199
    },
    {
      "epoch": 0.017777777777777778,
      "grad_norm": 2.1483840942382812,
      "learning_rate": 4.911555555555556e-05,
      "loss": 1.7824,
      "step": 200
    },
    {
      "epoch": 0.017866666666666666,
      "grad_norm": 1.8297666311264038,
      "learning_rate": 4.9111111111111114e-05,
      "loss": 1.8366,
      "step": 201
    },
    {
      "epoch": 0.017955555555555554,
      "grad_norm": 2.676375150680542,
      "learning_rate": 4.910666666666667e-05,
      "loss": 1.8878,
      "step": 202
    },
    {
      "epoch": 0.018044444444444443,
      "grad_norm": 1.8445699214935303,
      "learning_rate": 4.910222222222223e-05,
      "loss": 1.7059,
      "step": 203
    },
    {
      "epoch": 0.018133333333333335,
      "grad_norm": 2.0123891830444336,
      "learning_rate": 4.909777777777778e-05,
      "loss": 1.7602,
      "step": 204
    },
    {
      "epoch": 0.018222222222222223,
      "grad_norm": 1.9220401048660278,
      "learning_rate": 4.909333333333333e-05,
      "loss": 1.8784,
      "step": 205
    },
    {
      "epoch": 0.01831111111111111,
      "grad_norm": 2.072742223739624,
      "learning_rate": 4.908888888888889e-05,
      "loss": 1.7143,
      "step": 206
    },
    {
      "epoch": 0.0184,
      "grad_norm": 2.0589303970336914,
      "learning_rate": 4.908444444444445e-05,
      "loss": 1.7249,
      "step": 207
    },
    {
      "epoch": 0.018488888888888888,
      "grad_norm": 2.1224629878997803,
      "learning_rate": 4.9080000000000004e-05,
      "loss": 1.7008,
      "step": 208
    },
    {
      "epoch": 0.018577777777777776,
      "grad_norm": 2.345905065536499,
      "learning_rate": 4.907555555555556e-05,
      "loss": 1.655,
      "step": 209
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 2.296649932861328,
      "learning_rate": 4.9071111111111114e-05,
      "loss": 1.6712,
      "step": 210
    },
    {
      "epoch": 0.018755555555555557,
      "grad_norm": 2.2165589332580566,
      "learning_rate": 4.906666666666667e-05,
      "loss": 1.6749,
      "step": 211
    },
    {
      "epoch": 0.018844444444444445,
      "grad_norm": 1.9084917306900024,
      "learning_rate": 4.9062222222222224e-05,
      "loss": 1.718,
      "step": 212
    },
    {
      "epoch": 0.018933333333333333,
      "grad_norm": 1.954706072807312,
      "learning_rate": 4.905777777777778e-05,
      "loss": 1.5898,
      "step": 213
    },
    {
      "epoch": 0.01902222222222222,
      "grad_norm": 2.0086164474487305,
      "learning_rate": 4.9053333333333333e-05,
      "loss": 1.825,
      "step": 214
    },
    {
      "epoch": 0.01911111111111111,
      "grad_norm": 2.029956817626953,
      "learning_rate": 4.904888888888889e-05,
      "loss": 1.5452,
      "step": 215
    },
    {
      "epoch": 0.0192,
      "grad_norm": 2.2245874404907227,
      "learning_rate": 4.904444444444445e-05,
      "loss": 1.8671,
      "step": 216
    },
    {
      "epoch": 0.01928888888888889,
      "grad_norm": 2.0667781829833984,
      "learning_rate": 4.9040000000000005e-05,
      "loss": 1.9521,
      "step": 217
    },
    {
      "epoch": 0.01937777777777778,
      "grad_norm": 1.807722806930542,
      "learning_rate": 4.903555555555556e-05,
      "loss": 1.5203,
      "step": 218
    },
    {
      "epoch": 0.019466666666666667,
      "grad_norm": 2.2260897159576416,
      "learning_rate": 4.903111111111111e-05,
      "loss": 1.7509,
      "step": 219
    },
    {
      "epoch": 0.019555555555555555,
      "grad_norm": 2.0982813835144043,
      "learning_rate": 4.902666666666667e-05,
      "loss": 1.7209,
      "step": 220
    },
    {
      "epoch": 0.019644444444444444,
      "grad_norm": 1.9424992799758911,
      "learning_rate": 4.9022222222222224e-05,
      "loss": 1.9076,
      "step": 221
    },
    {
      "epoch": 0.019733333333333332,
      "grad_norm": 1.9887489080429077,
      "learning_rate": 4.901777777777778e-05,
      "loss": 1.9185,
      "step": 222
    },
    {
      "epoch": 0.019822222222222224,
      "grad_norm": 1.7827776670455933,
      "learning_rate": 4.9013333333333334e-05,
      "loss": 1.6747,
      "step": 223
    },
    {
      "epoch": 0.019911111111111112,
      "grad_norm": 2.07008695602417,
      "learning_rate": 4.9008888888888896e-05,
      "loss": 1.8258,
      "step": 224
    },
    {
      "epoch": 0.02,
      "grad_norm": 2.029036045074463,
      "learning_rate": 4.900444444444445e-05,
      "loss": 1.8364,
      "step": 225
    },
    {
      "epoch": 0.02008888888888889,
      "grad_norm": 2.0182955265045166,
      "learning_rate": 4.9e-05,
      "loss": 1.6832,
      "step": 226
    },
    {
      "epoch": 0.020177777777777777,
      "grad_norm": 2.220914363861084,
      "learning_rate": 4.899555555555555e-05,
      "loss": 1.7393,
      "step": 227
    },
    {
      "epoch": 0.020266666666666665,
      "grad_norm": 2.868882894515991,
      "learning_rate": 4.8991111111111115e-05,
      "loss": 1.7257,
      "step": 228
    },
    {
      "epoch": 0.020355555555555557,
      "grad_norm": 2.1527304649353027,
      "learning_rate": 4.898666666666667e-05,
      "loss": 1.6559,
      "step": 229
    },
    {
      "epoch": 0.020444444444444446,
      "grad_norm": 1.8143311738967896,
      "learning_rate": 4.8982222222222225e-05,
      "loss": 1.9947,
      "step": 230
    },
    {
      "epoch": 0.020533333333333334,
      "grad_norm": 1.9077738523483276,
      "learning_rate": 4.897777777777778e-05,
      "loss": 2.0025,
      "step": 231
    },
    {
      "epoch": 0.020622222222222222,
      "grad_norm": 2.5427534580230713,
      "learning_rate": 4.897333333333334e-05,
      "loss": 1.8915,
      "step": 232
    },
    {
      "epoch": 0.02071111111111111,
      "grad_norm": 1.9750486612319946,
      "learning_rate": 4.896888888888889e-05,
      "loss": 1.7238,
      "step": 233
    },
    {
      "epoch": 0.0208,
      "grad_norm": 1.8826708793640137,
      "learning_rate": 4.8964444444444444e-05,
      "loss": 1.6841,
      "step": 234
    },
    {
      "epoch": 0.020888888888888887,
      "grad_norm": 2.2745859622955322,
      "learning_rate": 4.896e-05,
      "loss": 1.6145,
      "step": 235
    },
    {
      "epoch": 0.02097777777777778,
      "grad_norm": 2.617158889770508,
      "learning_rate": 4.895555555555556e-05,
      "loss": 1.785,
      "step": 236
    },
    {
      "epoch": 0.021066666666666668,
      "grad_norm": 2.0478298664093018,
      "learning_rate": 4.8951111111111115e-05,
      "loss": 1.5911,
      "step": 237
    },
    {
      "epoch": 0.021155555555555556,
      "grad_norm": 2.0623061656951904,
      "learning_rate": 4.894666666666667e-05,
      "loss": 1.852,
      "step": 238
    },
    {
      "epoch": 0.021244444444444444,
      "grad_norm": 2.448411226272583,
      "learning_rate": 4.8942222222222225e-05,
      "loss": 1.9599,
      "step": 239
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 2.155524253845215,
      "learning_rate": 4.893777777777778e-05,
      "loss": 1.8708,
      "step": 240
    },
    {
      "epoch": 0.02142222222222222,
      "grad_norm": 1.8469586372375488,
      "learning_rate": 4.8933333333333335e-05,
      "loss": 1.6314,
      "step": 241
    },
    {
      "epoch": 0.021511111111111113,
      "grad_norm": 2.019207715988159,
      "learning_rate": 4.892888888888889e-05,
      "loss": 1.7512,
      "step": 242
    },
    {
      "epoch": 0.0216,
      "grad_norm": 2.401723861694336,
      "learning_rate": 4.8924444444444444e-05,
      "loss": 1.988,
      "step": 243
    },
    {
      "epoch": 0.02168888888888889,
      "grad_norm": 2.7370595932006836,
      "learning_rate": 4.8920000000000006e-05,
      "loss": 1.7175,
      "step": 244
    },
    {
      "epoch": 0.021777777777777778,
      "grad_norm": 2.233006000518799,
      "learning_rate": 4.891555555555556e-05,
      "loss": 1.7744,
      "step": 245
    },
    {
      "epoch": 0.021866666666666666,
      "grad_norm": 2.193309783935547,
      "learning_rate": 4.8911111111111116e-05,
      "loss": 1.8629,
      "step": 246
    },
    {
      "epoch": 0.021955555555555555,
      "grad_norm": 2.5707032680511475,
      "learning_rate": 4.890666666666667e-05,
      "loss": 1.7765,
      "step": 247
    },
    {
      "epoch": 0.022044444444444443,
      "grad_norm": 1.8469889163970947,
      "learning_rate": 4.8902222222222225e-05,
      "loss": 1.7494,
      "step": 248
    },
    {
      "epoch": 0.022133333333333335,
      "grad_norm": 2.105574369430542,
      "learning_rate": 4.889777777777778e-05,
      "loss": 1.7813,
      "step": 249
    },
    {
      "epoch": 0.022222222222222223,
      "grad_norm": 1.7733203172683716,
      "learning_rate": 4.8893333333333335e-05,
      "loss": 1.5998,
      "step": 250
    },
    {
      "epoch": 0.02231111111111111,
      "grad_norm": 1.9759265184402466,
      "learning_rate": 4.888888888888889e-05,
      "loss": 1.8893,
      "step": 251
    },
    {
      "epoch": 0.0224,
      "grad_norm": 2.0145790576934814,
      "learning_rate": 4.888444444444445e-05,
      "loss": 2.0456,
      "step": 252
    },
    {
      "epoch": 0.022488888888888888,
      "grad_norm": 2.100344181060791,
      "learning_rate": 4.8880000000000006e-05,
      "loss": 1.7113,
      "step": 253
    },
    {
      "epoch": 0.022577777777777776,
      "grad_norm": 2.197314739227295,
      "learning_rate": 4.8875555555555554e-05,
      "loss": 1.7895,
      "step": 254
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 2.045225143432617,
      "learning_rate": 4.887111111111111e-05,
      "loss": 1.7074,
      "step": 255
    },
    {
      "epoch": 0.022755555555555557,
      "grad_norm": 1.934645175933838,
      "learning_rate": 4.886666666666667e-05,
      "loss": 1.6565,
      "step": 256
    },
    {
      "epoch": 0.022844444444444445,
      "grad_norm": 2.1772804260253906,
      "learning_rate": 4.8862222222222226e-05,
      "loss": 1.8106,
      "step": 257
    },
    {
      "epoch": 0.022933333333333333,
      "grad_norm": 1.7614673376083374,
      "learning_rate": 4.885777777777778e-05,
      "loss": 1.6486,
      "step": 258
    },
    {
      "epoch": 0.02302222222222222,
      "grad_norm": 2.2279510498046875,
      "learning_rate": 4.8853333333333335e-05,
      "loss": 1.7728,
      "step": 259
    },
    {
      "epoch": 0.02311111111111111,
      "grad_norm": 2.461451292037964,
      "learning_rate": 4.884888888888889e-05,
      "loss": 1.7074,
      "step": 260
    },
    {
      "epoch": 0.0232,
      "grad_norm": 1.9204119443893433,
      "learning_rate": 4.8844444444444445e-05,
      "loss": 1.7439,
      "step": 261
    },
    {
      "epoch": 0.02328888888888889,
      "grad_norm": 2.1352760791778564,
      "learning_rate": 4.884e-05,
      "loss": 1.8337,
      "step": 262
    },
    {
      "epoch": 0.02337777777777778,
      "grad_norm": 1.9363359212875366,
      "learning_rate": 4.8835555555555555e-05,
      "loss": 1.916,
      "step": 263
    },
    {
      "epoch": 0.023466666666666667,
      "grad_norm": 2.430699110031128,
      "learning_rate": 4.883111111111111e-05,
      "loss": 1.8578,
      "step": 264
    },
    {
      "epoch": 0.023555555555555555,
      "grad_norm": 2.1248812675476074,
      "learning_rate": 4.882666666666667e-05,
      "loss": 1.5731,
      "step": 265
    },
    {
      "epoch": 0.023644444444444444,
      "grad_norm": 2.480987071990967,
      "learning_rate": 4.8822222222222226e-05,
      "loss": 1.842,
      "step": 266
    },
    {
      "epoch": 0.023733333333333332,
      "grad_norm": 1.8994630575180054,
      "learning_rate": 4.881777777777778e-05,
      "loss": 1.7782,
      "step": 267
    },
    {
      "epoch": 0.023822222222222224,
      "grad_norm": 1.7747899293899536,
      "learning_rate": 4.8813333333333336e-05,
      "loss": 1.6274,
      "step": 268
    },
    {
      "epoch": 0.023911111111111112,
      "grad_norm": 1.990073561668396,
      "learning_rate": 4.880888888888889e-05,
      "loss": 1.7547,
      "step": 269
    },
    {
      "epoch": 0.024,
      "grad_norm": 1.776743769645691,
      "learning_rate": 4.8804444444444445e-05,
      "loss": 1.745,
      "step": 270
    },
    {
      "epoch": 0.02408888888888889,
      "grad_norm": 2.166826009750366,
      "learning_rate": 4.88e-05,
      "loss": 1.7659,
      "step": 271
    },
    {
      "epoch": 0.024177777777777777,
      "grad_norm": 1.903807282447815,
      "learning_rate": 4.8795555555555555e-05,
      "loss": 1.5315,
      "step": 272
    },
    {
      "epoch": 0.024266666666666666,
      "grad_norm": 2.1675689220428467,
      "learning_rate": 4.879111111111112e-05,
      "loss": 1.7527,
      "step": 273
    },
    {
      "epoch": 0.024355555555555554,
      "grad_norm": 2.111201524734497,
      "learning_rate": 4.878666666666667e-05,
      "loss": 1.8566,
      "step": 274
    },
    {
      "epoch": 0.024444444444444446,
      "grad_norm": 2.2263708114624023,
      "learning_rate": 4.8782222222222226e-05,
      "loss": 1.8674,
      "step": 275
    },
    {
      "epoch": 0.024533333333333334,
      "grad_norm": 2.0267741680145264,
      "learning_rate": 4.8777777777777775e-05,
      "loss": 1.8398,
      "step": 276
    },
    {
      "epoch": 0.024622222222222222,
      "grad_norm": 2.195202112197876,
      "learning_rate": 4.8773333333333336e-05,
      "loss": 1.5993,
      "step": 277
    },
    {
      "epoch": 0.02471111111111111,
      "grad_norm": 1.7451168298721313,
      "learning_rate": 4.876888888888889e-05,
      "loss": 1.7205,
      "step": 278
    },
    {
      "epoch": 0.0248,
      "grad_norm": 2.246015787124634,
      "learning_rate": 4.8764444444444446e-05,
      "loss": 1.9286,
      "step": 279
    },
    {
      "epoch": 0.024888888888888887,
      "grad_norm": 2.184149980545044,
      "learning_rate": 4.876e-05,
      "loss": 1.8091,
      "step": 280
    },
    {
      "epoch": 0.02497777777777778,
      "grad_norm": 2.2683796882629395,
      "learning_rate": 4.875555555555556e-05,
      "loss": 2.0303,
      "step": 281
    },
    {
      "epoch": 0.025066666666666668,
      "grad_norm": 1.7934938669204712,
      "learning_rate": 4.875111111111112e-05,
      "loss": 1.7162,
      "step": 282
    },
    {
      "epoch": 0.025155555555555556,
      "grad_norm": 1.9427578449249268,
      "learning_rate": 4.8746666666666665e-05,
      "loss": 1.634,
      "step": 283
    },
    {
      "epoch": 0.025244444444444444,
      "grad_norm": 2.2982358932495117,
      "learning_rate": 4.874222222222222e-05,
      "loss": 1.8754,
      "step": 284
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 2.1186869144439697,
      "learning_rate": 4.873777777777778e-05,
      "loss": 1.7021,
      "step": 285
    },
    {
      "epoch": 0.02542222222222222,
      "grad_norm": 1.9079980850219727,
      "learning_rate": 4.8733333333333337e-05,
      "loss": 1.7349,
      "step": 286
    },
    {
      "epoch": 0.02551111111111111,
      "grad_norm": 2.181401014328003,
      "learning_rate": 4.872888888888889e-05,
      "loss": 1.7608,
      "step": 287
    },
    {
      "epoch": 0.0256,
      "grad_norm": 1.9417052268981934,
      "learning_rate": 4.8724444444444446e-05,
      "loss": 1.7148,
      "step": 288
    },
    {
      "epoch": 0.02568888888888889,
      "grad_norm": 1.9435955286026,
      "learning_rate": 4.872000000000001e-05,
      "loss": 1.7327,
      "step": 289
    },
    {
      "epoch": 0.025777777777777778,
      "grad_norm": 2.0594441890716553,
      "learning_rate": 4.8715555555555556e-05,
      "loss": 1.9446,
      "step": 290
    },
    {
      "epoch": 0.025866666666666666,
      "grad_norm": 2.265484571456909,
      "learning_rate": 4.871111111111111e-05,
      "loss": 1.6596,
      "step": 291
    },
    {
      "epoch": 0.025955555555555555,
      "grad_norm": 1.9068835973739624,
      "learning_rate": 4.8706666666666666e-05,
      "loss": 1.7952,
      "step": 292
    },
    {
      "epoch": 0.026044444444444443,
      "grad_norm": 1.7047433853149414,
      "learning_rate": 4.870222222222223e-05,
      "loss": 1.7021,
      "step": 293
    },
    {
      "epoch": 0.026133333333333335,
      "grad_norm": 2.112511157989502,
      "learning_rate": 4.869777777777778e-05,
      "loss": 1.6406,
      "step": 294
    },
    {
      "epoch": 0.026222222222222223,
      "grad_norm": 2.2780580520629883,
      "learning_rate": 4.869333333333334e-05,
      "loss": 2.0444,
      "step": 295
    },
    {
      "epoch": 0.02631111111111111,
      "grad_norm": 1.999384880065918,
      "learning_rate": 4.868888888888889e-05,
      "loss": 2.0424,
      "step": 296
    },
    {
      "epoch": 0.0264,
      "grad_norm": 2.279151201248169,
      "learning_rate": 4.868444444444445e-05,
      "loss": 1.7207,
      "step": 297
    },
    {
      "epoch": 0.026488888888888888,
      "grad_norm": 1.9004722833633423,
      "learning_rate": 4.868e-05,
      "loss": 1.5784,
      "step": 298
    },
    {
      "epoch": 0.026577777777777777,
      "grad_norm": 2.0530428886413574,
      "learning_rate": 4.8675555555555556e-05,
      "loss": 1.7822,
      "step": 299
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 2.920170307159424,
      "learning_rate": 4.867111111111111e-05,
      "loss": 1.9755,
      "step": 300
    },
    {
      "epoch": 0.026755555555555557,
      "grad_norm": 1.7826042175292969,
      "learning_rate": 4.866666666666667e-05,
      "loss": 1.7309,
      "step": 301
    },
    {
      "epoch": 0.026844444444444445,
      "grad_norm": 1.8015215396881104,
      "learning_rate": 4.866222222222223e-05,
      "loss": 1.6767,
      "step": 302
    },
    {
      "epoch": 0.026933333333333333,
      "grad_norm": 2.027416467666626,
      "learning_rate": 4.865777777777778e-05,
      "loss": 1.683,
      "step": 303
    },
    {
      "epoch": 0.027022222222222222,
      "grad_norm": 2.222982406616211,
      "learning_rate": 4.865333333333334e-05,
      "loss": 1.988,
      "step": 304
    },
    {
      "epoch": 0.02711111111111111,
      "grad_norm": 2.272660732269287,
      "learning_rate": 4.864888888888889e-05,
      "loss": 1.8114,
      "step": 305
    },
    {
      "epoch": 0.0272,
      "grad_norm": 1.9515141248703003,
      "learning_rate": 4.864444444444445e-05,
      "loss": 1.7506,
      "step": 306
    },
    {
      "epoch": 0.02728888888888889,
      "grad_norm": 2.401902675628662,
      "learning_rate": 4.864e-05,
      "loss": 1.8717,
      "step": 307
    },
    {
      "epoch": 0.02737777777777778,
      "grad_norm": 2.3281214237213135,
      "learning_rate": 4.863555555555556e-05,
      "loss": 1.7981,
      "step": 308
    },
    {
      "epoch": 0.027466666666666667,
      "grad_norm": 2.064405679702759,
      "learning_rate": 4.863111111111112e-05,
      "loss": 1.8832,
      "step": 309
    },
    {
      "epoch": 0.027555555555555555,
      "grad_norm": 2.1791915893554688,
      "learning_rate": 4.862666666666667e-05,
      "loss": 2.1152,
      "step": 310
    },
    {
      "epoch": 0.027644444444444444,
      "grad_norm": 2.1221230030059814,
      "learning_rate": 4.862222222222222e-05,
      "loss": 1.8433,
      "step": 311
    },
    {
      "epoch": 0.027733333333333332,
      "grad_norm": 1.924355149269104,
      "learning_rate": 4.8617777777777776e-05,
      "loss": 1.681,
      "step": 312
    },
    {
      "epoch": 0.027822222222222224,
      "grad_norm": 2.0889475345611572,
      "learning_rate": 4.861333333333333e-05,
      "loss": 1.7977,
      "step": 313
    },
    {
      "epoch": 0.027911111111111112,
      "grad_norm": 1.9510974884033203,
      "learning_rate": 4.860888888888889e-05,
      "loss": 1.7081,
      "step": 314
    },
    {
      "epoch": 0.028,
      "grad_norm": 2.253857135772705,
      "learning_rate": 4.860444444444445e-05,
      "loss": 1.9227,
      "step": 315
    },
    {
      "epoch": 0.02808888888888889,
      "grad_norm": 2.269037961959839,
      "learning_rate": 4.86e-05,
      "loss": 1.9301,
      "step": 316
    },
    {
      "epoch": 0.028177777777777777,
      "grad_norm": 2.2174322605133057,
      "learning_rate": 4.859555555555556e-05,
      "loss": 1.6785,
      "step": 317
    },
    {
      "epoch": 0.028266666666666666,
      "grad_norm": 1.7749682664871216,
      "learning_rate": 4.859111111111111e-05,
      "loss": 1.3641,
      "step": 318
    },
    {
      "epoch": 0.028355555555555554,
      "grad_norm": 2.4018497467041016,
      "learning_rate": 4.858666666666667e-05,
      "loss": 1.9762,
      "step": 319
    },
    {
      "epoch": 0.028444444444444446,
      "grad_norm": 1.8509689569473267,
      "learning_rate": 4.858222222222222e-05,
      "loss": 1.8573,
      "step": 320
    },
    {
      "epoch": 0.028533333333333334,
      "grad_norm": 2.329622268676758,
      "learning_rate": 4.8577777777777776e-05,
      "loss": 1.7527,
      "step": 321
    },
    {
      "epoch": 0.028622222222222223,
      "grad_norm": 1.8645880222320557,
      "learning_rate": 4.857333333333334e-05,
      "loss": 1.8093,
      "step": 322
    },
    {
      "epoch": 0.02871111111111111,
      "grad_norm": 1.547713041305542,
      "learning_rate": 4.856888888888889e-05,
      "loss": 1.4906,
      "step": 323
    },
    {
      "epoch": 0.0288,
      "grad_norm": 2.3015427589416504,
      "learning_rate": 4.856444444444445e-05,
      "loss": 1.9413,
      "step": 324
    },
    {
      "epoch": 0.028888888888888888,
      "grad_norm": 1.7123987674713135,
      "learning_rate": 4.856e-05,
      "loss": 1.6588,
      "step": 325
    },
    {
      "epoch": 0.02897777777777778,
      "grad_norm": 2.1317341327667236,
      "learning_rate": 4.855555555555556e-05,
      "loss": 1.741,
      "step": 326
    },
    {
      "epoch": 0.029066666666666668,
      "grad_norm": 2.181440591812134,
      "learning_rate": 4.855111111111111e-05,
      "loss": 1.9391,
      "step": 327
    },
    {
      "epoch": 0.029155555555555556,
      "grad_norm": 2.1657137870788574,
      "learning_rate": 4.854666666666667e-05,
      "loss": 1.7024,
      "step": 328
    },
    {
      "epoch": 0.029244444444444444,
      "grad_norm": 2.5012176036834717,
      "learning_rate": 4.854222222222222e-05,
      "loss": 1.9677,
      "step": 329
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 1.8292757272720337,
      "learning_rate": 4.8537777777777784e-05,
      "loss": 1.6176,
      "step": 330
    },
    {
      "epoch": 0.02942222222222222,
      "grad_norm": 1.8292442560195923,
      "learning_rate": 4.853333333333334e-05,
      "loss": 1.8175,
      "step": 331
    },
    {
      "epoch": 0.02951111111111111,
      "grad_norm": 2.5142879486083984,
      "learning_rate": 4.852888888888889e-05,
      "loss": 2.0483,
      "step": 332
    },
    {
      "epoch": 0.0296,
      "grad_norm": 1.6902563571929932,
      "learning_rate": 4.852444444444444e-05,
      "loss": 1.8016,
      "step": 333
    },
    {
      "epoch": 0.02968888888888889,
      "grad_norm": 2.236130714416504,
      "learning_rate": 4.852e-05,
      "loss": 1.8583,
      "step": 334
    },
    {
      "epoch": 0.029777777777777778,
      "grad_norm": 2.2805142402648926,
      "learning_rate": 4.851555555555556e-05,
      "loss": 1.8307,
      "step": 335
    },
    {
      "epoch": 0.029866666666666666,
      "grad_norm": 2.061613082885742,
      "learning_rate": 4.851111111111111e-05,
      "loss": 1.8382,
      "step": 336
    },
    {
      "epoch": 0.029955555555555555,
      "grad_norm": 2.0707335472106934,
      "learning_rate": 4.850666666666667e-05,
      "loss": 1.6027,
      "step": 337
    },
    {
      "epoch": 0.030044444444444443,
      "grad_norm": 1.8631337881088257,
      "learning_rate": 4.850222222222223e-05,
      "loss": 1.7445,
      "step": 338
    },
    {
      "epoch": 0.030133333333333335,
      "grad_norm": 1.9393196105957031,
      "learning_rate": 4.8497777777777784e-05,
      "loss": 1.5933,
      "step": 339
    },
    {
      "epoch": 0.030222222222222223,
      "grad_norm": 2.0477492809295654,
      "learning_rate": 4.849333333333333e-05,
      "loss": 1.6005,
      "step": 340
    },
    {
      "epoch": 0.03031111111111111,
      "grad_norm": 2.0673887729644775,
      "learning_rate": 4.848888888888889e-05,
      "loss": 1.8303,
      "step": 341
    },
    {
      "epoch": 0.0304,
      "grad_norm": 2.3281352519989014,
      "learning_rate": 4.848444444444445e-05,
      "loss": 1.9532,
      "step": 342
    },
    {
      "epoch": 0.03048888888888889,
      "grad_norm": 1.939215064048767,
      "learning_rate": 4.8480000000000003e-05,
      "loss": 1.6124,
      "step": 343
    },
    {
      "epoch": 0.030577777777777777,
      "grad_norm": 1.8807460069656372,
      "learning_rate": 4.847555555555556e-05,
      "loss": 1.9228,
      "step": 344
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 1.771067500114441,
      "learning_rate": 4.847111111111111e-05,
      "loss": 1.6994,
      "step": 345
    },
    {
      "epoch": 0.030755555555555557,
      "grad_norm": 1.9718571901321411,
      "learning_rate": 4.8466666666666675e-05,
      "loss": 1.8591,
      "step": 346
    },
    {
      "epoch": 0.030844444444444445,
      "grad_norm": 2.1791694164276123,
      "learning_rate": 4.846222222222222e-05,
      "loss": 1.8485,
      "step": 347
    },
    {
      "epoch": 0.030933333333333334,
      "grad_norm": 1.8921475410461426,
      "learning_rate": 4.845777777777778e-05,
      "loss": 1.8085,
      "step": 348
    },
    {
      "epoch": 0.031022222222222222,
      "grad_norm": 1.9402928352355957,
      "learning_rate": 4.845333333333333e-05,
      "loss": 1.6393,
      "step": 349
    },
    {
      "epoch": 0.03111111111111111,
      "grad_norm": 2.60134220123291,
      "learning_rate": 4.8448888888888894e-05,
      "loss": 1.6791,
      "step": 350
    },
    {
      "epoch": 0.0312,
      "grad_norm": 2.1345551013946533,
      "learning_rate": 4.844444444444445e-05,
      "loss": 1.7546,
      "step": 351
    },
    {
      "epoch": 0.03128888888888889,
      "grad_norm": 1.8332207202911377,
      "learning_rate": 4.8440000000000004e-05,
      "loss": 1.673,
      "step": 352
    },
    {
      "epoch": 0.031377777777777775,
      "grad_norm": 1.8884729146957397,
      "learning_rate": 4.843555555555556e-05,
      "loss": 1.7336,
      "step": 353
    },
    {
      "epoch": 0.031466666666666664,
      "grad_norm": 2.020249843597412,
      "learning_rate": 4.8431111111111113e-05,
      "loss": 1.538,
      "step": 354
    },
    {
      "epoch": 0.03155555555555556,
      "grad_norm": 2.354403018951416,
      "learning_rate": 4.842666666666667e-05,
      "loss": 1.8973,
      "step": 355
    },
    {
      "epoch": 0.03164444444444445,
      "grad_norm": 1.9693244695663452,
      "learning_rate": 4.842222222222222e-05,
      "loss": 1.8745,
      "step": 356
    },
    {
      "epoch": 0.031733333333333336,
      "grad_norm": 1.611755132675171,
      "learning_rate": 4.841777777777778e-05,
      "loss": 1.4,
      "step": 357
    },
    {
      "epoch": 0.031822222222222224,
      "grad_norm": 2.251229763031006,
      "learning_rate": 4.841333333333334e-05,
      "loss": 1.953,
      "step": 358
    },
    {
      "epoch": 0.03191111111111111,
      "grad_norm": 1.8194987773895264,
      "learning_rate": 4.8408888888888894e-05,
      "loss": 1.7362,
      "step": 359
    },
    {
      "epoch": 0.032,
      "grad_norm": 2.0046842098236084,
      "learning_rate": 4.840444444444445e-05,
      "loss": 1.9935,
      "step": 360
    },
    {
      "epoch": 0.03208888888888889,
      "grad_norm": 1.7842868566513062,
      "learning_rate": 4.8400000000000004e-05,
      "loss": 1.6356,
      "step": 361
    },
    {
      "epoch": 0.03217777777777778,
      "grad_norm": 2.1385796070098877,
      "learning_rate": 4.839555555555556e-05,
      "loss": 1.9845,
      "step": 362
    },
    {
      "epoch": 0.032266666666666666,
      "grad_norm": 1.795682668685913,
      "learning_rate": 4.8391111111111114e-05,
      "loss": 1.6961,
      "step": 363
    },
    {
      "epoch": 0.032355555555555554,
      "grad_norm": 1.9099996089935303,
      "learning_rate": 4.838666666666667e-05,
      "loss": 1.8345,
      "step": 364
    },
    {
      "epoch": 0.03244444444444444,
      "grad_norm": 2.2005276679992676,
      "learning_rate": 4.8382222222222224e-05,
      "loss": 1.7967,
      "step": 365
    },
    {
      "epoch": 0.03253333333333333,
      "grad_norm": 1.7717047929763794,
      "learning_rate": 4.837777777777778e-05,
      "loss": 1.6473,
      "step": 366
    },
    {
      "epoch": 0.03262222222222222,
      "grad_norm": 2.676142930984497,
      "learning_rate": 4.837333333333334e-05,
      "loss": 2.0271,
      "step": 367
    },
    {
      "epoch": 0.032711111111111114,
      "grad_norm": 1.7337232828140259,
      "learning_rate": 4.836888888888889e-05,
      "loss": 1.4621,
      "step": 368
    },
    {
      "epoch": 0.0328,
      "grad_norm": 1.7859102487564087,
      "learning_rate": 4.836444444444444e-05,
      "loss": 1.6785,
      "step": 369
    },
    {
      "epoch": 0.03288888888888889,
      "grad_norm": 1.8759039640426636,
      "learning_rate": 4.836e-05,
      "loss": 1.8324,
      "step": 370
    },
    {
      "epoch": 0.03297777777777778,
      "grad_norm": 2.295358180999756,
      "learning_rate": 4.835555555555556e-05,
      "loss": 1.5828,
      "step": 371
    },
    {
      "epoch": 0.03306666666666667,
      "grad_norm": 1.7534966468811035,
      "learning_rate": 4.8351111111111114e-05,
      "loss": 1.7234,
      "step": 372
    },
    {
      "epoch": 0.033155555555555556,
      "grad_norm": 1.8574104309082031,
      "learning_rate": 4.834666666666667e-05,
      "loss": 1.7432,
      "step": 373
    },
    {
      "epoch": 0.033244444444444445,
      "grad_norm": 2.0768532752990723,
      "learning_rate": 4.8342222222222224e-05,
      "loss": 1.7581,
      "step": 374
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 1.8782516717910767,
      "learning_rate": 4.833777777777778e-05,
      "loss": 1.7348,
      "step": 375
    },
    {
      "epoch": 0.03342222222222222,
      "grad_norm": 2.0662121772766113,
      "learning_rate": 4.8333333333333334e-05,
      "loss": 1.7243,
      "step": 376
    },
    {
      "epoch": 0.03351111111111111,
      "grad_norm": 2.238640069961548,
      "learning_rate": 4.832888888888889e-05,
      "loss": 1.7216,
      "step": 377
    },
    {
      "epoch": 0.0336,
      "grad_norm": 2.633300304412842,
      "learning_rate": 4.832444444444444e-05,
      "loss": 1.9144,
      "step": 378
    },
    {
      "epoch": 0.033688888888888886,
      "grad_norm": 1.978745460510254,
      "learning_rate": 4.8320000000000005e-05,
      "loss": 1.8186,
      "step": 379
    },
    {
      "epoch": 0.033777777777777775,
      "grad_norm": 1.8718141317367554,
      "learning_rate": 4.831555555555556e-05,
      "loss": 1.6691,
      "step": 380
    },
    {
      "epoch": 0.03386666666666667,
      "grad_norm": 2.273375988006592,
      "learning_rate": 4.8311111111111115e-05,
      "loss": 1.8044,
      "step": 381
    },
    {
      "epoch": 0.03395555555555556,
      "grad_norm": 2.314647674560547,
      "learning_rate": 4.830666666666667e-05,
      "loss": 1.7555,
      "step": 382
    },
    {
      "epoch": 0.03404444444444445,
      "grad_norm": 1.6958426237106323,
      "learning_rate": 4.8302222222222224e-05,
      "loss": 1.6773,
      "step": 383
    },
    {
      "epoch": 0.034133333333333335,
      "grad_norm": 2.2738265991210938,
      "learning_rate": 4.829777777777778e-05,
      "loss": 2.0058,
      "step": 384
    },
    {
      "epoch": 0.03422222222222222,
      "grad_norm": 1.9974365234375,
      "learning_rate": 4.8293333333333334e-05,
      "loss": 1.7837,
      "step": 385
    },
    {
      "epoch": 0.03431111111111111,
      "grad_norm": 1.8754597902297974,
      "learning_rate": 4.828888888888889e-05,
      "loss": 1.6555,
      "step": 386
    },
    {
      "epoch": 0.0344,
      "grad_norm": 1.8542795181274414,
      "learning_rate": 4.828444444444445e-05,
      "loss": 1.7497,
      "step": 387
    },
    {
      "epoch": 0.03448888888888889,
      "grad_norm": 2.4030163288116455,
      "learning_rate": 4.8280000000000005e-05,
      "loss": 1.9396,
      "step": 388
    },
    {
      "epoch": 0.03457777777777778,
      "grad_norm": 1.7201670408248901,
      "learning_rate": 4.827555555555556e-05,
      "loss": 1.4882,
      "step": 389
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 1.6778781414031982,
      "learning_rate": 4.827111111111111e-05,
      "loss": 1.6147,
      "step": 390
    },
    {
      "epoch": 0.03475555555555555,
      "grad_norm": 2.643901824951172,
      "learning_rate": 4.826666666666667e-05,
      "loss": 1.5078,
      "step": 391
    },
    {
      "epoch": 0.03484444444444444,
      "grad_norm": 2.1240415573120117,
      "learning_rate": 4.8262222222222225e-05,
      "loss": 1.8866,
      "step": 392
    },
    {
      "epoch": 0.03493333333333333,
      "grad_norm": 2.9371955394744873,
      "learning_rate": 4.825777777777778e-05,
      "loss": 2.04,
      "step": 393
    },
    {
      "epoch": 0.035022222222222225,
      "grad_norm": 1.6771326065063477,
      "learning_rate": 4.8253333333333334e-05,
      "loss": 1.8191,
      "step": 394
    },
    {
      "epoch": 0.035111111111111114,
      "grad_norm": 2.65562105178833,
      "learning_rate": 4.8248888888888896e-05,
      "loss": 1.9081,
      "step": 395
    },
    {
      "epoch": 0.0352,
      "grad_norm": 1.9306453466415405,
      "learning_rate": 4.824444444444445e-05,
      "loss": 1.6028,
      "step": 396
    },
    {
      "epoch": 0.03528888888888889,
      "grad_norm": 1.8575530052185059,
      "learning_rate": 4.824e-05,
      "loss": 1.7398,
      "step": 397
    },
    {
      "epoch": 0.03537777777777778,
      "grad_norm": 1.9716804027557373,
      "learning_rate": 4.8235555555555554e-05,
      "loss": 1.9784,
      "step": 398
    },
    {
      "epoch": 0.03546666666666667,
      "grad_norm": 1.8755837678909302,
      "learning_rate": 4.8231111111111115e-05,
      "loss": 1.673,
      "step": 399
    },
    {
      "epoch": 0.035555555555555556,
      "grad_norm": 2.217763662338257,
      "learning_rate": 4.822666666666667e-05,
      "loss": 1.8166,
      "step": 400
    },
    {
      "epoch": 0.035644444444444444,
      "grad_norm": 2.376053810119629,
      "learning_rate": 4.8222222222222225e-05,
      "loss": 1.7135,
      "step": 401
    },
    {
      "epoch": 0.03573333333333333,
      "grad_norm": 1.6330218315124512,
      "learning_rate": 4.821777777777778e-05,
      "loss": 1.4943,
      "step": 402
    },
    {
      "epoch": 0.03582222222222222,
      "grad_norm": 2.2854316234588623,
      "learning_rate": 4.8213333333333335e-05,
      "loss": 1.5873,
      "step": 403
    },
    {
      "epoch": 0.03591111111111111,
      "grad_norm": 2.0015339851379395,
      "learning_rate": 4.820888888888889e-05,
      "loss": 1.926,
      "step": 404
    },
    {
      "epoch": 0.036,
      "grad_norm": 2.260934352874756,
      "learning_rate": 4.8204444444444444e-05,
      "loss": 1.9062,
      "step": 405
    },
    {
      "epoch": 0.036088888888888886,
      "grad_norm": 2.3102612495422363,
      "learning_rate": 4.82e-05,
      "loss": 1.5655,
      "step": 406
    },
    {
      "epoch": 0.03617777777777778,
      "grad_norm": 2.296872615814209,
      "learning_rate": 4.819555555555556e-05,
      "loss": 1.6705,
      "step": 407
    },
    {
      "epoch": 0.03626666666666667,
      "grad_norm": 1.8102474212646484,
      "learning_rate": 4.8191111111111116e-05,
      "loss": 1.8854,
      "step": 408
    },
    {
      "epoch": 0.03635555555555556,
      "grad_norm": 1.7931931018829346,
      "learning_rate": 4.818666666666667e-05,
      "loss": 1.716,
      "step": 409
    },
    {
      "epoch": 0.036444444444444446,
      "grad_norm": 2.039315700531006,
      "learning_rate": 4.8182222222222225e-05,
      "loss": 1.8487,
      "step": 410
    },
    {
      "epoch": 0.036533333333333334,
      "grad_norm": 1.7576521635055542,
      "learning_rate": 4.817777777777778e-05,
      "loss": 1.6544,
      "step": 411
    },
    {
      "epoch": 0.03662222222222222,
      "grad_norm": 2.7043707370758057,
      "learning_rate": 4.8173333333333335e-05,
      "loss": 1.9607,
      "step": 412
    },
    {
      "epoch": 0.03671111111111111,
      "grad_norm": 1.8056819438934326,
      "learning_rate": 4.816888888888889e-05,
      "loss": 1.7002,
      "step": 413
    },
    {
      "epoch": 0.0368,
      "grad_norm": 1.9086384773254395,
      "learning_rate": 4.8164444444444445e-05,
      "loss": 1.8077,
      "step": 414
    },
    {
      "epoch": 0.03688888888888889,
      "grad_norm": 1.6006648540496826,
      "learning_rate": 4.816e-05,
      "loss": 1.6588,
      "step": 415
    },
    {
      "epoch": 0.036977777777777776,
      "grad_norm": 1.9702847003936768,
      "learning_rate": 4.815555555555556e-05,
      "loss": 1.6851,
      "step": 416
    },
    {
      "epoch": 0.037066666666666664,
      "grad_norm": 2.3253207206726074,
      "learning_rate": 4.8151111111111116e-05,
      "loss": 1.9481,
      "step": 417
    },
    {
      "epoch": 0.03715555555555555,
      "grad_norm": 1.856279969215393,
      "learning_rate": 4.814666666666667e-05,
      "loss": 1.7238,
      "step": 418
    },
    {
      "epoch": 0.03724444444444444,
      "grad_norm": 2.098527669906616,
      "learning_rate": 4.814222222222222e-05,
      "loss": 1.819,
      "step": 419
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 1.6821662187576294,
      "learning_rate": 4.813777777777778e-05,
      "loss": 1.472,
      "step": 420
    },
    {
      "epoch": 0.037422222222222225,
      "grad_norm": 2.18611478805542,
      "learning_rate": 4.8133333333333336e-05,
      "loss": 1.8922,
      "step": 421
    },
    {
      "epoch": 0.03751111111111111,
      "grad_norm": 2.2405807971954346,
      "learning_rate": 4.812888888888889e-05,
      "loss": 1.8909,
      "step": 422
    },
    {
      "epoch": 0.0376,
      "grad_norm": 2.04304575920105,
      "learning_rate": 4.8124444444444445e-05,
      "loss": 1.7305,
      "step": 423
    },
    {
      "epoch": 0.03768888888888889,
      "grad_norm": 1.9237557649612427,
      "learning_rate": 4.812000000000001e-05,
      "loss": 1.9044,
      "step": 424
    },
    {
      "epoch": 0.03777777777777778,
      "grad_norm": 1.970348834991455,
      "learning_rate": 4.8115555555555555e-05,
      "loss": 1.7559,
      "step": 425
    },
    {
      "epoch": 0.037866666666666667,
      "grad_norm": 2.339770555496216,
      "learning_rate": 4.811111111111111e-05,
      "loss": 1.9489,
      "step": 426
    },
    {
      "epoch": 0.037955555555555555,
      "grad_norm": 2.362821578979492,
      "learning_rate": 4.8106666666666665e-05,
      "loss": 1.5654,
      "step": 427
    },
    {
      "epoch": 0.03804444444444444,
      "grad_norm": 2.6010148525238037,
      "learning_rate": 4.8102222222222226e-05,
      "loss": 1.7666,
      "step": 428
    },
    {
      "epoch": 0.03813333333333333,
      "grad_norm": 1.9620534181594849,
      "learning_rate": 4.809777777777778e-05,
      "loss": 1.7158,
      "step": 429
    },
    {
      "epoch": 0.03822222222222222,
      "grad_norm": 1.9709163904190063,
      "learning_rate": 4.8093333333333336e-05,
      "loss": 1.7767,
      "step": 430
    },
    {
      "epoch": 0.03831111111111111,
      "grad_norm": 2.3886520862579346,
      "learning_rate": 4.808888888888889e-05,
      "loss": 1.7738,
      "step": 431
    },
    {
      "epoch": 0.0384,
      "grad_norm": 2.052338123321533,
      "learning_rate": 4.8084444444444446e-05,
      "loss": 2.0012,
      "step": 432
    },
    {
      "epoch": 0.03848888888888889,
      "grad_norm": 1.8890438079833984,
      "learning_rate": 4.808e-05,
      "loss": 1.7661,
      "step": 433
    },
    {
      "epoch": 0.03857777777777778,
      "grad_norm": 2.0193800926208496,
      "learning_rate": 4.8075555555555555e-05,
      "loss": 1.584,
      "step": 434
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 1.8019403219223022,
      "learning_rate": 4.807111111111111e-05,
      "loss": 1.6473,
      "step": 435
    },
    {
      "epoch": 0.03875555555555556,
      "grad_norm": 1.873228907585144,
      "learning_rate": 4.806666666666667e-05,
      "loss": 1.4772,
      "step": 436
    },
    {
      "epoch": 0.038844444444444445,
      "grad_norm": 1.6871376037597656,
      "learning_rate": 4.8062222222222227e-05,
      "loss": 1.5571,
      "step": 437
    },
    {
      "epoch": 0.038933333333333334,
      "grad_norm": 1.8471156358718872,
      "learning_rate": 4.805777777777778e-05,
      "loss": 1.6463,
      "step": 438
    },
    {
      "epoch": 0.03902222222222222,
      "grad_norm": 1.9101734161376953,
      "learning_rate": 4.8053333333333336e-05,
      "loss": 1.6251,
      "step": 439
    },
    {
      "epoch": 0.03911111111111111,
      "grad_norm": 1.8232197761535645,
      "learning_rate": 4.804888888888889e-05,
      "loss": 1.6431,
      "step": 440
    },
    {
      "epoch": 0.0392,
      "grad_norm": 1.649107813835144,
      "learning_rate": 4.8044444444444446e-05,
      "loss": 1.5058,
      "step": 441
    },
    {
      "epoch": 0.03928888888888889,
      "grad_norm": 2.8911006450653076,
      "learning_rate": 4.804e-05,
      "loss": 1.9747,
      "step": 442
    },
    {
      "epoch": 0.039377777777777775,
      "grad_norm": 1.9439221620559692,
      "learning_rate": 4.8035555555555556e-05,
      "loss": 1.6286,
      "step": 443
    },
    {
      "epoch": 0.039466666666666664,
      "grad_norm": 1.6863842010498047,
      "learning_rate": 4.803111111111112e-05,
      "loss": 1.802,
      "step": 444
    },
    {
      "epoch": 0.03955555555555555,
      "grad_norm": 1.855517029762268,
      "learning_rate": 4.802666666666667e-05,
      "loss": 1.7413,
      "step": 445
    },
    {
      "epoch": 0.03964444444444445,
      "grad_norm": 2.1516573429107666,
      "learning_rate": 4.802222222222223e-05,
      "loss": 1.8644,
      "step": 446
    },
    {
      "epoch": 0.039733333333333336,
      "grad_norm": 1.7793744802474976,
      "learning_rate": 4.8017777777777775e-05,
      "loss": 1.7804,
      "step": 447
    },
    {
      "epoch": 0.039822222222222224,
      "grad_norm": 2.602876901626587,
      "learning_rate": 4.801333333333334e-05,
      "loss": 1.9945,
      "step": 448
    },
    {
      "epoch": 0.03991111111111111,
      "grad_norm": 1.9246892929077148,
      "learning_rate": 4.800888888888889e-05,
      "loss": 1.6459,
      "step": 449
    },
    {
      "epoch": 0.04,
      "grad_norm": 1.8492608070373535,
      "learning_rate": 4.8004444444444446e-05,
      "loss": 1.4895,
      "step": 450
    },
    {
      "epoch": 0.04008888888888889,
      "grad_norm": 1.7714070081710815,
      "learning_rate": 4.8e-05,
      "loss": 1.6909,
      "step": 451
    },
    {
      "epoch": 0.04017777777777778,
      "grad_norm": 1.8641128540039062,
      "learning_rate": 4.799555555555556e-05,
      "loss": 1.7641,
      "step": 452
    },
    {
      "epoch": 0.040266666666666666,
      "grad_norm": 2.2672276496887207,
      "learning_rate": 4.799111111111112e-05,
      "loss": 1.6525,
      "step": 453
    },
    {
      "epoch": 0.040355555555555554,
      "grad_norm": 2.397960901260376,
      "learning_rate": 4.7986666666666666e-05,
      "loss": 1.84,
      "step": 454
    },
    {
      "epoch": 0.04044444444444444,
      "grad_norm": 1.7472190856933594,
      "learning_rate": 4.798222222222222e-05,
      "loss": 1.911,
      "step": 455
    },
    {
      "epoch": 0.04053333333333333,
      "grad_norm": 1.8048663139343262,
      "learning_rate": 4.797777777777778e-05,
      "loss": 1.6711,
      "step": 456
    },
    {
      "epoch": 0.04062222222222222,
      "grad_norm": 2.035869836807251,
      "learning_rate": 4.797333333333334e-05,
      "loss": 1.8658,
      "step": 457
    },
    {
      "epoch": 0.040711111111111115,
      "grad_norm": 2.3605949878692627,
      "learning_rate": 4.796888888888889e-05,
      "loss": 1.8165,
      "step": 458
    },
    {
      "epoch": 0.0408,
      "grad_norm": 1.8958395719528198,
      "learning_rate": 4.796444444444445e-05,
      "loss": 1.6607,
      "step": 459
    },
    {
      "epoch": 0.04088888888888889,
      "grad_norm": 2.6073741912841797,
      "learning_rate": 4.796e-05,
      "loss": 1.9535,
      "step": 460
    },
    {
      "epoch": 0.04097777777777778,
      "grad_norm": 2.0167880058288574,
      "learning_rate": 4.7955555555555556e-05,
      "loss": 1.9429,
      "step": 461
    },
    {
      "epoch": 0.04106666666666667,
      "grad_norm": 2.634875535964966,
      "learning_rate": 4.795111111111111e-05,
      "loss": 1.7813,
      "step": 462
    },
    {
      "epoch": 0.041155555555555556,
      "grad_norm": 2.192800521850586,
      "learning_rate": 4.7946666666666666e-05,
      "loss": 1.6278,
      "step": 463
    },
    {
      "epoch": 0.041244444444444445,
      "grad_norm": 1.801852822303772,
      "learning_rate": 4.794222222222223e-05,
      "loss": 1.6648,
      "step": 464
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 1.9223064184188843,
      "learning_rate": 4.793777777777778e-05,
      "loss": 1.7,
      "step": 465
    },
    {
      "epoch": 0.04142222222222222,
      "grad_norm": 2.4254958629608154,
      "learning_rate": 4.793333333333334e-05,
      "loss": 1.9661,
      "step": 466
    },
    {
      "epoch": 0.04151111111111111,
      "grad_norm": 1.6853526830673218,
      "learning_rate": 4.792888888888889e-05,
      "loss": 1.4988,
      "step": 467
    },
    {
      "epoch": 0.0416,
      "grad_norm": 1.7445030212402344,
      "learning_rate": 4.792444444444445e-05,
      "loss": 1.8366,
      "step": 468
    },
    {
      "epoch": 0.041688888888888886,
      "grad_norm": 2.3661537170410156,
      "learning_rate": 4.792e-05,
      "loss": 1.9087,
      "step": 469
    },
    {
      "epoch": 0.041777777777777775,
      "grad_norm": 2.1968724727630615,
      "learning_rate": 4.791555555555556e-05,
      "loss": 1.7762,
      "step": 470
    },
    {
      "epoch": 0.04186666666666667,
      "grad_norm": 2.033841609954834,
      "learning_rate": 4.791111111111111e-05,
      "loss": 1.8748,
      "step": 471
    },
    {
      "epoch": 0.04195555555555556,
      "grad_norm": 2.0800459384918213,
      "learning_rate": 4.7906666666666667e-05,
      "loss": 1.6914,
      "step": 472
    },
    {
      "epoch": 0.04204444444444445,
      "grad_norm": 1.9861856698989868,
      "learning_rate": 4.790222222222223e-05,
      "loss": 1.9789,
      "step": 473
    },
    {
      "epoch": 0.042133333333333335,
      "grad_norm": 1.7823083400726318,
      "learning_rate": 4.789777777777778e-05,
      "loss": 1.5871,
      "step": 474
    },
    {
      "epoch": 0.042222222222222223,
      "grad_norm": 2.1467819213867188,
      "learning_rate": 4.789333333333334e-05,
      "loss": 1.6112,
      "step": 475
    },
    {
      "epoch": 0.04231111111111111,
      "grad_norm": 2.196596384048462,
      "learning_rate": 4.7888888888888886e-05,
      "loss": 1.8798,
      "step": 476
    },
    {
      "epoch": 0.0424,
      "grad_norm": 2.8669652938842773,
      "learning_rate": 4.788444444444445e-05,
      "loss": 1.8804,
      "step": 477
    },
    {
      "epoch": 0.04248888888888889,
      "grad_norm": 1.8333436250686646,
      "learning_rate": 4.788e-05,
      "loss": 1.7833,
      "step": 478
    },
    {
      "epoch": 0.04257777777777778,
      "grad_norm": 2.065032482147217,
      "learning_rate": 4.787555555555556e-05,
      "loss": 1.602,
      "step": 479
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 1.8186938762664795,
      "learning_rate": 4.787111111111111e-05,
      "loss": 1.5916,
      "step": 480
    },
    {
      "epoch": 0.042755555555555554,
      "grad_norm": 1.9563899040222168,
      "learning_rate": 4.7866666666666674e-05,
      "loss": 1.9041,
      "step": 481
    },
    {
      "epoch": 0.04284444444444444,
      "grad_norm": 2.2949070930480957,
      "learning_rate": 4.786222222222222e-05,
      "loss": 1.9105,
      "step": 482
    },
    {
      "epoch": 0.04293333333333333,
      "grad_norm": 1.9798246622085571,
      "learning_rate": 4.7857777777777777e-05,
      "loss": 2.0192,
      "step": 483
    },
    {
      "epoch": 0.043022222222222226,
      "grad_norm": 1.7052668333053589,
      "learning_rate": 4.785333333333333e-05,
      "loss": 1.7068,
      "step": 484
    },
    {
      "epoch": 0.043111111111111114,
      "grad_norm": 2.134066104888916,
      "learning_rate": 4.784888888888889e-05,
      "loss": 1.791,
      "step": 485
    },
    {
      "epoch": 0.0432,
      "grad_norm": 2.207282543182373,
      "learning_rate": 4.784444444444445e-05,
      "loss": 1.7405,
      "step": 486
    },
    {
      "epoch": 0.04328888888888889,
      "grad_norm": 2.2324728965759277,
      "learning_rate": 4.784e-05,
      "loss": 1.7869,
      "step": 487
    },
    {
      "epoch": 0.04337777777777778,
      "grad_norm": 1.7013577222824097,
      "learning_rate": 4.783555555555556e-05,
      "loss": 1.793,
      "step": 488
    },
    {
      "epoch": 0.04346666666666667,
      "grad_norm": 2.0783019065856934,
      "learning_rate": 4.783111111111111e-05,
      "loss": 1.7237,
      "step": 489
    },
    {
      "epoch": 0.043555555555555556,
      "grad_norm": 1.9695967435836792,
      "learning_rate": 4.782666666666667e-05,
      "loss": 1.6089,
      "step": 490
    },
    {
      "epoch": 0.043644444444444444,
      "grad_norm": 1.9079341888427734,
      "learning_rate": 4.782222222222222e-05,
      "loss": 1.788,
      "step": 491
    },
    {
      "epoch": 0.04373333333333333,
      "grad_norm": 2.6341018676757812,
      "learning_rate": 4.781777777777778e-05,
      "loss": 1.7496,
      "step": 492
    },
    {
      "epoch": 0.04382222222222222,
      "grad_norm": 1.9331457614898682,
      "learning_rate": 4.781333333333334e-05,
      "loss": 1.8381,
      "step": 493
    },
    {
      "epoch": 0.04391111111111111,
      "grad_norm": 2.0608890056610107,
      "learning_rate": 4.7808888888888893e-05,
      "loss": 1.6092,
      "step": 494
    },
    {
      "epoch": 0.044,
      "grad_norm": 1.7848342657089233,
      "learning_rate": 4.780444444444445e-05,
      "loss": 1.7123,
      "step": 495
    },
    {
      "epoch": 0.044088888888888886,
      "grad_norm": 1.788804054260254,
      "learning_rate": 4.78e-05,
      "loss": 1.8167,
      "step": 496
    },
    {
      "epoch": 0.04417777777777778,
      "grad_norm": 2.2256054878234863,
      "learning_rate": 4.779555555555556e-05,
      "loss": 1.9354,
      "step": 497
    },
    {
      "epoch": 0.04426666666666667,
      "grad_norm": 2.012500047683716,
      "learning_rate": 4.779111111111111e-05,
      "loss": 1.7731,
      "step": 498
    },
    {
      "epoch": 0.04435555555555556,
      "grad_norm": 2.100269079208374,
      "learning_rate": 4.778666666666667e-05,
      "loss": 1.8174,
      "step": 499
    },
    {
      "epoch": 0.044444444444444446,
      "grad_norm": 2.2463247776031494,
      "learning_rate": 4.778222222222222e-05,
      "loss": 1.5266,
      "step": 500
    },
    {
      "epoch": 0.044533333333333334,
      "grad_norm": 2.304056167602539,
      "learning_rate": 4.7777777777777784e-05,
      "loss": 1.8669,
      "step": 501
    },
    {
      "epoch": 0.04462222222222222,
      "grad_norm": 2.2616631984710693,
      "learning_rate": 4.777333333333334e-05,
      "loss": 1.8633,
      "step": 502
    },
    {
      "epoch": 0.04471111111111111,
      "grad_norm": 2.021453857421875,
      "learning_rate": 4.7768888888888894e-05,
      "loss": 1.588,
      "step": 503
    },
    {
      "epoch": 0.0448,
      "grad_norm": 1.9026204347610474,
      "learning_rate": 4.776444444444444e-05,
      "loss": 1.6961,
      "step": 504
    },
    {
      "epoch": 0.04488888888888889,
      "grad_norm": 2.1155946254730225,
      "learning_rate": 4.7760000000000004e-05,
      "loss": 1.3379,
      "step": 505
    },
    {
      "epoch": 0.044977777777777776,
      "grad_norm": 1.996193289756775,
      "learning_rate": 4.775555555555556e-05,
      "loss": 1.8642,
      "step": 506
    },
    {
      "epoch": 0.045066666666666665,
      "grad_norm": 1.6879435777664185,
      "learning_rate": 4.775111111111111e-05,
      "loss": 1.8574,
      "step": 507
    },
    {
      "epoch": 0.04515555555555555,
      "grad_norm": 2.066718578338623,
      "learning_rate": 4.774666666666667e-05,
      "loss": 1.7391,
      "step": 508
    },
    {
      "epoch": 0.04524444444444444,
      "grad_norm": 2.299733877182007,
      "learning_rate": 4.774222222222223e-05,
      "loss": 1.8277,
      "step": 509
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 2.1567323207855225,
      "learning_rate": 4.7737777777777785e-05,
      "loss": 1.6903,
      "step": 510
    },
    {
      "epoch": 0.045422222222222225,
      "grad_norm": 1.7770477533340454,
      "learning_rate": 4.773333333333333e-05,
      "loss": 1.4693,
      "step": 511
    },
    {
      "epoch": 0.04551111111111111,
      "grad_norm": 1.7821773290634155,
      "learning_rate": 4.772888888888889e-05,
      "loss": 1.7728,
      "step": 512
    },
    {
      "epoch": 0.0456,
      "grad_norm": 1.83268404006958,
      "learning_rate": 4.772444444444445e-05,
      "loss": 1.6411,
      "step": 513
    },
    {
      "epoch": 0.04568888888888889,
      "grad_norm": 2.858410596847534,
      "learning_rate": 4.7720000000000004e-05,
      "loss": 1.9671,
      "step": 514
    },
    {
      "epoch": 0.04577777777777778,
      "grad_norm": 1.795196294784546,
      "learning_rate": 4.771555555555556e-05,
      "loss": 1.6152,
      "step": 515
    },
    {
      "epoch": 0.04586666666666667,
      "grad_norm": 1.8000216484069824,
      "learning_rate": 4.7711111111111114e-05,
      "loss": 1.7945,
      "step": 516
    },
    {
      "epoch": 0.045955555555555555,
      "grad_norm": 1.7681317329406738,
      "learning_rate": 4.770666666666667e-05,
      "loss": 1.7509,
      "step": 517
    },
    {
      "epoch": 0.04604444444444444,
      "grad_norm": 1.9046231508255005,
      "learning_rate": 4.770222222222222e-05,
      "loss": 1.7345,
      "step": 518
    },
    {
      "epoch": 0.04613333333333333,
      "grad_norm": 2.175218343734741,
      "learning_rate": 4.769777777777778e-05,
      "loss": 1.7199,
      "step": 519
    },
    {
      "epoch": 0.04622222222222222,
      "grad_norm": 2.084224224090576,
      "learning_rate": 4.769333333333333e-05,
      "loss": 2.0001,
      "step": 520
    },
    {
      "epoch": 0.04631111111111111,
      "grad_norm": 1.9498622417449951,
      "learning_rate": 4.768888888888889e-05,
      "loss": 1.6999,
      "step": 521
    },
    {
      "epoch": 0.0464,
      "grad_norm": 1.80154550075531,
      "learning_rate": 4.768444444444445e-05,
      "loss": 1.8021,
      "step": 522
    },
    {
      "epoch": 0.04648888888888889,
      "grad_norm": 1.9238197803497314,
      "learning_rate": 4.7680000000000004e-05,
      "loss": 1.7377,
      "step": 523
    },
    {
      "epoch": 0.04657777777777778,
      "grad_norm": 1.7907962799072266,
      "learning_rate": 4.767555555555556e-05,
      "loss": 1.5207,
      "step": 524
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 1.930907130241394,
      "learning_rate": 4.7671111111111114e-05,
      "loss": 1.751,
      "step": 525
    },
    {
      "epoch": 0.04675555555555556,
      "grad_norm": 1.8845674991607666,
      "learning_rate": 4.766666666666667e-05,
      "loss": 1.8754,
      "step": 526
    },
    {
      "epoch": 0.046844444444444445,
      "grad_norm": 2.1192383766174316,
      "learning_rate": 4.7662222222222224e-05,
      "loss": 1.795,
      "step": 527
    },
    {
      "epoch": 0.046933333333333334,
      "grad_norm": 1.809201955795288,
      "learning_rate": 4.765777777777778e-05,
      "loss": 1.6451,
      "step": 528
    },
    {
      "epoch": 0.04702222222222222,
      "grad_norm": 1.9249122142791748,
      "learning_rate": 4.765333333333333e-05,
      "loss": 1.6498,
      "step": 529
    },
    {
      "epoch": 0.04711111111111111,
      "grad_norm": 1.7500591278076172,
      "learning_rate": 4.7648888888888895e-05,
      "loss": 1.6294,
      "step": 530
    },
    {
      "epoch": 0.0472,
      "grad_norm": 1.8155577182769775,
      "learning_rate": 4.764444444444445e-05,
      "loss": 1.9215,
      "step": 531
    },
    {
      "epoch": 0.04728888888888889,
      "grad_norm": 1.7840594053268433,
      "learning_rate": 4.7640000000000005e-05,
      "loss": 1.5602,
      "step": 532
    },
    {
      "epoch": 0.047377777777777776,
      "grad_norm": 1.8987799882888794,
      "learning_rate": 4.763555555555555e-05,
      "loss": 1.7976,
      "step": 533
    },
    {
      "epoch": 0.047466666666666664,
      "grad_norm": 1.8317570686340332,
      "learning_rate": 4.7631111111111114e-05,
      "loss": 1.6235,
      "step": 534
    },
    {
      "epoch": 0.04755555555555555,
      "grad_norm": 1.786001205444336,
      "learning_rate": 4.762666666666667e-05,
      "loss": 1.6639,
      "step": 535
    },
    {
      "epoch": 0.04764444444444445,
      "grad_norm": 2.7096595764160156,
      "learning_rate": 4.7622222222222224e-05,
      "loss": 1.8434,
      "step": 536
    },
    {
      "epoch": 0.047733333333333336,
      "grad_norm": 1.7825679779052734,
      "learning_rate": 4.761777777777778e-05,
      "loss": 1.6532,
      "step": 537
    },
    {
      "epoch": 0.047822222222222224,
      "grad_norm": 2.592827796936035,
      "learning_rate": 4.761333333333334e-05,
      "loss": 1.7761,
      "step": 538
    },
    {
      "epoch": 0.04791111111111111,
      "grad_norm": 1.7507412433624268,
      "learning_rate": 4.760888888888889e-05,
      "loss": 1.5848,
      "step": 539
    },
    {
      "epoch": 0.048,
      "grad_norm": 1.8320977687835693,
      "learning_rate": 4.7604444444444443e-05,
      "loss": 1.7201,
      "step": 540
    },
    {
      "epoch": 0.04808888888888889,
      "grad_norm": 1.9385707378387451,
      "learning_rate": 4.76e-05,
      "loss": 1.754,
      "step": 541
    },
    {
      "epoch": 0.04817777777777778,
      "grad_norm": 1.9104593992233276,
      "learning_rate": 4.759555555555556e-05,
      "loss": 1.7171,
      "step": 542
    },
    {
      "epoch": 0.048266666666666666,
      "grad_norm": 1.815640926361084,
      "learning_rate": 4.7591111111111115e-05,
      "loss": 1.7734,
      "step": 543
    },
    {
      "epoch": 0.048355555555555554,
      "grad_norm": 1.8128937482833862,
      "learning_rate": 4.758666666666667e-05,
      "loss": 1.7505,
      "step": 544
    },
    {
      "epoch": 0.04844444444444444,
      "grad_norm": 1.7421724796295166,
      "learning_rate": 4.7582222222222224e-05,
      "loss": 1.5166,
      "step": 545
    },
    {
      "epoch": 0.04853333333333333,
      "grad_norm": 2.0113685131073,
      "learning_rate": 4.757777777777778e-05,
      "loss": 2.096,
      "step": 546
    },
    {
      "epoch": 0.04862222222222222,
      "grad_norm": 1.9839019775390625,
      "learning_rate": 4.7573333333333334e-05,
      "loss": 1.7461,
      "step": 547
    },
    {
      "epoch": 0.04871111111111111,
      "grad_norm": 2.0120506286621094,
      "learning_rate": 4.756888888888889e-05,
      "loss": 1.531,
      "step": 548
    },
    {
      "epoch": 0.0488,
      "grad_norm": 1.7268486022949219,
      "learning_rate": 4.7564444444444444e-05,
      "loss": 1.6986,
      "step": 549
    },
    {
      "epoch": 0.04888888888888889,
      "grad_norm": 1.8774020671844482,
      "learning_rate": 4.7560000000000005e-05,
      "loss": 1.8354,
      "step": 550
    },
    {
      "epoch": 0.04897777777777778,
      "grad_norm": 2.2846875190734863,
      "learning_rate": 4.755555555555556e-05,
      "loss": 1.7419,
      "step": 551
    },
    {
      "epoch": 0.04906666666666667,
      "grad_norm": 2.232360363006592,
      "learning_rate": 4.7551111111111115e-05,
      "loss": 1.8773,
      "step": 552
    },
    {
      "epoch": 0.049155555555555557,
      "grad_norm": 1.9846943616867065,
      "learning_rate": 4.754666666666667e-05,
      "loss": 1.8514,
      "step": 553
    },
    {
      "epoch": 0.049244444444444445,
      "grad_norm": 1.881296992301941,
      "learning_rate": 4.7542222222222225e-05,
      "loss": 1.7649,
      "step": 554
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 2.201551675796509,
      "learning_rate": 4.753777777777778e-05,
      "loss": 2.0613,
      "step": 555
    },
    {
      "epoch": 0.04942222222222222,
      "grad_norm": 2.134709119796753,
      "learning_rate": 4.7533333333333334e-05,
      "loss": 1.7843,
      "step": 556
    },
    {
      "epoch": 0.04951111111111111,
      "grad_norm": 2.517716884613037,
      "learning_rate": 4.752888888888889e-05,
      "loss": 1.6837,
      "step": 557
    },
    {
      "epoch": 0.0496,
      "grad_norm": 2.540818691253662,
      "learning_rate": 4.752444444444445e-05,
      "loss": 1.7423,
      "step": 558
    },
    {
      "epoch": 0.04968888888888889,
      "grad_norm": 1.8395020961761475,
      "learning_rate": 4.7520000000000006e-05,
      "loss": 1.552,
      "step": 559
    },
    {
      "epoch": 0.049777777777777775,
      "grad_norm": 1.6650044918060303,
      "learning_rate": 4.751555555555556e-05,
      "loss": 1.6345,
      "step": 560
    },
    {
      "epoch": 0.04986666666666666,
      "grad_norm": 2.0467848777770996,
      "learning_rate": 4.751111111111111e-05,
      "loss": 1.7669,
      "step": 561
    },
    {
      "epoch": 0.04995555555555556,
      "grad_norm": 1.8983980417251587,
      "learning_rate": 4.750666666666667e-05,
      "loss": 1.7374,
      "step": 562
    },
    {
      "epoch": 0.05004444444444445,
      "grad_norm": 1.909208059310913,
      "learning_rate": 4.7502222222222225e-05,
      "loss": 1.7049,
      "step": 563
    },
    {
      "epoch": 0.050133333333333335,
      "grad_norm": 2.3651247024536133,
      "learning_rate": 4.749777777777778e-05,
      "loss": 1.9186,
      "step": 564
    },
    {
      "epoch": 0.050222222222222224,
      "grad_norm": 1.7610410451889038,
      "learning_rate": 4.7493333333333335e-05,
      "loss": 1.4865,
      "step": 565
    },
    {
      "epoch": 0.05031111111111111,
      "grad_norm": 1.622171401977539,
      "learning_rate": 4.7488888888888897e-05,
      "loss": 1.592,
      "step": 566
    },
    {
      "epoch": 0.0504,
      "grad_norm": 2.4149699211120605,
      "learning_rate": 4.748444444444445e-05,
      "loss": 1.9923,
      "step": 567
    },
    {
      "epoch": 0.05048888888888889,
      "grad_norm": 1.8958724737167358,
      "learning_rate": 4.748e-05,
      "loss": 1.7391,
      "step": 568
    },
    {
      "epoch": 0.05057777777777778,
      "grad_norm": 1.7981598377227783,
      "learning_rate": 4.7475555555555554e-05,
      "loss": 1.7909,
      "step": 569
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 1.9233156442642212,
      "learning_rate": 4.747111111111111e-05,
      "loss": 1.6802,
      "step": 570
    },
    {
      "epoch": 0.050755555555555554,
      "grad_norm": 1.8042385578155518,
      "learning_rate": 4.746666666666667e-05,
      "loss": 1.6798,
      "step": 571
    },
    {
      "epoch": 0.05084444444444444,
      "grad_norm": 1.7695634365081787,
      "learning_rate": 4.7462222222222226e-05,
      "loss": 1.6906,
      "step": 572
    },
    {
      "epoch": 0.05093333333333333,
      "grad_norm": 2.172990322113037,
      "learning_rate": 4.745777777777778e-05,
      "loss": 1.9367,
      "step": 573
    },
    {
      "epoch": 0.05102222222222222,
      "grad_norm": 2.3511533737182617,
      "learning_rate": 4.7453333333333335e-05,
      "loss": 1.795,
      "step": 574
    },
    {
      "epoch": 0.051111111111111114,
      "grad_norm": 1.9519106149673462,
      "learning_rate": 4.744888888888889e-05,
      "loss": 1.9361,
      "step": 575
    },
    {
      "epoch": 0.0512,
      "grad_norm": 1.5772993564605713,
      "learning_rate": 4.7444444444444445e-05,
      "loss": 1.5124,
      "step": 576
    },
    {
      "epoch": 0.05128888888888889,
      "grad_norm": 2.048563003540039,
      "learning_rate": 4.744e-05,
      "loss": 1.9268,
      "step": 577
    },
    {
      "epoch": 0.05137777777777778,
      "grad_norm": 1.8012866973876953,
      "learning_rate": 4.7435555555555555e-05,
      "loss": 1.7764,
      "step": 578
    },
    {
      "epoch": 0.05146666666666667,
      "grad_norm": 1.630265474319458,
      "learning_rate": 4.7431111111111116e-05,
      "loss": 1.6775,
      "step": 579
    },
    {
      "epoch": 0.051555555555555556,
      "grad_norm": 1.8177299499511719,
      "learning_rate": 4.742666666666667e-05,
      "loss": 1.8524,
      "step": 580
    },
    {
      "epoch": 0.051644444444444444,
      "grad_norm": 1.9877454042434692,
      "learning_rate": 4.7422222222222226e-05,
      "loss": 1.7774,
      "step": 581
    },
    {
      "epoch": 0.05173333333333333,
      "grad_norm": 1.9968565702438354,
      "learning_rate": 4.741777777777778e-05,
      "loss": 1.9094,
      "step": 582
    },
    {
      "epoch": 0.05182222222222222,
      "grad_norm": 1.703608751296997,
      "learning_rate": 4.7413333333333336e-05,
      "loss": 1.5747,
      "step": 583
    },
    {
      "epoch": 0.05191111111111111,
      "grad_norm": 1.8962559700012207,
      "learning_rate": 4.740888888888889e-05,
      "loss": 1.8658,
      "step": 584
    },
    {
      "epoch": 0.052,
      "grad_norm": 1.877570629119873,
      "learning_rate": 4.7404444444444445e-05,
      "loss": 1.7395,
      "step": 585
    },
    {
      "epoch": 0.052088888888888886,
      "grad_norm": 2.4039289951324463,
      "learning_rate": 4.74e-05,
      "loss": 1.7458,
      "step": 586
    },
    {
      "epoch": 0.052177777777777774,
      "grad_norm": 1.763918161392212,
      "learning_rate": 4.739555555555556e-05,
      "loss": 1.6087,
      "step": 587
    },
    {
      "epoch": 0.05226666666666667,
      "grad_norm": 1.7937229871749878,
      "learning_rate": 4.739111111111112e-05,
      "loss": 1.6652,
      "step": 588
    },
    {
      "epoch": 0.05235555555555556,
      "grad_norm": 1.8903275728225708,
      "learning_rate": 4.7386666666666665e-05,
      "loss": 1.8648,
      "step": 589
    },
    {
      "epoch": 0.052444444444444446,
      "grad_norm": 2.2826144695281982,
      "learning_rate": 4.738222222222222e-05,
      "loss": 1.7403,
      "step": 590
    },
    {
      "epoch": 0.052533333333333335,
      "grad_norm": 2.028391122817993,
      "learning_rate": 4.737777777777778e-05,
      "loss": 1.8121,
      "step": 591
    },
    {
      "epoch": 0.05262222222222222,
      "grad_norm": 2.105193614959717,
      "learning_rate": 4.7373333333333336e-05,
      "loss": 1.7903,
      "step": 592
    },
    {
      "epoch": 0.05271111111111111,
      "grad_norm": 1.6663589477539062,
      "learning_rate": 4.736888888888889e-05,
      "loss": 1.7923,
      "step": 593
    },
    {
      "epoch": 0.0528,
      "grad_norm": 2.003837823867798,
      "learning_rate": 4.7364444444444446e-05,
      "loss": 1.7633,
      "step": 594
    },
    {
      "epoch": 0.05288888888888889,
      "grad_norm": 1.731573462486267,
      "learning_rate": 4.736000000000001e-05,
      "loss": 1.6433,
      "step": 595
    },
    {
      "epoch": 0.052977777777777776,
      "grad_norm": 2.096489429473877,
      "learning_rate": 4.7355555555555555e-05,
      "loss": 1.6256,
      "step": 596
    },
    {
      "epoch": 0.053066666666666665,
      "grad_norm": 2.419685125350952,
      "learning_rate": 4.735111111111111e-05,
      "loss": 1.9188,
      "step": 597
    },
    {
      "epoch": 0.05315555555555555,
      "grad_norm": 3.305285692214966,
      "learning_rate": 4.7346666666666665e-05,
      "loss": 2.0687,
      "step": 598
    },
    {
      "epoch": 0.05324444444444444,
      "grad_norm": 2.5088071823120117,
      "learning_rate": 4.734222222222223e-05,
      "loss": 1.7346,
      "step": 599
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 2.178842067718506,
      "learning_rate": 4.733777777777778e-05,
      "loss": 1.6756,
      "step": 600
    },
    {
      "epoch": 0.053422222222222225,
      "grad_norm": 1.8946369886398315,
      "learning_rate": 4.7333333333333336e-05,
      "loss": 1.6348,
      "step": 601
    },
    {
      "epoch": 0.05351111111111111,
      "grad_norm": 1.967262625694275,
      "learning_rate": 4.732888888888889e-05,
      "loss": 1.6735,
      "step": 602
    },
    {
      "epoch": 0.0536,
      "grad_norm": 1.8505749702453613,
      "learning_rate": 4.7324444444444446e-05,
      "loss": 1.7453,
      "step": 603
    },
    {
      "epoch": 0.05368888888888889,
      "grad_norm": 2.0736756324768066,
      "learning_rate": 4.732e-05,
      "loss": 1.6984,
      "step": 604
    },
    {
      "epoch": 0.05377777777777778,
      "grad_norm": 1.970688819885254,
      "learning_rate": 4.7315555555555556e-05,
      "loss": 1.747,
      "step": 605
    },
    {
      "epoch": 0.05386666666666667,
      "grad_norm": 2.086488723754883,
      "learning_rate": 4.731111111111111e-05,
      "loss": 1.4736,
      "step": 606
    },
    {
      "epoch": 0.053955555555555555,
      "grad_norm": 1.7334258556365967,
      "learning_rate": 4.730666666666667e-05,
      "loss": 1.5963,
      "step": 607
    },
    {
      "epoch": 0.054044444444444444,
      "grad_norm": 1.99739408493042,
      "learning_rate": 4.730222222222223e-05,
      "loss": 1.6998,
      "step": 608
    },
    {
      "epoch": 0.05413333333333333,
      "grad_norm": 1.7818883657455444,
      "learning_rate": 4.729777777777778e-05,
      "loss": 1.7021,
      "step": 609
    },
    {
      "epoch": 0.05422222222222222,
      "grad_norm": 1.7475019693374634,
      "learning_rate": 4.729333333333334e-05,
      "loss": 1.5762,
      "step": 610
    },
    {
      "epoch": 0.05431111111111111,
      "grad_norm": 1.850029706954956,
      "learning_rate": 4.728888888888889e-05,
      "loss": 1.7664,
      "step": 611
    },
    {
      "epoch": 0.0544,
      "grad_norm": 1.982054352760315,
      "learning_rate": 4.7284444444444446e-05,
      "loss": 1.8001,
      "step": 612
    },
    {
      "epoch": 0.05448888888888889,
      "grad_norm": 3.495922088623047,
      "learning_rate": 4.728e-05,
      "loss": 1.8315,
      "step": 613
    },
    {
      "epoch": 0.05457777777777778,
      "grad_norm": 1.9391525983810425,
      "learning_rate": 4.7275555555555556e-05,
      "loss": 1.649,
      "step": 614
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 2.6908349990844727,
      "learning_rate": 4.727111111111112e-05,
      "loss": 1.9249,
      "step": 615
    },
    {
      "epoch": 0.05475555555555556,
      "grad_norm": 1.9245643615722656,
      "learning_rate": 4.726666666666667e-05,
      "loss": 1.7513,
      "step": 616
    },
    {
      "epoch": 0.054844444444444446,
      "grad_norm": 1.7376445531845093,
      "learning_rate": 4.726222222222223e-05,
      "loss": 1.681,
      "step": 617
    },
    {
      "epoch": 0.054933333333333334,
      "grad_norm": 2.0182437896728516,
      "learning_rate": 4.7257777777777776e-05,
      "loss": 1.7205,
      "step": 618
    },
    {
      "epoch": 0.05502222222222222,
      "grad_norm": 2.064499855041504,
      "learning_rate": 4.725333333333334e-05,
      "loss": 1.8197,
      "step": 619
    },
    {
      "epoch": 0.05511111111111111,
      "grad_norm": 1.7389254570007324,
      "learning_rate": 4.724888888888889e-05,
      "loss": 1.799,
      "step": 620
    },
    {
      "epoch": 0.0552,
      "grad_norm": 2.0828423500061035,
      "learning_rate": 4.724444444444445e-05,
      "loss": 1.8696,
      "step": 621
    },
    {
      "epoch": 0.05528888888888889,
      "grad_norm": 1.9989980459213257,
      "learning_rate": 4.724e-05,
      "loss": 1.8859,
      "step": 622
    },
    {
      "epoch": 0.055377777777777776,
      "grad_norm": 1.7426371574401855,
      "learning_rate": 4.7235555555555557e-05,
      "loss": 1.8156,
      "step": 623
    },
    {
      "epoch": 0.055466666666666664,
      "grad_norm": 1.9115440845489502,
      "learning_rate": 4.723111111111112e-05,
      "loss": 1.9886,
      "step": 624
    },
    {
      "epoch": 0.05555555555555555,
      "grad_norm": 2.065406560897827,
      "learning_rate": 4.7226666666666666e-05,
      "loss": 1.9054,
      "step": 625
    },
    {
      "epoch": 0.05564444444444445,
      "grad_norm": 1.73759925365448,
      "learning_rate": 4.722222222222222e-05,
      "loss": 1.4106,
      "step": 626
    },
    {
      "epoch": 0.055733333333333336,
      "grad_norm": 1.9377063512802124,
      "learning_rate": 4.7217777777777776e-05,
      "loss": 1.6845,
      "step": 627
    },
    {
      "epoch": 0.055822222222222224,
      "grad_norm": 1.846475601196289,
      "learning_rate": 4.721333333333334e-05,
      "loss": 1.9483,
      "step": 628
    },
    {
      "epoch": 0.05591111111111111,
      "grad_norm": 2.0275180339813232,
      "learning_rate": 4.720888888888889e-05,
      "loss": 1.8155,
      "step": 629
    },
    {
      "epoch": 0.056,
      "grad_norm": 2.1782538890838623,
      "learning_rate": 4.720444444444445e-05,
      "loss": 1.8433,
      "step": 630
    },
    {
      "epoch": 0.05608888888888889,
      "grad_norm": 2.1984667778015137,
      "learning_rate": 4.72e-05,
      "loss": 1.6914,
      "step": 631
    },
    {
      "epoch": 0.05617777777777778,
      "grad_norm": 1.8089015483856201,
      "learning_rate": 4.719555555555556e-05,
      "loss": 1.4929,
      "step": 632
    },
    {
      "epoch": 0.056266666666666666,
      "grad_norm": 2.252462863922119,
      "learning_rate": 4.719111111111111e-05,
      "loss": 1.8578,
      "step": 633
    },
    {
      "epoch": 0.056355555555555555,
      "grad_norm": 1.7309558391571045,
      "learning_rate": 4.718666666666667e-05,
      "loss": 1.5891,
      "step": 634
    },
    {
      "epoch": 0.05644444444444444,
      "grad_norm": 1.8821133375167847,
      "learning_rate": 4.718222222222222e-05,
      "loss": 1.8476,
      "step": 635
    },
    {
      "epoch": 0.05653333333333333,
      "grad_norm": 1.9693267345428467,
      "learning_rate": 4.717777777777778e-05,
      "loss": 1.8003,
      "step": 636
    },
    {
      "epoch": 0.05662222222222222,
      "grad_norm": 1.9439343214035034,
      "learning_rate": 4.717333333333334e-05,
      "loss": 1.7105,
      "step": 637
    },
    {
      "epoch": 0.05671111111111111,
      "grad_norm": 2.047389268875122,
      "learning_rate": 4.716888888888889e-05,
      "loss": 1.8212,
      "step": 638
    },
    {
      "epoch": 0.0568,
      "grad_norm": 1.7936124801635742,
      "learning_rate": 4.716444444444445e-05,
      "loss": 1.4062,
      "step": 639
    },
    {
      "epoch": 0.05688888888888889,
      "grad_norm": 1.891255497932434,
      "learning_rate": 4.716e-05,
      "loss": 1.807,
      "step": 640
    },
    {
      "epoch": 0.05697777777777778,
      "grad_norm": 2.206453323364258,
      "learning_rate": 4.715555555555556e-05,
      "loss": 1.8785,
      "step": 641
    },
    {
      "epoch": 0.05706666666666667,
      "grad_norm": 1.6390018463134766,
      "learning_rate": 4.715111111111111e-05,
      "loss": 1.5961,
      "step": 642
    },
    {
      "epoch": 0.05715555555555556,
      "grad_norm": 1.9887617826461792,
      "learning_rate": 4.714666666666667e-05,
      "loss": 1.8683,
      "step": 643
    },
    {
      "epoch": 0.057244444444444445,
      "grad_norm": 1.8242734670639038,
      "learning_rate": 4.714222222222223e-05,
      "loss": 1.629,
      "step": 644
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 1.9575753211975098,
      "learning_rate": 4.7137777777777783e-05,
      "loss": 1.7363,
      "step": 645
    },
    {
      "epoch": 0.05742222222222222,
      "grad_norm": 1.7273688316345215,
      "learning_rate": 4.713333333333333e-05,
      "loss": 1.7464,
      "step": 646
    },
    {
      "epoch": 0.05751111111111111,
      "grad_norm": 1.812567949295044,
      "learning_rate": 4.7128888888888886e-05,
      "loss": 1.81,
      "step": 647
    },
    {
      "epoch": 0.0576,
      "grad_norm": 2.7549376487731934,
      "learning_rate": 4.712444444444445e-05,
      "loss": 1.8585,
      "step": 648
    },
    {
      "epoch": 0.05768888888888889,
      "grad_norm": 1.8365415334701538,
      "learning_rate": 4.712e-05,
      "loss": 1.6958,
      "step": 649
    },
    {
      "epoch": 0.057777777777777775,
      "grad_norm": 1.774429202079773,
      "learning_rate": 4.711555555555556e-05,
      "loss": 1.781,
      "step": 650
    },
    {
      "epoch": 0.057866666666666663,
      "grad_norm": 2.044377326965332,
      "learning_rate": 4.711111111111111e-05,
      "loss": 1.6867,
      "step": 651
    },
    {
      "epoch": 0.05795555555555556,
      "grad_norm": 2.033656597137451,
      "learning_rate": 4.7106666666666674e-05,
      "loss": 1.8466,
      "step": 652
    },
    {
      "epoch": 0.05804444444444445,
      "grad_norm": 2.4011390209198,
      "learning_rate": 4.710222222222222e-05,
      "loss": 1.7422,
      "step": 653
    },
    {
      "epoch": 0.058133333333333335,
      "grad_norm": 1.8877747058868408,
      "learning_rate": 4.709777777777778e-05,
      "loss": 1.6066,
      "step": 654
    },
    {
      "epoch": 0.058222222222222224,
      "grad_norm": 1.8466606140136719,
      "learning_rate": 4.709333333333333e-05,
      "loss": 1.8008,
      "step": 655
    },
    {
      "epoch": 0.05831111111111111,
      "grad_norm": 1.9710803031921387,
      "learning_rate": 4.7088888888888894e-05,
      "loss": 1.7069,
      "step": 656
    },
    {
      "epoch": 0.0584,
      "grad_norm": 1.7883386611938477,
      "learning_rate": 4.708444444444445e-05,
      "loss": 1.5519,
      "step": 657
    },
    {
      "epoch": 0.05848888888888889,
      "grad_norm": 1.993040680885315,
      "learning_rate": 4.708e-05,
      "loss": 1.8686,
      "step": 658
    },
    {
      "epoch": 0.05857777777777778,
      "grad_norm": 2.136436700820923,
      "learning_rate": 4.707555555555556e-05,
      "loss": 1.6832,
      "step": 659
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 1.892585039138794,
      "learning_rate": 4.707111111111111e-05,
      "loss": 1.7575,
      "step": 660
    },
    {
      "epoch": 0.058755555555555554,
      "grad_norm": 2.225653886795044,
      "learning_rate": 4.706666666666667e-05,
      "loss": 2.0222,
      "step": 661
    },
    {
      "epoch": 0.05884444444444444,
      "grad_norm": 1.9644620418548584,
      "learning_rate": 4.706222222222222e-05,
      "loss": 1.4307,
      "step": 662
    },
    {
      "epoch": 0.05893333333333333,
      "grad_norm": 1.7574583292007446,
      "learning_rate": 4.705777777777778e-05,
      "loss": 1.6459,
      "step": 663
    },
    {
      "epoch": 0.05902222222222222,
      "grad_norm": 2.0307953357696533,
      "learning_rate": 4.705333333333334e-05,
      "loss": 1.8591,
      "step": 664
    },
    {
      "epoch": 0.059111111111111114,
      "grad_norm": 1.8123438358306885,
      "learning_rate": 4.7048888888888894e-05,
      "loss": 1.8343,
      "step": 665
    },
    {
      "epoch": 0.0592,
      "grad_norm": 2.2059123516082764,
      "learning_rate": 4.704444444444445e-05,
      "loss": 1.8517,
      "step": 666
    },
    {
      "epoch": 0.05928888888888889,
      "grad_norm": 2.1931021213531494,
      "learning_rate": 4.7040000000000004e-05,
      "loss": 1.8043,
      "step": 667
    },
    {
      "epoch": 0.05937777777777778,
      "grad_norm": 2.1578290462493896,
      "learning_rate": 4.703555555555556e-05,
      "loss": 1.9374,
      "step": 668
    },
    {
      "epoch": 0.05946666666666667,
      "grad_norm": 1.947110652923584,
      "learning_rate": 4.703111111111111e-05,
      "loss": 1.6236,
      "step": 669
    },
    {
      "epoch": 0.059555555555555556,
      "grad_norm": 1.8163340091705322,
      "learning_rate": 4.702666666666667e-05,
      "loss": 1.6988,
      "step": 670
    },
    {
      "epoch": 0.059644444444444444,
      "grad_norm": 2.6339969635009766,
      "learning_rate": 4.702222222222222e-05,
      "loss": 1.9664,
      "step": 671
    },
    {
      "epoch": 0.05973333333333333,
      "grad_norm": 2.2287204265594482,
      "learning_rate": 4.701777777777778e-05,
      "loss": 1.6583,
      "step": 672
    },
    {
      "epoch": 0.05982222222222222,
      "grad_norm": 1.7087879180908203,
      "learning_rate": 4.701333333333334e-05,
      "loss": 1.823,
      "step": 673
    },
    {
      "epoch": 0.05991111111111111,
      "grad_norm": 2.3044087886810303,
      "learning_rate": 4.7008888888888894e-05,
      "loss": 1.7557,
      "step": 674
    },
    {
      "epoch": 0.06,
      "grad_norm": 1.7448798418045044,
      "learning_rate": 4.700444444444444e-05,
      "loss": 1.7357,
      "step": 675
    },
    {
      "epoch": 0.060088888888888886,
      "grad_norm": 2.199017286300659,
      "learning_rate": 4.7e-05,
      "loss": 1.4627,
      "step": 676
    },
    {
      "epoch": 0.060177777777777774,
      "grad_norm": 1.790994644165039,
      "learning_rate": 4.699555555555556e-05,
      "loss": 1.9785,
      "step": 677
    },
    {
      "epoch": 0.06026666666666667,
      "grad_norm": 1.9320212602615356,
      "learning_rate": 4.6991111111111114e-05,
      "loss": 1.743,
      "step": 678
    },
    {
      "epoch": 0.06035555555555556,
      "grad_norm": 1.7961267232894897,
      "learning_rate": 4.698666666666667e-05,
      "loss": 1.7795,
      "step": 679
    },
    {
      "epoch": 0.060444444444444446,
      "grad_norm": 2.1420834064483643,
      "learning_rate": 4.6982222222222223e-05,
      "loss": 1.8933,
      "step": 680
    },
    {
      "epoch": 0.060533333333333335,
      "grad_norm": 1.7874841690063477,
      "learning_rate": 4.6977777777777785e-05,
      "loss": 1.4293,
      "step": 681
    },
    {
      "epoch": 0.06062222222222222,
      "grad_norm": 1.7507685422897339,
      "learning_rate": 4.697333333333333e-05,
      "loss": 1.7247,
      "step": 682
    },
    {
      "epoch": 0.06071111111111111,
      "grad_norm": 2.0593347549438477,
      "learning_rate": 4.696888888888889e-05,
      "loss": 1.6935,
      "step": 683
    },
    {
      "epoch": 0.0608,
      "grad_norm": 1.6717835664749146,
      "learning_rate": 4.696444444444444e-05,
      "loss": 1.4686,
      "step": 684
    },
    {
      "epoch": 0.06088888888888889,
      "grad_norm": 1.6747939586639404,
      "learning_rate": 4.6960000000000004e-05,
      "loss": 1.6597,
      "step": 685
    },
    {
      "epoch": 0.06097777777777778,
      "grad_norm": 1.797179102897644,
      "learning_rate": 4.695555555555556e-05,
      "loss": 1.7506,
      "step": 686
    },
    {
      "epoch": 0.061066666666666665,
      "grad_norm": 1.9968448877334595,
      "learning_rate": 4.6951111111111114e-05,
      "loss": 1.7502,
      "step": 687
    },
    {
      "epoch": 0.06115555555555555,
      "grad_norm": 2.002986431121826,
      "learning_rate": 4.694666666666667e-05,
      "loss": 1.8733,
      "step": 688
    },
    {
      "epoch": 0.06124444444444444,
      "grad_norm": 1.8957253694534302,
      "learning_rate": 4.6942222222222224e-05,
      "loss": 1.7959,
      "step": 689
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 1.8064459562301636,
      "learning_rate": 4.693777777777778e-05,
      "loss": 1.9447,
      "step": 690
    },
    {
      "epoch": 0.061422222222222225,
      "grad_norm": 1.802952527999878,
      "learning_rate": 4.6933333333333333e-05,
      "loss": 1.7749,
      "step": 691
    },
    {
      "epoch": 0.061511111111111114,
      "grad_norm": 1.9713236093521118,
      "learning_rate": 4.692888888888889e-05,
      "loss": 1.8645,
      "step": 692
    },
    {
      "epoch": 0.0616,
      "grad_norm": 1.7603497505187988,
      "learning_rate": 4.692444444444445e-05,
      "loss": 1.8047,
      "step": 693
    },
    {
      "epoch": 0.06168888888888889,
      "grad_norm": 2.996554374694824,
      "learning_rate": 4.6920000000000005e-05,
      "loss": 1.9186,
      "step": 694
    },
    {
      "epoch": 0.06177777777777778,
      "grad_norm": 2.0273280143737793,
      "learning_rate": 4.691555555555556e-05,
      "loss": 1.7421,
      "step": 695
    },
    {
      "epoch": 0.06186666666666667,
      "grad_norm": 2.1705870628356934,
      "learning_rate": 4.6911111111111114e-05,
      "loss": 1.8802,
      "step": 696
    },
    {
      "epoch": 0.061955555555555555,
      "grad_norm": 1.8681554794311523,
      "learning_rate": 4.690666666666667e-05,
      "loss": 1.5761,
      "step": 697
    },
    {
      "epoch": 0.062044444444444444,
      "grad_norm": 2.0168166160583496,
      "learning_rate": 4.6902222222222224e-05,
      "loss": 1.6722,
      "step": 698
    },
    {
      "epoch": 0.06213333333333333,
      "grad_norm": 1.7181894779205322,
      "learning_rate": 4.689777777777778e-05,
      "loss": 1.6775,
      "step": 699
    },
    {
      "epoch": 0.06222222222222222,
      "grad_norm": 1.87468683719635,
      "learning_rate": 4.6893333333333334e-05,
      "loss": 1.7536,
      "step": 700
    },
    {
      "epoch": 0.06231111111111111,
      "grad_norm": 1.870053768157959,
      "learning_rate": 4.6888888888888895e-05,
      "loss": 1.7463,
      "step": 701
    },
    {
      "epoch": 0.0624,
      "grad_norm": 1.8175703287124634,
      "learning_rate": 4.688444444444445e-05,
      "loss": 1.7423,
      "step": 702
    },
    {
      "epoch": 0.062488888888888885,
      "grad_norm": 2.2207798957824707,
      "learning_rate": 4.688e-05,
      "loss": 1.6999,
      "step": 703
    },
    {
      "epoch": 0.06257777777777777,
      "grad_norm": 1.7403591871261597,
      "learning_rate": 4.687555555555555e-05,
      "loss": 1.7579,
      "step": 704
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 1.7329407930374146,
      "learning_rate": 4.6871111111111115e-05,
      "loss": 1.6275,
      "step": 705
    },
    {
      "epoch": 0.06275555555555555,
      "grad_norm": 2.0938236713409424,
      "learning_rate": 4.686666666666667e-05,
      "loss": 1.8895,
      "step": 706
    },
    {
      "epoch": 0.06284444444444444,
      "grad_norm": 3.200212001800537,
      "learning_rate": 4.6862222222222225e-05,
      "loss": 1.6779,
      "step": 707
    },
    {
      "epoch": 0.06293333333333333,
      "grad_norm": 1.837145209312439,
      "learning_rate": 4.685777777777778e-05,
      "loss": 1.5871,
      "step": 708
    },
    {
      "epoch": 0.06302222222222222,
      "grad_norm": 1.9322214126586914,
      "learning_rate": 4.685333333333334e-05,
      "loss": 1.7503,
      "step": 709
    },
    {
      "epoch": 0.06311111111111112,
      "grad_norm": 1.8261921405792236,
      "learning_rate": 4.684888888888889e-05,
      "loss": 2.0009,
      "step": 710
    },
    {
      "epoch": 0.0632,
      "grad_norm": 2.3451006412506104,
      "learning_rate": 4.6844444444444444e-05,
      "loss": 1.7158,
      "step": 711
    },
    {
      "epoch": 0.0632888888888889,
      "grad_norm": 1.9616475105285645,
      "learning_rate": 4.684e-05,
      "loss": 1.8671,
      "step": 712
    },
    {
      "epoch": 0.06337777777777778,
      "grad_norm": 1.797967553138733,
      "learning_rate": 4.683555555555556e-05,
      "loss": 1.6486,
      "step": 713
    },
    {
      "epoch": 0.06346666666666667,
      "grad_norm": 2.3399295806884766,
      "learning_rate": 4.6831111111111115e-05,
      "loss": 2.0728,
      "step": 714
    },
    {
      "epoch": 0.06355555555555556,
      "grad_norm": 1.7294318675994873,
      "learning_rate": 4.682666666666667e-05,
      "loss": 1.8799,
      "step": 715
    },
    {
      "epoch": 0.06364444444444445,
      "grad_norm": 2.1066136360168457,
      "learning_rate": 4.6822222222222225e-05,
      "loss": 1.6777,
      "step": 716
    },
    {
      "epoch": 0.06373333333333334,
      "grad_norm": 1.8215560913085938,
      "learning_rate": 4.681777777777778e-05,
      "loss": 1.8511,
      "step": 717
    },
    {
      "epoch": 0.06382222222222222,
      "grad_norm": 2.0517995357513428,
      "learning_rate": 4.6813333333333335e-05,
      "loss": 1.7435,
      "step": 718
    },
    {
      "epoch": 0.06391111111111111,
      "grad_norm": 1.9780348539352417,
      "learning_rate": 4.680888888888889e-05,
      "loss": 1.6844,
      "step": 719
    },
    {
      "epoch": 0.064,
      "grad_norm": 1.7814174890518188,
      "learning_rate": 4.6804444444444444e-05,
      "loss": 1.8428,
      "step": 720
    },
    {
      "epoch": 0.06408888888888889,
      "grad_norm": 2.6128861904144287,
      "learning_rate": 4.6800000000000006e-05,
      "loss": 1.7822,
      "step": 721
    },
    {
      "epoch": 0.06417777777777778,
      "grad_norm": 1.8909398317337036,
      "learning_rate": 4.679555555555556e-05,
      "loss": 1.7124,
      "step": 722
    },
    {
      "epoch": 0.06426666666666667,
      "grad_norm": 1.6844069957733154,
      "learning_rate": 4.6791111111111116e-05,
      "loss": 1.6911,
      "step": 723
    },
    {
      "epoch": 0.06435555555555555,
      "grad_norm": 1.7566250562667847,
      "learning_rate": 4.678666666666667e-05,
      "loss": 1.5167,
      "step": 724
    },
    {
      "epoch": 0.06444444444444444,
      "grad_norm": 1.803842544555664,
      "learning_rate": 4.678222222222222e-05,
      "loss": 1.5026,
      "step": 725
    },
    {
      "epoch": 0.06453333333333333,
      "grad_norm": 1.7972813844680786,
      "learning_rate": 4.677777777777778e-05,
      "loss": 1.7658,
      "step": 726
    },
    {
      "epoch": 0.06462222222222222,
      "grad_norm": 1.9382553100585938,
      "learning_rate": 4.6773333333333335e-05,
      "loss": 1.9248,
      "step": 727
    },
    {
      "epoch": 0.06471111111111111,
      "grad_norm": 2.1545162200927734,
      "learning_rate": 4.676888888888889e-05,
      "loss": 1.7122,
      "step": 728
    },
    {
      "epoch": 0.0648,
      "grad_norm": 2.2604525089263916,
      "learning_rate": 4.6764444444444445e-05,
      "loss": 1.5975,
      "step": 729
    },
    {
      "epoch": 0.06488888888888888,
      "grad_norm": 2.104280471801758,
      "learning_rate": 4.6760000000000006e-05,
      "loss": 1.8421,
      "step": 730
    },
    {
      "epoch": 0.06497777777777777,
      "grad_norm": 1.8522993326187134,
      "learning_rate": 4.675555555555556e-05,
      "loss": 1.6947,
      "step": 731
    },
    {
      "epoch": 0.06506666666666666,
      "grad_norm": 1.7798210382461548,
      "learning_rate": 4.675111111111111e-05,
      "loss": 1.6587,
      "step": 732
    },
    {
      "epoch": 0.06515555555555555,
      "grad_norm": 1.7059636116027832,
      "learning_rate": 4.6746666666666664e-05,
      "loss": 1.6387,
      "step": 733
    },
    {
      "epoch": 0.06524444444444444,
      "grad_norm": 1.9154366254806519,
      "learning_rate": 4.6742222222222226e-05,
      "loss": 2.1018,
      "step": 734
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 1.7376153469085693,
      "learning_rate": 4.673777777777778e-05,
      "loss": 1.5899,
      "step": 735
    },
    {
      "epoch": 0.06542222222222223,
      "grad_norm": 2.0861029624938965,
      "learning_rate": 4.6733333333333335e-05,
      "loss": 2.0616,
      "step": 736
    },
    {
      "epoch": 0.06551111111111112,
      "grad_norm": 2.639211416244507,
      "learning_rate": 4.672888888888889e-05,
      "loss": 1.6622,
      "step": 737
    },
    {
      "epoch": 0.0656,
      "grad_norm": 1.8029800653457642,
      "learning_rate": 4.672444444444445e-05,
      "loss": 1.864,
      "step": 738
    },
    {
      "epoch": 0.0656888888888889,
      "grad_norm": 2.34218692779541,
      "learning_rate": 4.672e-05,
      "loss": 1.7833,
      "step": 739
    },
    {
      "epoch": 0.06577777777777778,
      "grad_norm": 1.8415703773498535,
      "learning_rate": 4.6715555555555555e-05,
      "loss": 1.7425,
      "step": 740
    },
    {
      "epoch": 0.06586666666666667,
      "grad_norm": 1.8777097463607788,
      "learning_rate": 4.671111111111111e-05,
      "loss": 1.7638,
      "step": 741
    },
    {
      "epoch": 0.06595555555555556,
      "grad_norm": 1.7521787881851196,
      "learning_rate": 4.670666666666667e-05,
      "loss": 1.6401,
      "step": 742
    },
    {
      "epoch": 0.06604444444444445,
      "grad_norm": 1.9210208654403687,
      "learning_rate": 4.6702222222222226e-05,
      "loss": 1.8786,
      "step": 743
    },
    {
      "epoch": 0.06613333333333334,
      "grad_norm": 1.9121427536010742,
      "learning_rate": 4.669777777777778e-05,
      "loss": 2.0156,
      "step": 744
    },
    {
      "epoch": 0.06622222222222222,
      "grad_norm": 1.720476508140564,
      "learning_rate": 4.6693333333333336e-05,
      "loss": 1.764,
      "step": 745
    },
    {
      "epoch": 0.06631111111111111,
      "grad_norm": 1.824257493019104,
      "learning_rate": 4.668888888888889e-05,
      "loss": 1.8375,
      "step": 746
    },
    {
      "epoch": 0.0664,
      "grad_norm": 1.718619465827942,
      "learning_rate": 4.6684444444444445e-05,
      "loss": 1.6825,
      "step": 747
    },
    {
      "epoch": 0.06648888888888889,
      "grad_norm": 2.16518235206604,
      "learning_rate": 4.668e-05,
      "loss": 1.5144,
      "step": 748
    },
    {
      "epoch": 0.06657777777777778,
      "grad_norm": 1.8878432512283325,
      "learning_rate": 4.6675555555555555e-05,
      "loss": 1.8711,
      "step": 749
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 1.7592017650604248,
      "learning_rate": 4.667111111111112e-05,
      "loss": 1.8427,
      "step": 750
    },
    {
      "epoch": 0.06675555555555555,
      "grad_norm": 1.8834432363510132,
      "learning_rate": 4.666666666666667e-05,
      "loss": 1.6791,
      "step": 751
    },
    {
      "epoch": 0.06684444444444444,
      "grad_norm": 1.8360910415649414,
      "learning_rate": 4.6662222222222226e-05,
      "loss": 1.7685,
      "step": 752
    },
    {
      "epoch": 0.06693333333333333,
      "grad_norm": 1.819133996963501,
      "learning_rate": 4.665777777777778e-05,
      "loss": 1.6757,
      "step": 753
    },
    {
      "epoch": 0.06702222222222222,
      "grad_norm": 1.877692461013794,
      "learning_rate": 4.6653333333333336e-05,
      "loss": 1.9381,
      "step": 754
    },
    {
      "epoch": 0.06711111111111111,
      "grad_norm": 1.745548129081726,
      "learning_rate": 4.664888888888889e-05,
      "loss": 1.9882,
      "step": 755
    },
    {
      "epoch": 0.0672,
      "grad_norm": 2.0447030067443848,
      "learning_rate": 4.6644444444444446e-05,
      "loss": 1.7602,
      "step": 756
    },
    {
      "epoch": 0.06728888888888888,
      "grad_norm": 2.0017054080963135,
      "learning_rate": 4.664e-05,
      "loss": 1.9128,
      "step": 757
    },
    {
      "epoch": 0.06737777777777777,
      "grad_norm": 1.759933352470398,
      "learning_rate": 4.663555555555556e-05,
      "loss": 1.4615,
      "step": 758
    },
    {
      "epoch": 0.06746666666666666,
      "grad_norm": 2.0843992233276367,
      "learning_rate": 4.663111111111112e-05,
      "loss": 1.6158,
      "step": 759
    },
    {
      "epoch": 0.06755555555555555,
      "grad_norm": 1.6690988540649414,
      "learning_rate": 4.6626666666666665e-05,
      "loss": 1.9557,
      "step": 760
    },
    {
      "epoch": 0.06764444444444444,
      "grad_norm": 2.116929769515991,
      "learning_rate": 4.662222222222222e-05,
      "loss": 1.6651,
      "step": 761
    },
    {
      "epoch": 0.06773333333333334,
      "grad_norm": 1.8391751050949097,
      "learning_rate": 4.661777777777778e-05,
      "loss": 1.881,
      "step": 762
    },
    {
      "epoch": 0.06782222222222223,
      "grad_norm": 1.7760632038116455,
      "learning_rate": 4.6613333333333337e-05,
      "loss": 1.7702,
      "step": 763
    },
    {
      "epoch": 0.06791111111111112,
      "grad_norm": 1.7869960069656372,
      "learning_rate": 4.660888888888889e-05,
      "loss": 1.652,
      "step": 764
    },
    {
      "epoch": 0.068,
      "grad_norm": 1.7669458389282227,
      "learning_rate": 4.6604444444444446e-05,
      "loss": 1.8243,
      "step": 765
    },
    {
      "epoch": 0.0680888888888889,
      "grad_norm": 2.17897891998291,
      "learning_rate": 4.660000000000001e-05,
      "loss": 1.8101,
      "step": 766
    },
    {
      "epoch": 0.06817777777777778,
      "grad_norm": 1.717313289642334,
      "learning_rate": 4.6595555555555556e-05,
      "loss": 1.624,
      "step": 767
    },
    {
      "epoch": 0.06826666666666667,
      "grad_norm": 1.8530892133712769,
      "learning_rate": 4.659111111111111e-05,
      "loss": 1.8359,
      "step": 768
    },
    {
      "epoch": 0.06835555555555556,
      "grad_norm": 1.9117858409881592,
      "learning_rate": 4.6586666666666666e-05,
      "loss": 1.7471,
      "step": 769
    },
    {
      "epoch": 0.06844444444444445,
      "grad_norm": 1.7687344551086426,
      "learning_rate": 4.658222222222223e-05,
      "loss": 1.7182,
      "step": 770
    },
    {
      "epoch": 0.06853333333333333,
      "grad_norm": 1.7091695070266724,
      "learning_rate": 4.657777777777778e-05,
      "loss": 1.4751,
      "step": 771
    },
    {
      "epoch": 0.06862222222222222,
      "grad_norm": 2.630105972290039,
      "learning_rate": 4.657333333333334e-05,
      "loss": 1.8606,
      "step": 772
    },
    {
      "epoch": 0.06871111111111111,
      "grad_norm": 1.8671000003814697,
      "learning_rate": 4.656888888888889e-05,
      "loss": 1.6387,
      "step": 773
    },
    {
      "epoch": 0.0688,
      "grad_norm": 1.9149589538574219,
      "learning_rate": 4.6564444444444447e-05,
      "loss": 1.8894,
      "step": 774
    },
    {
      "epoch": 0.06888888888888889,
      "grad_norm": 1.7798734903335571,
      "learning_rate": 4.656e-05,
      "loss": 1.799,
      "step": 775
    },
    {
      "epoch": 0.06897777777777778,
      "grad_norm": 2.199193239212036,
      "learning_rate": 4.6555555555555556e-05,
      "loss": 1.7199,
      "step": 776
    },
    {
      "epoch": 0.06906666666666667,
      "grad_norm": 1.836317777633667,
      "learning_rate": 4.655111111111111e-05,
      "loss": 1.7,
      "step": 777
    },
    {
      "epoch": 0.06915555555555555,
      "grad_norm": 1.7828519344329834,
      "learning_rate": 4.6546666666666666e-05,
      "loss": 1.6593,
      "step": 778
    },
    {
      "epoch": 0.06924444444444444,
      "grad_norm": 1.830170750617981,
      "learning_rate": 4.654222222222223e-05,
      "loss": 1.5652,
      "step": 779
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 2.2235536575317383,
      "learning_rate": 4.653777777777778e-05,
      "loss": 1.567,
      "step": 780
    },
    {
      "epoch": 0.06942222222222222,
      "grad_norm": 1.766807198524475,
      "learning_rate": 4.653333333333334e-05,
      "loss": 1.5764,
      "step": 781
    },
    {
      "epoch": 0.0695111111111111,
      "grad_norm": 1.683205485343933,
      "learning_rate": 4.6528888888888885e-05,
      "loss": 1.4934,
      "step": 782
    },
    {
      "epoch": 0.0696,
      "grad_norm": 1.9304442405700684,
      "learning_rate": 4.652444444444445e-05,
      "loss": 2.0083,
      "step": 783
    },
    {
      "epoch": 0.06968888888888888,
      "grad_norm": 2.036489248275757,
      "learning_rate": 4.652e-05,
      "loss": 1.9285,
      "step": 784
    },
    {
      "epoch": 0.06977777777777777,
      "grad_norm": 1.890478491783142,
      "learning_rate": 4.651555555555556e-05,
      "loss": 1.6817,
      "step": 785
    },
    {
      "epoch": 0.06986666666666666,
      "grad_norm": 1.8593883514404297,
      "learning_rate": 4.651111111111111e-05,
      "loss": 1.6283,
      "step": 786
    },
    {
      "epoch": 0.06995555555555556,
      "grad_norm": 1.8187899589538574,
      "learning_rate": 4.650666666666667e-05,
      "loss": 1.78,
      "step": 787
    },
    {
      "epoch": 0.07004444444444445,
      "grad_norm": 1.697907567024231,
      "learning_rate": 4.650222222222223e-05,
      "loss": 1.806,
      "step": 788
    },
    {
      "epoch": 0.07013333333333334,
      "grad_norm": 2.3790812492370605,
      "learning_rate": 4.6497777777777776e-05,
      "loss": 1.9131,
      "step": 789
    },
    {
      "epoch": 0.07022222222222223,
      "grad_norm": 2.2534189224243164,
      "learning_rate": 4.649333333333333e-05,
      "loss": 1.9117,
      "step": 790
    },
    {
      "epoch": 0.07031111111111112,
      "grad_norm": 2.379180908203125,
      "learning_rate": 4.648888888888889e-05,
      "loss": 1.9685,
      "step": 791
    },
    {
      "epoch": 0.0704,
      "grad_norm": 2.1633827686309814,
      "learning_rate": 4.648444444444445e-05,
      "loss": 1.8427,
      "step": 792
    },
    {
      "epoch": 0.07048888888888889,
      "grad_norm": 2.017915964126587,
      "learning_rate": 4.648e-05,
      "loss": 1.7631,
      "step": 793
    },
    {
      "epoch": 0.07057777777777778,
      "grad_norm": 2.292017698287964,
      "learning_rate": 4.647555555555556e-05,
      "loss": 2.0416,
      "step": 794
    },
    {
      "epoch": 0.07066666666666667,
      "grad_norm": 1.8365446329116821,
      "learning_rate": 4.647111111111111e-05,
      "loss": 1.573,
      "step": 795
    },
    {
      "epoch": 0.07075555555555556,
      "grad_norm": 2.2939112186431885,
      "learning_rate": 4.646666666666667e-05,
      "loss": 1.7735,
      "step": 796
    },
    {
      "epoch": 0.07084444444444445,
      "grad_norm": 1.6685372591018677,
      "learning_rate": 4.646222222222222e-05,
      "loss": 1.5278,
      "step": 797
    },
    {
      "epoch": 0.07093333333333333,
      "grad_norm": 1.915279507637024,
      "learning_rate": 4.6457777777777776e-05,
      "loss": 1.5623,
      "step": 798
    },
    {
      "epoch": 0.07102222222222222,
      "grad_norm": 1.9921220541000366,
      "learning_rate": 4.645333333333334e-05,
      "loss": 1.7196,
      "step": 799
    },
    {
      "epoch": 0.07111111111111111,
      "grad_norm": 2.2452523708343506,
      "learning_rate": 4.644888888888889e-05,
      "loss": 1.6467,
      "step": 800
    },
    {
      "epoch": 0.0712,
      "grad_norm": 1.9728636741638184,
      "learning_rate": 4.644444444444445e-05,
      "loss": 1.7634,
      "step": 801
    },
    {
      "epoch": 0.07128888888888889,
      "grad_norm": 1.8181565999984741,
      "learning_rate": 4.644e-05,
      "loss": 1.6325,
      "step": 802
    },
    {
      "epoch": 0.07137777777777778,
      "grad_norm": 1.7918800115585327,
      "learning_rate": 4.643555555555556e-05,
      "loss": 1.6443,
      "step": 803
    },
    {
      "epoch": 0.07146666666666666,
      "grad_norm": 2.2395317554473877,
      "learning_rate": 4.643111111111111e-05,
      "loss": 2.0818,
      "step": 804
    },
    {
      "epoch": 0.07155555555555555,
      "grad_norm": 1.9730108976364136,
      "learning_rate": 4.642666666666667e-05,
      "loss": 1.5832,
      "step": 805
    },
    {
      "epoch": 0.07164444444444444,
      "grad_norm": 1.777357816696167,
      "learning_rate": 4.642222222222222e-05,
      "loss": 1.5068,
      "step": 806
    },
    {
      "epoch": 0.07173333333333333,
      "grad_norm": 2.293198347091675,
      "learning_rate": 4.6417777777777784e-05,
      "loss": 1.749,
      "step": 807
    },
    {
      "epoch": 0.07182222222222222,
      "grad_norm": 2.509164810180664,
      "learning_rate": 4.641333333333334e-05,
      "loss": 1.9815,
      "step": 808
    },
    {
      "epoch": 0.0719111111111111,
      "grad_norm": 1.6034505367279053,
      "learning_rate": 4.640888888888889e-05,
      "loss": 1.595,
      "step": 809
    },
    {
      "epoch": 0.072,
      "grad_norm": 2.343954563140869,
      "learning_rate": 4.640444444444445e-05,
      "loss": 1.8232,
      "step": 810
    },
    {
      "epoch": 0.07208888888888888,
      "grad_norm": 1.7787021398544312,
      "learning_rate": 4.64e-05,
      "loss": 1.687,
      "step": 811
    },
    {
      "epoch": 0.07217777777777777,
      "grad_norm": 1.8147923946380615,
      "learning_rate": 4.639555555555556e-05,
      "loss": 1.4264,
      "step": 812
    },
    {
      "epoch": 0.07226666666666667,
      "grad_norm": 1.7601511478424072,
      "learning_rate": 4.639111111111111e-05,
      "loss": 1.7595,
      "step": 813
    },
    {
      "epoch": 0.07235555555555556,
      "grad_norm": 1.7851064205169678,
      "learning_rate": 4.638666666666667e-05,
      "loss": 1.7241,
      "step": 814
    },
    {
      "epoch": 0.07244444444444445,
      "grad_norm": 1.6383739709854126,
      "learning_rate": 4.638222222222223e-05,
      "loss": 1.6305,
      "step": 815
    },
    {
      "epoch": 0.07253333333333334,
      "grad_norm": 2.303173780441284,
      "learning_rate": 4.6377777777777784e-05,
      "loss": 1.7522,
      "step": 816
    },
    {
      "epoch": 0.07262222222222223,
      "grad_norm": 1.7877241373062134,
      "learning_rate": 4.637333333333333e-05,
      "loss": 1.4766,
      "step": 817
    },
    {
      "epoch": 0.07271111111111112,
      "grad_norm": 1.851300835609436,
      "learning_rate": 4.636888888888889e-05,
      "loss": 1.8493,
      "step": 818
    },
    {
      "epoch": 0.0728,
      "grad_norm": 2.005230665206909,
      "learning_rate": 4.636444444444445e-05,
      "loss": 2.0522,
      "step": 819
    },
    {
      "epoch": 0.07288888888888889,
      "grad_norm": 1.8229879140853882,
      "learning_rate": 4.636e-05,
      "loss": 1.5407,
      "step": 820
    },
    {
      "epoch": 0.07297777777777778,
      "grad_norm": 3.1608409881591797,
      "learning_rate": 4.635555555555556e-05,
      "loss": 2.1538,
      "step": 821
    },
    {
      "epoch": 0.07306666666666667,
      "grad_norm": 2.0028762817382812,
      "learning_rate": 4.635111111111111e-05,
      "loss": 1.9072,
      "step": 822
    },
    {
      "epoch": 0.07315555555555556,
      "grad_norm": 1.8335994482040405,
      "learning_rate": 4.6346666666666675e-05,
      "loss": 1.6998,
      "step": 823
    },
    {
      "epoch": 0.07324444444444445,
      "grad_norm": 1.6418665647506714,
      "learning_rate": 4.634222222222222e-05,
      "loss": 1.4811,
      "step": 824
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 1.9920339584350586,
      "learning_rate": 4.633777777777778e-05,
      "loss": 1.7492,
      "step": 825
    },
    {
      "epoch": 0.07342222222222222,
      "grad_norm": 1.872725486755371,
      "learning_rate": 4.633333333333333e-05,
      "loss": 1.7701,
      "step": 826
    },
    {
      "epoch": 0.07351111111111111,
      "grad_norm": 1.9301846027374268,
      "learning_rate": 4.632888888888889e-05,
      "loss": 1.946,
      "step": 827
    },
    {
      "epoch": 0.0736,
      "grad_norm": 1.8177533149719238,
      "learning_rate": 4.632444444444445e-05,
      "loss": 1.855,
      "step": 828
    },
    {
      "epoch": 0.07368888888888889,
      "grad_norm": 1.8046010732650757,
      "learning_rate": 4.6320000000000004e-05,
      "loss": 1.92,
      "step": 829
    },
    {
      "epoch": 0.07377777777777778,
      "grad_norm": 1.7419146299362183,
      "learning_rate": 4.631555555555556e-05,
      "loss": 1.6122,
      "step": 830
    },
    {
      "epoch": 0.07386666666666666,
      "grad_norm": 1.6764612197875977,
      "learning_rate": 4.6311111111111113e-05,
      "loss": 1.8259,
      "step": 831
    },
    {
      "epoch": 0.07395555555555555,
      "grad_norm": 1.887673258781433,
      "learning_rate": 4.630666666666667e-05,
      "loss": 1.7324,
      "step": 832
    },
    {
      "epoch": 0.07404444444444444,
      "grad_norm": 2.4330976009368896,
      "learning_rate": 4.630222222222222e-05,
      "loss": 1.7621,
      "step": 833
    },
    {
      "epoch": 0.07413333333333333,
      "grad_norm": 2.20937180519104,
      "learning_rate": 4.629777777777778e-05,
      "loss": 1.7685,
      "step": 834
    },
    {
      "epoch": 0.07422222222222222,
      "grad_norm": 1.8888441324234009,
      "learning_rate": 4.629333333333333e-05,
      "loss": 1.5814,
      "step": 835
    },
    {
      "epoch": 0.0743111111111111,
      "grad_norm": 1.7604256868362427,
      "learning_rate": 4.6288888888888894e-05,
      "loss": 1.5856,
      "step": 836
    },
    {
      "epoch": 0.0744,
      "grad_norm": 2.1432831287384033,
      "learning_rate": 4.628444444444445e-05,
      "loss": 1.728,
      "step": 837
    },
    {
      "epoch": 0.07448888888888888,
      "grad_norm": 2.6927847862243652,
      "learning_rate": 4.6280000000000004e-05,
      "loss": 1.7517,
      "step": 838
    },
    {
      "epoch": 0.07457777777777778,
      "grad_norm": 1.7096604108810425,
      "learning_rate": 4.627555555555555e-05,
      "loss": 1.7517,
      "step": 839
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 2.384692430496216,
      "learning_rate": 4.6271111111111114e-05,
      "loss": 1.5913,
      "step": 840
    },
    {
      "epoch": 0.07475555555555556,
      "grad_norm": 1.737297773361206,
      "learning_rate": 4.626666666666667e-05,
      "loss": 1.8409,
      "step": 841
    },
    {
      "epoch": 0.07484444444444445,
      "grad_norm": 1.8806445598602295,
      "learning_rate": 4.6262222222222224e-05,
      "loss": 1.5775,
      "step": 842
    },
    {
      "epoch": 0.07493333333333334,
      "grad_norm": 2.2542481422424316,
      "learning_rate": 4.625777777777778e-05,
      "loss": 1.7342,
      "step": 843
    },
    {
      "epoch": 0.07502222222222223,
      "grad_norm": 2.2603328227996826,
      "learning_rate": 4.625333333333334e-05,
      "loss": 1.7489,
      "step": 844
    },
    {
      "epoch": 0.07511111111111111,
      "grad_norm": 1.7140673398971558,
      "learning_rate": 4.6248888888888895e-05,
      "loss": 1.7698,
      "step": 845
    },
    {
      "epoch": 0.0752,
      "grad_norm": 2.099975347518921,
      "learning_rate": 4.624444444444444e-05,
      "loss": 1.9509,
      "step": 846
    },
    {
      "epoch": 0.07528888888888889,
      "grad_norm": 2.2107439041137695,
      "learning_rate": 4.624e-05,
      "loss": 1.6601,
      "step": 847
    },
    {
      "epoch": 0.07537777777777778,
      "grad_norm": 1.8548864126205444,
      "learning_rate": 4.623555555555556e-05,
      "loss": 1.6794,
      "step": 848
    },
    {
      "epoch": 0.07546666666666667,
      "grad_norm": 1.550201177597046,
      "learning_rate": 4.6231111111111114e-05,
      "loss": 1.7156,
      "step": 849
    },
    {
      "epoch": 0.07555555555555556,
      "grad_norm": 1.9777815341949463,
      "learning_rate": 4.622666666666667e-05,
      "loss": 1.684,
      "step": 850
    },
    {
      "epoch": 0.07564444444444444,
      "grad_norm": 1.6308718919754028,
      "learning_rate": 4.6222222222222224e-05,
      "loss": 1.656,
      "step": 851
    },
    {
      "epoch": 0.07573333333333333,
      "grad_norm": 2.2429358959198,
      "learning_rate": 4.621777777777778e-05,
      "loss": 1.7945,
      "step": 852
    },
    {
      "epoch": 0.07582222222222222,
      "grad_norm": 1.770026683807373,
      "learning_rate": 4.6213333333333334e-05,
      "loss": 1.5179,
      "step": 853
    },
    {
      "epoch": 0.07591111111111111,
      "grad_norm": 1.716023325920105,
      "learning_rate": 4.620888888888889e-05,
      "loss": 1.7273,
      "step": 854
    },
    {
      "epoch": 0.076,
      "grad_norm": 1.6671861410140991,
      "learning_rate": 4.620444444444444e-05,
      "loss": 1.9418,
      "step": 855
    },
    {
      "epoch": 0.07608888888888889,
      "grad_norm": 1.872407078742981,
      "learning_rate": 4.6200000000000005e-05,
      "loss": 1.8327,
      "step": 856
    },
    {
      "epoch": 0.07617777777777777,
      "grad_norm": 2.581648111343384,
      "learning_rate": 4.619555555555556e-05,
      "loss": 2.0623,
      "step": 857
    },
    {
      "epoch": 0.07626666666666666,
      "grad_norm": 1.65298330783844,
      "learning_rate": 4.6191111111111115e-05,
      "loss": 1.4466,
      "step": 858
    },
    {
      "epoch": 0.07635555555555555,
      "grad_norm": 1.9172234535217285,
      "learning_rate": 4.618666666666667e-05,
      "loss": 1.8767,
      "step": 859
    },
    {
      "epoch": 0.07644444444444444,
      "grad_norm": 1.8289750814437866,
      "learning_rate": 4.6182222222222224e-05,
      "loss": 1.7055,
      "step": 860
    },
    {
      "epoch": 0.07653333333333333,
      "grad_norm": 2.1824560165405273,
      "learning_rate": 4.617777777777778e-05,
      "loss": 1.8809,
      "step": 861
    },
    {
      "epoch": 0.07662222222222222,
      "grad_norm": 2.4516732692718506,
      "learning_rate": 4.6173333333333334e-05,
      "loss": 1.9822,
      "step": 862
    },
    {
      "epoch": 0.0767111111111111,
      "grad_norm": 2.3021037578582764,
      "learning_rate": 4.616888888888889e-05,
      "loss": 1.815,
      "step": 863
    },
    {
      "epoch": 0.0768,
      "grad_norm": 2.006070852279663,
      "learning_rate": 4.616444444444445e-05,
      "loss": 1.5823,
      "step": 864
    },
    {
      "epoch": 0.0768888888888889,
      "grad_norm": 1.7218281030654907,
      "learning_rate": 4.6160000000000005e-05,
      "loss": 1.7154,
      "step": 865
    },
    {
      "epoch": 0.07697777777777778,
      "grad_norm": 1.5758180618286133,
      "learning_rate": 4.615555555555556e-05,
      "loss": 1.5319,
      "step": 866
    },
    {
      "epoch": 0.07706666666666667,
      "grad_norm": 1.9119420051574707,
      "learning_rate": 4.6151111111111115e-05,
      "loss": 1.8127,
      "step": 867
    },
    {
      "epoch": 0.07715555555555556,
      "grad_norm": 1.8252604007720947,
      "learning_rate": 4.614666666666667e-05,
      "loss": 1.7348,
      "step": 868
    },
    {
      "epoch": 0.07724444444444445,
      "grad_norm": 2.677936315536499,
      "learning_rate": 4.6142222222222225e-05,
      "loss": 1.8862,
      "step": 869
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 1.7399643659591675,
      "learning_rate": 4.613777777777778e-05,
      "loss": 1.7068,
      "step": 870
    },
    {
      "epoch": 0.07742222222222223,
      "grad_norm": 1.70479416847229,
      "learning_rate": 4.6133333333333334e-05,
      "loss": 1.6468,
      "step": 871
    },
    {
      "epoch": 0.07751111111111111,
      "grad_norm": 1.9030345678329468,
      "learning_rate": 4.6128888888888896e-05,
      "loss": 1.7084,
      "step": 872
    },
    {
      "epoch": 0.0776,
      "grad_norm": 2.124995231628418,
      "learning_rate": 4.612444444444445e-05,
      "loss": 1.7637,
      "step": 873
    },
    {
      "epoch": 0.07768888888888889,
      "grad_norm": 1.8305836915969849,
      "learning_rate": 4.612e-05,
      "loss": 1.7137,
      "step": 874
    },
    {
      "epoch": 0.07777777777777778,
      "grad_norm": 1.904630422592163,
      "learning_rate": 4.6115555555555554e-05,
      "loss": 1.6847,
      "step": 875
    },
    {
      "epoch": 0.07786666666666667,
      "grad_norm": 1.683030128479004,
      "learning_rate": 4.6111111111111115e-05,
      "loss": 1.7174,
      "step": 876
    },
    {
      "epoch": 0.07795555555555556,
      "grad_norm": 1.9725549221038818,
      "learning_rate": 4.610666666666667e-05,
      "loss": 1.869,
      "step": 877
    },
    {
      "epoch": 0.07804444444444444,
      "grad_norm": 1.7359970808029175,
      "learning_rate": 4.6102222222222225e-05,
      "loss": 1.6864,
      "step": 878
    },
    {
      "epoch": 0.07813333333333333,
      "grad_norm": 1.6914045810699463,
      "learning_rate": 4.609777777777778e-05,
      "loss": 1.5164,
      "step": 879
    },
    {
      "epoch": 0.07822222222222222,
      "grad_norm": 2.43082332611084,
      "learning_rate": 4.6093333333333335e-05,
      "loss": 1.7792,
      "step": 880
    },
    {
      "epoch": 0.07831111111111111,
      "grad_norm": 2.021160364151001,
      "learning_rate": 4.608888888888889e-05,
      "loss": 1.7778,
      "step": 881
    },
    {
      "epoch": 0.0784,
      "grad_norm": 1.9083783626556396,
      "learning_rate": 4.6084444444444444e-05,
      "loss": 1.7351,
      "step": 882
    },
    {
      "epoch": 0.07848888888888889,
      "grad_norm": 1.9727402925491333,
      "learning_rate": 4.608e-05,
      "loss": 1.6201,
      "step": 883
    },
    {
      "epoch": 0.07857777777777777,
      "grad_norm": 1.7628381252288818,
      "learning_rate": 4.6075555555555554e-05,
      "loss": 1.7338,
      "step": 884
    },
    {
      "epoch": 0.07866666666666666,
      "grad_norm": 1.790013313293457,
      "learning_rate": 4.6071111111111116e-05,
      "loss": 1.4997,
      "step": 885
    },
    {
      "epoch": 0.07875555555555555,
      "grad_norm": 1.9642763137817383,
      "learning_rate": 4.606666666666667e-05,
      "loss": 1.6295,
      "step": 886
    },
    {
      "epoch": 0.07884444444444444,
      "grad_norm": 2.3912711143493652,
      "learning_rate": 4.6062222222222225e-05,
      "loss": 1.8907,
      "step": 887
    },
    {
      "epoch": 0.07893333333333333,
      "grad_norm": 1.7771434783935547,
      "learning_rate": 4.605777777777778e-05,
      "loss": 1.7462,
      "step": 888
    },
    {
      "epoch": 0.07902222222222222,
      "grad_norm": 1.7780518531799316,
      "learning_rate": 4.6053333333333335e-05,
      "loss": 1.9962,
      "step": 889
    },
    {
      "epoch": 0.0791111111111111,
      "grad_norm": 1.7381876707077026,
      "learning_rate": 4.604888888888889e-05,
      "loss": 1.8376,
      "step": 890
    },
    {
      "epoch": 0.0792,
      "grad_norm": 1.7704192399978638,
      "learning_rate": 4.6044444444444445e-05,
      "loss": 1.7344,
      "step": 891
    },
    {
      "epoch": 0.0792888888888889,
      "grad_norm": 1.5913751125335693,
      "learning_rate": 4.604e-05,
      "loss": 1.511,
      "step": 892
    },
    {
      "epoch": 0.07937777777777778,
      "grad_norm": 1.6860185861587524,
      "learning_rate": 4.603555555555556e-05,
      "loss": 1.7573,
      "step": 893
    },
    {
      "epoch": 0.07946666666666667,
      "grad_norm": 1.6432592868804932,
      "learning_rate": 4.6031111111111116e-05,
      "loss": 1.6079,
      "step": 894
    },
    {
      "epoch": 0.07955555555555556,
      "grad_norm": 1.8848241567611694,
      "learning_rate": 4.602666666666667e-05,
      "loss": 1.887,
      "step": 895
    },
    {
      "epoch": 0.07964444444444445,
      "grad_norm": 1.7464321851730347,
      "learning_rate": 4.602222222222222e-05,
      "loss": 1.6385,
      "step": 896
    },
    {
      "epoch": 0.07973333333333334,
      "grad_norm": 1.7091041803359985,
      "learning_rate": 4.601777777777778e-05,
      "loss": 1.8287,
      "step": 897
    },
    {
      "epoch": 0.07982222222222222,
      "grad_norm": 1.8297383785247803,
      "learning_rate": 4.6013333333333336e-05,
      "loss": 1.6959,
      "step": 898
    },
    {
      "epoch": 0.07991111111111111,
      "grad_norm": 2.633305549621582,
      "learning_rate": 4.600888888888889e-05,
      "loss": 1.8712,
      "step": 899
    },
    {
      "epoch": 0.08,
      "grad_norm": 1.766642689704895,
      "learning_rate": 4.6004444444444445e-05,
      "loss": 1.7234,
      "step": 900
    },
    {
      "epoch": 0.08008888888888889,
      "grad_norm": 1.7001771926879883,
      "learning_rate": 4.600000000000001e-05,
      "loss": 1.6428,
      "step": 901
    },
    {
      "epoch": 0.08017777777777778,
      "grad_norm": 1.8905112743377686,
      "learning_rate": 4.599555555555556e-05,
      "loss": 1.84,
      "step": 902
    },
    {
      "epoch": 0.08026666666666667,
      "grad_norm": 2.126849412918091,
      "learning_rate": 4.599111111111111e-05,
      "loss": 1.8472,
      "step": 903
    },
    {
      "epoch": 0.08035555555555556,
      "grad_norm": 1.879601001739502,
      "learning_rate": 4.5986666666666665e-05,
      "loss": 1.7857,
      "step": 904
    },
    {
      "epoch": 0.08044444444444444,
      "grad_norm": 2.059573173522949,
      "learning_rate": 4.5982222222222226e-05,
      "loss": 1.6678,
      "step": 905
    },
    {
      "epoch": 0.08053333333333333,
      "grad_norm": 2.145641326904297,
      "learning_rate": 4.597777777777778e-05,
      "loss": 1.7689,
      "step": 906
    },
    {
      "epoch": 0.08062222222222222,
      "grad_norm": 1.8537466526031494,
      "learning_rate": 4.5973333333333336e-05,
      "loss": 1.7792,
      "step": 907
    },
    {
      "epoch": 0.08071111111111111,
      "grad_norm": 2.2172293663024902,
      "learning_rate": 4.596888888888889e-05,
      "loss": 1.7042,
      "step": 908
    },
    {
      "epoch": 0.0808,
      "grad_norm": 1.8694065809249878,
      "learning_rate": 4.5964444444444446e-05,
      "loss": 1.8372,
      "step": 909
    },
    {
      "epoch": 0.08088888888888889,
      "grad_norm": 1.669746994972229,
      "learning_rate": 4.596e-05,
      "loss": 1.6926,
      "step": 910
    },
    {
      "epoch": 0.08097777777777777,
      "grad_norm": 2.301201105117798,
      "learning_rate": 4.5955555555555555e-05,
      "loss": 1.8894,
      "step": 911
    },
    {
      "epoch": 0.08106666666666666,
      "grad_norm": 2.0420405864715576,
      "learning_rate": 4.595111111111111e-05,
      "loss": 1.7251,
      "step": 912
    },
    {
      "epoch": 0.08115555555555555,
      "grad_norm": 1.7051938772201538,
      "learning_rate": 4.594666666666667e-05,
      "loss": 1.6211,
      "step": 913
    },
    {
      "epoch": 0.08124444444444444,
      "grad_norm": 1.8482534885406494,
      "learning_rate": 4.5942222222222227e-05,
      "loss": 1.5926,
      "step": 914
    },
    {
      "epoch": 0.08133333333333333,
      "grad_norm": 2.030660390853882,
      "learning_rate": 4.593777777777778e-05,
      "loss": 1.67,
      "step": 915
    },
    {
      "epoch": 0.08142222222222223,
      "grad_norm": 1.7210090160369873,
      "learning_rate": 4.5933333333333336e-05,
      "loss": 1.758,
      "step": 916
    },
    {
      "epoch": 0.08151111111111112,
      "grad_norm": 1.8851399421691895,
      "learning_rate": 4.592888888888889e-05,
      "loss": 1.6671,
      "step": 917
    },
    {
      "epoch": 0.0816,
      "grad_norm": 1.7393856048583984,
      "learning_rate": 4.5924444444444446e-05,
      "loss": 1.6252,
      "step": 918
    },
    {
      "epoch": 0.0816888888888889,
      "grad_norm": 1.680110216140747,
      "learning_rate": 4.592e-05,
      "loss": 1.6286,
      "step": 919
    },
    {
      "epoch": 0.08177777777777778,
      "grad_norm": 1.7941973209381104,
      "learning_rate": 4.5915555555555556e-05,
      "loss": 1.7174,
      "step": 920
    },
    {
      "epoch": 0.08186666666666667,
      "grad_norm": 2.0747218132019043,
      "learning_rate": 4.591111111111112e-05,
      "loss": 2.0269,
      "step": 921
    },
    {
      "epoch": 0.08195555555555556,
      "grad_norm": 1.5676755905151367,
      "learning_rate": 4.590666666666667e-05,
      "loss": 1.6528,
      "step": 922
    },
    {
      "epoch": 0.08204444444444445,
      "grad_norm": 1.810001015663147,
      "learning_rate": 4.590222222222223e-05,
      "loss": 1.7174,
      "step": 923
    },
    {
      "epoch": 0.08213333333333334,
      "grad_norm": 1.8656752109527588,
      "learning_rate": 4.589777777777778e-05,
      "loss": 1.8497,
      "step": 924
    },
    {
      "epoch": 0.08222222222222222,
      "grad_norm": 1.8953229188919067,
      "learning_rate": 4.589333333333334e-05,
      "loss": 1.8069,
      "step": 925
    },
    {
      "epoch": 0.08231111111111111,
      "grad_norm": 1.8127167224884033,
      "learning_rate": 4.588888888888889e-05,
      "loss": 1.7757,
      "step": 926
    },
    {
      "epoch": 0.0824,
      "grad_norm": 2.1840109825134277,
      "learning_rate": 4.5884444444444446e-05,
      "loss": 1.8356,
      "step": 927
    },
    {
      "epoch": 0.08248888888888889,
      "grad_norm": 1.8148281574249268,
      "learning_rate": 4.588e-05,
      "loss": 1.6957,
      "step": 928
    },
    {
      "epoch": 0.08257777777777778,
      "grad_norm": 1.920742392539978,
      "learning_rate": 4.587555555555556e-05,
      "loss": 2.2014,
      "step": 929
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 1.8577333688735962,
      "learning_rate": 4.587111111111112e-05,
      "loss": 1.8692,
      "step": 930
    },
    {
      "epoch": 0.08275555555555555,
      "grad_norm": 1.759806752204895,
      "learning_rate": 4.5866666666666666e-05,
      "loss": 1.7576,
      "step": 931
    },
    {
      "epoch": 0.08284444444444444,
      "grad_norm": 1.8651034832000732,
      "learning_rate": 4.586222222222222e-05,
      "loss": 1.4732,
      "step": 932
    },
    {
      "epoch": 0.08293333333333333,
      "grad_norm": 1.6709760427474976,
      "learning_rate": 4.5857777777777775e-05,
      "loss": 1.8841,
      "step": 933
    },
    {
      "epoch": 0.08302222222222222,
      "grad_norm": 1.7289248704910278,
      "learning_rate": 4.585333333333334e-05,
      "loss": 1.6958,
      "step": 934
    },
    {
      "epoch": 0.08311111111111111,
      "grad_norm": 1.5647832155227661,
      "learning_rate": 4.584888888888889e-05,
      "loss": 1.551,
      "step": 935
    },
    {
      "epoch": 0.0832,
      "grad_norm": 1.6624135971069336,
      "learning_rate": 4.584444444444445e-05,
      "loss": 1.8044,
      "step": 936
    },
    {
      "epoch": 0.08328888888888888,
      "grad_norm": 1.989345908164978,
      "learning_rate": 4.584e-05,
      "loss": 1.794,
      "step": 937
    },
    {
      "epoch": 0.08337777777777777,
      "grad_norm": 1.8719054460525513,
      "learning_rate": 4.5835555555555556e-05,
      "loss": 1.7318,
      "step": 938
    },
    {
      "epoch": 0.08346666666666666,
      "grad_norm": 1.822363257408142,
      "learning_rate": 4.583111111111111e-05,
      "loss": 1.7182,
      "step": 939
    },
    {
      "epoch": 0.08355555555555555,
      "grad_norm": 1.9111642837524414,
      "learning_rate": 4.5826666666666666e-05,
      "loss": 1.7649,
      "step": 940
    },
    {
      "epoch": 0.08364444444444444,
      "grad_norm": 2.070913314819336,
      "learning_rate": 4.582222222222222e-05,
      "loss": 1.7407,
      "step": 941
    },
    {
      "epoch": 0.08373333333333334,
      "grad_norm": 2.634265422821045,
      "learning_rate": 4.581777777777778e-05,
      "loss": 1.936,
      "step": 942
    },
    {
      "epoch": 0.08382222222222223,
      "grad_norm": 1.9498724937438965,
      "learning_rate": 4.581333333333334e-05,
      "loss": 1.7178,
      "step": 943
    },
    {
      "epoch": 0.08391111111111112,
      "grad_norm": 2.397857189178467,
      "learning_rate": 4.580888888888889e-05,
      "loss": 1.7753,
      "step": 944
    },
    {
      "epoch": 0.084,
      "grad_norm": 1.972139596939087,
      "learning_rate": 4.580444444444445e-05,
      "loss": 1.6975,
      "step": 945
    },
    {
      "epoch": 0.0840888888888889,
      "grad_norm": 1.8478184938430786,
      "learning_rate": 4.58e-05,
      "loss": 1.756,
      "step": 946
    },
    {
      "epoch": 0.08417777777777778,
      "grad_norm": 1.72000253200531,
      "learning_rate": 4.579555555555556e-05,
      "loss": 1.5645,
      "step": 947
    },
    {
      "epoch": 0.08426666666666667,
      "grad_norm": 1.9925684928894043,
      "learning_rate": 4.579111111111111e-05,
      "loss": 1.732,
      "step": 948
    },
    {
      "epoch": 0.08435555555555556,
      "grad_norm": 2.1739354133605957,
      "learning_rate": 4.5786666666666666e-05,
      "loss": 1.6835,
      "step": 949
    },
    {
      "epoch": 0.08444444444444445,
      "grad_norm": 1.8097096681594849,
      "learning_rate": 4.578222222222223e-05,
      "loss": 1.6987,
      "step": 950
    },
    {
      "epoch": 0.08453333333333334,
      "grad_norm": 1.9070158004760742,
      "learning_rate": 4.577777777777778e-05,
      "loss": 1.838,
      "step": 951
    },
    {
      "epoch": 0.08462222222222222,
      "grad_norm": 1.5872794389724731,
      "learning_rate": 4.577333333333334e-05,
      "loss": 1.6131,
      "step": 952
    },
    {
      "epoch": 0.08471111111111111,
      "grad_norm": 1.7562499046325684,
      "learning_rate": 4.5768888888888886e-05,
      "loss": 1.7236,
      "step": 953
    },
    {
      "epoch": 0.0848,
      "grad_norm": 2.403965711593628,
      "learning_rate": 4.576444444444445e-05,
      "loss": 1.8606,
      "step": 954
    },
    {
      "epoch": 0.08488888888888889,
      "grad_norm": 2.0820159912109375,
      "learning_rate": 4.576e-05,
      "loss": 1.8956,
      "step": 955
    },
    {
      "epoch": 0.08497777777777778,
      "grad_norm": 1.7672358751296997,
      "learning_rate": 4.575555555555556e-05,
      "loss": 1.6323,
      "step": 956
    },
    {
      "epoch": 0.08506666666666667,
      "grad_norm": 1.6846853494644165,
      "learning_rate": 4.575111111111111e-05,
      "loss": 1.7107,
      "step": 957
    },
    {
      "epoch": 0.08515555555555555,
      "grad_norm": 1.7985165119171143,
      "learning_rate": 4.5746666666666674e-05,
      "loss": 1.6041,
      "step": 958
    },
    {
      "epoch": 0.08524444444444444,
      "grad_norm": 2.247020721435547,
      "learning_rate": 4.574222222222223e-05,
      "loss": 1.5834,
      "step": 959
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 2.273916721343994,
      "learning_rate": 4.5737777777777777e-05,
      "loss": 1.7026,
      "step": 960
    },
    {
      "epoch": 0.08542222222222222,
      "grad_norm": 1.7461365461349487,
      "learning_rate": 4.573333333333333e-05,
      "loss": 1.7813,
      "step": 961
    },
    {
      "epoch": 0.08551111111111111,
      "grad_norm": 1.7146276235580444,
      "learning_rate": 4.572888888888889e-05,
      "loss": 1.7084,
      "step": 962
    },
    {
      "epoch": 0.0856,
      "grad_norm": 1.5852853059768677,
      "learning_rate": 4.572444444444445e-05,
      "loss": 1.5382,
      "step": 963
    },
    {
      "epoch": 0.08568888888888888,
      "grad_norm": 2.0793955326080322,
      "learning_rate": 4.572e-05,
      "loss": 1.6439,
      "step": 964
    },
    {
      "epoch": 0.08577777777777777,
      "grad_norm": 2.241729259490967,
      "learning_rate": 4.571555555555556e-05,
      "loss": 1.6912,
      "step": 965
    },
    {
      "epoch": 0.08586666666666666,
      "grad_norm": 1.95066499710083,
      "learning_rate": 4.571111111111111e-05,
      "loss": 1.8061,
      "step": 966
    },
    {
      "epoch": 0.08595555555555555,
      "grad_norm": 2.128113269805908,
      "learning_rate": 4.570666666666667e-05,
      "loss": 1.6547,
      "step": 967
    },
    {
      "epoch": 0.08604444444444445,
      "grad_norm": 1.759483814239502,
      "learning_rate": 4.570222222222222e-05,
      "loss": 1.8633,
      "step": 968
    },
    {
      "epoch": 0.08613333333333334,
      "grad_norm": 1.6784156560897827,
      "learning_rate": 4.569777777777778e-05,
      "loss": 1.6686,
      "step": 969
    },
    {
      "epoch": 0.08622222222222223,
      "grad_norm": 2.104440927505493,
      "learning_rate": 4.569333333333334e-05,
      "loss": 1.841,
      "step": 970
    },
    {
      "epoch": 0.08631111111111112,
      "grad_norm": 1.8019826412200928,
      "learning_rate": 4.5688888888888893e-05,
      "loss": 1.9547,
      "step": 971
    },
    {
      "epoch": 0.0864,
      "grad_norm": 2.0405046939849854,
      "learning_rate": 4.568444444444445e-05,
      "loss": 1.6101,
      "step": 972
    },
    {
      "epoch": 0.08648888888888889,
      "grad_norm": 1.5931226015090942,
      "learning_rate": 4.568e-05,
      "loss": 1.6085,
      "step": 973
    },
    {
      "epoch": 0.08657777777777778,
      "grad_norm": 2.1076571941375732,
      "learning_rate": 4.567555555555556e-05,
      "loss": 1.7221,
      "step": 974
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 1.7985386848449707,
      "learning_rate": 4.567111111111111e-05,
      "loss": 1.645,
      "step": 975
    },
    {
      "epoch": 0.08675555555555556,
      "grad_norm": 1.751739740371704,
      "learning_rate": 4.566666666666667e-05,
      "loss": 1.7652,
      "step": 976
    },
    {
      "epoch": 0.08684444444444445,
      "grad_norm": 1.802988886833191,
      "learning_rate": 4.566222222222222e-05,
      "loss": 1.6569,
      "step": 977
    },
    {
      "epoch": 0.08693333333333333,
      "grad_norm": 1.9688591957092285,
      "learning_rate": 4.5657777777777784e-05,
      "loss": 1.6557,
      "step": 978
    },
    {
      "epoch": 0.08702222222222222,
      "grad_norm": 1.90666663646698,
      "learning_rate": 4.565333333333334e-05,
      "loss": 1.7373,
      "step": 979
    },
    {
      "epoch": 0.08711111111111111,
      "grad_norm": 1.776668906211853,
      "learning_rate": 4.5648888888888894e-05,
      "loss": 1.6862,
      "step": 980
    },
    {
      "epoch": 0.0872,
      "grad_norm": 1.8406366109848022,
      "learning_rate": 4.564444444444444e-05,
      "loss": 1.7151,
      "step": 981
    },
    {
      "epoch": 0.08728888888888889,
      "grad_norm": 1.8545067310333252,
      "learning_rate": 4.564e-05,
      "loss": 1.6362,
      "step": 982
    },
    {
      "epoch": 0.08737777777777778,
      "grad_norm": 2.20467209815979,
      "learning_rate": 4.563555555555556e-05,
      "loss": 1.8659,
      "step": 983
    },
    {
      "epoch": 0.08746666666666666,
      "grad_norm": 1.8996535539627075,
      "learning_rate": 4.563111111111111e-05,
      "loss": 1.7181,
      "step": 984
    },
    {
      "epoch": 0.08755555555555555,
      "grad_norm": 1.8641012907028198,
      "learning_rate": 4.562666666666667e-05,
      "loss": 1.6684,
      "step": 985
    },
    {
      "epoch": 0.08764444444444444,
      "grad_norm": 1.9091441631317139,
      "learning_rate": 4.562222222222222e-05,
      "loss": 1.634,
      "step": 986
    },
    {
      "epoch": 0.08773333333333333,
      "grad_norm": 1.5799766778945923,
      "learning_rate": 4.5617777777777784e-05,
      "loss": 1.5991,
      "step": 987
    },
    {
      "epoch": 0.08782222222222222,
      "grad_norm": 1.7131404876708984,
      "learning_rate": 4.561333333333333e-05,
      "loss": 1.7435,
      "step": 988
    },
    {
      "epoch": 0.0879111111111111,
      "grad_norm": 2.1352791786193848,
      "learning_rate": 4.560888888888889e-05,
      "loss": 1.4657,
      "step": 989
    },
    {
      "epoch": 0.088,
      "grad_norm": 2.0104405879974365,
      "learning_rate": 4.560444444444444e-05,
      "loss": 1.7723,
      "step": 990
    },
    {
      "epoch": 0.08808888888888888,
      "grad_norm": 1.822351098060608,
      "learning_rate": 4.5600000000000004e-05,
      "loss": 1.6042,
      "step": 991
    },
    {
      "epoch": 0.08817777777777777,
      "grad_norm": 2.132277250289917,
      "learning_rate": 4.559555555555556e-05,
      "loss": 1.9585,
      "step": 992
    },
    {
      "epoch": 0.08826666666666666,
      "grad_norm": 1.9097074270248413,
      "learning_rate": 4.5591111111111114e-05,
      "loss": 1.8592,
      "step": 993
    },
    {
      "epoch": 0.08835555555555556,
      "grad_norm": 1.6592271327972412,
      "learning_rate": 4.558666666666667e-05,
      "loss": 1.7204,
      "step": 994
    },
    {
      "epoch": 0.08844444444444445,
      "grad_norm": 1.8749502897262573,
      "learning_rate": 4.558222222222222e-05,
      "loss": 1.7568,
      "step": 995
    },
    {
      "epoch": 0.08853333333333334,
      "grad_norm": 3.049914836883545,
      "learning_rate": 4.557777777777778e-05,
      "loss": 2.0641,
      "step": 996
    },
    {
      "epoch": 0.08862222222222223,
      "grad_norm": 1.7353390455245972,
      "learning_rate": 4.557333333333333e-05,
      "loss": 1.8568,
      "step": 997
    },
    {
      "epoch": 0.08871111111111112,
      "grad_norm": 1.5916613340377808,
      "learning_rate": 4.556888888888889e-05,
      "loss": 1.4073,
      "step": 998
    },
    {
      "epoch": 0.0888,
      "grad_norm": 1.7352670431137085,
      "learning_rate": 4.556444444444445e-05,
      "loss": 1.8265,
      "step": 999
    },
    {
      "epoch": 0.08888888888888889,
      "grad_norm": 2.390594244003296,
      "learning_rate": 4.5560000000000004e-05,
      "loss": 1.7866,
      "step": 1000
    },
    {
      "epoch": 0.08897777777777778,
      "grad_norm": 1.8525301218032837,
      "learning_rate": 4.555555555555556e-05,
      "loss": 1.8761,
      "step": 1001
    },
    {
      "epoch": 0.08906666666666667,
      "grad_norm": 1.955673336982727,
      "learning_rate": 4.5551111111111114e-05,
      "loss": 1.7926,
      "step": 1002
    },
    {
      "epoch": 0.08915555555555556,
      "grad_norm": 1.692907452583313,
      "learning_rate": 4.554666666666667e-05,
      "loss": 1.8074,
      "step": 1003
    },
    {
      "epoch": 0.08924444444444445,
      "grad_norm": 1.762708067893982,
      "learning_rate": 4.5542222222222224e-05,
      "loss": 1.8272,
      "step": 1004
    },
    {
      "epoch": 0.08933333333333333,
      "grad_norm": 1.8520549535751343,
      "learning_rate": 4.553777777777778e-05,
      "loss": 1.675,
      "step": 1005
    },
    {
      "epoch": 0.08942222222222222,
      "grad_norm": 2.030146360397339,
      "learning_rate": 4.553333333333333e-05,
      "loss": 1.7419,
      "step": 1006
    },
    {
      "epoch": 0.08951111111111111,
      "grad_norm": 2.1008050441741943,
      "learning_rate": 4.5528888888888895e-05,
      "loss": 1.6806,
      "step": 1007
    },
    {
      "epoch": 0.0896,
      "grad_norm": 2.057936429977417,
      "learning_rate": 4.552444444444445e-05,
      "loss": 1.6418,
      "step": 1008
    },
    {
      "epoch": 0.08968888888888889,
      "grad_norm": 1.72895348072052,
      "learning_rate": 4.5520000000000005e-05,
      "loss": 1.5151,
      "step": 1009
    },
    {
      "epoch": 0.08977777777777778,
      "grad_norm": 1.7440729141235352,
      "learning_rate": 4.551555555555555e-05,
      "loss": 1.6791,
      "step": 1010
    },
    {
      "epoch": 0.08986666666666666,
      "grad_norm": 1.7978228330612183,
      "learning_rate": 4.5511111111111114e-05,
      "loss": 1.5541,
      "step": 1011
    },
    {
      "epoch": 0.08995555555555555,
      "grad_norm": 1.597348928451538,
      "learning_rate": 4.550666666666667e-05,
      "loss": 1.7614,
      "step": 1012
    },
    {
      "epoch": 0.09004444444444444,
      "grad_norm": 2.007448673248291,
      "learning_rate": 4.5502222222222224e-05,
      "loss": 1.6049,
      "step": 1013
    },
    {
      "epoch": 0.09013333333333333,
      "grad_norm": 1.6461104154586792,
      "learning_rate": 4.549777777777778e-05,
      "loss": 1.6358,
      "step": 1014
    },
    {
      "epoch": 0.09022222222222222,
      "grad_norm": 2.027024984359741,
      "learning_rate": 4.549333333333334e-05,
      "loss": 2.1763,
      "step": 1015
    },
    {
      "epoch": 0.0903111111111111,
      "grad_norm": 1.8163408041000366,
      "learning_rate": 4.5488888888888895e-05,
      "loss": 1.7409,
      "step": 1016
    },
    {
      "epoch": 0.0904,
      "grad_norm": 1.6706019639968872,
      "learning_rate": 4.5484444444444443e-05,
      "loss": 1.5067,
      "step": 1017
    },
    {
      "epoch": 0.09048888888888888,
      "grad_norm": 2.068965435028076,
      "learning_rate": 4.548e-05,
      "loss": 1.9518,
      "step": 1018
    },
    {
      "epoch": 0.09057777777777777,
      "grad_norm": 2.0721476078033447,
      "learning_rate": 4.547555555555556e-05,
      "loss": 1.8018,
      "step": 1019
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 1.8313614130020142,
      "learning_rate": 4.5471111111111115e-05,
      "loss": 2.0154,
      "step": 1020
    },
    {
      "epoch": 0.09075555555555556,
      "grad_norm": 1.6275684833526611,
      "learning_rate": 4.546666666666667e-05,
      "loss": 1.5974,
      "step": 1021
    },
    {
      "epoch": 0.09084444444444445,
      "grad_norm": 1.6819127798080444,
      "learning_rate": 4.5462222222222224e-05,
      "loss": 1.4392,
      "step": 1022
    },
    {
      "epoch": 0.09093333333333334,
      "grad_norm": 2.2184410095214844,
      "learning_rate": 4.545777777777778e-05,
      "loss": 1.6149,
      "step": 1023
    },
    {
      "epoch": 0.09102222222222223,
      "grad_norm": 1.564569115638733,
      "learning_rate": 4.5453333333333334e-05,
      "loss": 1.5609,
      "step": 1024
    },
    {
      "epoch": 0.09111111111111111,
      "grad_norm": 2.5337860584259033,
      "learning_rate": 4.544888888888889e-05,
      "loss": 2.1378,
      "step": 1025
    },
    {
      "epoch": 0.0912,
      "grad_norm": 1.7344629764556885,
      "learning_rate": 4.5444444444444444e-05,
      "loss": 1.6802,
      "step": 1026
    },
    {
      "epoch": 0.09128888888888889,
      "grad_norm": 2.127279758453369,
      "learning_rate": 4.5440000000000005e-05,
      "loss": 1.7156,
      "step": 1027
    },
    {
      "epoch": 0.09137777777777778,
      "grad_norm": 1.812535285949707,
      "learning_rate": 4.543555555555556e-05,
      "loss": 1.6624,
      "step": 1028
    },
    {
      "epoch": 0.09146666666666667,
      "grad_norm": 1.735271692276001,
      "learning_rate": 4.5431111111111115e-05,
      "loss": 1.8178,
      "step": 1029
    },
    {
      "epoch": 0.09155555555555556,
      "grad_norm": 1.6234612464904785,
      "learning_rate": 4.542666666666667e-05,
      "loss": 1.8315,
      "step": 1030
    },
    {
      "epoch": 0.09164444444444445,
      "grad_norm": 1.6098922491073608,
      "learning_rate": 4.5422222222222225e-05,
      "loss": 1.5446,
      "step": 1031
    },
    {
      "epoch": 0.09173333333333333,
      "grad_norm": 1.62590754032135,
      "learning_rate": 4.541777777777778e-05,
      "loss": 1.4712,
      "step": 1032
    },
    {
      "epoch": 0.09182222222222222,
      "grad_norm": 2.0151731967926025,
      "learning_rate": 4.5413333333333334e-05,
      "loss": 1.7727,
      "step": 1033
    },
    {
      "epoch": 0.09191111111111111,
      "grad_norm": 2.1038174629211426,
      "learning_rate": 4.540888888888889e-05,
      "loss": 1.7146,
      "step": 1034
    },
    {
      "epoch": 0.092,
      "grad_norm": 1.9942257404327393,
      "learning_rate": 4.5404444444444444e-05,
      "loss": 1.8021,
      "step": 1035
    },
    {
      "epoch": 0.09208888888888889,
      "grad_norm": 1.982042908668518,
      "learning_rate": 4.5400000000000006e-05,
      "loss": 1.6299,
      "step": 1036
    },
    {
      "epoch": 0.09217777777777778,
      "grad_norm": 1.8782391548156738,
      "learning_rate": 4.539555555555556e-05,
      "loss": 1.7036,
      "step": 1037
    },
    {
      "epoch": 0.09226666666666666,
      "grad_norm": 1.7159614562988281,
      "learning_rate": 4.539111111111111e-05,
      "loss": 1.6658,
      "step": 1038
    },
    {
      "epoch": 0.09235555555555555,
      "grad_norm": 2.578782558441162,
      "learning_rate": 4.5386666666666664e-05,
      "loss": 1.7956,
      "step": 1039
    },
    {
      "epoch": 0.09244444444444444,
      "grad_norm": 1.8181556463241577,
      "learning_rate": 4.5382222222222225e-05,
      "loss": 1.8565,
      "step": 1040
    },
    {
      "epoch": 0.09253333333333333,
      "grad_norm": 1.850126028060913,
      "learning_rate": 4.537777777777778e-05,
      "loss": 1.7057,
      "step": 1041
    },
    {
      "epoch": 0.09262222222222222,
      "grad_norm": 1.8921382427215576,
      "learning_rate": 4.5373333333333335e-05,
      "loss": 1.8502,
      "step": 1042
    },
    {
      "epoch": 0.0927111111111111,
      "grad_norm": 1.892295479774475,
      "learning_rate": 4.536888888888889e-05,
      "loss": 1.6061,
      "step": 1043
    },
    {
      "epoch": 0.0928,
      "grad_norm": 1.744093418121338,
      "learning_rate": 4.536444444444445e-05,
      "loss": 1.7328,
      "step": 1044
    },
    {
      "epoch": 0.09288888888888888,
      "grad_norm": 1.875810980796814,
      "learning_rate": 4.536e-05,
      "loss": 1.5778,
      "step": 1045
    },
    {
      "epoch": 0.09297777777777778,
      "grad_norm": 2.26570200920105,
      "learning_rate": 4.5355555555555554e-05,
      "loss": 1.9475,
      "step": 1046
    },
    {
      "epoch": 0.09306666666666667,
      "grad_norm": 1.8398888111114502,
      "learning_rate": 4.535111111111111e-05,
      "loss": 1.6281,
      "step": 1047
    },
    {
      "epoch": 0.09315555555555556,
      "grad_norm": 1.8009562492370605,
      "learning_rate": 4.534666666666667e-05,
      "loss": 1.8722,
      "step": 1048
    },
    {
      "epoch": 0.09324444444444445,
      "grad_norm": 2.1734707355499268,
      "learning_rate": 4.5342222222222226e-05,
      "loss": 1.6869,
      "step": 1049
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 2.1942944526672363,
      "learning_rate": 4.533777777777778e-05,
      "loss": 1.8942,
      "step": 1050
    },
    {
      "epoch": 0.09342222222222223,
      "grad_norm": 1.6210379600524902,
      "learning_rate": 4.5333333333333335e-05,
      "loss": 1.5263,
      "step": 1051
    },
    {
      "epoch": 0.09351111111111111,
      "grad_norm": 1.7680654525756836,
      "learning_rate": 4.532888888888889e-05,
      "loss": 1.6684,
      "step": 1052
    },
    {
      "epoch": 0.0936,
      "grad_norm": 2.1353893280029297,
      "learning_rate": 4.5324444444444445e-05,
      "loss": 1.7581,
      "step": 1053
    },
    {
      "epoch": 0.09368888888888889,
      "grad_norm": 2.151684522628784,
      "learning_rate": 4.532e-05,
      "loss": 1.8873,
      "step": 1054
    },
    {
      "epoch": 0.09377777777777778,
      "grad_norm": 2.044710159301758,
      "learning_rate": 4.5315555555555555e-05,
      "loss": 2.0344,
      "step": 1055
    },
    {
      "epoch": 0.09386666666666667,
      "grad_norm": 1.7516911029815674,
      "learning_rate": 4.5311111111111116e-05,
      "loss": 1.8053,
      "step": 1056
    },
    {
      "epoch": 0.09395555555555556,
      "grad_norm": 2.1368024349212646,
      "learning_rate": 4.530666666666667e-05,
      "loss": 1.6998,
      "step": 1057
    },
    {
      "epoch": 0.09404444444444444,
      "grad_norm": 2.12532639503479,
      "learning_rate": 4.5302222222222226e-05,
      "loss": 1.7082,
      "step": 1058
    },
    {
      "epoch": 0.09413333333333333,
      "grad_norm": 2.1493823528289795,
      "learning_rate": 4.529777777777778e-05,
      "loss": 1.8189,
      "step": 1059
    },
    {
      "epoch": 0.09422222222222222,
      "grad_norm": 1.575260043144226,
      "learning_rate": 4.5293333333333336e-05,
      "loss": 1.7495,
      "step": 1060
    },
    {
      "epoch": 0.09431111111111111,
      "grad_norm": 2.0990827083587646,
      "learning_rate": 4.528888888888889e-05,
      "loss": 2.0553,
      "step": 1061
    },
    {
      "epoch": 0.0944,
      "grad_norm": 1.8823519945144653,
      "learning_rate": 4.5284444444444445e-05,
      "loss": 1.9539,
      "step": 1062
    },
    {
      "epoch": 0.09448888888888889,
      "grad_norm": 1.5764615535736084,
      "learning_rate": 4.528e-05,
      "loss": 1.5815,
      "step": 1063
    },
    {
      "epoch": 0.09457777777777777,
      "grad_norm": 1.847722053527832,
      "learning_rate": 4.527555555555556e-05,
      "loss": 1.8181,
      "step": 1064
    },
    {
      "epoch": 0.09466666666666666,
      "grad_norm": 2.0760092735290527,
      "learning_rate": 4.527111111111112e-05,
      "loss": 1.7469,
      "step": 1065
    },
    {
      "epoch": 0.09475555555555555,
      "grad_norm": 2.4396378993988037,
      "learning_rate": 4.526666666666667e-05,
      "loss": 1.7833,
      "step": 1066
    },
    {
      "epoch": 0.09484444444444444,
      "grad_norm": 1.5776950120925903,
      "learning_rate": 4.526222222222222e-05,
      "loss": 1.7465,
      "step": 1067
    },
    {
      "epoch": 0.09493333333333333,
      "grad_norm": 1.8722420930862427,
      "learning_rate": 4.525777777777778e-05,
      "loss": 2.027,
      "step": 1068
    },
    {
      "epoch": 0.09502222222222222,
      "grad_norm": 1.8460487127304077,
      "learning_rate": 4.5253333333333336e-05,
      "loss": 1.6902,
      "step": 1069
    },
    {
      "epoch": 0.0951111111111111,
      "grad_norm": 1.7089120149612427,
      "learning_rate": 4.524888888888889e-05,
      "loss": 1.629,
      "step": 1070
    },
    {
      "epoch": 0.0952,
      "grad_norm": 1.9365214109420776,
      "learning_rate": 4.5244444444444446e-05,
      "loss": 1.7933,
      "step": 1071
    },
    {
      "epoch": 0.0952888888888889,
      "grad_norm": 2.344484329223633,
      "learning_rate": 4.524000000000001e-05,
      "loss": 1.6693,
      "step": 1072
    },
    {
      "epoch": 0.09537777777777778,
      "grad_norm": 2.1989505290985107,
      "learning_rate": 4.523555555555556e-05,
      "loss": 1.7381,
      "step": 1073
    },
    {
      "epoch": 0.09546666666666667,
      "grad_norm": 1.864970326423645,
      "learning_rate": 4.523111111111111e-05,
      "loss": 1.9112,
      "step": 1074
    },
    {
      "epoch": 0.09555555555555556,
      "grad_norm": 1.7103016376495361,
      "learning_rate": 4.5226666666666665e-05,
      "loss": 1.5463,
      "step": 1075
    },
    {
      "epoch": 0.09564444444444445,
      "grad_norm": 1.639796495437622,
      "learning_rate": 4.522222222222223e-05,
      "loss": 1.8695,
      "step": 1076
    },
    {
      "epoch": 0.09573333333333334,
      "grad_norm": 2.0855705738067627,
      "learning_rate": 4.521777777777778e-05,
      "loss": 1.6913,
      "step": 1077
    },
    {
      "epoch": 0.09582222222222223,
      "grad_norm": 2.1527340412139893,
      "learning_rate": 4.5213333333333336e-05,
      "loss": 1.9136,
      "step": 1078
    },
    {
      "epoch": 0.09591111111111111,
      "grad_norm": 2.1614062786102295,
      "learning_rate": 4.520888888888889e-05,
      "loss": 1.9826,
      "step": 1079
    },
    {
      "epoch": 0.096,
      "grad_norm": 2.977396249771118,
      "learning_rate": 4.5204444444444446e-05,
      "loss": 1.8844,
      "step": 1080
    },
    {
      "epoch": 0.09608888888888889,
      "grad_norm": 1.7254221439361572,
      "learning_rate": 4.52e-05,
      "loss": 1.8397,
      "step": 1081
    },
    {
      "epoch": 0.09617777777777778,
      "grad_norm": 1.6803693771362305,
      "learning_rate": 4.5195555555555556e-05,
      "loss": 1.7168,
      "step": 1082
    },
    {
      "epoch": 0.09626666666666667,
      "grad_norm": 1.8591516017913818,
      "learning_rate": 4.519111111111111e-05,
      "loss": 1.8561,
      "step": 1083
    },
    {
      "epoch": 0.09635555555555556,
      "grad_norm": 1.748429298400879,
      "learning_rate": 4.518666666666667e-05,
      "loss": 1.7316,
      "step": 1084
    },
    {
      "epoch": 0.09644444444444444,
      "grad_norm": 1.919846534729004,
      "learning_rate": 4.518222222222223e-05,
      "loss": 1.8363,
      "step": 1085
    },
    {
      "epoch": 0.09653333333333333,
      "grad_norm": 1.8752652406692505,
      "learning_rate": 4.517777777777778e-05,
      "loss": 1.7736,
      "step": 1086
    },
    {
      "epoch": 0.09662222222222222,
      "grad_norm": 1.5431712865829468,
      "learning_rate": 4.517333333333334e-05,
      "loss": 1.5396,
      "step": 1087
    },
    {
      "epoch": 0.09671111111111111,
      "grad_norm": 2.1763625144958496,
      "learning_rate": 4.516888888888889e-05,
      "loss": 1.8033,
      "step": 1088
    },
    {
      "epoch": 0.0968,
      "grad_norm": 2.2852487564086914,
      "learning_rate": 4.5164444444444446e-05,
      "loss": 2.0545,
      "step": 1089
    },
    {
      "epoch": 0.09688888888888889,
      "grad_norm": 1.8383265733718872,
      "learning_rate": 4.516e-05,
      "loss": 1.7016,
      "step": 1090
    },
    {
      "epoch": 0.09697777777777777,
      "grad_norm": 2.488147020339966,
      "learning_rate": 4.5155555555555556e-05,
      "loss": 1.5618,
      "step": 1091
    },
    {
      "epoch": 0.09706666666666666,
      "grad_norm": 1.8418245315551758,
      "learning_rate": 4.515111111111111e-05,
      "loss": 1.7204,
      "step": 1092
    },
    {
      "epoch": 0.09715555555555555,
      "grad_norm": 1.7771172523498535,
      "learning_rate": 4.514666666666667e-05,
      "loss": 1.8036,
      "step": 1093
    },
    {
      "epoch": 0.09724444444444444,
      "grad_norm": 1.8435020446777344,
      "learning_rate": 4.514222222222223e-05,
      "loss": 1.8796,
      "step": 1094
    },
    {
      "epoch": 0.09733333333333333,
      "grad_norm": 1.8132266998291016,
      "learning_rate": 4.5137777777777776e-05,
      "loss": 1.4941,
      "step": 1095
    },
    {
      "epoch": 0.09742222222222222,
      "grad_norm": 1.7643641233444214,
      "learning_rate": 4.513333333333333e-05,
      "loss": 1.668,
      "step": 1096
    },
    {
      "epoch": 0.09751111111111112,
      "grad_norm": 1.7366641759872437,
      "learning_rate": 4.512888888888889e-05,
      "loss": 1.817,
      "step": 1097
    },
    {
      "epoch": 0.0976,
      "grad_norm": 1.945062518119812,
      "learning_rate": 4.512444444444445e-05,
      "loss": 1.8515,
      "step": 1098
    },
    {
      "epoch": 0.0976888888888889,
      "grad_norm": 1.8609641790390015,
      "learning_rate": 4.512e-05,
      "loss": 1.524,
      "step": 1099
    },
    {
      "epoch": 0.09777777777777778,
      "grad_norm": 1.94805908203125,
      "learning_rate": 4.5115555555555557e-05,
      "loss": 1.6575,
      "step": 1100
    },
    {
      "epoch": 0.09786666666666667,
      "grad_norm": 1.9256049394607544,
      "learning_rate": 4.511111111111112e-05,
      "loss": 1.9095,
      "step": 1101
    },
    {
      "epoch": 0.09795555555555556,
      "grad_norm": 1.801744818687439,
      "learning_rate": 4.5106666666666666e-05,
      "loss": 1.8638,
      "step": 1102
    },
    {
      "epoch": 0.09804444444444445,
      "grad_norm": 1.9749804735183716,
      "learning_rate": 4.510222222222222e-05,
      "loss": 1.8854,
      "step": 1103
    },
    {
      "epoch": 0.09813333333333334,
      "grad_norm": 1.6077945232391357,
      "learning_rate": 4.5097777777777776e-05,
      "loss": 1.5435,
      "step": 1104
    },
    {
      "epoch": 0.09822222222222222,
      "grad_norm": 1.5530340671539307,
      "learning_rate": 4.509333333333334e-05,
      "loss": 1.7234,
      "step": 1105
    },
    {
      "epoch": 0.09831111111111111,
      "grad_norm": 1.876783847808838,
      "learning_rate": 4.508888888888889e-05,
      "loss": 1.7338,
      "step": 1106
    },
    {
      "epoch": 0.0984,
      "grad_norm": 1.8575233221054077,
      "learning_rate": 4.508444444444445e-05,
      "loss": 1.6766,
      "step": 1107
    },
    {
      "epoch": 0.09848888888888889,
      "grad_norm": 1.8743222951889038,
      "learning_rate": 4.508e-05,
      "loss": 1.5927,
      "step": 1108
    },
    {
      "epoch": 0.09857777777777778,
      "grad_norm": 1.926712989807129,
      "learning_rate": 4.507555555555556e-05,
      "loss": 1.7951,
      "step": 1109
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 1.7223607301712036,
      "learning_rate": 4.507111111111111e-05,
      "loss": 1.759,
      "step": 1110
    },
    {
      "epoch": 0.09875555555555555,
      "grad_norm": 1.7253741025924683,
      "learning_rate": 4.5066666666666667e-05,
      "loss": 1.7854,
      "step": 1111
    },
    {
      "epoch": 0.09884444444444444,
      "grad_norm": 1.639354944229126,
      "learning_rate": 4.506222222222222e-05,
      "loss": 1.7188,
      "step": 1112
    },
    {
      "epoch": 0.09893333333333333,
      "grad_norm": 2.207289695739746,
      "learning_rate": 4.505777777777778e-05,
      "loss": 1.6107,
      "step": 1113
    },
    {
      "epoch": 0.09902222222222222,
      "grad_norm": 1.8974367380142212,
      "learning_rate": 4.505333333333334e-05,
      "loss": 2.0267,
      "step": 1114
    },
    {
      "epoch": 0.09911111111111111,
      "grad_norm": 1.6672624349594116,
      "learning_rate": 4.504888888888889e-05,
      "loss": 1.854,
      "step": 1115
    },
    {
      "epoch": 0.0992,
      "grad_norm": 2.0124497413635254,
      "learning_rate": 4.504444444444445e-05,
      "loss": 1.6284,
      "step": 1116
    },
    {
      "epoch": 0.09928888888888888,
      "grad_norm": 1.944250226020813,
      "learning_rate": 4.504e-05,
      "loss": 1.9455,
      "step": 1117
    },
    {
      "epoch": 0.09937777777777777,
      "grad_norm": 1.6958566904067993,
      "learning_rate": 4.503555555555556e-05,
      "loss": 1.5515,
      "step": 1118
    },
    {
      "epoch": 0.09946666666666666,
      "grad_norm": 1.742800235748291,
      "learning_rate": 4.503111111111111e-05,
      "loss": 1.6834,
      "step": 1119
    },
    {
      "epoch": 0.09955555555555555,
      "grad_norm": 2.3488926887512207,
      "learning_rate": 4.502666666666667e-05,
      "loss": 1.8871,
      "step": 1120
    },
    {
      "epoch": 0.09964444444444444,
      "grad_norm": 2.1272552013397217,
      "learning_rate": 4.502222222222223e-05,
      "loss": 1.5933,
      "step": 1121
    },
    {
      "epoch": 0.09973333333333333,
      "grad_norm": 1.8580652475357056,
      "learning_rate": 4.5017777777777783e-05,
      "loss": 1.9195,
      "step": 1122
    },
    {
      "epoch": 0.09982222222222223,
      "grad_norm": 1.783326506614685,
      "learning_rate": 4.501333333333334e-05,
      "loss": 1.6242,
      "step": 1123
    },
    {
      "epoch": 0.09991111111111112,
      "grad_norm": 1.8680353164672852,
      "learning_rate": 4.5008888888888886e-05,
      "loss": 1.6873,
      "step": 1124
    },
    {
      "epoch": 0.1,
      "grad_norm": 1.7866888046264648,
      "learning_rate": 4.500444444444445e-05,
      "loss": 1.5774,
      "step": 1125
    },
    {
      "epoch": 0.1000888888888889,
      "grad_norm": 1.7928606271743774,
      "learning_rate": 4.5e-05,
      "loss": 1.8592,
      "step": 1126
    },
    {
      "epoch": 0.10017777777777778,
      "grad_norm": 2.310807943344116,
      "learning_rate": 4.499555555555556e-05,
      "loss": 1.919,
      "step": 1127
    },
    {
      "epoch": 0.10026666666666667,
      "grad_norm": 1.8127682209014893,
      "learning_rate": 4.499111111111111e-05,
      "loss": 1.7515,
      "step": 1128
    },
    {
      "epoch": 0.10035555555555556,
      "grad_norm": 1.667825698852539,
      "learning_rate": 4.4986666666666674e-05,
      "loss": 1.5629,
      "step": 1129
    },
    {
      "epoch": 0.10044444444444445,
      "grad_norm": 1.826326847076416,
      "learning_rate": 4.498222222222222e-05,
      "loss": 1.8068,
      "step": 1130
    },
    {
      "epoch": 0.10053333333333334,
      "grad_norm": 1.9969345331192017,
      "learning_rate": 4.497777777777778e-05,
      "loss": 1.8504,
      "step": 1131
    },
    {
      "epoch": 0.10062222222222222,
      "grad_norm": 1.675348162651062,
      "learning_rate": 4.497333333333333e-05,
      "loss": 1.7512,
      "step": 1132
    },
    {
      "epoch": 0.10071111111111111,
      "grad_norm": 1.8322439193725586,
      "learning_rate": 4.4968888888888894e-05,
      "loss": 1.6379,
      "step": 1133
    },
    {
      "epoch": 0.1008,
      "grad_norm": 2.061516046524048,
      "learning_rate": 4.496444444444445e-05,
      "loss": 1.754,
      "step": 1134
    },
    {
      "epoch": 0.10088888888888889,
      "grad_norm": 1.8991291522979736,
      "learning_rate": 4.496e-05,
      "loss": 1.9178,
      "step": 1135
    },
    {
      "epoch": 0.10097777777777778,
      "grad_norm": 1.7578753232955933,
      "learning_rate": 4.495555555555556e-05,
      "loss": 1.7598,
      "step": 1136
    },
    {
      "epoch": 0.10106666666666667,
      "grad_norm": 1.7476128339767456,
      "learning_rate": 4.495111111111111e-05,
      "loss": 1.8251,
      "step": 1137
    },
    {
      "epoch": 0.10115555555555555,
      "grad_norm": 2.0483155250549316,
      "learning_rate": 4.494666666666667e-05,
      "loss": 1.8542,
      "step": 1138
    },
    {
      "epoch": 0.10124444444444444,
      "grad_norm": 1.71565580368042,
      "learning_rate": 4.494222222222222e-05,
      "loss": 1.5195,
      "step": 1139
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 1.8498423099517822,
      "learning_rate": 4.493777777777778e-05,
      "loss": 1.6571,
      "step": 1140
    },
    {
      "epoch": 0.10142222222222222,
      "grad_norm": 1.7151548862457275,
      "learning_rate": 4.493333333333333e-05,
      "loss": 1.794,
      "step": 1141
    },
    {
      "epoch": 0.10151111111111111,
      "grad_norm": 1.6846482753753662,
      "learning_rate": 4.4928888888888894e-05,
      "loss": 1.5733,
      "step": 1142
    },
    {
      "epoch": 0.1016,
      "grad_norm": 1.8163610696792603,
      "learning_rate": 4.492444444444445e-05,
      "loss": 1.4818,
      "step": 1143
    },
    {
      "epoch": 0.10168888888888888,
      "grad_norm": 1.789184808731079,
      "learning_rate": 4.4920000000000004e-05,
      "loss": 1.854,
      "step": 1144
    },
    {
      "epoch": 0.10177777777777777,
      "grad_norm": 2.902707099914551,
      "learning_rate": 4.491555555555556e-05,
      "loss": 1.985,
      "step": 1145
    },
    {
      "epoch": 0.10186666666666666,
      "grad_norm": 1.5135254859924316,
      "learning_rate": 4.491111111111111e-05,
      "loss": 1.5362,
      "step": 1146
    },
    {
      "epoch": 0.10195555555555555,
      "grad_norm": 1.8430793285369873,
      "learning_rate": 4.490666666666667e-05,
      "loss": 1.715,
      "step": 1147
    },
    {
      "epoch": 0.10204444444444444,
      "grad_norm": 2.0045082569122314,
      "learning_rate": 4.490222222222222e-05,
      "loss": 1.7587,
      "step": 1148
    },
    {
      "epoch": 0.10213333333333334,
      "grad_norm": 1.7987499237060547,
      "learning_rate": 4.489777777777778e-05,
      "loss": 1.6898,
      "step": 1149
    },
    {
      "epoch": 0.10222222222222223,
      "grad_norm": 1.596584677696228,
      "learning_rate": 4.489333333333334e-05,
      "loss": 1.5983,
      "step": 1150
    },
    {
      "epoch": 0.10231111111111112,
      "grad_norm": 1.8538388013839722,
      "learning_rate": 4.4888888888888894e-05,
      "loss": 1.7555,
      "step": 1151
    },
    {
      "epoch": 0.1024,
      "grad_norm": 2.5000321865081787,
      "learning_rate": 4.488444444444444e-05,
      "loss": 1.7411,
      "step": 1152
    },
    {
      "epoch": 0.1024888888888889,
      "grad_norm": 1.9577640295028687,
      "learning_rate": 4.488e-05,
      "loss": 1.6164,
      "step": 1153
    },
    {
      "epoch": 0.10257777777777778,
      "grad_norm": 1.7192622423171997,
      "learning_rate": 4.487555555555556e-05,
      "loss": 1.581,
      "step": 1154
    },
    {
      "epoch": 0.10266666666666667,
      "grad_norm": 1.724051594734192,
      "learning_rate": 4.4871111111111114e-05,
      "loss": 1.7561,
      "step": 1155
    },
    {
      "epoch": 0.10275555555555556,
      "grad_norm": 1.9509061574935913,
      "learning_rate": 4.486666666666667e-05,
      "loss": 1.9966,
      "step": 1156
    },
    {
      "epoch": 0.10284444444444445,
      "grad_norm": 2.2386908531188965,
      "learning_rate": 4.486222222222222e-05,
      "loss": 1.804,
      "step": 1157
    },
    {
      "epoch": 0.10293333333333334,
      "grad_norm": 2.1723105907440186,
      "learning_rate": 4.4857777777777785e-05,
      "loss": 1.8598,
      "step": 1158
    },
    {
      "epoch": 0.10302222222222222,
      "grad_norm": 2.3768692016601562,
      "learning_rate": 4.485333333333333e-05,
      "loss": 1.911,
      "step": 1159
    },
    {
      "epoch": 0.10311111111111111,
      "grad_norm": 1.7663291692733765,
      "learning_rate": 4.484888888888889e-05,
      "loss": 1.5022,
      "step": 1160
    },
    {
      "epoch": 0.1032,
      "grad_norm": 1.6398000717163086,
      "learning_rate": 4.484444444444444e-05,
      "loss": 1.5798,
      "step": 1161
    },
    {
      "epoch": 0.10328888888888889,
      "grad_norm": 1.7593514919281006,
      "learning_rate": 4.4840000000000004e-05,
      "loss": 1.6791,
      "step": 1162
    },
    {
      "epoch": 0.10337777777777778,
      "grad_norm": 2.0343422889709473,
      "learning_rate": 4.483555555555556e-05,
      "loss": 2.0329,
      "step": 1163
    },
    {
      "epoch": 0.10346666666666667,
      "grad_norm": 1.929360270500183,
      "learning_rate": 4.4831111111111114e-05,
      "loss": 1.7489,
      "step": 1164
    },
    {
      "epoch": 0.10355555555555555,
      "grad_norm": 1.5871756076812744,
      "learning_rate": 4.482666666666667e-05,
      "loss": 1.5506,
      "step": 1165
    },
    {
      "epoch": 0.10364444444444444,
      "grad_norm": 2.3680977821350098,
      "learning_rate": 4.4822222222222224e-05,
      "loss": 1.7903,
      "step": 1166
    },
    {
      "epoch": 0.10373333333333333,
      "grad_norm": 3.283677816390991,
      "learning_rate": 4.481777777777778e-05,
      "loss": 1.7811,
      "step": 1167
    },
    {
      "epoch": 0.10382222222222222,
      "grad_norm": 1.8230006694793701,
      "learning_rate": 4.4813333333333333e-05,
      "loss": 1.6209,
      "step": 1168
    },
    {
      "epoch": 0.1039111111111111,
      "grad_norm": 1.717261791229248,
      "learning_rate": 4.480888888888889e-05,
      "loss": 1.6558,
      "step": 1169
    },
    {
      "epoch": 0.104,
      "grad_norm": 1.7806838750839233,
      "learning_rate": 4.480444444444445e-05,
      "loss": 1.7226,
      "step": 1170
    },
    {
      "epoch": 0.10408888888888888,
      "grad_norm": 1.7742514610290527,
      "learning_rate": 4.4800000000000005e-05,
      "loss": 1.7526,
      "step": 1171
    },
    {
      "epoch": 0.10417777777777777,
      "grad_norm": 2.475003719329834,
      "learning_rate": 4.479555555555556e-05,
      "loss": 1.6217,
      "step": 1172
    },
    {
      "epoch": 0.10426666666666666,
      "grad_norm": 1.8919117450714111,
      "learning_rate": 4.4791111111111114e-05,
      "loss": 1.4123,
      "step": 1173
    },
    {
      "epoch": 0.10435555555555555,
      "grad_norm": 1.8541101217269897,
      "learning_rate": 4.478666666666667e-05,
      "loss": 1.5885,
      "step": 1174
    },
    {
      "epoch": 0.10444444444444445,
      "grad_norm": 2.150850296020508,
      "learning_rate": 4.4782222222222224e-05,
      "loss": 1.9363,
      "step": 1175
    },
    {
      "epoch": 0.10453333333333334,
      "grad_norm": 1.7871954441070557,
      "learning_rate": 4.477777777777778e-05,
      "loss": 1.6588,
      "step": 1176
    },
    {
      "epoch": 0.10462222222222223,
      "grad_norm": 1.8581199645996094,
      "learning_rate": 4.4773333333333334e-05,
      "loss": 1.871,
      "step": 1177
    },
    {
      "epoch": 0.10471111111111112,
      "grad_norm": 1.6436381340026855,
      "learning_rate": 4.4768888888888895e-05,
      "loss": 1.6455,
      "step": 1178
    },
    {
      "epoch": 0.1048,
      "grad_norm": 1.6480261087417603,
      "learning_rate": 4.476444444444445e-05,
      "loss": 1.6996,
      "step": 1179
    },
    {
      "epoch": 0.10488888888888889,
      "grad_norm": 1.7561376094818115,
      "learning_rate": 4.4760000000000005e-05,
      "loss": 1.7351,
      "step": 1180
    },
    {
      "epoch": 0.10497777777777778,
      "grad_norm": 1.8478844165802002,
      "learning_rate": 4.475555555555555e-05,
      "loss": 1.9436,
      "step": 1181
    },
    {
      "epoch": 0.10506666666666667,
      "grad_norm": 1.8453987836837769,
      "learning_rate": 4.4751111111111115e-05,
      "loss": 1.751,
      "step": 1182
    },
    {
      "epoch": 0.10515555555555556,
      "grad_norm": 1.9251705408096313,
      "learning_rate": 4.474666666666667e-05,
      "loss": 1.7147,
      "step": 1183
    },
    {
      "epoch": 0.10524444444444445,
      "grad_norm": 1.8931211233139038,
      "learning_rate": 4.4742222222222225e-05,
      "loss": 1.5526,
      "step": 1184
    },
    {
      "epoch": 0.10533333333333333,
      "grad_norm": 2.0911364555358887,
      "learning_rate": 4.473777777777778e-05,
      "loss": 1.6409,
      "step": 1185
    },
    {
      "epoch": 0.10542222222222222,
      "grad_norm": 1.9282008409500122,
      "learning_rate": 4.473333333333334e-05,
      "loss": 1.5902,
      "step": 1186
    },
    {
      "epoch": 0.10551111111111111,
      "grad_norm": 1.8800698518753052,
      "learning_rate": 4.472888888888889e-05,
      "loss": 1.7799,
      "step": 1187
    },
    {
      "epoch": 0.1056,
      "grad_norm": 1.7613285779953003,
      "learning_rate": 4.4724444444444444e-05,
      "loss": 1.5302,
      "step": 1188
    },
    {
      "epoch": 0.10568888888888889,
      "grad_norm": 2.1577260494232178,
      "learning_rate": 4.472e-05,
      "loss": 1.901,
      "step": 1189
    },
    {
      "epoch": 0.10577777777777778,
      "grad_norm": 1.604709267616272,
      "learning_rate": 4.4715555555555554e-05,
      "loss": 1.5563,
      "step": 1190
    },
    {
      "epoch": 0.10586666666666666,
      "grad_norm": 1.7235454320907593,
      "learning_rate": 4.4711111111111115e-05,
      "loss": 1.6307,
      "step": 1191
    },
    {
      "epoch": 0.10595555555555555,
      "grad_norm": 1.9235351085662842,
      "learning_rate": 4.470666666666667e-05,
      "loss": 1.8424,
      "step": 1192
    },
    {
      "epoch": 0.10604444444444444,
      "grad_norm": 1.8004010915756226,
      "learning_rate": 4.4702222222222225e-05,
      "loss": 1.6052,
      "step": 1193
    },
    {
      "epoch": 0.10613333333333333,
      "grad_norm": 2.6432628631591797,
      "learning_rate": 4.469777777777778e-05,
      "loss": 2.1616,
      "step": 1194
    },
    {
      "epoch": 0.10622222222222222,
      "grad_norm": 2.152714967727661,
      "learning_rate": 4.4693333333333335e-05,
      "loss": 1.7616,
      "step": 1195
    },
    {
      "epoch": 0.1063111111111111,
      "grad_norm": 1.9491782188415527,
      "learning_rate": 4.468888888888889e-05,
      "loss": 1.8003,
      "step": 1196
    },
    {
      "epoch": 0.1064,
      "grad_norm": 1.8284274339675903,
      "learning_rate": 4.4684444444444444e-05,
      "loss": 1.3564,
      "step": 1197
    },
    {
      "epoch": 0.10648888888888888,
      "grad_norm": 1.7313041687011719,
      "learning_rate": 4.468e-05,
      "loss": 1.7779,
      "step": 1198
    },
    {
      "epoch": 0.10657777777777777,
      "grad_norm": 1.6796869039535522,
      "learning_rate": 4.467555555555556e-05,
      "loss": 1.671,
      "step": 1199
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 2.1834158897399902,
      "learning_rate": 4.4671111111111116e-05,
      "loss": 1.6502,
      "step": 1200
    },
    {
      "epoch": 0.10675555555555556,
      "grad_norm": 1.9449330568313599,
      "learning_rate": 4.466666666666667e-05,
      "loss": 2.0046,
      "step": 1201
    },
    {
      "epoch": 0.10684444444444445,
      "grad_norm": 1.797996997833252,
      "learning_rate": 4.4662222222222225e-05,
      "loss": 1.6991,
      "step": 1202
    },
    {
      "epoch": 0.10693333333333334,
      "grad_norm": 1.654930830001831,
      "learning_rate": 4.465777777777778e-05,
      "loss": 1.7216,
      "step": 1203
    },
    {
      "epoch": 0.10702222222222223,
      "grad_norm": 1.9004284143447876,
      "learning_rate": 4.4653333333333335e-05,
      "loss": 1.7957,
      "step": 1204
    },
    {
      "epoch": 0.10711111111111112,
      "grad_norm": 1.75814688205719,
      "learning_rate": 4.464888888888889e-05,
      "loss": 1.8184,
      "step": 1205
    },
    {
      "epoch": 0.1072,
      "grad_norm": 2.1107776165008545,
      "learning_rate": 4.4644444444444445e-05,
      "loss": 1.9513,
      "step": 1206
    },
    {
      "epoch": 0.10728888888888889,
      "grad_norm": 2.0276999473571777,
      "learning_rate": 4.4640000000000006e-05,
      "loss": 1.6107,
      "step": 1207
    },
    {
      "epoch": 0.10737777777777778,
      "grad_norm": 1.5898535251617432,
      "learning_rate": 4.463555555555556e-05,
      "loss": 1.7451,
      "step": 1208
    },
    {
      "epoch": 0.10746666666666667,
      "grad_norm": 1.582418441772461,
      "learning_rate": 4.463111111111111e-05,
      "loss": 1.6963,
      "step": 1209
    },
    {
      "epoch": 0.10755555555555556,
      "grad_norm": 1.73715078830719,
      "learning_rate": 4.4626666666666664e-05,
      "loss": 1.6739,
      "step": 1210
    },
    {
      "epoch": 0.10764444444444445,
      "grad_norm": 1.8479503393173218,
      "learning_rate": 4.4622222222222226e-05,
      "loss": 1.7458,
      "step": 1211
    },
    {
      "epoch": 0.10773333333333333,
      "grad_norm": 1.8436899185180664,
      "learning_rate": 4.461777777777778e-05,
      "loss": 1.5798,
      "step": 1212
    },
    {
      "epoch": 0.10782222222222222,
      "grad_norm": 1.8597288131713867,
      "learning_rate": 4.4613333333333335e-05,
      "loss": 1.7773,
      "step": 1213
    },
    {
      "epoch": 0.10791111111111111,
      "grad_norm": 1.6008577346801758,
      "learning_rate": 4.460888888888889e-05,
      "loss": 1.534,
      "step": 1214
    },
    {
      "epoch": 0.108,
      "grad_norm": 1.8042545318603516,
      "learning_rate": 4.460444444444445e-05,
      "loss": 1.9371,
      "step": 1215
    },
    {
      "epoch": 0.10808888888888889,
      "grad_norm": 2.603276491165161,
      "learning_rate": 4.46e-05,
      "loss": 1.9603,
      "step": 1216
    },
    {
      "epoch": 0.10817777777777778,
      "grad_norm": 1.5901864767074585,
      "learning_rate": 4.4595555555555555e-05,
      "loss": 1.8435,
      "step": 1217
    },
    {
      "epoch": 0.10826666666666666,
      "grad_norm": 1.7779096364974976,
      "learning_rate": 4.459111111111111e-05,
      "loss": 1.7856,
      "step": 1218
    },
    {
      "epoch": 0.10835555555555555,
      "grad_norm": 2.220142364501953,
      "learning_rate": 4.458666666666667e-05,
      "loss": 1.7845,
      "step": 1219
    },
    {
      "epoch": 0.10844444444444444,
      "grad_norm": 1.6987805366516113,
      "learning_rate": 4.4582222222222226e-05,
      "loss": 1.7748,
      "step": 1220
    },
    {
      "epoch": 0.10853333333333333,
      "grad_norm": 1.8172928094863892,
      "learning_rate": 4.457777777777778e-05,
      "loss": 1.704,
      "step": 1221
    },
    {
      "epoch": 0.10862222222222222,
      "grad_norm": 1.8009319305419922,
      "learning_rate": 4.4573333333333336e-05,
      "loss": 1.7045,
      "step": 1222
    },
    {
      "epoch": 0.1087111111111111,
      "grad_norm": 1.637210488319397,
      "learning_rate": 4.456888888888889e-05,
      "loss": 1.55,
      "step": 1223
    },
    {
      "epoch": 0.1088,
      "grad_norm": 1.6286414861679077,
      "learning_rate": 4.4564444444444445e-05,
      "loss": 1.6215,
      "step": 1224
    },
    {
      "epoch": 0.10888888888888888,
      "grad_norm": 1.8473589420318604,
      "learning_rate": 4.456e-05,
      "loss": 1.5656,
      "step": 1225
    },
    {
      "epoch": 0.10897777777777778,
      "grad_norm": 1.9479026794433594,
      "learning_rate": 4.4555555555555555e-05,
      "loss": 1.7246,
      "step": 1226
    },
    {
      "epoch": 0.10906666666666667,
      "grad_norm": 1.6878070831298828,
      "learning_rate": 4.455111111111112e-05,
      "loss": 1.6007,
      "step": 1227
    },
    {
      "epoch": 0.10915555555555556,
      "grad_norm": 2.1587352752685547,
      "learning_rate": 4.454666666666667e-05,
      "loss": 1.9688,
      "step": 1228
    },
    {
      "epoch": 0.10924444444444445,
      "grad_norm": 1.6592940092086792,
      "learning_rate": 4.4542222222222226e-05,
      "loss": 1.5183,
      "step": 1229
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 2.380483865737915,
      "learning_rate": 4.453777777777778e-05,
      "loss": 1.9633,
      "step": 1230
    },
    {
      "epoch": 0.10942222222222223,
      "grad_norm": 1.8972944021224976,
      "learning_rate": 4.4533333333333336e-05,
      "loss": 1.781,
      "step": 1231
    },
    {
      "epoch": 0.10951111111111111,
      "grad_norm": 1.8670419454574585,
      "learning_rate": 4.452888888888889e-05,
      "loss": 1.9514,
      "step": 1232
    },
    {
      "epoch": 0.1096,
      "grad_norm": 1.8831632137298584,
      "learning_rate": 4.4524444444444446e-05,
      "loss": 1.9783,
      "step": 1233
    },
    {
      "epoch": 0.10968888888888889,
      "grad_norm": 1.8262115716934204,
      "learning_rate": 4.452e-05,
      "loss": 1.8874,
      "step": 1234
    },
    {
      "epoch": 0.10977777777777778,
      "grad_norm": 1.6901556253433228,
      "learning_rate": 4.451555555555556e-05,
      "loss": 1.5385,
      "step": 1235
    },
    {
      "epoch": 0.10986666666666667,
      "grad_norm": 2.625540018081665,
      "learning_rate": 4.451111111111112e-05,
      "loss": 1.9394,
      "step": 1236
    },
    {
      "epoch": 0.10995555555555556,
      "grad_norm": 1.8997504711151123,
      "learning_rate": 4.450666666666667e-05,
      "loss": 1.7999,
      "step": 1237
    },
    {
      "epoch": 0.11004444444444444,
      "grad_norm": 2.1478512287139893,
      "learning_rate": 4.450222222222222e-05,
      "loss": 1.8713,
      "step": 1238
    },
    {
      "epoch": 0.11013333333333333,
      "grad_norm": 2.419433355331421,
      "learning_rate": 4.449777777777778e-05,
      "loss": 1.7226,
      "step": 1239
    },
    {
      "epoch": 0.11022222222222222,
      "grad_norm": 1.7925541400909424,
      "learning_rate": 4.4493333333333337e-05,
      "loss": 1.7421,
      "step": 1240
    },
    {
      "epoch": 0.11031111111111111,
      "grad_norm": 1.9576771259307861,
      "learning_rate": 4.448888888888889e-05,
      "loss": 1.6597,
      "step": 1241
    },
    {
      "epoch": 0.1104,
      "grad_norm": 1.914340615272522,
      "learning_rate": 4.4484444444444446e-05,
      "loss": 1.8071,
      "step": 1242
    },
    {
      "epoch": 0.11048888888888889,
      "grad_norm": 1.8357309103012085,
      "learning_rate": 4.448e-05,
      "loss": 1.5531,
      "step": 1243
    },
    {
      "epoch": 0.11057777777777777,
      "grad_norm": 1.7254829406738281,
      "learning_rate": 4.4475555555555556e-05,
      "loss": 1.6008,
      "step": 1244
    },
    {
      "epoch": 0.11066666666666666,
      "grad_norm": 1.8149490356445312,
      "learning_rate": 4.447111111111111e-05,
      "loss": 1.8842,
      "step": 1245
    },
    {
      "epoch": 0.11075555555555555,
      "grad_norm": 1.6194849014282227,
      "learning_rate": 4.4466666666666666e-05,
      "loss": 1.5343,
      "step": 1246
    },
    {
      "epoch": 0.11084444444444444,
      "grad_norm": 1.7660880088806152,
      "learning_rate": 4.446222222222222e-05,
      "loss": 1.5324,
      "step": 1247
    },
    {
      "epoch": 0.11093333333333333,
      "grad_norm": 1.8789129257202148,
      "learning_rate": 4.445777777777778e-05,
      "loss": 1.7797,
      "step": 1248
    },
    {
      "epoch": 0.11102222222222222,
      "grad_norm": 1.662438988685608,
      "learning_rate": 4.445333333333334e-05,
      "loss": 1.7207,
      "step": 1249
    },
    {
      "epoch": 0.1111111111111111,
      "grad_norm": 1.8984930515289307,
      "learning_rate": 4.444888888888889e-05,
      "loss": 1.7661,
      "step": 1250
    },
    {
      "epoch": 0.1112,
      "grad_norm": 1.6604331731796265,
      "learning_rate": 4.4444444444444447e-05,
      "loss": 1.3787,
      "step": 1251
    },
    {
      "epoch": 0.1112888888888889,
      "grad_norm": 1.8832151889801025,
      "learning_rate": 4.444e-05,
      "loss": 1.7316,
      "step": 1252
    },
    {
      "epoch": 0.11137777777777778,
      "grad_norm": 1.7132210731506348,
      "learning_rate": 4.4435555555555556e-05,
      "loss": 1.4041,
      "step": 1253
    },
    {
      "epoch": 0.11146666666666667,
      "grad_norm": 1.474272608757019,
      "learning_rate": 4.443111111111111e-05,
      "loss": 1.3771,
      "step": 1254
    },
    {
      "epoch": 0.11155555555555556,
      "grad_norm": 6.39763069152832,
      "learning_rate": 4.4426666666666666e-05,
      "loss": 1.7623,
      "step": 1255
    },
    {
      "epoch": 0.11164444444444445,
      "grad_norm": 1.8871092796325684,
      "learning_rate": 4.442222222222223e-05,
      "loss": 1.8858,
      "step": 1256
    },
    {
      "epoch": 0.11173333333333334,
      "grad_norm": 1.710638165473938,
      "learning_rate": 4.441777777777778e-05,
      "loss": 1.6111,
      "step": 1257
    },
    {
      "epoch": 0.11182222222222223,
      "grad_norm": 1.7534878253936768,
      "learning_rate": 4.441333333333334e-05,
      "loss": 1.9135,
      "step": 1258
    },
    {
      "epoch": 0.11191111111111111,
      "grad_norm": 3.0954537391662598,
      "learning_rate": 4.440888888888889e-05,
      "loss": 1.7141,
      "step": 1259
    },
    {
      "epoch": 0.112,
      "grad_norm": 1.756085991859436,
      "learning_rate": 4.440444444444445e-05,
      "loss": 1.4856,
      "step": 1260
    },
    {
      "epoch": 0.11208888888888889,
      "grad_norm": 2.4365875720977783,
      "learning_rate": 4.44e-05,
      "loss": 1.843,
      "step": 1261
    },
    {
      "epoch": 0.11217777777777778,
      "grad_norm": 1.7052905559539795,
      "learning_rate": 4.439555555555556e-05,
      "loss": 1.8081,
      "step": 1262
    },
    {
      "epoch": 0.11226666666666667,
      "grad_norm": 1.9082871675491333,
      "learning_rate": 4.439111111111111e-05,
      "loss": 1.6383,
      "step": 1263
    },
    {
      "epoch": 0.11235555555555556,
      "grad_norm": 2.001293897628784,
      "learning_rate": 4.438666666666667e-05,
      "loss": 1.6316,
      "step": 1264
    },
    {
      "epoch": 0.11244444444444444,
      "grad_norm": 1.770139217376709,
      "learning_rate": 4.438222222222223e-05,
      "loss": 1.7048,
      "step": 1265
    },
    {
      "epoch": 0.11253333333333333,
      "grad_norm": 1.913794755935669,
      "learning_rate": 4.4377777777777776e-05,
      "loss": 1.777,
      "step": 1266
    },
    {
      "epoch": 0.11262222222222222,
      "grad_norm": 2.0356078147888184,
      "learning_rate": 4.437333333333333e-05,
      "loss": 2.0143,
      "step": 1267
    },
    {
      "epoch": 0.11271111111111111,
      "grad_norm": 2.301511287689209,
      "learning_rate": 4.436888888888889e-05,
      "loss": 1.7149,
      "step": 1268
    },
    {
      "epoch": 0.1128,
      "grad_norm": 1.6445330381393433,
      "learning_rate": 4.436444444444445e-05,
      "loss": 1.6263,
      "step": 1269
    },
    {
      "epoch": 0.11288888888888889,
      "grad_norm": 2.099947690963745,
      "learning_rate": 4.436e-05,
      "loss": 1.8854,
      "step": 1270
    },
    {
      "epoch": 0.11297777777777777,
      "grad_norm": 2.8101468086242676,
      "learning_rate": 4.435555555555556e-05,
      "loss": 1.9991,
      "step": 1271
    },
    {
      "epoch": 0.11306666666666666,
      "grad_norm": 1.5422724485397339,
      "learning_rate": 4.435111111111112e-05,
      "loss": 1.5692,
      "step": 1272
    },
    {
      "epoch": 0.11315555555555555,
      "grad_norm": 1.8952914476394653,
      "learning_rate": 4.434666666666667e-05,
      "loss": 1.8681,
      "step": 1273
    },
    {
      "epoch": 0.11324444444444444,
      "grad_norm": 1.7125121355056763,
      "learning_rate": 4.434222222222222e-05,
      "loss": 1.5935,
      "step": 1274
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 1.887048363685608,
      "learning_rate": 4.4337777777777776e-05,
      "loss": 1.8068,
      "step": 1275
    },
    {
      "epoch": 0.11342222222222222,
      "grad_norm": 1.8758131265640259,
      "learning_rate": 4.433333333333334e-05,
      "loss": 1.8299,
      "step": 1276
    },
    {
      "epoch": 0.1135111111111111,
      "grad_norm": 2.304553747177124,
      "learning_rate": 4.432888888888889e-05,
      "loss": 1.648,
      "step": 1277
    },
    {
      "epoch": 0.1136,
      "grad_norm": 2.4915521144866943,
      "learning_rate": 4.432444444444445e-05,
      "loss": 1.8601,
      "step": 1278
    },
    {
      "epoch": 0.1136888888888889,
      "grad_norm": 1.6431523561477661,
      "learning_rate": 4.432e-05,
      "loss": 1.7791,
      "step": 1279
    },
    {
      "epoch": 0.11377777777777778,
      "grad_norm": 2.184788465499878,
      "learning_rate": 4.431555555555556e-05,
      "loss": 1.7266,
      "step": 1280
    },
    {
      "epoch": 0.11386666666666667,
      "grad_norm": 2.1876351833343506,
      "learning_rate": 4.431111111111111e-05,
      "loss": 1.6563,
      "step": 1281
    },
    {
      "epoch": 0.11395555555555556,
      "grad_norm": 1.8451181650161743,
      "learning_rate": 4.430666666666667e-05,
      "loss": 1.7669,
      "step": 1282
    },
    {
      "epoch": 0.11404444444444445,
      "grad_norm": 1.93558931350708,
      "learning_rate": 4.430222222222222e-05,
      "loss": 1.6426,
      "step": 1283
    },
    {
      "epoch": 0.11413333333333334,
      "grad_norm": 1.708264946937561,
      "learning_rate": 4.4297777777777784e-05,
      "loss": 1.6268,
      "step": 1284
    },
    {
      "epoch": 0.11422222222222222,
      "grad_norm": 1.596442699432373,
      "learning_rate": 4.429333333333334e-05,
      "loss": 1.5815,
      "step": 1285
    },
    {
      "epoch": 0.11431111111111111,
      "grad_norm": 2.0647029876708984,
      "learning_rate": 4.428888888888889e-05,
      "loss": 1.7869,
      "step": 1286
    },
    {
      "epoch": 0.1144,
      "grad_norm": 1.9508131742477417,
      "learning_rate": 4.428444444444445e-05,
      "loss": 1.8928,
      "step": 1287
    },
    {
      "epoch": 0.11448888888888889,
      "grad_norm": 1.7395607233047485,
      "learning_rate": 4.428e-05,
      "loss": 1.7456,
      "step": 1288
    },
    {
      "epoch": 0.11457777777777778,
      "grad_norm": 1.889703631401062,
      "learning_rate": 4.427555555555556e-05,
      "loss": 1.6211,
      "step": 1289
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 1.6411476135253906,
      "learning_rate": 4.427111111111111e-05,
      "loss": 1.6391,
      "step": 1290
    },
    {
      "epoch": 0.11475555555555556,
      "grad_norm": 1.5512449741363525,
      "learning_rate": 4.426666666666667e-05,
      "loss": 1.4931,
      "step": 1291
    },
    {
      "epoch": 0.11484444444444444,
      "grad_norm": 2.070124864578247,
      "learning_rate": 4.426222222222222e-05,
      "loss": 1.8959,
      "step": 1292
    },
    {
      "epoch": 0.11493333333333333,
      "grad_norm": 1.888132095336914,
      "learning_rate": 4.4257777777777784e-05,
      "loss": 1.607,
      "step": 1293
    },
    {
      "epoch": 0.11502222222222222,
      "grad_norm": 2.1172358989715576,
      "learning_rate": 4.425333333333334e-05,
      "loss": 1.8008,
      "step": 1294
    },
    {
      "epoch": 0.11511111111111111,
      "grad_norm": 4.4940667152404785,
      "learning_rate": 4.424888888888889e-05,
      "loss": 1.7501,
      "step": 1295
    },
    {
      "epoch": 0.1152,
      "grad_norm": 1.8377089500427246,
      "learning_rate": 4.424444444444444e-05,
      "loss": 1.4956,
      "step": 1296
    },
    {
      "epoch": 0.11528888888888889,
      "grad_norm": 1.8708604574203491,
      "learning_rate": 4.424e-05,
      "loss": 1.5202,
      "step": 1297
    },
    {
      "epoch": 0.11537777777777777,
      "grad_norm": 1.9618898630142212,
      "learning_rate": 4.423555555555556e-05,
      "loss": 1.8545,
      "step": 1298
    },
    {
      "epoch": 0.11546666666666666,
      "grad_norm": 1.8225022554397583,
      "learning_rate": 4.423111111111111e-05,
      "loss": 1.8889,
      "step": 1299
    },
    {
      "epoch": 0.11555555555555555,
      "grad_norm": 1.7936491966247559,
      "learning_rate": 4.422666666666667e-05,
      "loss": 1.6136,
      "step": 1300
    },
    {
      "epoch": 0.11564444444444444,
      "grad_norm": 1.7681001424789429,
      "learning_rate": 4.422222222222222e-05,
      "loss": 1.8627,
      "step": 1301
    },
    {
      "epoch": 0.11573333333333333,
      "grad_norm": 1.8051444292068481,
      "learning_rate": 4.421777777777778e-05,
      "loss": 1.75,
      "step": 1302
    },
    {
      "epoch": 0.11582222222222222,
      "grad_norm": 1.6081684827804565,
      "learning_rate": 4.421333333333333e-05,
      "loss": 1.6792,
      "step": 1303
    },
    {
      "epoch": 0.11591111111111112,
      "grad_norm": 1.571203351020813,
      "learning_rate": 4.420888888888889e-05,
      "loss": 1.5235,
      "step": 1304
    },
    {
      "epoch": 0.116,
      "grad_norm": 1.5787941217422485,
      "learning_rate": 4.420444444444445e-05,
      "loss": 1.3813,
      "step": 1305
    },
    {
      "epoch": 0.1160888888888889,
      "grad_norm": 1.845518946647644,
      "learning_rate": 4.4200000000000004e-05,
      "loss": 1.9118,
      "step": 1306
    },
    {
      "epoch": 0.11617777777777778,
      "grad_norm": 1.6887139081954956,
      "learning_rate": 4.419555555555556e-05,
      "loss": 1.7414,
      "step": 1307
    },
    {
      "epoch": 0.11626666666666667,
      "grad_norm": 1.532042145729065,
      "learning_rate": 4.4191111111111113e-05,
      "loss": 1.5247,
      "step": 1308
    },
    {
      "epoch": 0.11635555555555556,
      "grad_norm": 1.8281152248382568,
      "learning_rate": 4.418666666666667e-05,
      "loss": 1.6588,
      "step": 1309
    },
    {
      "epoch": 0.11644444444444445,
      "grad_norm": 2.1586711406707764,
      "learning_rate": 4.418222222222222e-05,
      "loss": 1.6569,
      "step": 1310
    },
    {
      "epoch": 0.11653333333333334,
      "grad_norm": 1.7420519590377808,
      "learning_rate": 4.417777777777778e-05,
      "loss": 1.9519,
      "step": 1311
    },
    {
      "epoch": 0.11662222222222222,
      "grad_norm": 1.6167879104614258,
      "learning_rate": 4.417333333333333e-05,
      "loss": 1.7947,
      "step": 1312
    },
    {
      "epoch": 0.11671111111111111,
      "grad_norm": 1.921457052230835,
      "learning_rate": 4.4168888888888894e-05,
      "loss": 1.8891,
      "step": 1313
    },
    {
      "epoch": 0.1168,
      "grad_norm": 1.7691909074783325,
      "learning_rate": 4.416444444444445e-05,
      "loss": 1.4686,
      "step": 1314
    },
    {
      "epoch": 0.11688888888888889,
      "grad_norm": 1.6400730609893799,
      "learning_rate": 4.4160000000000004e-05,
      "loss": 1.622,
      "step": 1315
    },
    {
      "epoch": 0.11697777777777778,
      "grad_norm": 2.0307276248931885,
      "learning_rate": 4.415555555555556e-05,
      "loss": 1.7649,
      "step": 1316
    },
    {
      "epoch": 0.11706666666666667,
      "grad_norm": 1.7519956827163696,
      "learning_rate": 4.4151111111111114e-05,
      "loss": 1.7451,
      "step": 1317
    },
    {
      "epoch": 0.11715555555555555,
      "grad_norm": 1.8982245922088623,
      "learning_rate": 4.414666666666667e-05,
      "loss": 1.7595,
      "step": 1318
    },
    {
      "epoch": 0.11724444444444444,
      "grad_norm": 2.2676284313201904,
      "learning_rate": 4.4142222222222223e-05,
      "loss": 1.837,
      "step": 1319
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 1.8178380727767944,
      "learning_rate": 4.413777777777778e-05,
      "loss": 1.6691,
      "step": 1320
    },
    {
      "epoch": 0.11742222222222222,
      "grad_norm": 1.825127363204956,
      "learning_rate": 4.413333333333334e-05,
      "loss": 1.5918,
      "step": 1321
    },
    {
      "epoch": 0.11751111111111111,
      "grad_norm": 2.267228841781616,
      "learning_rate": 4.4128888888888895e-05,
      "loss": 1.7991,
      "step": 1322
    },
    {
      "epoch": 0.1176,
      "grad_norm": 2.0274202823638916,
      "learning_rate": 4.412444444444444e-05,
      "loss": 1.8017,
      "step": 1323
    },
    {
      "epoch": 0.11768888888888888,
      "grad_norm": 2.5664241313934326,
      "learning_rate": 4.412e-05,
      "loss": 1.8234,
      "step": 1324
    },
    {
      "epoch": 0.11777777777777777,
      "grad_norm": 1.676478624343872,
      "learning_rate": 4.411555555555556e-05,
      "loss": 1.6218,
      "step": 1325
    },
    {
      "epoch": 0.11786666666666666,
      "grad_norm": 2.048814058303833,
      "learning_rate": 4.4111111111111114e-05,
      "loss": 1.8719,
      "step": 1326
    },
    {
      "epoch": 0.11795555555555555,
      "grad_norm": 1.7357375621795654,
      "learning_rate": 4.410666666666667e-05,
      "loss": 1.6213,
      "step": 1327
    },
    {
      "epoch": 0.11804444444444444,
      "grad_norm": 1.9577583074569702,
      "learning_rate": 4.4102222222222224e-05,
      "loss": 1.676,
      "step": 1328
    },
    {
      "epoch": 0.11813333333333334,
      "grad_norm": 1.8147597312927246,
      "learning_rate": 4.4097777777777785e-05,
      "loss": 1.6928,
      "step": 1329
    },
    {
      "epoch": 0.11822222222222223,
      "grad_norm": 1.7957710027694702,
      "learning_rate": 4.4093333333333334e-05,
      "loss": 1.7215,
      "step": 1330
    },
    {
      "epoch": 0.11831111111111112,
      "grad_norm": 1.7004684209823608,
      "learning_rate": 4.408888888888889e-05,
      "loss": 1.5478,
      "step": 1331
    },
    {
      "epoch": 0.1184,
      "grad_norm": 2.196784019470215,
      "learning_rate": 4.408444444444444e-05,
      "loss": 1.6388,
      "step": 1332
    },
    {
      "epoch": 0.1184888888888889,
      "grad_norm": 1.7436920404434204,
      "learning_rate": 4.4080000000000005e-05,
      "loss": 1.6969,
      "step": 1333
    },
    {
      "epoch": 0.11857777777777778,
      "grad_norm": 1.8372447490692139,
      "learning_rate": 4.407555555555556e-05,
      "loss": 1.5672,
      "step": 1334
    },
    {
      "epoch": 0.11866666666666667,
      "grad_norm": 1.7937893867492676,
      "learning_rate": 4.4071111111111115e-05,
      "loss": 1.7561,
      "step": 1335
    },
    {
      "epoch": 0.11875555555555556,
      "grad_norm": 2.0556814670562744,
      "learning_rate": 4.406666666666667e-05,
      "loss": 1.921,
      "step": 1336
    },
    {
      "epoch": 0.11884444444444445,
      "grad_norm": 2.0245323181152344,
      "learning_rate": 4.4062222222222224e-05,
      "loss": 1.7209,
      "step": 1337
    },
    {
      "epoch": 0.11893333333333334,
      "grad_norm": 1.9140357971191406,
      "learning_rate": 4.405777777777778e-05,
      "loss": 1.8069,
      "step": 1338
    },
    {
      "epoch": 0.11902222222222222,
      "grad_norm": 1.9617189168930054,
      "learning_rate": 4.4053333333333334e-05,
      "loss": 1.841,
      "step": 1339
    },
    {
      "epoch": 0.11911111111111111,
      "grad_norm": 1.9676021337509155,
      "learning_rate": 4.404888888888889e-05,
      "loss": 1.7433,
      "step": 1340
    },
    {
      "epoch": 0.1192,
      "grad_norm": 1.6917104721069336,
      "learning_rate": 4.404444444444445e-05,
      "loss": 1.8426,
      "step": 1341
    },
    {
      "epoch": 0.11928888888888889,
      "grad_norm": 2.241976737976074,
      "learning_rate": 4.4040000000000005e-05,
      "loss": 1.7424,
      "step": 1342
    },
    {
      "epoch": 0.11937777777777778,
      "grad_norm": 1.757387399673462,
      "learning_rate": 4.403555555555556e-05,
      "loss": 1.767,
      "step": 1343
    },
    {
      "epoch": 0.11946666666666667,
      "grad_norm": 2.5921761989593506,
      "learning_rate": 4.4031111111111115e-05,
      "loss": 1.9357,
      "step": 1344
    },
    {
      "epoch": 0.11955555555555555,
      "grad_norm": 1.7346107959747314,
      "learning_rate": 4.402666666666666e-05,
      "loss": 1.57,
      "step": 1345
    },
    {
      "epoch": 0.11964444444444444,
      "grad_norm": 1.7638897895812988,
      "learning_rate": 4.4022222222222225e-05,
      "loss": 1.834,
      "step": 1346
    },
    {
      "epoch": 0.11973333333333333,
      "grad_norm": 1.8175275325775146,
      "learning_rate": 4.401777777777778e-05,
      "loss": 1.9924,
      "step": 1347
    },
    {
      "epoch": 0.11982222222222222,
      "grad_norm": 1.5495026111602783,
      "learning_rate": 4.4013333333333334e-05,
      "loss": 1.8467,
      "step": 1348
    },
    {
      "epoch": 0.11991111111111111,
      "grad_norm": 1.6862475872039795,
      "learning_rate": 4.400888888888889e-05,
      "loss": 1.6825,
      "step": 1349
    },
    {
      "epoch": 0.12,
      "grad_norm": 1.9280380010604858,
      "learning_rate": 4.400444444444445e-05,
      "loss": 1.8713,
      "step": 1350
    },
    {
      "epoch": 0.12008888888888888,
      "grad_norm": 1.8274805545806885,
      "learning_rate": 4.4000000000000006e-05,
      "loss": 1.8373,
      "step": 1351
    },
    {
      "epoch": 0.12017777777777777,
      "grad_norm": 1.7375307083129883,
      "learning_rate": 4.3995555555555554e-05,
      "loss": 1.7387,
      "step": 1352
    },
    {
      "epoch": 0.12026666666666666,
      "grad_norm": 1.7004221677780151,
      "learning_rate": 4.399111111111111e-05,
      "loss": 1.8088,
      "step": 1353
    },
    {
      "epoch": 0.12035555555555555,
      "grad_norm": 1.7537415027618408,
      "learning_rate": 4.398666666666667e-05,
      "loss": 1.7292,
      "step": 1354
    },
    {
      "epoch": 0.12044444444444445,
      "grad_norm": 3.3242995738983154,
      "learning_rate": 4.3982222222222225e-05,
      "loss": 1.9564,
      "step": 1355
    },
    {
      "epoch": 0.12053333333333334,
      "grad_norm": 1.6800614595413208,
      "learning_rate": 4.397777777777778e-05,
      "loss": 1.7866,
      "step": 1356
    },
    {
      "epoch": 0.12062222222222223,
      "grad_norm": 2.0291662216186523,
      "learning_rate": 4.3973333333333335e-05,
      "loss": 1.9674,
      "step": 1357
    },
    {
      "epoch": 0.12071111111111112,
      "grad_norm": 2.123445510864258,
      "learning_rate": 4.396888888888889e-05,
      "loss": 1.7792,
      "step": 1358
    },
    {
      "epoch": 0.1208,
      "grad_norm": 1.5720256567001343,
      "learning_rate": 4.3964444444444444e-05,
      "loss": 1.7853,
      "step": 1359
    },
    {
      "epoch": 0.12088888888888889,
      "grad_norm": 1.964627981185913,
      "learning_rate": 4.396e-05,
      "loss": 1.7065,
      "step": 1360
    },
    {
      "epoch": 0.12097777777777778,
      "grad_norm": 2.3178791999816895,
      "learning_rate": 4.3955555555555554e-05,
      "loss": 1.8733,
      "step": 1361
    },
    {
      "epoch": 0.12106666666666667,
      "grad_norm": 2.1234500408172607,
      "learning_rate": 4.3951111111111116e-05,
      "loss": 1.952,
      "step": 1362
    },
    {
      "epoch": 0.12115555555555556,
      "grad_norm": 1.6481292247772217,
      "learning_rate": 4.394666666666667e-05,
      "loss": 1.7082,
      "step": 1363
    },
    {
      "epoch": 0.12124444444444445,
      "grad_norm": 2.070197343826294,
      "learning_rate": 4.3942222222222225e-05,
      "loss": 1.8968,
      "step": 1364
    },
    {
      "epoch": 0.12133333333333333,
      "grad_norm": 1.617011547088623,
      "learning_rate": 4.393777777777778e-05,
      "loss": 1.6085,
      "step": 1365
    },
    {
      "epoch": 0.12142222222222222,
      "grad_norm": 2.110239028930664,
      "learning_rate": 4.3933333333333335e-05,
      "loss": 1.7868,
      "step": 1366
    },
    {
      "epoch": 0.12151111111111111,
      "grad_norm": 1.7996503114700317,
      "learning_rate": 4.392888888888889e-05,
      "loss": 1.7258,
      "step": 1367
    },
    {
      "epoch": 0.1216,
      "grad_norm": 2.0487239360809326,
      "learning_rate": 4.3924444444444445e-05,
      "loss": 1.7344,
      "step": 1368
    },
    {
      "epoch": 0.12168888888888889,
      "grad_norm": 2.0739433765411377,
      "learning_rate": 4.392e-05,
      "loss": 1.8849,
      "step": 1369
    },
    {
      "epoch": 0.12177777777777778,
      "grad_norm": 1.819596290588379,
      "learning_rate": 4.391555555555556e-05,
      "loss": 1.6856,
      "step": 1370
    },
    {
      "epoch": 0.12186666666666666,
      "grad_norm": 1.5863584280014038,
      "learning_rate": 4.3911111111111116e-05,
      "loss": 1.8388,
      "step": 1371
    },
    {
      "epoch": 0.12195555555555555,
      "grad_norm": 1.5853193998336792,
      "learning_rate": 4.390666666666667e-05,
      "loss": 1.8679,
      "step": 1372
    },
    {
      "epoch": 0.12204444444444444,
      "grad_norm": 1.7348601818084717,
      "learning_rate": 4.390222222222222e-05,
      "loss": 1.6379,
      "step": 1373
    },
    {
      "epoch": 0.12213333333333333,
      "grad_norm": 1.9485279321670532,
      "learning_rate": 4.389777777777778e-05,
      "loss": 1.7561,
      "step": 1374
    },
    {
      "epoch": 0.12222222222222222,
      "grad_norm": 1.7020145654678345,
      "learning_rate": 4.3893333333333335e-05,
      "loss": 1.6154,
      "step": 1375
    },
    {
      "epoch": 0.1223111111111111,
      "grad_norm": 1.741568922996521,
      "learning_rate": 4.388888888888889e-05,
      "loss": 1.862,
      "step": 1376
    },
    {
      "epoch": 0.1224,
      "grad_norm": 2.080798864364624,
      "learning_rate": 4.3884444444444445e-05,
      "loss": 1.5547,
      "step": 1377
    },
    {
      "epoch": 0.12248888888888888,
      "grad_norm": 1.72336745262146,
      "learning_rate": 4.388000000000001e-05,
      "loss": 1.5311,
      "step": 1378
    },
    {
      "epoch": 0.12257777777777777,
      "grad_norm": 1.9441057443618774,
      "learning_rate": 4.387555555555556e-05,
      "loss": 1.8333,
      "step": 1379
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 1.9383257627487183,
      "learning_rate": 4.387111111111111e-05,
      "loss": 1.7221,
      "step": 1380
    },
    {
      "epoch": 0.12275555555555556,
      "grad_norm": 1.5191752910614014,
      "learning_rate": 4.3866666666666665e-05,
      "loss": 1.5962,
      "step": 1381
    },
    {
      "epoch": 0.12284444444444445,
      "grad_norm": 2.4222350120544434,
      "learning_rate": 4.3862222222222226e-05,
      "loss": 1.6116,
      "step": 1382
    },
    {
      "epoch": 0.12293333333333334,
      "grad_norm": 1.8473906517028809,
      "learning_rate": 4.385777777777778e-05,
      "loss": 1.6353,
      "step": 1383
    },
    {
      "epoch": 0.12302222222222223,
      "grad_norm": 1.623463749885559,
      "learning_rate": 4.3853333333333336e-05,
      "loss": 1.6305,
      "step": 1384
    },
    {
      "epoch": 0.12311111111111112,
      "grad_norm": 1.7599265575408936,
      "learning_rate": 4.384888888888889e-05,
      "loss": 1.6497,
      "step": 1385
    },
    {
      "epoch": 0.1232,
      "grad_norm": 1.8882050514221191,
      "learning_rate": 4.384444444444445e-05,
      "loss": 1.8681,
      "step": 1386
    },
    {
      "epoch": 0.12328888888888889,
      "grad_norm": 2.25437593460083,
      "learning_rate": 4.384e-05,
      "loss": 1.7164,
      "step": 1387
    },
    {
      "epoch": 0.12337777777777778,
      "grad_norm": 2.020721673965454,
      "learning_rate": 4.3835555555555555e-05,
      "loss": 1.5986,
      "step": 1388
    },
    {
      "epoch": 0.12346666666666667,
      "grad_norm": 1.8718866109848022,
      "learning_rate": 4.383111111111111e-05,
      "loss": 1.8009,
      "step": 1389
    },
    {
      "epoch": 0.12355555555555556,
      "grad_norm": 1.7470918893814087,
      "learning_rate": 4.382666666666667e-05,
      "loss": 2.0375,
      "step": 1390
    },
    {
      "epoch": 0.12364444444444445,
      "grad_norm": 1.5030430555343628,
      "learning_rate": 4.3822222222222227e-05,
      "loss": 1.4631,
      "step": 1391
    },
    {
      "epoch": 0.12373333333333333,
      "grad_norm": 1.9672677516937256,
      "learning_rate": 4.381777777777778e-05,
      "loss": 1.9017,
      "step": 1392
    },
    {
      "epoch": 0.12382222222222222,
      "grad_norm": 1.7765041589736938,
      "learning_rate": 4.3813333333333336e-05,
      "loss": 1.7994,
      "step": 1393
    },
    {
      "epoch": 0.12391111111111111,
      "grad_norm": 1.717810034751892,
      "learning_rate": 4.380888888888889e-05,
      "loss": 1.7477,
      "step": 1394
    },
    {
      "epoch": 0.124,
      "grad_norm": 1.936715841293335,
      "learning_rate": 4.3804444444444446e-05,
      "loss": 1.7931,
      "step": 1395
    },
    {
      "epoch": 0.12408888888888889,
      "grad_norm": 1.9875143766403198,
      "learning_rate": 4.38e-05,
      "loss": 1.8791,
      "step": 1396
    },
    {
      "epoch": 0.12417777777777778,
      "grad_norm": 1.6628221273422241,
      "learning_rate": 4.3795555555555556e-05,
      "loss": 1.7736,
      "step": 1397
    },
    {
      "epoch": 0.12426666666666666,
      "grad_norm": 1.8650901317596436,
      "learning_rate": 4.379111111111111e-05,
      "loss": 1.785,
      "step": 1398
    },
    {
      "epoch": 0.12435555555555555,
      "grad_norm": 1.7194627523422241,
      "learning_rate": 4.378666666666667e-05,
      "loss": 1.7036,
      "step": 1399
    },
    {
      "epoch": 0.12444444444444444,
      "grad_norm": 2.1151418685913086,
      "learning_rate": 4.378222222222223e-05,
      "loss": 1.7107,
      "step": 1400
    },
    {
      "epoch": 0.12453333333333333,
      "grad_norm": 1.7834742069244385,
      "learning_rate": 4.377777777777778e-05,
      "loss": 1.6709,
      "step": 1401
    },
    {
      "epoch": 0.12462222222222222,
      "grad_norm": 1.6930313110351562,
      "learning_rate": 4.377333333333333e-05,
      "loss": 1.8071,
      "step": 1402
    },
    {
      "epoch": 0.1247111111111111,
      "grad_norm": 2.0396013259887695,
      "learning_rate": 4.376888888888889e-05,
      "loss": 1.75,
      "step": 1403
    },
    {
      "epoch": 0.1248,
      "grad_norm": 2.633395195007324,
      "learning_rate": 4.3764444444444446e-05,
      "loss": 1.7122,
      "step": 1404
    },
    {
      "epoch": 0.12488888888888888,
      "grad_norm": 1.7321410179138184,
      "learning_rate": 4.376e-05,
      "loss": 1.8687,
      "step": 1405
    },
    {
      "epoch": 0.12497777777777777,
      "grad_norm": 1.7931644916534424,
      "learning_rate": 4.3755555555555556e-05,
      "loss": 1.7623,
      "step": 1406
    },
    {
      "epoch": 0.12506666666666666,
      "grad_norm": 2.1362273693084717,
      "learning_rate": 4.375111111111112e-05,
      "loss": 1.8752,
      "step": 1407
    },
    {
      "epoch": 0.12515555555555555,
      "grad_norm": 1.6733707189559937,
      "learning_rate": 4.374666666666667e-05,
      "loss": 1.5297,
      "step": 1408
    },
    {
      "epoch": 0.12524444444444444,
      "grad_norm": 1.8397607803344727,
      "learning_rate": 4.374222222222222e-05,
      "loss": 1.6182,
      "step": 1409
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 1.6797341108322144,
      "learning_rate": 4.3737777777777775e-05,
      "loss": 1.7943,
      "step": 1410
    },
    {
      "epoch": 0.1254222222222222,
      "grad_norm": 1.6575431823730469,
      "learning_rate": 4.373333333333334e-05,
      "loss": 1.5934,
      "step": 1411
    },
    {
      "epoch": 0.1255111111111111,
      "grad_norm": 2.022519111633301,
      "learning_rate": 4.372888888888889e-05,
      "loss": 1.887,
      "step": 1412
    },
    {
      "epoch": 0.1256,
      "grad_norm": 2.0057761669158936,
      "learning_rate": 4.372444444444445e-05,
      "loss": 1.8279,
      "step": 1413
    },
    {
      "epoch": 0.12568888888888888,
      "grad_norm": 1.5471614599227905,
      "learning_rate": 4.372e-05,
      "loss": 1.6429,
      "step": 1414
    },
    {
      "epoch": 0.12577777777777777,
      "grad_norm": 1.7856271266937256,
      "learning_rate": 4.3715555555555556e-05,
      "loss": 1.64,
      "step": 1415
    },
    {
      "epoch": 0.12586666666666665,
      "grad_norm": 1.685409426689148,
      "learning_rate": 4.371111111111111e-05,
      "loss": 1.6448,
      "step": 1416
    },
    {
      "epoch": 0.12595555555555554,
      "grad_norm": 2.4473044872283936,
      "learning_rate": 4.3706666666666666e-05,
      "loss": 1.7474,
      "step": 1417
    },
    {
      "epoch": 0.12604444444444443,
      "grad_norm": 1.6069453954696655,
      "learning_rate": 4.370222222222222e-05,
      "loss": 1.5135,
      "step": 1418
    },
    {
      "epoch": 0.12613333333333332,
      "grad_norm": 2.0490994453430176,
      "learning_rate": 4.369777777777778e-05,
      "loss": 1.731,
      "step": 1419
    },
    {
      "epoch": 0.12622222222222224,
      "grad_norm": 3.3583505153656006,
      "learning_rate": 4.369333333333334e-05,
      "loss": 1.91,
      "step": 1420
    },
    {
      "epoch": 0.12631111111111112,
      "grad_norm": 1.7187882661819458,
      "learning_rate": 4.368888888888889e-05,
      "loss": 1.8204,
      "step": 1421
    },
    {
      "epoch": 0.1264,
      "grad_norm": 2.158489942550659,
      "learning_rate": 4.368444444444445e-05,
      "loss": 1.4617,
      "step": 1422
    },
    {
      "epoch": 0.1264888888888889,
      "grad_norm": 2.04460072517395,
      "learning_rate": 4.368e-05,
      "loss": 1.5955,
      "step": 1423
    },
    {
      "epoch": 0.1265777777777778,
      "grad_norm": 1.8079497814178467,
      "learning_rate": 4.367555555555556e-05,
      "loss": 1.5176,
      "step": 1424
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 3.3940269947052,
      "learning_rate": 4.367111111111111e-05,
      "loss": 1.6812,
      "step": 1425
    },
    {
      "epoch": 0.12675555555555557,
      "grad_norm": 3.272087335586548,
      "learning_rate": 4.3666666666666666e-05,
      "loss": 1.72,
      "step": 1426
    },
    {
      "epoch": 0.12684444444444445,
      "grad_norm": 2.037590742111206,
      "learning_rate": 4.366222222222223e-05,
      "loss": 1.8862,
      "step": 1427
    },
    {
      "epoch": 0.12693333333333334,
      "grad_norm": 1.7256113290786743,
      "learning_rate": 4.365777777777778e-05,
      "loss": 1.7457,
      "step": 1428
    },
    {
      "epoch": 0.12702222222222223,
      "grad_norm": 2.1241166591644287,
      "learning_rate": 4.365333333333334e-05,
      "loss": 1.7976,
      "step": 1429
    },
    {
      "epoch": 0.12711111111111112,
      "grad_norm": 1.735222578048706,
      "learning_rate": 4.3648888888888886e-05,
      "loss": 1.9094,
      "step": 1430
    },
    {
      "epoch": 0.1272,
      "grad_norm": 1.9935742616653442,
      "learning_rate": 4.364444444444445e-05,
      "loss": 1.6568,
      "step": 1431
    },
    {
      "epoch": 0.1272888888888889,
      "grad_norm": 1.9492436647415161,
      "learning_rate": 4.364e-05,
      "loss": 1.8294,
      "step": 1432
    },
    {
      "epoch": 0.12737777777777778,
      "grad_norm": 1.8745447397232056,
      "learning_rate": 4.363555555555556e-05,
      "loss": 1.7251,
      "step": 1433
    },
    {
      "epoch": 0.12746666666666667,
      "grad_norm": 2.0119435787200928,
      "learning_rate": 4.363111111111111e-05,
      "loss": 1.7002,
      "step": 1434
    },
    {
      "epoch": 0.12755555555555556,
      "grad_norm": 1.7318930625915527,
      "learning_rate": 4.3626666666666674e-05,
      "loss": 1.8643,
      "step": 1435
    },
    {
      "epoch": 0.12764444444444445,
      "grad_norm": 2.464006185531616,
      "learning_rate": 4.362222222222223e-05,
      "loss": 1.9847,
      "step": 1436
    },
    {
      "epoch": 0.12773333333333334,
      "grad_norm": 2.3030388355255127,
      "learning_rate": 4.3617777777777777e-05,
      "loss": 1.7622,
      "step": 1437
    },
    {
      "epoch": 0.12782222222222223,
      "grad_norm": 1.9315730333328247,
      "learning_rate": 4.361333333333333e-05,
      "loss": 1.7785,
      "step": 1438
    },
    {
      "epoch": 0.12791111111111111,
      "grad_norm": 4.389951229095459,
      "learning_rate": 4.360888888888889e-05,
      "loss": 2.0642,
      "step": 1439
    },
    {
      "epoch": 0.128,
      "grad_norm": 1.9972199201583862,
      "learning_rate": 4.360444444444445e-05,
      "loss": 1.598,
      "step": 1440
    },
    {
      "epoch": 0.1280888888888889,
      "grad_norm": 1.682582139968872,
      "learning_rate": 4.36e-05,
      "loss": 1.6628,
      "step": 1441
    },
    {
      "epoch": 0.12817777777777778,
      "grad_norm": 1.7827229499816895,
      "learning_rate": 4.359555555555556e-05,
      "loss": 1.66,
      "step": 1442
    },
    {
      "epoch": 0.12826666666666667,
      "grad_norm": 1.5960773229599,
      "learning_rate": 4.359111111111112e-05,
      "loss": 1.4909,
      "step": 1443
    },
    {
      "epoch": 0.12835555555555556,
      "grad_norm": 1.7554292678833008,
      "learning_rate": 4.358666666666667e-05,
      "loss": 1.6544,
      "step": 1444
    },
    {
      "epoch": 0.12844444444444444,
      "grad_norm": 1.9003195762634277,
      "learning_rate": 4.358222222222222e-05,
      "loss": 1.673,
      "step": 1445
    },
    {
      "epoch": 0.12853333333333333,
      "grad_norm": 1.8087865114212036,
      "learning_rate": 4.357777777777778e-05,
      "loss": 1.7043,
      "step": 1446
    },
    {
      "epoch": 0.12862222222222222,
      "grad_norm": 1.5748273134231567,
      "learning_rate": 4.357333333333333e-05,
      "loss": 1.6908,
      "step": 1447
    },
    {
      "epoch": 0.1287111111111111,
      "grad_norm": 1.7590030431747437,
      "learning_rate": 4.356888888888889e-05,
      "loss": 1.7687,
      "step": 1448
    },
    {
      "epoch": 0.1288,
      "grad_norm": 1.7546730041503906,
      "learning_rate": 4.356444444444445e-05,
      "loss": 1.5527,
      "step": 1449
    },
    {
      "epoch": 0.1288888888888889,
      "grad_norm": 2.005370855331421,
      "learning_rate": 4.356e-05,
      "loss": 1.8081,
      "step": 1450
    },
    {
      "epoch": 0.12897777777777777,
      "grad_norm": 2.108957052230835,
      "learning_rate": 4.355555555555556e-05,
      "loss": 1.8526,
      "step": 1451
    },
    {
      "epoch": 0.12906666666666666,
      "grad_norm": 1.7180794477462769,
      "learning_rate": 4.355111111111111e-05,
      "loss": 1.5297,
      "step": 1452
    },
    {
      "epoch": 0.12915555555555555,
      "grad_norm": 1.9976930618286133,
      "learning_rate": 4.354666666666667e-05,
      "loss": 1.8965,
      "step": 1453
    },
    {
      "epoch": 0.12924444444444444,
      "grad_norm": 2.048032522201538,
      "learning_rate": 4.354222222222222e-05,
      "loss": 1.824,
      "step": 1454
    },
    {
      "epoch": 0.12933333333333333,
      "grad_norm": 1.7078741788864136,
      "learning_rate": 4.353777777777778e-05,
      "loss": 1.7887,
      "step": 1455
    },
    {
      "epoch": 0.12942222222222222,
      "grad_norm": 1.6093639135360718,
      "learning_rate": 4.353333333333334e-05,
      "loss": 1.8156,
      "step": 1456
    },
    {
      "epoch": 0.1295111111111111,
      "grad_norm": 1.7184797525405884,
      "learning_rate": 4.3528888888888894e-05,
      "loss": 1.6876,
      "step": 1457
    },
    {
      "epoch": 0.1296,
      "grad_norm": 1.9846054315567017,
      "learning_rate": 4.352444444444445e-05,
      "loss": 1.7051,
      "step": 1458
    },
    {
      "epoch": 0.12968888888888888,
      "grad_norm": 1.931229591369629,
      "learning_rate": 4.352e-05,
      "loss": 1.6823,
      "step": 1459
    },
    {
      "epoch": 0.12977777777777777,
      "grad_norm": 1.896702766418457,
      "learning_rate": 4.351555555555556e-05,
      "loss": 1.9491,
      "step": 1460
    },
    {
      "epoch": 0.12986666666666666,
      "grad_norm": 1.6933538913726807,
      "learning_rate": 4.351111111111111e-05,
      "loss": 1.7796,
      "step": 1461
    },
    {
      "epoch": 0.12995555555555555,
      "grad_norm": 2.21659779548645,
      "learning_rate": 4.350666666666667e-05,
      "loss": 1.6633,
      "step": 1462
    },
    {
      "epoch": 0.13004444444444443,
      "grad_norm": 1.911157250404358,
      "learning_rate": 4.350222222222222e-05,
      "loss": 1.7932,
      "step": 1463
    },
    {
      "epoch": 0.13013333333333332,
      "grad_norm": 1.883853793144226,
      "learning_rate": 4.3497777777777784e-05,
      "loss": 1.4905,
      "step": 1464
    },
    {
      "epoch": 0.1302222222222222,
      "grad_norm": 1.4696553945541382,
      "learning_rate": 4.349333333333334e-05,
      "loss": 1.6038,
      "step": 1465
    },
    {
      "epoch": 0.1303111111111111,
      "grad_norm": 1.7763619422912598,
      "learning_rate": 4.348888888888889e-05,
      "loss": 1.8157,
      "step": 1466
    },
    {
      "epoch": 0.1304,
      "grad_norm": 1.6117734909057617,
      "learning_rate": 4.348444444444444e-05,
      "loss": 1.8637,
      "step": 1467
    },
    {
      "epoch": 0.13048888888888888,
      "grad_norm": 1.9599018096923828,
      "learning_rate": 4.3480000000000004e-05,
      "loss": 1.7041,
      "step": 1468
    },
    {
      "epoch": 0.13057777777777776,
      "grad_norm": 1.7196193933486938,
      "learning_rate": 4.347555555555556e-05,
      "loss": 1.7806,
      "step": 1469
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 1.863484263420105,
      "learning_rate": 4.3471111111111114e-05,
      "loss": 1.7052,
      "step": 1470
    },
    {
      "epoch": 0.13075555555555557,
      "grad_norm": 1.6065897941589355,
      "learning_rate": 4.346666666666667e-05,
      "loss": 1.579,
      "step": 1471
    },
    {
      "epoch": 0.13084444444444446,
      "grad_norm": 1.6796106100082397,
      "learning_rate": 4.346222222222222e-05,
      "loss": 1.4617,
      "step": 1472
    },
    {
      "epoch": 0.13093333333333335,
      "grad_norm": 1.855259895324707,
      "learning_rate": 4.345777777777778e-05,
      "loss": 1.8898,
      "step": 1473
    },
    {
      "epoch": 0.13102222222222223,
      "grad_norm": 1.762815237045288,
      "learning_rate": 4.345333333333333e-05,
      "loss": 1.4629,
      "step": 1474
    },
    {
      "epoch": 0.13111111111111112,
      "grad_norm": 1.7053494453430176,
      "learning_rate": 4.344888888888889e-05,
      "loss": 1.9054,
      "step": 1475
    },
    {
      "epoch": 0.1312,
      "grad_norm": 1.8414686918258667,
      "learning_rate": 4.344444444444445e-05,
      "loss": 1.6637,
      "step": 1476
    },
    {
      "epoch": 0.1312888888888889,
      "grad_norm": 1.8603135347366333,
      "learning_rate": 4.3440000000000004e-05,
      "loss": 1.8442,
      "step": 1477
    },
    {
      "epoch": 0.1313777777777778,
      "grad_norm": 1.5971013307571411,
      "learning_rate": 4.343555555555556e-05,
      "loss": 1.7161,
      "step": 1478
    },
    {
      "epoch": 0.13146666666666668,
      "grad_norm": 1.7124005556106567,
      "learning_rate": 4.3431111111111114e-05,
      "loss": 1.5018,
      "step": 1479
    },
    {
      "epoch": 0.13155555555555556,
      "grad_norm": 1.6474159955978394,
      "learning_rate": 4.342666666666667e-05,
      "loss": 1.7312,
      "step": 1480
    },
    {
      "epoch": 0.13164444444444445,
      "grad_norm": 1.6500805616378784,
      "learning_rate": 4.3422222222222224e-05,
      "loss": 1.3764,
      "step": 1481
    },
    {
      "epoch": 0.13173333333333334,
      "grad_norm": 1.5675488710403442,
      "learning_rate": 4.341777777777778e-05,
      "loss": 1.5907,
      "step": 1482
    },
    {
      "epoch": 0.13182222222222223,
      "grad_norm": 1.7939398288726807,
      "learning_rate": 4.341333333333333e-05,
      "loss": 1.8336,
      "step": 1483
    },
    {
      "epoch": 0.13191111111111112,
      "grad_norm": 1.990471601486206,
      "learning_rate": 4.3408888888888895e-05,
      "loss": 1.6916,
      "step": 1484
    },
    {
      "epoch": 0.132,
      "grad_norm": 1.7361385822296143,
      "learning_rate": 4.340444444444445e-05,
      "loss": 1.7453,
      "step": 1485
    },
    {
      "epoch": 0.1320888888888889,
      "grad_norm": 1.7844243049621582,
      "learning_rate": 4.3400000000000005e-05,
      "loss": 1.5892,
      "step": 1486
    },
    {
      "epoch": 0.13217777777777778,
      "grad_norm": 2.099809408187866,
      "learning_rate": 4.339555555555555e-05,
      "loss": 1.9672,
      "step": 1487
    },
    {
      "epoch": 0.13226666666666667,
      "grad_norm": 1.9576369524002075,
      "learning_rate": 4.3391111111111114e-05,
      "loss": 1.887,
      "step": 1488
    },
    {
      "epoch": 0.13235555555555556,
      "grad_norm": 1.816017985343933,
      "learning_rate": 4.338666666666667e-05,
      "loss": 1.7882,
      "step": 1489
    },
    {
      "epoch": 0.13244444444444445,
      "grad_norm": 1.656833291053772,
      "learning_rate": 4.3382222222222224e-05,
      "loss": 1.6919,
      "step": 1490
    },
    {
      "epoch": 0.13253333333333334,
      "grad_norm": 1.7629129886627197,
      "learning_rate": 4.337777777777778e-05,
      "loss": 1.608,
      "step": 1491
    },
    {
      "epoch": 0.13262222222222222,
      "grad_norm": 1.9739705324172974,
      "learning_rate": 4.337333333333334e-05,
      "loss": 1.8075,
      "step": 1492
    },
    {
      "epoch": 0.1327111111111111,
      "grad_norm": 1.9672213792800903,
      "learning_rate": 4.3368888888888895e-05,
      "loss": 1.6907,
      "step": 1493
    },
    {
      "epoch": 0.1328,
      "grad_norm": 1.7719624042510986,
      "learning_rate": 4.336444444444444e-05,
      "loss": 1.7746,
      "step": 1494
    },
    {
      "epoch": 0.1328888888888889,
      "grad_norm": 1.7225372791290283,
      "learning_rate": 4.336e-05,
      "loss": 1.6775,
      "step": 1495
    },
    {
      "epoch": 0.13297777777777778,
      "grad_norm": 1.8500926494598389,
      "learning_rate": 4.335555555555556e-05,
      "loss": 1.7492,
      "step": 1496
    },
    {
      "epoch": 0.13306666666666667,
      "grad_norm": 1.6470527648925781,
      "learning_rate": 4.3351111111111115e-05,
      "loss": 1.8109,
      "step": 1497
    },
    {
      "epoch": 0.13315555555555555,
      "grad_norm": 1.885610818862915,
      "learning_rate": 4.334666666666667e-05,
      "loss": 1.9958,
      "step": 1498
    },
    {
      "epoch": 0.13324444444444444,
      "grad_norm": 1.7817620038986206,
      "learning_rate": 4.3342222222222224e-05,
      "loss": 1.6907,
      "step": 1499
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 2.2463226318359375,
      "learning_rate": 4.333777777777778e-05,
      "loss": 1.7141,
      "step": 1500
    },
    {
      "epoch": 0.13342222222222222,
      "grad_norm": 2.448805093765259,
      "learning_rate": 4.3333333333333334e-05,
      "loss": 1.8723,
      "step": 1501
    },
    {
      "epoch": 0.1335111111111111,
      "grad_norm": 1.636694312095642,
      "learning_rate": 4.332888888888889e-05,
      "loss": 1.641,
      "step": 1502
    },
    {
      "epoch": 0.1336,
      "grad_norm": 1.8255449533462524,
      "learning_rate": 4.3324444444444444e-05,
      "loss": 1.5114,
      "step": 1503
    },
    {
      "epoch": 0.13368888888888888,
      "grad_norm": 1.8689574003219604,
      "learning_rate": 4.332e-05,
      "loss": 1.8919,
      "step": 1504
    },
    {
      "epoch": 0.13377777777777777,
      "grad_norm": 1.7267324924468994,
      "learning_rate": 4.331555555555556e-05,
      "loss": 1.7617,
      "step": 1505
    },
    {
      "epoch": 0.13386666666666666,
      "grad_norm": 1.6877362728118896,
      "learning_rate": 4.3311111111111115e-05,
      "loss": 1.6147,
      "step": 1506
    },
    {
      "epoch": 0.13395555555555555,
      "grad_norm": 1.952088475227356,
      "learning_rate": 4.330666666666667e-05,
      "loss": 1.6357,
      "step": 1507
    },
    {
      "epoch": 0.13404444444444444,
      "grad_norm": 1.7674872875213623,
      "learning_rate": 4.3302222222222225e-05,
      "loss": 1.6743,
      "step": 1508
    },
    {
      "epoch": 0.13413333333333333,
      "grad_norm": 1.9199117422103882,
      "learning_rate": 4.329777777777778e-05,
      "loss": 1.7131,
      "step": 1509
    },
    {
      "epoch": 0.13422222222222221,
      "grad_norm": 1.7343801259994507,
      "learning_rate": 4.3293333333333334e-05,
      "loss": 1.801,
      "step": 1510
    },
    {
      "epoch": 0.1343111111111111,
      "grad_norm": 1.5174137353897095,
      "learning_rate": 4.328888888888889e-05,
      "loss": 1.5365,
      "step": 1511
    },
    {
      "epoch": 0.1344,
      "grad_norm": 1.4962552785873413,
      "learning_rate": 4.3284444444444444e-05,
      "loss": 1.4588,
      "step": 1512
    },
    {
      "epoch": 0.13448888888888888,
      "grad_norm": 1.629784345626831,
      "learning_rate": 4.3280000000000006e-05,
      "loss": 1.6054,
      "step": 1513
    },
    {
      "epoch": 0.13457777777777777,
      "grad_norm": 1.9656310081481934,
      "learning_rate": 4.327555555555556e-05,
      "loss": 1.6512,
      "step": 1514
    },
    {
      "epoch": 0.13466666666666666,
      "grad_norm": 1.7840834856033325,
      "learning_rate": 4.3271111111111115e-05,
      "loss": 1.8174,
      "step": 1515
    },
    {
      "epoch": 0.13475555555555555,
      "grad_norm": 2.1163928508758545,
      "learning_rate": 4.3266666666666664e-05,
      "loss": 1.7244,
      "step": 1516
    },
    {
      "epoch": 0.13484444444444443,
      "grad_norm": 1.7870382070541382,
      "learning_rate": 4.3262222222222225e-05,
      "loss": 1.7308,
      "step": 1517
    },
    {
      "epoch": 0.13493333333333332,
      "grad_norm": 1.5895018577575684,
      "learning_rate": 4.325777777777778e-05,
      "loss": 1.7534,
      "step": 1518
    },
    {
      "epoch": 0.1350222222222222,
      "grad_norm": 1.8764106035232544,
      "learning_rate": 4.3253333333333335e-05,
      "loss": 1.7687,
      "step": 1519
    },
    {
      "epoch": 0.1351111111111111,
      "grad_norm": 1.9021245241165161,
      "learning_rate": 4.324888888888889e-05,
      "loss": 1.7218,
      "step": 1520
    },
    {
      "epoch": 0.1352,
      "grad_norm": 2.023104190826416,
      "learning_rate": 4.324444444444445e-05,
      "loss": 1.7127,
      "step": 1521
    },
    {
      "epoch": 0.13528888888888888,
      "grad_norm": 2.5208890438079834,
      "learning_rate": 4.324e-05,
      "loss": 1.7313,
      "step": 1522
    },
    {
      "epoch": 0.1353777777777778,
      "grad_norm": 2.50520658493042,
      "learning_rate": 4.3235555555555554e-05,
      "loss": 1.9294,
      "step": 1523
    },
    {
      "epoch": 0.13546666666666668,
      "grad_norm": 1.7673805952072144,
      "learning_rate": 4.323111111111111e-05,
      "loss": 1.6824,
      "step": 1524
    },
    {
      "epoch": 0.13555555555555557,
      "grad_norm": 1.9444986581802368,
      "learning_rate": 4.322666666666667e-05,
      "loss": 1.6948,
      "step": 1525
    },
    {
      "epoch": 0.13564444444444446,
      "grad_norm": 1.6542673110961914,
      "learning_rate": 4.3222222222222226e-05,
      "loss": 1.903,
      "step": 1526
    },
    {
      "epoch": 0.13573333333333334,
      "grad_norm": 1.6097049713134766,
      "learning_rate": 4.321777777777778e-05,
      "loss": 1.4853,
      "step": 1527
    },
    {
      "epoch": 0.13582222222222223,
      "grad_norm": 1.9141258001327515,
      "learning_rate": 4.3213333333333335e-05,
      "loss": 1.616,
      "step": 1528
    },
    {
      "epoch": 0.13591111111111112,
      "grad_norm": 1.6396372318267822,
      "learning_rate": 4.320888888888889e-05,
      "loss": 1.6589,
      "step": 1529
    },
    {
      "epoch": 0.136,
      "grad_norm": 1.6294647455215454,
      "learning_rate": 4.3204444444444445e-05,
      "loss": 1.7049,
      "step": 1530
    },
    {
      "epoch": 0.1360888888888889,
      "grad_norm": 2.5607657432556152,
      "learning_rate": 4.32e-05,
      "loss": 1.6998,
      "step": 1531
    },
    {
      "epoch": 0.1361777777777778,
      "grad_norm": 2.4098050594329834,
      "learning_rate": 4.3195555555555555e-05,
      "loss": 1.7326,
      "step": 1532
    },
    {
      "epoch": 0.13626666666666667,
      "grad_norm": 1.8625816106796265,
      "learning_rate": 4.3191111111111116e-05,
      "loss": 1.738,
      "step": 1533
    },
    {
      "epoch": 0.13635555555555556,
      "grad_norm": 1.8284934759140015,
      "learning_rate": 4.318666666666667e-05,
      "loss": 1.8148,
      "step": 1534
    },
    {
      "epoch": 0.13644444444444445,
      "grad_norm": 2.021479845046997,
      "learning_rate": 4.3182222222222226e-05,
      "loss": 1.7188,
      "step": 1535
    },
    {
      "epoch": 0.13653333333333334,
      "grad_norm": 2.0815722942352295,
      "learning_rate": 4.317777777777778e-05,
      "loss": 1.9429,
      "step": 1536
    },
    {
      "epoch": 0.13662222222222223,
      "grad_norm": 1.6699122190475464,
      "learning_rate": 4.3173333333333336e-05,
      "loss": 1.5222,
      "step": 1537
    },
    {
      "epoch": 0.13671111111111112,
      "grad_norm": 1.7888582944869995,
      "learning_rate": 4.316888888888889e-05,
      "loss": 1.6484,
      "step": 1538
    },
    {
      "epoch": 0.1368,
      "grad_norm": 2.029632091522217,
      "learning_rate": 4.3164444444444445e-05,
      "loss": 1.7283,
      "step": 1539
    },
    {
      "epoch": 0.1368888888888889,
      "grad_norm": 1.9323369264602661,
      "learning_rate": 4.316e-05,
      "loss": 1.7576,
      "step": 1540
    },
    {
      "epoch": 0.13697777777777778,
      "grad_norm": 2.3987207412719727,
      "learning_rate": 4.315555555555556e-05,
      "loss": 1.7871,
      "step": 1541
    },
    {
      "epoch": 0.13706666666666667,
      "grad_norm": 3.1434566974639893,
      "learning_rate": 4.3151111111111117e-05,
      "loss": 1.8711,
      "step": 1542
    },
    {
      "epoch": 0.13715555555555556,
      "grad_norm": 1.733289122581482,
      "learning_rate": 4.314666666666667e-05,
      "loss": 1.5999,
      "step": 1543
    },
    {
      "epoch": 0.13724444444444445,
      "grad_norm": 1.8259731531143188,
      "learning_rate": 4.314222222222222e-05,
      "loss": 1.5908,
      "step": 1544
    },
    {
      "epoch": 0.13733333333333334,
      "grad_norm": 1.567323088645935,
      "learning_rate": 4.313777777777778e-05,
      "loss": 1.5292,
      "step": 1545
    },
    {
      "epoch": 0.13742222222222222,
      "grad_norm": 1.6491953134536743,
      "learning_rate": 4.3133333333333336e-05,
      "loss": 1.7665,
      "step": 1546
    },
    {
      "epoch": 0.1375111111111111,
      "grad_norm": 1.891136646270752,
      "learning_rate": 4.312888888888889e-05,
      "loss": 1.6856,
      "step": 1547
    },
    {
      "epoch": 0.1376,
      "grad_norm": 2.0574891567230225,
      "learning_rate": 4.3124444444444446e-05,
      "loss": 1.7611,
      "step": 1548
    },
    {
      "epoch": 0.1376888888888889,
      "grad_norm": 1.6123193502426147,
      "learning_rate": 4.312000000000001e-05,
      "loss": 1.7766,
      "step": 1549
    },
    {
      "epoch": 0.13777777777777778,
      "grad_norm": 1.6751166582107544,
      "learning_rate": 4.311555555555556e-05,
      "loss": 1.6934,
      "step": 1550
    },
    {
      "epoch": 0.13786666666666667,
      "grad_norm": 2.089311122894287,
      "learning_rate": 4.311111111111111e-05,
      "loss": 1.9481,
      "step": 1551
    },
    {
      "epoch": 0.13795555555555555,
      "grad_norm": 1.731194257736206,
      "learning_rate": 4.3106666666666665e-05,
      "loss": 1.6547,
      "step": 1552
    },
    {
      "epoch": 0.13804444444444444,
      "grad_norm": 1.5318552255630493,
      "learning_rate": 4.310222222222222e-05,
      "loss": 1.4663,
      "step": 1553
    },
    {
      "epoch": 0.13813333333333333,
      "grad_norm": 2.029289722442627,
      "learning_rate": 4.309777777777778e-05,
      "loss": 1.828,
      "step": 1554
    },
    {
      "epoch": 0.13822222222222222,
      "grad_norm": 1.8100117444992065,
      "learning_rate": 4.3093333333333336e-05,
      "loss": 1.5447,
      "step": 1555
    },
    {
      "epoch": 0.1383111111111111,
      "grad_norm": 1.4657871723175049,
      "learning_rate": 4.308888888888889e-05,
      "loss": 1.5083,
      "step": 1556
    },
    {
      "epoch": 0.1384,
      "grad_norm": 1.533646821975708,
      "learning_rate": 4.3084444444444446e-05,
      "loss": 1.752,
      "step": 1557
    },
    {
      "epoch": 0.13848888888888888,
      "grad_norm": 1.6257727146148682,
      "learning_rate": 4.308e-05,
      "loss": 1.5581,
      "step": 1558
    },
    {
      "epoch": 0.13857777777777777,
      "grad_norm": 2.17441463470459,
      "learning_rate": 4.3075555555555556e-05,
      "loss": 1.9523,
      "step": 1559
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 2.702469825744629,
      "learning_rate": 4.307111111111111e-05,
      "loss": 1.7252,
      "step": 1560
    },
    {
      "epoch": 0.13875555555555555,
      "grad_norm": 1.6925102472305298,
      "learning_rate": 4.3066666666666665e-05,
      "loss": 1.8197,
      "step": 1561
    },
    {
      "epoch": 0.13884444444444444,
      "grad_norm": 1.8568934202194214,
      "learning_rate": 4.306222222222223e-05,
      "loss": 1.805,
      "step": 1562
    },
    {
      "epoch": 0.13893333333333333,
      "grad_norm": 1.575167179107666,
      "learning_rate": 4.305777777777778e-05,
      "loss": 1.4116,
      "step": 1563
    },
    {
      "epoch": 0.1390222222222222,
      "grad_norm": 1.6398003101348877,
      "learning_rate": 4.305333333333334e-05,
      "loss": 1.3271,
      "step": 1564
    },
    {
      "epoch": 0.1391111111111111,
      "grad_norm": 2.145418882369995,
      "learning_rate": 4.304888888888889e-05,
      "loss": 1.7075,
      "step": 1565
    },
    {
      "epoch": 0.1392,
      "grad_norm": 2.3222265243530273,
      "learning_rate": 4.3044444444444446e-05,
      "loss": 1.8561,
      "step": 1566
    },
    {
      "epoch": 0.13928888888888888,
      "grad_norm": 1.8760991096496582,
      "learning_rate": 4.304e-05,
      "loss": 1.7096,
      "step": 1567
    },
    {
      "epoch": 0.13937777777777777,
      "grad_norm": 1.699472427368164,
      "learning_rate": 4.3035555555555556e-05,
      "loss": 1.4199,
      "step": 1568
    },
    {
      "epoch": 0.13946666666666666,
      "grad_norm": 1.820786952972412,
      "learning_rate": 4.303111111111111e-05,
      "loss": 1.7758,
      "step": 1569
    },
    {
      "epoch": 0.13955555555555554,
      "grad_norm": 1.9860875606536865,
      "learning_rate": 4.302666666666667e-05,
      "loss": 1.9247,
      "step": 1570
    },
    {
      "epoch": 0.13964444444444443,
      "grad_norm": 1.991636872291565,
      "learning_rate": 4.302222222222223e-05,
      "loss": 1.743,
      "step": 1571
    },
    {
      "epoch": 0.13973333333333332,
      "grad_norm": 1.9488457441329956,
      "learning_rate": 4.301777777777778e-05,
      "loss": 1.9048,
      "step": 1572
    },
    {
      "epoch": 0.1398222222222222,
      "grad_norm": 2.0223610401153564,
      "learning_rate": 4.301333333333333e-05,
      "loss": 1.6785,
      "step": 1573
    },
    {
      "epoch": 0.13991111111111112,
      "grad_norm": 1.8144783973693848,
      "learning_rate": 4.300888888888889e-05,
      "loss": 1.7257,
      "step": 1574
    },
    {
      "epoch": 0.14,
      "grad_norm": 1.8911019563674927,
      "learning_rate": 4.300444444444445e-05,
      "loss": 1.7811,
      "step": 1575
    },
    {
      "epoch": 0.1400888888888889,
      "grad_norm": 1.5930067300796509,
      "learning_rate": 4.3e-05,
      "loss": 1.7233,
      "step": 1576
    },
    {
      "epoch": 0.1401777777777778,
      "grad_norm": 1.535784125328064,
      "learning_rate": 4.2995555555555556e-05,
      "loss": 1.5758,
      "step": 1577
    },
    {
      "epoch": 0.14026666666666668,
      "grad_norm": 1.8785616159439087,
      "learning_rate": 4.299111111111112e-05,
      "loss": 1.5504,
      "step": 1578
    },
    {
      "epoch": 0.14035555555555557,
      "grad_norm": 2.0558977127075195,
      "learning_rate": 4.2986666666666666e-05,
      "loss": 1.9556,
      "step": 1579
    },
    {
      "epoch": 0.14044444444444446,
      "grad_norm": 2.135298490524292,
      "learning_rate": 4.298222222222222e-05,
      "loss": 1.6965,
      "step": 1580
    },
    {
      "epoch": 0.14053333333333334,
      "grad_norm": 2.1626336574554443,
      "learning_rate": 4.2977777777777776e-05,
      "loss": 1.726,
      "step": 1581
    },
    {
      "epoch": 0.14062222222222223,
      "grad_norm": 1.6493850946426392,
      "learning_rate": 4.297333333333334e-05,
      "loss": 1.6505,
      "step": 1582
    },
    {
      "epoch": 0.14071111111111112,
      "grad_norm": 1.9904959201812744,
      "learning_rate": 4.296888888888889e-05,
      "loss": 1.8169,
      "step": 1583
    },
    {
      "epoch": 0.1408,
      "grad_norm": 1.712341070175171,
      "learning_rate": 4.296444444444445e-05,
      "loss": 1.6284,
      "step": 1584
    },
    {
      "epoch": 0.1408888888888889,
      "grad_norm": 1.6647706031799316,
      "learning_rate": 4.296e-05,
      "loss": 1.68,
      "step": 1585
    },
    {
      "epoch": 0.14097777777777779,
      "grad_norm": 1.5434455871582031,
      "learning_rate": 4.295555555555556e-05,
      "loss": 1.6715,
      "step": 1586
    },
    {
      "epoch": 0.14106666666666667,
      "grad_norm": 1.4407858848571777,
      "learning_rate": 4.295111111111111e-05,
      "loss": 1.6144,
      "step": 1587
    },
    {
      "epoch": 0.14115555555555556,
      "grad_norm": 1.7968436479568481,
      "learning_rate": 4.2946666666666667e-05,
      "loss": 1.8169,
      "step": 1588
    },
    {
      "epoch": 0.14124444444444445,
      "grad_norm": 1.7292217016220093,
      "learning_rate": 4.294222222222222e-05,
      "loss": 1.8005,
      "step": 1589
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 1.7490814924240112,
      "learning_rate": 4.293777777777778e-05,
      "loss": 1.6543,
      "step": 1590
    },
    {
      "epoch": 0.14142222222222223,
      "grad_norm": 1.4910155534744263,
      "learning_rate": 4.293333333333334e-05,
      "loss": 1.522,
      "step": 1591
    },
    {
      "epoch": 0.14151111111111112,
      "grad_norm": 2.446646213531494,
      "learning_rate": 4.292888888888889e-05,
      "loss": 2.1066,
      "step": 1592
    },
    {
      "epoch": 0.1416,
      "grad_norm": 1.7069861888885498,
      "learning_rate": 4.292444444444445e-05,
      "loss": 1.6866,
      "step": 1593
    },
    {
      "epoch": 0.1416888888888889,
      "grad_norm": 2.1825597286224365,
      "learning_rate": 4.292e-05,
      "loss": 1.5758,
      "step": 1594
    },
    {
      "epoch": 0.14177777777777778,
      "grad_norm": 1.9953986406326294,
      "learning_rate": 4.291555555555556e-05,
      "loss": 1.7754,
      "step": 1595
    },
    {
      "epoch": 0.14186666666666667,
      "grad_norm": 1.8997985124588013,
      "learning_rate": 4.291111111111111e-05,
      "loss": 1.9306,
      "step": 1596
    },
    {
      "epoch": 0.14195555555555556,
      "grad_norm": 1.8471384048461914,
      "learning_rate": 4.290666666666667e-05,
      "loss": 1.7631,
      "step": 1597
    },
    {
      "epoch": 0.14204444444444445,
      "grad_norm": 1.614722728729248,
      "learning_rate": 4.290222222222223e-05,
      "loss": 1.5502,
      "step": 1598
    },
    {
      "epoch": 0.14213333333333333,
      "grad_norm": 1.6629016399383545,
      "learning_rate": 4.2897777777777783e-05,
      "loss": 1.6487,
      "step": 1599
    },
    {
      "epoch": 0.14222222222222222,
      "grad_norm": 2.382983446121216,
      "learning_rate": 4.289333333333334e-05,
      "loss": 1.8172,
      "step": 1600
    },
    {
      "epoch": 0.1423111111111111,
      "grad_norm": 2.1831469535827637,
      "learning_rate": 4.2888888888888886e-05,
      "loss": 1.8675,
      "step": 1601
    },
    {
      "epoch": 0.1424,
      "grad_norm": 1.768491506576538,
      "learning_rate": 4.288444444444444e-05,
      "loss": 1.5798,
      "step": 1602
    },
    {
      "epoch": 0.1424888888888889,
      "grad_norm": 1.7663722038269043,
      "learning_rate": 4.288e-05,
      "loss": 1.7186,
      "step": 1603
    },
    {
      "epoch": 0.14257777777777778,
      "grad_norm": 1.6386010646820068,
      "learning_rate": 4.287555555555556e-05,
      "loss": 1.4367,
      "step": 1604
    },
    {
      "epoch": 0.14266666666666666,
      "grad_norm": 1.7184866666793823,
      "learning_rate": 4.287111111111111e-05,
      "loss": 1.4695,
      "step": 1605
    },
    {
      "epoch": 0.14275555555555555,
      "grad_norm": 1.9327703714370728,
      "learning_rate": 4.286666666666667e-05,
      "loss": 1.916,
      "step": 1606
    },
    {
      "epoch": 0.14284444444444444,
      "grad_norm": 1.7193586826324463,
      "learning_rate": 4.286222222222223e-05,
      "loss": 1.94,
      "step": 1607
    },
    {
      "epoch": 0.14293333333333333,
      "grad_norm": 1.4569523334503174,
      "learning_rate": 4.285777777777778e-05,
      "loss": 1.5095,
      "step": 1608
    },
    {
      "epoch": 0.14302222222222222,
      "grad_norm": 1.6008273363113403,
      "learning_rate": 4.285333333333333e-05,
      "loss": 1.4799,
      "step": 1609
    },
    {
      "epoch": 0.1431111111111111,
      "grad_norm": 1.5821478366851807,
      "learning_rate": 4.284888888888889e-05,
      "loss": 1.5777,
      "step": 1610
    },
    {
      "epoch": 0.1432,
      "grad_norm": 1.7012587785720825,
      "learning_rate": 4.284444444444445e-05,
      "loss": 1.7919,
      "step": 1611
    },
    {
      "epoch": 0.14328888888888888,
      "grad_norm": 1.61503005027771,
      "learning_rate": 4.284e-05,
      "loss": 1.667,
      "step": 1612
    },
    {
      "epoch": 0.14337777777777777,
      "grad_norm": 1.9690930843353271,
      "learning_rate": 4.283555555555556e-05,
      "loss": 1.6814,
      "step": 1613
    },
    {
      "epoch": 0.14346666666666666,
      "grad_norm": 1.9464812278747559,
      "learning_rate": 4.283111111111111e-05,
      "loss": 1.8435,
      "step": 1614
    },
    {
      "epoch": 0.14355555555555555,
      "grad_norm": 1.6979422569274902,
      "learning_rate": 4.282666666666667e-05,
      "loss": 1.7094,
      "step": 1615
    },
    {
      "epoch": 0.14364444444444444,
      "grad_norm": 1.9143345355987549,
      "learning_rate": 4.282222222222222e-05,
      "loss": 1.6278,
      "step": 1616
    },
    {
      "epoch": 0.14373333333333332,
      "grad_norm": 2.564288377761841,
      "learning_rate": 4.281777777777778e-05,
      "loss": 1.7747,
      "step": 1617
    },
    {
      "epoch": 0.1438222222222222,
      "grad_norm": 1.6462574005126953,
      "learning_rate": 4.281333333333333e-05,
      "loss": 1.8711,
      "step": 1618
    },
    {
      "epoch": 0.1439111111111111,
      "grad_norm": 1.5562266111373901,
      "learning_rate": 4.2808888888888894e-05,
      "loss": 1.5986,
      "step": 1619
    },
    {
      "epoch": 0.144,
      "grad_norm": 1.6835317611694336,
      "learning_rate": 4.280444444444445e-05,
      "loss": 1.6985,
      "step": 1620
    },
    {
      "epoch": 0.14408888888888888,
      "grad_norm": 2.0049333572387695,
      "learning_rate": 4.2800000000000004e-05,
      "loss": 1.5536,
      "step": 1621
    },
    {
      "epoch": 0.14417777777777777,
      "grad_norm": 2.093846321105957,
      "learning_rate": 4.279555555555556e-05,
      "loss": 1.4393,
      "step": 1622
    },
    {
      "epoch": 0.14426666666666665,
      "grad_norm": 1.7774091958999634,
      "learning_rate": 4.279111111111111e-05,
      "loss": 1.7411,
      "step": 1623
    },
    {
      "epoch": 0.14435555555555554,
      "grad_norm": 1.9087053537368774,
      "learning_rate": 4.278666666666667e-05,
      "loss": 1.751,
      "step": 1624
    },
    {
      "epoch": 0.14444444444444443,
      "grad_norm": 1.8256406784057617,
      "learning_rate": 4.278222222222222e-05,
      "loss": 1.7244,
      "step": 1625
    },
    {
      "epoch": 0.14453333333333335,
      "grad_norm": 2.0204482078552246,
      "learning_rate": 4.277777777777778e-05,
      "loss": 1.843,
      "step": 1626
    },
    {
      "epoch": 0.14462222222222224,
      "grad_norm": 1.6246858835220337,
      "learning_rate": 4.277333333333334e-05,
      "loss": 1.5809,
      "step": 1627
    },
    {
      "epoch": 0.14471111111111112,
      "grad_norm": 1.6471998691558838,
      "learning_rate": 4.2768888888888894e-05,
      "loss": 1.6923,
      "step": 1628
    },
    {
      "epoch": 0.1448,
      "grad_norm": 2.101119041442871,
      "learning_rate": 4.276444444444445e-05,
      "loss": 1.7841,
      "step": 1629
    },
    {
      "epoch": 0.1448888888888889,
      "grad_norm": 1.8801133632659912,
      "learning_rate": 4.276e-05,
      "loss": 1.6563,
      "step": 1630
    },
    {
      "epoch": 0.1449777777777778,
      "grad_norm": 1.9219647645950317,
      "learning_rate": 4.275555555555556e-05,
      "loss": 1.7969,
      "step": 1631
    },
    {
      "epoch": 0.14506666666666668,
      "grad_norm": 1.9667760133743286,
      "learning_rate": 4.2751111111111114e-05,
      "loss": 1.8096,
      "step": 1632
    },
    {
      "epoch": 0.14515555555555557,
      "grad_norm": 1.5820071697235107,
      "learning_rate": 4.274666666666667e-05,
      "loss": 1.7058,
      "step": 1633
    },
    {
      "epoch": 0.14524444444444445,
      "grad_norm": 1.7233768701553345,
      "learning_rate": 4.274222222222222e-05,
      "loss": 1.6211,
      "step": 1634
    },
    {
      "epoch": 0.14533333333333334,
      "grad_norm": 1.6097214221954346,
      "learning_rate": 4.2737777777777785e-05,
      "loss": 1.6125,
      "step": 1635
    },
    {
      "epoch": 0.14542222222222223,
      "grad_norm": 1.4664056301116943,
      "learning_rate": 4.273333333333333e-05,
      "loss": 1.5906,
      "step": 1636
    },
    {
      "epoch": 0.14551111111111112,
      "grad_norm": 1.6590237617492676,
      "learning_rate": 4.272888888888889e-05,
      "loss": 1.6818,
      "step": 1637
    },
    {
      "epoch": 0.1456,
      "grad_norm": 1.6536345481872559,
      "learning_rate": 4.272444444444444e-05,
      "loss": 1.8109,
      "step": 1638
    },
    {
      "epoch": 0.1456888888888889,
      "grad_norm": 1.891022801399231,
      "learning_rate": 4.2720000000000004e-05,
      "loss": 1.8087,
      "step": 1639
    },
    {
      "epoch": 0.14577777777777778,
      "grad_norm": 1.8082948923110962,
      "learning_rate": 4.271555555555556e-05,
      "loss": 1.9453,
      "step": 1640
    },
    {
      "epoch": 0.14586666666666667,
      "grad_norm": 1.6645097732543945,
      "learning_rate": 4.2711111111111114e-05,
      "loss": 1.6104,
      "step": 1641
    },
    {
      "epoch": 0.14595555555555556,
      "grad_norm": 1.9488751888275146,
      "learning_rate": 4.270666666666667e-05,
      "loss": 1.7647,
      "step": 1642
    },
    {
      "epoch": 0.14604444444444445,
      "grad_norm": 1.9829144477844238,
      "learning_rate": 4.2702222222222224e-05,
      "loss": 1.7987,
      "step": 1643
    },
    {
      "epoch": 0.14613333333333334,
      "grad_norm": 1.5724519491195679,
      "learning_rate": 4.269777777777778e-05,
      "loss": 1.7015,
      "step": 1644
    },
    {
      "epoch": 0.14622222222222223,
      "grad_norm": 1.9180915355682373,
      "learning_rate": 4.2693333333333333e-05,
      "loss": 1.9246,
      "step": 1645
    },
    {
      "epoch": 0.14631111111111111,
      "grad_norm": 1.8087352514266968,
      "learning_rate": 4.268888888888889e-05,
      "loss": 1.6919,
      "step": 1646
    },
    {
      "epoch": 0.1464,
      "grad_norm": 1.6471139192581177,
      "learning_rate": 4.268444444444445e-05,
      "loss": 1.6929,
      "step": 1647
    },
    {
      "epoch": 0.1464888888888889,
      "grad_norm": 1.6587022542953491,
      "learning_rate": 4.2680000000000005e-05,
      "loss": 1.5547,
      "step": 1648
    },
    {
      "epoch": 0.14657777777777778,
      "grad_norm": 1.5729315280914307,
      "learning_rate": 4.267555555555556e-05,
      "loss": 1.6366,
      "step": 1649
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 1.9581162929534912,
      "learning_rate": 4.2671111111111114e-05,
      "loss": 1.5617,
      "step": 1650
    },
    {
      "epoch": 0.14675555555555556,
      "grad_norm": 1.5773065090179443,
      "learning_rate": 4.266666666666667e-05,
      "loss": 1.5932,
      "step": 1651
    },
    {
      "epoch": 0.14684444444444444,
      "grad_norm": 1.5214203596115112,
      "learning_rate": 4.2662222222222224e-05,
      "loss": 1.5259,
      "step": 1652
    },
    {
      "epoch": 0.14693333333333333,
      "grad_norm": 1.8481616973876953,
      "learning_rate": 4.265777777777778e-05,
      "loss": 1.9139,
      "step": 1653
    },
    {
      "epoch": 0.14702222222222222,
      "grad_norm": 1.7709201574325562,
      "learning_rate": 4.2653333333333334e-05,
      "loss": 1.5853,
      "step": 1654
    },
    {
      "epoch": 0.1471111111111111,
      "grad_norm": 1.6108801364898682,
      "learning_rate": 4.264888888888889e-05,
      "loss": 1.7653,
      "step": 1655
    },
    {
      "epoch": 0.1472,
      "grad_norm": 1.72455632686615,
      "learning_rate": 4.264444444444445e-05,
      "loss": 1.5605,
      "step": 1656
    },
    {
      "epoch": 0.14728888888888889,
      "grad_norm": 2.1287922859191895,
      "learning_rate": 4.2640000000000005e-05,
      "loss": 1.7201,
      "step": 1657
    },
    {
      "epoch": 0.14737777777777777,
      "grad_norm": 2.0735909938812256,
      "learning_rate": 4.263555555555555e-05,
      "loss": 1.72,
      "step": 1658
    },
    {
      "epoch": 0.14746666666666666,
      "grad_norm": 2.1621365547180176,
      "learning_rate": 4.263111111111111e-05,
      "loss": 1.8582,
      "step": 1659
    },
    {
      "epoch": 0.14755555555555555,
      "grad_norm": 1.997307300567627,
      "learning_rate": 4.262666666666667e-05,
      "loss": 1.7219,
      "step": 1660
    },
    {
      "epoch": 0.14764444444444444,
      "grad_norm": 1.9843032360076904,
      "learning_rate": 4.2622222222222224e-05,
      "loss": 1.7751,
      "step": 1661
    },
    {
      "epoch": 0.14773333333333333,
      "grad_norm": 1.9460408687591553,
      "learning_rate": 4.261777777777778e-05,
      "loss": 1.6876,
      "step": 1662
    },
    {
      "epoch": 0.14782222222222222,
      "grad_norm": 2.767660617828369,
      "learning_rate": 4.2613333333333334e-05,
      "loss": 1.7342,
      "step": 1663
    },
    {
      "epoch": 0.1479111111111111,
      "grad_norm": 1.9344803094863892,
      "learning_rate": 4.2608888888888896e-05,
      "loss": 1.7725,
      "step": 1664
    },
    {
      "epoch": 0.148,
      "grad_norm": 1.7510249614715576,
      "learning_rate": 4.2604444444444444e-05,
      "loss": 1.6751,
      "step": 1665
    },
    {
      "epoch": 0.14808888888888888,
      "grad_norm": 1.6035034656524658,
      "learning_rate": 4.26e-05,
      "loss": 1.7338,
      "step": 1666
    },
    {
      "epoch": 0.14817777777777777,
      "grad_norm": 1.7324836254119873,
      "learning_rate": 4.2595555555555554e-05,
      "loss": 1.5449,
      "step": 1667
    },
    {
      "epoch": 0.14826666666666666,
      "grad_norm": 1.8242287635803223,
      "learning_rate": 4.2591111111111115e-05,
      "loss": 1.7627,
      "step": 1668
    },
    {
      "epoch": 0.14835555555555555,
      "grad_norm": 1.7371083498001099,
      "learning_rate": 4.258666666666667e-05,
      "loss": 1.881,
      "step": 1669
    },
    {
      "epoch": 0.14844444444444443,
      "grad_norm": 2.0954556465148926,
      "learning_rate": 4.2582222222222225e-05,
      "loss": 1.6228,
      "step": 1670
    },
    {
      "epoch": 0.14853333333333332,
      "grad_norm": 1.7599701881408691,
      "learning_rate": 4.257777777777778e-05,
      "loss": 1.6911,
      "step": 1671
    },
    {
      "epoch": 0.1486222222222222,
      "grad_norm": 1.7059460878372192,
      "learning_rate": 4.2573333333333335e-05,
      "loss": 1.8175,
      "step": 1672
    },
    {
      "epoch": 0.1487111111111111,
      "grad_norm": 1.8216791152954102,
      "learning_rate": 4.256888888888889e-05,
      "loss": 1.6761,
      "step": 1673
    },
    {
      "epoch": 0.1488,
      "grad_norm": 1.9801033735275269,
      "learning_rate": 4.2564444444444444e-05,
      "loss": 1.9293,
      "step": 1674
    },
    {
      "epoch": 0.14888888888888888,
      "grad_norm": 1.8378440141677856,
      "learning_rate": 4.256e-05,
      "loss": 1.9882,
      "step": 1675
    },
    {
      "epoch": 0.14897777777777776,
      "grad_norm": 2.232996702194214,
      "learning_rate": 4.255555555555556e-05,
      "loss": 1.915,
      "step": 1676
    },
    {
      "epoch": 0.14906666666666665,
      "grad_norm": 2.0766093730926514,
      "learning_rate": 4.2551111111111116e-05,
      "loss": 1.6693,
      "step": 1677
    },
    {
      "epoch": 0.14915555555555557,
      "grad_norm": 1.6901501417160034,
      "learning_rate": 4.254666666666667e-05,
      "loss": 1.7419,
      "step": 1678
    },
    {
      "epoch": 0.14924444444444446,
      "grad_norm": 1.8584810495376587,
      "learning_rate": 4.2542222222222225e-05,
      "loss": 1.6923,
      "step": 1679
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 1.8014864921569824,
      "learning_rate": 4.253777777777778e-05,
      "loss": 1.5503,
      "step": 1680
    },
    {
      "epoch": 0.14942222222222223,
      "grad_norm": 1.6836230754852295,
      "learning_rate": 4.2533333333333335e-05,
      "loss": 1.4948,
      "step": 1681
    },
    {
      "epoch": 0.14951111111111112,
      "grad_norm": 1.7286187410354614,
      "learning_rate": 4.252888888888889e-05,
      "loss": 1.5621,
      "step": 1682
    },
    {
      "epoch": 0.1496,
      "grad_norm": 1.760406732559204,
      "learning_rate": 4.2524444444444445e-05,
      "loss": 1.621,
      "step": 1683
    },
    {
      "epoch": 0.1496888888888889,
      "grad_norm": 1.8754173517227173,
      "learning_rate": 4.2520000000000006e-05,
      "loss": 1.722,
      "step": 1684
    },
    {
      "epoch": 0.1497777777777778,
      "grad_norm": 1.8156040906906128,
      "learning_rate": 4.251555555555556e-05,
      "loss": 1.8367,
      "step": 1685
    },
    {
      "epoch": 0.14986666666666668,
      "grad_norm": 2.076899290084839,
      "learning_rate": 4.2511111111111116e-05,
      "loss": 1.7262,
      "step": 1686
    },
    {
      "epoch": 0.14995555555555556,
      "grad_norm": 1.8753924369812012,
      "learning_rate": 4.2506666666666664e-05,
      "loss": 1.7387,
      "step": 1687
    },
    {
      "epoch": 0.15004444444444445,
      "grad_norm": 1.763482689857483,
      "learning_rate": 4.2502222222222226e-05,
      "loss": 1.7929,
      "step": 1688
    },
    {
      "epoch": 0.15013333333333334,
      "grad_norm": 1.8062467575073242,
      "learning_rate": 4.249777777777778e-05,
      "loss": 1.8879,
      "step": 1689
    },
    {
      "epoch": 0.15022222222222223,
      "grad_norm": 1.6678316593170166,
      "learning_rate": 4.2493333333333335e-05,
      "loss": 1.7929,
      "step": 1690
    },
    {
      "epoch": 0.15031111111111112,
      "grad_norm": 1.9418846368789673,
      "learning_rate": 4.248888888888889e-05,
      "loss": 1.6889,
      "step": 1691
    },
    {
      "epoch": 0.1504,
      "grad_norm": 2.049753427505493,
      "learning_rate": 4.248444444444445e-05,
      "loss": 1.4896,
      "step": 1692
    },
    {
      "epoch": 0.1504888888888889,
      "grad_norm": 1.9175697565078735,
      "learning_rate": 4.248e-05,
      "loss": 1.6631,
      "step": 1693
    },
    {
      "epoch": 0.15057777777777778,
      "grad_norm": 1.8056167364120483,
      "learning_rate": 4.2475555555555555e-05,
      "loss": 1.5786,
      "step": 1694
    },
    {
      "epoch": 0.15066666666666667,
      "grad_norm": 1.5962587594985962,
      "learning_rate": 4.247111111111111e-05,
      "loss": 1.7562,
      "step": 1695
    },
    {
      "epoch": 0.15075555555555556,
      "grad_norm": 1.9883087873458862,
      "learning_rate": 4.246666666666667e-05,
      "loss": 1.9008,
      "step": 1696
    },
    {
      "epoch": 0.15084444444444445,
      "grad_norm": 1.8843401670455933,
      "learning_rate": 4.2462222222222226e-05,
      "loss": 1.6043,
      "step": 1697
    },
    {
      "epoch": 0.15093333333333334,
      "grad_norm": 1.890390396118164,
      "learning_rate": 4.245777777777778e-05,
      "loss": 1.7557,
      "step": 1698
    },
    {
      "epoch": 0.15102222222222222,
      "grad_norm": 1.7856004238128662,
      "learning_rate": 4.2453333333333336e-05,
      "loss": 1.802,
      "step": 1699
    },
    {
      "epoch": 0.1511111111111111,
      "grad_norm": 2.0113754272460938,
      "learning_rate": 4.244888888888889e-05,
      "loss": 1.8799,
      "step": 1700
    },
    {
      "epoch": 0.1512,
      "grad_norm": 1.6564217805862427,
      "learning_rate": 4.2444444444444445e-05,
      "loss": 1.6895,
      "step": 1701
    },
    {
      "epoch": 0.1512888888888889,
      "grad_norm": 2.0767595767974854,
      "learning_rate": 4.244e-05,
      "loss": 1.9705,
      "step": 1702
    },
    {
      "epoch": 0.15137777777777778,
      "grad_norm": 1.7700763940811157,
      "learning_rate": 4.2435555555555555e-05,
      "loss": 1.7988,
      "step": 1703
    },
    {
      "epoch": 0.15146666666666667,
      "grad_norm": 1.7077032327651978,
      "learning_rate": 4.243111111111111e-05,
      "loss": 1.6514,
      "step": 1704
    },
    {
      "epoch": 0.15155555555555555,
      "grad_norm": 2.0057694911956787,
      "learning_rate": 4.242666666666667e-05,
      "loss": 1.6767,
      "step": 1705
    },
    {
      "epoch": 0.15164444444444444,
      "grad_norm": 2.216829538345337,
      "learning_rate": 4.2422222222222226e-05,
      "loss": 1.8825,
      "step": 1706
    },
    {
      "epoch": 0.15173333333333333,
      "grad_norm": 1.66238534450531,
      "learning_rate": 4.241777777777778e-05,
      "loss": 1.6433,
      "step": 1707
    },
    {
      "epoch": 0.15182222222222222,
      "grad_norm": 1.6934384107589722,
      "learning_rate": 4.241333333333333e-05,
      "loss": 1.609,
      "step": 1708
    },
    {
      "epoch": 0.1519111111111111,
      "grad_norm": 2.005148410797119,
      "learning_rate": 4.240888888888889e-05,
      "loss": 1.7398,
      "step": 1709
    },
    {
      "epoch": 0.152,
      "grad_norm": 1.506614089012146,
      "learning_rate": 4.2404444444444446e-05,
      "loss": 1.61,
      "step": 1710
    },
    {
      "epoch": 0.15208888888888888,
      "grad_norm": 1.7511876821517944,
      "learning_rate": 4.24e-05,
      "loss": 1.7635,
      "step": 1711
    },
    {
      "epoch": 0.15217777777777777,
      "grad_norm": 1.8670650720596313,
      "learning_rate": 4.2395555555555555e-05,
      "loss": 1.6793,
      "step": 1712
    },
    {
      "epoch": 0.15226666666666666,
      "grad_norm": 2.1650633811950684,
      "learning_rate": 4.239111111111112e-05,
      "loss": 1.6125,
      "step": 1713
    },
    {
      "epoch": 0.15235555555555555,
      "grad_norm": 1.5910027027130127,
      "learning_rate": 4.238666666666667e-05,
      "loss": 1.4818,
      "step": 1714
    },
    {
      "epoch": 0.15244444444444444,
      "grad_norm": 1.595221757888794,
      "learning_rate": 4.238222222222222e-05,
      "loss": 1.5562,
      "step": 1715
    },
    {
      "epoch": 0.15253333333333333,
      "grad_norm": 1.9197025299072266,
      "learning_rate": 4.2377777777777775e-05,
      "loss": 1.6077,
      "step": 1716
    },
    {
      "epoch": 0.15262222222222221,
      "grad_norm": 1.5498111248016357,
      "learning_rate": 4.2373333333333336e-05,
      "loss": 1.7432,
      "step": 1717
    },
    {
      "epoch": 0.1527111111111111,
      "grad_norm": 1.8303314447402954,
      "learning_rate": 4.236888888888889e-05,
      "loss": 1.6581,
      "step": 1718
    },
    {
      "epoch": 0.1528,
      "grad_norm": 1.6196825504302979,
      "learning_rate": 4.2364444444444446e-05,
      "loss": 1.7939,
      "step": 1719
    },
    {
      "epoch": 0.15288888888888888,
      "grad_norm": 1.6772674322128296,
      "learning_rate": 4.236e-05,
      "loss": 1.6432,
      "step": 1720
    },
    {
      "epoch": 0.15297777777777777,
      "grad_norm": 1.5251843929290771,
      "learning_rate": 4.235555555555556e-05,
      "loss": 1.6216,
      "step": 1721
    },
    {
      "epoch": 0.15306666666666666,
      "grad_norm": 1.7426426410675049,
      "learning_rate": 4.235111111111111e-05,
      "loss": 1.6225,
      "step": 1722
    },
    {
      "epoch": 0.15315555555555554,
      "grad_norm": 1.8077185153961182,
      "learning_rate": 4.2346666666666666e-05,
      "loss": 1.8933,
      "step": 1723
    },
    {
      "epoch": 0.15324444444444443,
      "grad_norm": 2.1102941036224365,
      "learning_rate": 4.234222222222222e-05,
      "loss": 1.9758,
      "step": 1724
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 1.917426586151123,
      "learning_rate": 4.233777777777778e-05,
      "loss": 1.645,
      "step": 1725
    },
    {
      "epoch": 0.1534222222222222,
      "grad_norm": 1.6967755556106567,
      "learning_rate": 4.233333333333334e-05,
      "loss": 1.5344,
      "step": 1726
    },
    {
      "epoch": 0.1535111111111111,
      "grad_norm": 1.9862195253372192,
      "learning_rate": 4.232888888888889e-05,
      "loss": 1.7837,
      "step": 1727
    },
    {
      "epoch": 0.1536,
      "grad_norm": 2.0185306072235107,
      "learning_rate": 4.2324444444444447e-05,
      "loss": 1.6949,
      "step": 1728
    },
    {
      "epoch": 0.1536888888888889,
      "grad_norm": 1.7707942724227905,
      "learning_rate": 4.232e-05,
      "loss": 1.6922,
      "step": 1729
    },
    {
      "epoch": 0.1537777777777778,
      "grad_norm": 2.7202765941619873,
      "learning_rate": 4.2315555555555556e-05,
      "loss": 2.0223,
      "step": 1730
    },
    {
      "epoch": 0.15386666666666668,
      "grad_norm": 1.9069336652755737,
      "learning_rate": 4.231111111111111e-05,
      "loss": 1.7538,
      "step": 1731
    },
    {
      "epoch": 0.15395555555555557,
      "grad_norm": 1.6948086023330688,
      "learning_rate": 4.2306666666666666e-05,
      "loss": 1.765,
      "step": 1732
    },
    {
      "epoch": 0.15404444444444446,
      "grad_norm": 1.7521411180496216,
      "learning_rate": 4.230222222222223e-05,
      "loss": 1.7371,
      "step": 1733
    },
    {
      "epoch": 0.15413333333333334,
      "grad_norm": 1.5535191297531128,
      "learning_rate": 4.229777777777778e-05,
      "loss": 1.3763,
      "step": 1734
    },
    {
      "epoch": 0.15422222222222223,
      "grad_norm": 1.7503708600997925,
      "learning_rate": 4.229333333333334e-05,
      "loss": 1.7121,
      "step": 1735
    },
    {
      "epoch": 0.15431111111111112,
      "grad_norm": 2.016162395477295,
      "learning_rate": 4.228888888888889e-05,
      "loss": 1.4334,
      "step": 1736
    },
    {
      "epoch": 0.1544,
      "grad_norm": 1.7015328407287598,
      "learning_rate": 4.228444444444445e-05,
      "loss": 1.4769,
      "step": 1737
    },
    {
      "epoch": 0.1544888888888889,
      "grad_norm": 2.0102035999298096,
      "learning_rate": 4.228e-05,
      "loss": 1.6015,
      "step": 1738
    },
    {
      "epoch": 0.1545777777777778,
      "grad_norm": 1.8845499753952026,
      "learning_rate": 4.227555555555556e-05,
      "loss": 1.8642,
      "step": 1739
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 1.9793410301208496,
      "learning_rate": 4.227111111111111e-05,
      "loss": 1.8535,
      "step": 1740
    },
    {
      "epoch": 0.15475555555555556,
      "grad_norm": 1.7998501062393188,
      "learning_rate": 4.226666666666667e-05,
      "loss": 1.8973,
      "step": 1741
    },
    {
      "epoch": 0.15484444444444445,
      "grad_norm": 1.8499867916107178,
      "learning_rate": 4.226222222222223e-05,
      "loss": 1.7177,
      "step": 1742
    },
    {
      "epoch": 0.15493333333333334,
      "grad_norm": 2.637742519378662,
      "learning_rate": 4.225777777777778e-05,
      "loss": 1.7463,
      "step": 1743
    },
    {
      "epoch": 0.15502222222222223,
      "grad_norm": 2.8030927181243896,
      "learning_rate": 4.225333333333333e-05,
      "loss": 1.7494,
      "step": 1744
    },
    {
      "epoch": 0.15511111111111112,
      "grad_norm": 1.9992451667785645,
      "learning_rate": 4.224888888888889e-05,
      "loss": 1.9099,
      "step": 1745
    },
    {
      "epoch": 0.1552,
      "grad_norm": 1.7036280632019043,
      "learning_rate": 4.224444444444445e-05,
      "loss": 1.6843,
      "step": 1746
    },
    {
      "epoch": 0.1552888888888889,
      "grad_norm": 1.419586420059204,
      "learning_rate": 4.224e-05,
      "loss": 1.697,
      "step": 1747
    },
    {
      "epoch": 0.15537777777777778,
      "grad_norm": 1.906061053276062,
      "learning_rate": 4.223555555555556e-05,
      "loss": 1.5334,
      "step": 1748
    },
    {
      "epoch": 0.15546666666666667,
      "grad_norm": 1.7079598903656006,
      "learning_rate": 4.223111111111112e-05,
      "loss": 1.7007,
      "step": 1749
    },
    {
      "epoch": 0.15555555555555556,
      "grad_norm": 1.6467801332473755,
      "learning_rate": 4.222666666666667e-05,
      "loss": 1.6557,
      "step": 1750
    },
    {
      "epoch": 0.15564444444444445,
      "grad_norm": 1.8944365978240967,
      "learning_rate": 4.222222222222222e-05,
      "loss": 1.7138,
      "step": 1751
    },
    {
      "epoch": 0.15573333333333333,
      "grad_norm": 1.7081255912780762,
      "learning_rate": 4.2217777777777776e-05,
      "loss": 1.6761,
      "step": 1752
    },
    {
      "epoch": 0.15582222222222222,
      "grad_norm": 1.5791690349578857,
      "learning_rate": 4.221333333333334e-05,
      "loss": 1.7057,
      "step": 1753
    },
    {
      "epoch": 0.1559111111111111,
      "grad_norm": 1.8884299993515015,
      "learning_rate": 4.220888888888889e-05,
      "loss": 1.7809,
      "step": 1754
    },
    {
      "epoch": 0.156,
      "grad_norm": 2.051196336746216,
      "learning_rate": 4.220444444444445e-05,
      "loss": 1.67,
      "step": 1755
    },
    {
      "epoch": 0.1560888888888889,
      "grad_norm": 2.11008620262146,
      "learning_rate": 4.22e-05,
      "loss": 1.6547,
      "step": 1756
    },
    {
      "epoch": 0.15617777777777778,
      "grad_norm": 1.7877142429351807,
      "learning_rate": 4.219555555555556e-05,
      "loss": 1.6983,
      "step": 1757
    },
    {
      "epoch": 0.15626666666666666,
      "grad_norm": 1.9294899702072144,
      "learning_rate": 4.219111111111111e-05,
      "loss": 1.7373,
      "step": 1758
    },
    {
      "epoch": 0.15635555555555555,
      "grad_norm": 1.8698160648345947,
      "learning_rate": 4.218666666666667e-05,
      "loss": 1.5084,
      "step": 1759
    },
    {
      "epoch": 0.15644444444444444,
      "grad_norm": 1.8242632150650024,
      "learning_rate": 4.218222222222222e-05,
      "loss": 1.5481,
      "step": 1760
    },
    {
      "epoch": 0.15653333333333333,
      "grad_norm": 1.8302197456359863,
      "learning_rate": 4.217777777777778e-05,
      "loss": 1.6967,
      "step": 1761
    },
    {
      "epoch": 0.15662222222222222,
      "grad_norm": 1.8043155670166016,
      "learning_rate": 4.217333333333334e-05,
      "loss": 1.5733,
      "step": 1762
    },
    {
      "epoch": 0.1567111111111111,
      "grad_norm": 1.6434463262557983,
      "learning_rate": 4.216888888888889e-05,
      "loss": 1.637,
      "step": 1763
    },
    {
      "epoch": 0.1568,
      "grad_norm": 1.8944034576416016,
      "learning_rate": 4.216444444444445e-05,
      "loss": 1.7605,
      "step": 1764
    },
    {
      "epoch": 0.15688888888888888,
      "grad_norm": 1.825879454612732,
      "learning_rate": 4.2159999999999996e-05,
      "loss": 1.5722,
      "step": 1765
    },
    {
      "epoch": 0.15697777777777777,
      "grad_norm": 1.5568995475769043,
      "learning_rate": 4.215555555555556e-05,
      "loss": 1.6551,
      "step": 1766
    },
    {
      "epoch": 0.15706666666666666,
      "grad_norm": 1.7036845684051514,
      "learning_rate": 4.215111111111111e-05,
      "loss": 1.6295,
      "step": 1767
    },
    {
      "epoch": 0.15715555555555555,
      "grad_norm": 1.687438726425171,
      "learning_rate": 4.214666666666667e-05,
      "loss": 1.4745,
      "step": 1768
    },
    {
      "epoch": 0.15724444444444444,
      "grad_norm": 1.579664707183838,
      "learning_rate": 4.214222222222222e-05,
      "loss": 1.6241,
      "step": 1769
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 1.6505604982376099,
      "learning_rate": 4.2137777777777784e-05,
      "loss": 1.6083,
      "step": 1770
    },
    {
      "epoch": 0.1574222222222222,
      "grad_norm": 1.8286402225494385,
      "learning_rate": 4.213333333333334e-05,
      "loss": 1.7782,
      "step": 1771
    },
    {
      "epoch": 0.1575111111111111,
      "grad_norm": 1.9606622457504272,
      "learning_rate": 4.212888888888889e-05,
      "loss": 1.7093,
      "step": 1772
    },
    {
      "epoch": 0.1576,
      "grad_norm": 1.5744822025299072,
      "learning_rate": 4.212444444444444e-05,
      "loss": 1.7339,
      "step": 1773
    },
    {
      "epoch": 0.15768888888888888,
      "grad_norm": 1.6750928163528442,
      "learning_rate": 4.212e-05,
      "loss": 1.666,
      "step": 1774
    },
    {
      "epoch": 0.15777777777777777,
      "grad_norm": 1.6398329734802246,
      "learning_rate": 4.211555555555556e-05,
      "loss": 1.6036,
      "step": 1775
    },
    {
      "epoch": 0.15786666666666666,
      "grad_norm": 2.033754825592041,
      "learning_rate": 4.211111111111111e-05,
      "loss": 1.6457,
      "step": 1776
    },
    {
      "epoch": 0.15795555555555554,
      "grad_norm": 1.4897598028182983,
      "learning_rate": 4.210666666666667e-05,
      "loss": 1.5973,
      "step": 1777
    },
    {
      "epoch": 0.15804444444444443,
      "grad_norm": 1.9037026166915894,
      "learning_rate": 4.210222222222223e-05,
      "loss": 1.6423,
      "step": 1778
    },
    {
      "epoch": 0.15813333333333332,
      "grad_norm": 1.8226170539855957,
      "learning_rate": 4.209777777777778e-05,
      "loss": 1.6386,
      "step": 1779
    },
    {
      "epoch": 0.1582222222222222,
      "grad_norm": 1.7426632642745972,
      "learning_rate": 4.209333333333333e-05,
      "loss": 1.8605,
      "step": 1780
    },
    {
      "epoch": 0.15831111111111112,
      "grad_norm": 1.8188045024871826,
      "learning_rate": 4.208888888888889e-05,
      "loss": 1.6181,
      "step": 1781
    },
    {
      "epoch": 0.1584,
      "grad_norm": 2.237786293029785,
      "learning_rate": 4.208444444444445e-05,
      "loss": 1.81,
      "step": 1782
    },
    {
      "epoch": 0.1584888888888889,
      "grad_norm": 2.2177624702453613,
      "learning_rate": 4.2080000000000004e-05,
      "loss": 1.8096,
      "step": 1783
    },
    {
      "epoch": 0.1585777777777778,
      "grad_norm": 1.6668317317962646,
      "learning_rate": 4.207555555555556e-05,
      "loss": 1.5952,
      "step": 1784
    },
    {
      "epoch": 0.15866666666666668,
      "grad_norm": 1.7598545551300049,
      "learning_rate": 4.207111111111111e-05,
      "loss": 1.6505,
      "step": 1785
    },
    {
      "epoch": 0.15875555555555557,
      "grad_norm": 1.581214427947998,
      "learning_rate": 4.206666666666667e-05,
      "loss": 1.5914,
      "step": 1786
    },
    {
      "epoch": 0.15884444444444445,
      "grad_norm": 1.7309575080871582,
      "learning_rate": 4.206222222222222e-05,
      "loss": 1.7566,
      "step": 1787
    },
    {
      "epoch": 0.15893333333333334,
      "grad_norm": 1.6949509382247925,
      "learning_rate": 4.205777777777778e-05,
      "loss": 1.4216,
      "step": 1788
    },
    {
      "epoch": 0.15902222222222223,
      "grad_norm": 1.9435251951217651,
      "learning_rate": 4.205333333333333e-05,
      "loss": 1.8641,
      "step": 1789
    },
    {
      "epoch": 0.15911111111111112,
      "grad_norm": 1.7806309461593628,
      "learning_rate": 4.2048888888888894e-05,
      "loss": 1.8552,
      "step": 1790
    },
    {
      "epoch": 0.1592,
      "grad_norm": 1.652808666229248,
      "learning_rate": 4.204444444444445e-05,
      "loss": 1.5767,
      "step": 1791
    },
    {
      "epoch": 0.1592888888888889,
      "grad_norm": 2.1110055446624756,
      "learning_rate": 4.2040000000000004e-05,
      "loss": 1.7213,
      "step": 1792
    },
    {
      "epoch": 0.15937777777777778,
      "grad_norm": 2.7158045768737793,
      "learning_rate": 4.203555555555556e-05,
      "loss": 1.746,
      "step": 1793
    },
    {
      "epoch": 0.15946666666666667,
      "grad_norm": 1.7942909002304077,
      "learning_rate": 4.2031111111111114e-05,
      "loss": 1.7467,
      "step": 1794
    },
    {
      "epoch": 0.15955555555555556,
      "grad_norm": 1.7365373373031616,
      "learning_rate": 4.202666666666667e-05,
      "loss": 1.756,
      "step": 1795
    },
    {
      "epoch": 0.15964444444444445,
      "grad_norm": 1.8975669145584106,
      "learning_rate": 4.2022222222222223e-05,
      "loss": 1.6529,
      "step": 1796
    },
    {
      "epoch": 0.15973333333333334,
      "grad_norm": 1.8451385498046875,
      "learning_rate": 4.201777777777778e-05,
      "loss": 1.6881,
      "step": 1797
    },
    {
      "epoch": 0.15982222222222223,
      "grad_norm": 1.5913991928100586,
      "learning_rate": 4.201333333333334e-05,
      "loss": 1.6208,
      "step": 1798
    },
    {
      "epoch": 0.15991111111111111,
      "grad_norm": 1.8451122045516968,
      "learning_rate": 4.2008888888888895e-05,
      "loss": 1.563,
      "step": 1799
    },
    {
      "epoch": 0.16,
      "grad_norm": 1.8723970651626587,
      "learning_rate": 4.200444444444445e-05,
      "loss": 1.7261,
      "step": 1800
    },
    {
      "epoch": 0.1600888888888889,
      "grad_norm": 1.7394429445266724,
      "learning_rate": 4.2e-05,
      "loss": 1.5941,
      "step": 1801
    },
    {
      "epoch": 0.16017777777777778,
      "grad_norm": 1.7085447311401367,
      "learning_rate": 4.199555555555556e-05,
      "loss": 1.8335,
      "step": 1802
    },
    {
      "epoch": 0.16026666666666667,
      "grad_norm": 1.592024803161621,
      "learning_rate": 4.1991111111111114e-05,
      "loss": 1.6363,
      "step": 1803
    },
    {
      "epoch": 0.16035555555555556,
      "grad_norm": 2.178410768508911,
      "learning_rate": 4.198666666666667e-05,
      "loss": 1.8426,
      "step": 1804
    },
    {
      "epoch": 0.16044444444444445,
      "grad_norm": 2.0510151386260986,
      "learning_rate": 4.1982222222222224e-05,
      "loss": 1.6289,
      "step": 1805
    },
    {
      "epoch": 0.16053333333333333,
      "grad_norm": 2.891892194747925,
      "learning_rate": 4.1977777777777785e-05,
      "loss": 1.7773,
      "step": 1806
    },
    {
      "epoch": 0.16062222222222222,
      "grad_norm": 2.0467872619628906,
      "learning_rate": 4.1973333333333334e-05,
      "loss": 1.7612,
      "step": 1807
    },
    {
      "epoch": 0.1607111111111111,
      "grad_norm": 1.5905600786209106,
      "learning_rate": 4.196888888888889e-05,
      "loss": 1.8662,
      "step": 1808
    },
    {
      "epoch": 0.1608,
      "grad_norm": 1.6392253637313843,
      "learning_rate": 4.196444444444444e-05,
      "loss": 1.7995,
      "step": 1809
    },
    {
      "epoch": 0.1608888888888889,
      "grad_norm": 1.7300939559936523,
      "learning_rate": 4.196e-05,
      "loss": 1.7279,
      "step": 1810
    },
    {
      "epoch": 0.16097777777777778,
      "grad_norm": 1.6454370021820068,
      "learning_rate": 4.195555555555556e-05,
      "loss": 1.7184,
      "step": 1811
    },
    {
      "epoch": 0.16106666666666666,
      "grad_norm": 2.1750049591064453,
      "learning_rate": 4.1951111111111115e-05,
      "loss": 1.8481,
      "step": 1812
    },
    {
      "epoch": 0.16115555555555555,
      "grad_norm": 2.5675199031829834,
      "learning_rate": 4.194666666666667e-05,
      "loss": 1.8262,
      "step": 1813
    },
    {
      "epoch": 0.16124444444444444,
      "grad_norm": 1.9323632717132568,
      "learning_rate": 4.1942222222222224e-05,
      "loss": 1.8311,
      "step": 1814
    },
    {
      "epoch": 0.16133333333333333,
      "grad_norm": 1.607740879058838,
      "learning_rate": 4.193777777777778e-05,
      "loss": 1.6659,
      "step": 1815
    },
    {
      "epoch": 0.16142222222222222,
      "grad_norm": 1.8951385021209717,
      "learning_rate": 4.1933333333333334e-05,
      "loss": 1.9559,
      "step": 1816
    },
    {
      "epoch": 0.1615111111111111,
      "grad_norm": 1.6337767839431763,
      "learning_rate": 4.192888888888889e-05,
      "loss": 1.5948,
      "step": 1817
    },
    {
      "epoch": 0.1616,
      "grad_norm": 1.6055442094802856,
      "learning_rate": 4.1924444444444444e-05,
      "loss": 1.8711,
      "step": 1818
    },
    {
      "epoch": 0.16168888888888888,
      "grad_norm": 1.9522571563720703,
      "learning_rate": 4.1920000000000005e-05,
      "loss": 1.7985,
      "step": 1819
    },
    {
      "epoch": 0.16177777777777777,
      "grad_norm": 2.176746129989624,
      "learning_rate": 4.191555555555556e-05,
      "loss": 1.6468,
      "step": 1820
    },
    {
      "epoch": 0.16186666666666666,
      "grad_norm": 1.5179564952850342,
      "learning_rate": 4.1911111111111115e-05,
      "loss": 1.6219,
      "step": 1821
    },
    {
      "epoch": 0.16195555555555555,
      "grad_norm": 1.6789871454238892,
      "learning_rate": 4.190666666666666e-05,
      "loss": 1.6978,
      "step": 1822
    },
    {
      "epoch": 0.16204444444444444,
      "grad_norm": 1.6882644891738892,
      "learning_rate": 4.1902222222222225e-05,
      "loss": 1.6565,
      "step": 1823
    },
    {
      "epoch": 0.16213333333333332,
      "grad_norm": 2.038891553878784,
      "learning_rate": 4.189777777777778e-05,
      "loss": 1.6607,
      "step": 1824
    },
    {
      "epoch": 0.1622222222222222,
      "grad_norm": 2.0548112392425537,
      "learning_rate": 4.1893333333333334e-05,
      "loss": 1.8123,
      "step": 1825
    },
    {
      "epoch": 0.1623111111111111,
      "grad_norm": 1.9071978330612183,
      "learning_rate": 4.188888888888889e-05,
      "loss": 1.7075,
      "step": 1826
    },
    {
      "epoch": 0.1624,
      "grad_norm": 1.559346079826355,
      "learning_rate": 4.188444444444445e-05,
      "loss": 1.8361,
      "step": 1827
    },
    {
      "epoch": 0.16248888888888888,
      "grad_norm": 2.100548028945923,
      "learning_rate": 4.1880000000000006e-05,
      "loss": 1.8049,
      "step": 1828
    },
    {
      "epoch": 0.16257777777777777,
      "grad_norm": 1.991743803024292,
      "learning_rate": 4.1875555555555554e-05,
      "loss": 1.8733,
      "step": 1829
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 1.6345351934432983,
      "learning_rate": 4.187111111111111e-05,
      "loss": 1.7262,
      "step": 1830
    },
    {
      "epoch": 0.16275555555555554,
      "grad_norm": 1.6743630170822144,
      "learning_rate": 4.186666666666667e-05,
      "loss": 1.7012,
      "step": 1831
    },
    {
      "epoch": 0.16284444444444446,
      "grad_norm": 1.6848865747451782,
      "learning_rate": 4.1862222222222225e-05,
      "loss": 1.7676,
      "step": 1832
    },
    {
      "epoch": 0.16293333333333335,
      "grad_norm": 1.6762300729751587,
      "learning_rate": 4.185777777777778e-05,
      "loss": 1.5073,
      "step": 1833
    },
    {
      "epoch": 0.16302222222222224,
      "grad_norm": 1.8529869318008423,
      "learning_rate": 4.1853333333333335e-05,
      "loss": 1.6808,
      "step": 1834
    },
    {
      "epoch": 0.16311111111111112,
      "grad_norm": 1.6933069229125977,
      "learning_rate": 4.1848888888888896e-05,
      "loss": 1.5634,
      "step": 1835
    },
    {
      "epoch": 0.1632,
      "grad_norm": 2.152721405029297,
      "learning_rate": 4.1844444444444444e-05,
      "loss": 1.7769,
      "step": 1836
    },
    {
      "epoch": 0.1632888888888889,
      "grad_norm": 1.8201146125793457,
      "learning_rate": 4.184e-05,
      "loss": 1.7953,
      "step": 1837
    },
    {
      "epoch": 0.1633777777777778,
      "grad_norm": 1.95361328125,
      "learning_rate": 4.1835555555555554e-05,
      "loss": 1.6654,
      "step": 1838
    },
    {
      "epoch": 0.16346666666666668,
      "grad_norm": 1.5780205726623535,
      "learning_rate": 4.1831111111111116e-05,
      "loss": 1.5684,
      "step": 1839
    },
    {
      "epoch": 0.16355555555555557,
      "grad_norm": 1.6510870456695557,
      "learning_rate": 4.182666666666667e-05,
      "loss": 1.7731,
      "step": 1840
    },
    {
      "epoch": 0.16364444444444445,
      "grad_norm": 1.6175408363342285,
      "learning_rate": 4.1822222222222225e-05,
      "loss": 1.7068,
      "step": 1841
    },
    {
      "epoch": 0.16373333333333334,
      "grad_norm": 1.7531006336212158,
      "learning_rate": 4.181777777777778e-05,
      "loss": 1.3822,
      "step": 1842
    },
    {
      "epoch": 0.16382222222222223,
      "grad_norm": 1.5720851421356201,
      "learning_rate": 4.1813333333333335e-05,
      "loss": 1.7548,
      "step": 1843
    },
    {
      "epoch": 0.16391111111111112,
      "grad_norm": 3.057605504989624,
      "learning_rate": 4.180888888888889e-05,
      "loss": 1.6789,
      "step": 1844
    },
    {
      "epoch": 0.164,
      "grad_norm": 1.9283723831176758,
      "learning_rate": 4.1804444444444445e-05,
      "loss": 1.9397,
      "step": 1845
    },
    {
      "epoch": 0.1640888888888889,
      "grad_norm": 1.7275162935256958,
      "learning_rate": 4.18e-05,
      "loss": 1.6188,
      "step": 1846
    },
    {
      "epoch": 0.16417777777777778,
      "grad_norm": 1.7584879398345947,
      "learning_rate": 4.179555555555556e-05,
      "loss": 1.7069,
      "step": 1847
    },
    {
      "epoch": 0.16426666666666667,
      "grad_norm": 1.5521979331970215,
      "learning_rate": 4.1791111111111116e-05,
      "loss": 1.6065,
      "step": 1848
    },
    {
      "epoch": 0.16435555555555556,
      "grad_norm": 1.7170690298080444,
      "learning_rate": 4.178666666666667e-05,
      "loss": 1.7062,
      "step": 1849
    },
    {
      "epoch": 0.16444444444444445,
      "grad_norm": 2.214688301086426,
      "learning_rate": 4.1782222222222226e-05,
      "loss": 1.7097,
      "step": 1850
    },
    {
      "epoch": 0.16453333333333334,
      "grad_norm": 1.6674244403839111,
      "learning_rate": 4.177777777777778e-05,
      "loss": 1.6277,
      "step": 1851
    },
    {
      "epoch": 0.16462222222222223,
      "grad_norm": 1.8689537048339844,
      "learning_rate": 4.1773333333333335e-05,
      "loss": 1.8541,
      "step": 1852
    },
    {
      "epoch": 0.1647111111111111,
      "grad_norm": 1.7817479372024536,
      "learning_rate": 4.176888888888889e-05,
      "loss": 1.7358,
      "step": 1853
    },
    {
      "epoch": 0.1648,
      "grad_norm": 1.4749000072479248,
      "learning_rate": 4.1764444444444445e-05,
      "loss": 1.4074,
      "step": 1854
    },
    {
      "epoch": 0.1648888888888889,
      "grad_norm": 1.8837677240371704,
      "learning_rate": 4.176000000000001e-05,
      "loss": 1.8103,
      "step": 1855
    },
    {
      "epoch": 0.16497777777777778,
      "grad_norm": 1.9789021015167236,
      "learning_rate": 4.175555555555556e-05,
      "loss": 1.9277,
      "step": 1856
    },
    {
      "epoch": 0.16506666666666667,
      "grad_norm": 1.8825699090957642,
      "learning_rate": 4.1751111111111116e-05,
      "loss": 1.7152,
      "step": 1857
    },
    {
      "epoch": 0.16515555555555556,
      "grad_norm": 1.8369901180267334,
      "learning_rate": 4.1746666666666665e-05,
      "loss": 1.6057,
      "step": 1858
    },
    {
      "epoch": 0.16524444444444444,
      "grad_norm": 1.6154781579971313,
      "learning_rate": 4.174222222222222e-05,
      "loss": 1.5691,
      "step": 1859
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 1.7959394454956055,
      "learning_rate": 4.173777777777778e-05,
      "loss": 1.6893,
      "step": 1860
    },
    {
      "epoch": 0.16542222222222222,
      "grad_norm": 1.5755791664123535,
      "learning_rate": 4.1733333333333336e-05,
      "loss": 1.5244,
      "step": 1861
    },
    {
      "epoch": 0.1655111111111111,
      "grad_norm": 1.5197981595993042,
      "learning_rate": 4.172888888888889e-05,
      "loss": 1.5601,
      "step": 1862
    },
    {
      "epoch": 0.1656,
      "grad_norm": 1.5877172946929932,
      "learning_rate": 4.1724444444444446e-05,
      "loss": 1.768,
      "step": 1863
    },
    {
      "epoch": 0.16568888888888889,
      "grad_norm": 1.6685270071029663,
      "learning_rate": 4.172e-05,
      "loss": 1.4917,
      "step": 1864
    },
    {
      "epoch": 0.16577777777777777,
      "grad_norm": 2.138700485229492,
      "learning_rate": 4.1715555555555555e-05,
      "loss": 1.7811,
      "step": 1865
    },
    {
      "epoch": 0.16586666666666666,
      "grad_norm": 2.5637145042419434,
      "learning_rate": 4.171111111111111e-05,
      "loss": 1.7629,
      "step": 1866
    },
    {
      "epoch": 0.16595555555555555,
      "grad_norm": 1.5290778875350952,
      "learning_rate": 4.1706666666666665e-05,
      "loss": 1.3137,
      "step": 1867
    },
    {
      "epoch": 0.16604444444444444,
      "grad_norm": 1.698368787765503,
      "learning_rate": 4.1702222222222227e-05,
      "loss": 1.6805,
      "step": 1868
    },
    {
      "epoch": 0.16613333333333333,
      "grad_norm": 2.399350881576538,
      "learning_rate": 4.169777777777778e-05,
      "loss": 1.6412,
      "step": 1869
    },
    {
      "epoch": 0.16622222222222222,
      "grad_norm": 1.9174031019210815,
      "learning_rate": 4.1693333333333336e-05,
      "loss": 1.8683,
      "step": 1870
    },
    {
      "epoch": 0.1663111111111111,
      "grad_norm": 1.8917813301086426,
      "learning_rate": 4.168888888888889e-05,
      "loss": 1.9035,
      "step": 1871
    },
    {
      "epoch": 0.1664,
      "grad_norm": 1.689640998840332,
      "learning_rate": 4.1684444444444446e-05,
      "loss": 1.7394,
      "step": 1872
    },
    {
      "epoch": 0.16648888888888888,
      "grad_norm": 1.4587680101394653,
      "learning_rate": 4.168e-05,
      "loss": 1.7074,
      "step": 1873
    },
    {
      "epoch": 0.16657777777777777,
      "grad_norm": 1.6442341804504395,
      "learning_rate": 4.1675555555555556e-05,
      "loss": 1.6537,
      "step": 1874
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 1.5432589054107666,
      "learning_rate": 4.167111111111111e-05,
      "loss": 1.5002,
      "step": 1875
    },
    {
      "epoch": 0.16675555555555555,
      "grad_norm": 1.4525190591812134,
      "learning_rate": 4.166666666666667e-05,
      "loss": 1.6427,
      "step": 1876
    },
    {
      "epoch": 0.16684444444444443,
      "grad_norm": 1.8555914163589478,
      "learning_rate": 4.166222222222223e-05,
      "loss": 1.6758,
      "step": 1877
    },
    {
      "epoch": 0.16693333333333332,
      "grad_norm": 2.0504109859466553,
      "learning_rate": 4.165777777777778e-05,
      "loss": 1.7094,
      "step": 1878
    },
    {
      "epoch": 0.1670222222222222,
      "grad_norm": 1.767814040184021,
      "learning_rate": 4.165333333333333e-05,
      "loss": 2.1178,
      "step": 1879
    },
    {
      "epoch": 0.1671111111111111,
      "grad_norm": 2.049985408782959,
      "learning_rate": 4.164888888888889e-05,
      "loss": 1.9369,
      "step": 1880
    },
    {
      "epoch": 0.1672,
      "grad_norm": 1.6558356285095215,
      "learning_rate": 4.1644444444444446e-05,
      "loss": 1.7355,
      "step": 1881
    },
    {
      "epoch": 0.16728888888888888,
      "grad_norm": 2.1293673515319824,
      "learning_rate": 4.164e-05,
      "loss": 2.0319,
      "step": 1882
    },
    {
      "epoch": 0.16737777777777776,
      "grad_norm": 1.752258539199829,
      "learning_rate": 4.1635555555555556e-05,
      "loss": 1.6827,
      "step": 1883
    },
    {
      "epoch": 0.16746666666666668,
      "grad_norm": 1.8214658498764038,
      "learning_rate": 4.163111111111112e-05,
      "loss": 1.9255,
      "step": 1884
    },
    {
      "epoch": 0.16755555555555557,
      "grad_norm": 1.6662403345108032,
      "learning_rate": 4.162666666666667e-05,
      "loss": 1.6296,
      "step": 1885
    },
    {
      "epoch": 0.16764444444444446,
      "grad_norm": 1.5336376428604126,
      "learning_rate": 4.162222222222222e-05,
      "loss": 1.6614,
      "step": 1886
    },
    {
      "epoch": 0.16773333333333335,
      "grad_norm": 1.9793437719345093,
      "learning_rate": 4.1617777777777775e-05,
      "loss": 1.785,
      "step": 1887
    },
    {
      "epoch": 0.16782222222222223,
      "grad_norm": 1.979782223701477,
      "learning_rate": 4.161333333333334e-05,
      "loss": 1.7583,
      "step": 1888
    },
    {
      "epoch": 0.16791111111111112,
      "grad_norm": 1.7119133472442627,
      "learning_rate": 4.160888888888889e-05,
      "loss": 1.4906,
      "step": 1889
    },
    {
      "epoch": 0.168,
      "grad_norm": 1.6463934183120728,
      "learning_rate": 4.160444444444445e-05,
      "loss": 1.6552,
      "step": 1890
    },
    {
      "epoch": 0.1680888888888889,
      "grad_norm": 1.9587948322296143,
      "learning_rate": 4.16e-05,
      "loss": 1.9196,
      "step": 1891
    },
    {
      "epoch": 0.1681777777777778,
      "grad_norm": 1.632537841796875,
      "learning_rate": 4.159555555555556e-05,
      "loss": 1.5521,
      "step": 1892
    },
    {
      "epoch": 0.16826666666666668,
      "grad_norm": 2.1769487857818604,
      "learning_rate": 4.159111111111111e-05,
      "loss": 1.8207,
      "step": 1893
    },
    {
      "epoch": 0.16835555555555556,
      "grad_norm": 2.0257978439331055,
      "learning_rate": 4.1586666666666666e-05,
      "loss": 1.5948,
      "step": 1894
    },
    {
      "epoch": 0.16844444444444445,
      "grad_norm": 1.7673593759536743,
      "learning_rate": 4.158222222222222e-05,
      "loss": 1.4831,
      "step": 1895
    },
    {
      "epoch": 0.16853333333333334,
      "grad_norm": 1.5838931798934937,
      "learning_rate": 4.157777777777778e-05,
      "loss": 1.5161,
      "step": 1896
    },
    {
      "epoch": 0.16862222222222223,
      "grad_norm": 1.629384160041809,
      "learning_rate": 4.157333333333334e-05,
      "loss": 1.7585,
      "step": 1897
    },
    {
      "epoch": 0.16871111111111112,
      "grad_norm": 1.6081815958023071,
      "learning_rate": 4.156888888888889e-05,
      "loss": 1.8577,
      "step": 1898
    },
    {
      "epoch": 0.1688,
      "grad_norm": 1.7436562776565552,
      "learning_rate": 4.156444444444445e-05,
      "loss": 1.6354,
      "step": 1899
    },
    {
      "epoch": 0.1688888888888889,
      "grad_norm": 1.7393558025360107,
      "learning_rate": 4.156e-05,
      "loss": 1.6863,
      "step": 1900
    },
    {
      "epoch": 0.16897777777777778,
      "grad_norm": 2.450347423553467,
      "learning_rate": 4.155555555555556e-05,
      "loss": 2.1618,
      "step": 1901
    },
    {
      "epoch": 0.16906666666666667,
      "grad_norm": 2.0154378414154053,
      "learning_rate": 4.155111111111111e-05,
      "loss": 1.8533,
      "step": 1902
    },
    {
      "epoch": 0.16915555555555556,
      "grad_norm": 1.5237247943878174,
      "learning_rate": 4.1546666666666666e-05,
      "loss": 1.4797,
      "step": 1903
    },
    {
      "epoch": 0.16924444444444445,
      "grad_norm": 2.1702511310577393,
      "learning_rate": 4.154222222222223e-05,
      "loss": 1.8442,
      "step": 1904
    },
    {
      "epoch": 0.16933333333333334,
      "grad_norm": 2.0137453079223633,
      "learning_rate": 4.153777777777778e-05,
      "loss": 1.7732,
      "step": 1905
    },
    {
      "epoch": 0.16942222222222222,
      "grad_norm": 1.976022720336914,
      "learning_rate": 4.153333333333334e-05,
      "loss": 1.2907,
      "step": 1906
    },
    {
      "epoch": 0.1695111111111111,
      "grad_norm": 2.0944113731384277,
      "learning_rate": 4.152888888888889e-05,
      "loss": 1.8705,
      "step": 1907
    },
    {
      "epoch": 0.1696,
      "grad_norm": 1.6932358741760254,
      "learning_rate": 4.152444444444445e-05,
      "loss": 1.6115,
      "step": 1908
    },
    {
      "epoch": 0.1696888888888889,
      "grad_norm": 1.5588018894195557,
      "learning_rate": 4.152e-05,
      "loss": 1.8065,
      "step": 1909
    },
    {
      "epoch": 0.16977777777777778,
      "grad_norm": 1.6963382959365845,
      "learning_rate": 4.151555555555556e-05,
      "loss": 1.8274,
      "step": 1910
    },
    {
      "epoch": 0.16986666666666667,
      "grad_norm": 1.9656932353973389,
      "learning_rate": 4.151111111111111e-05,
      "loss": 1.4551,
      "step": 1911
    },
    {
      "epoch": 0.16995555555555555,
      "grad_norm": 2.0099802017211914,
      "learning_rate": 4.150666666666667e-05,
      "loss": 1.9777,
      "step": 1912
    },
    {
      "epoch": 0.17004444444444444,
      "grad_norm": 1.512346625328064,
      "learning_rate": 4.150222222222223e-05,
      "loss": 1.479,
      "step": 1913
    },
    {
      "epoch": 0.17013333333333333,
      "grad_norm": 1.7385494709014893,
      "learning_rate": 4.1497777777777776e-05,
      "loss": 1.5644,
      "step": 1914
    },
    {
      "epoch": 0.17022222222222222,
      "grad_norm": 1.8177165985107422,
      "learning_rate": 4.149333333333333e-05,
      "loss": 1.9188,
      "step": 1915
    },
    {
      "epoch": 0.1703111111111111,
      "grad_norm": 1.710498332977295,
      "learning_rate": 4.1488888888888886e-05,
      "loss": 1.7138,
      "step": 1916
    },
    {
      "epoch": 0.1704,
      "grad_norm": 2.0697271823883057,
      "learning_rate": 4.148444444444445e-05,
      "loss": 1.7275,
      "step": 1917
    },
    {
      "epoch": 0.17048888888888888,
      "grad_norm": 1.6431931257247925,
      "learning_rate": 4.148e-05,
      "loss": 1.6274,
      "step": 1918
    },
    {
      "epoch": 0.17057777777777777,
      "grad_norm": 2.3773131370544434,
      "learning_rate": 4.147555555555556e-05,
      "loss": 1.9538,
      "step": 1919
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 1.830720067024231,
      "learning_rate": 4.147111111111111e-05,
      "loss": 1.7469,
      "step": 1920
    },
    {
      "epoch": 0.17075555555555555,
      "grad_norm": 1.6692081689834595,
      "learning_rate": 4.146666666666667e-05,
      "loss": 1.888,
      "step": 1921
    },
    {
      "epoch": 0.17084444444444444,
      "grad_norm": 1.6960620880126953,
      "learning_rate": 4.146222222222222e-05,
      "loss": 1.6462,
      "step": 1922
    },
    {
      "epoch": 0.17093333333333333,
      "grad_norm": 1.6195800304412842,
      "learning_rate": 4.145777777777778e-05,
      "loss": 1.8639,
      "step": 1923
    },
    {
      "epoch": 0.17102222222222221,
      "grad_norm": 1.7528249025344849,
      "learning_rate": 4.145333333333333e-05,
      "loss": 1.7299,
      "step": 1924
    },
    {
      "epoch": 0.1711111111111111,
      "grad_norm": 1.7686620950698853,
      "learning_rate": 4.144888888888889e-05,
      "loss": 1.4805,
      "step": 1925
    },
    {
      "epoch": 0.1712,
      "grad_norm": 1.8770464658737183,
      "learning_rate": 4.144444444444445e-05,
      "loss": 1.7757,
      "step": 1926
    },
    {
      "epoch": 0.17128888888888888,
      "grad_norm": 1.7573474645614624,
      "learning_rate": 4.144e-05,
      "loss": 1.5783,
      "step": 1927
    },
    {
      "epoch": 0.17137777777777777,
      "grad_norm": 1.7207258939743042,
      "learning_rate": 4.143555555555556e-05,
      "loss": 1.522,
      "step": 1928
    },
    {
      "epoch": 0.17146666666666666,
      "grad_norm": 1.694304347038269,
      "learning_rate": 4.143111111111111e-05,
      "loss": 1.6624,
      "step": 1929
    },
    {
      "epoch": 0.17155555555555554,
      "grad_norm": 2.1443562507629395,
      "learning_rate": 4.142666666666667e-05,
      "loss": 1.951,
      "step": 1930
    },
    {
      "epoch": 0.17164444444444443,
      "grad_norm": 1.6682835817337036,
      "learning_rate": 4.142222222222222e-05,
      "loss": 1.7814,
      "step": 1931
    },
    {
      "epoch": 0.17173333333333332,
      "grad_norm": 1.85844886302948,
      "learning_rate": 4.141777777777778e-05,
      "loss": 1.9908,
      "step": 1932
    },
    {
      "epoch": 0.1718222222222222,
      "grad_norm": 1.546050786972046,
      "learning_rate": 4.141333333333334e-05,
      "loss": 1.5596,
      "step": 1933
    },
    {
      "epoch": 0.1719111111111111,
      "grad_norm": 1.9672753810882568,
      "learning_rate": 4.1408888888888894e-05,
      "loss": 1.6275,
      "step": 1934
    },
    {
      "epoch": 0.172,
      "grad_norm": 1.7489632368087769,
      "learning_rate": 4.140444444444445e-05,
      "loss": 1.5868,
      "step": 1935
    },
    {
      "epoch": 0.1720888888888889,
      "grad_norm": 1.7000404596328735,
      "learning_rate": 4.14e-05,
      "loss": 1.528,
      "step": 1936
    },
    {
      "epoch": 0.1721777777777778,
      "grad_norm": 1.883001685142517,
      "learning_rate": 4.139555555555556e-05,
      "loss": 1.6824,
      "step": 1937
    },
    {
      "epoch": 0.17226666666666668,
      "grad_norm": 1.7988957166671753,
      "learning_rate": 4.139111111111111e-05,
      "loss": 1.9226,
      "step": 1938
    },
    {
      "epoch": 0.17235555555555557,
      "grad_norm": 1.5022810697555542,
      "learning_rate": 4.138666666666667e-05,
      "loss": 1.6063,
      "step": 1939
    },
    {
      "epoch": 0.17244444444444446,
      "grad_norm": 1.8159462213516235,
      "learning_rate": 4.138222222222222e-05,
      "loss": 1.8054,
      "step": 1940
    },
    {
      "epoch": 0.17253333333333334,
      "grad_norm": 1.5171723365783691,
      "learning_rate": 4.1377777777777784e-05,
      "loss": 1.5035,
      "step": 1941
    },
    {
      "epoch": 0.17262222222222223,
      "grad_norm": 1.6229749917984009,
      "learning_rate": 4.137333333333334e-05,
      "loss": 1.6163,
      "step": 1942
    },
    {
      "epoch": 0.17271111111111112,
      "grad_norm": 1.6443018913269043,
      "learning_rate": 4.136888888888889e-05,
      "loss": 1.6987,
      "step": 1943
    },
    {
      "epoch": 0.1728,
      "grad_norm": 2.0159072875976562,
      "learning_rate": 4.136444444444444e-05,
      "loss": 1.5396,
      "step": 1944
    },
    {
      "epoch": 0.1728888888888889,
      "grad_norm": 1.5167224407196045,
      "learning_rate": 4.1360000000000004e-05,
      "loss": 1.6406,
      "step": 1945
    },
    {
      "epoch": 0.17297777777777779,
      "grad_norm": 1.554275393486023,
      "learning_rate": 4.135555555555556e-05,
      "loss": 1.7204,
      "step": 1946
    },
    {
      "epoch": 0.17306666666666667,
      "grad_norm": 1.5882855653762817,
      "learning_rate": 4.1351111111111113e-05,
      "loss": 1.6426,
      "step": 1947
    },
    {
      "epoch": 0.17315555555555556,
      "grad_norm": 1.7983156442642212,
      "learning_rate": 4.134666666666667e-05,
      "loss": 1.6615,
      "step": 1948
    },
    {
      "epoch": 0.17324444444444445,
      "grad_norm": 1.5468080043792725,
      "learning_rate": 4.134222222222223e-05,
      "loss": 1.5649,
      "step": 1949
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 2.117079019546509,
      "learning_rate": 4.133777777777778e-05,
      "loss": 1.5542,
      "step": 1950
    },
    {
      "epoch": 0.17342222222222223,
      "grad_norm": 1.5140358209609985,
      "learning_rate": 4.133333333333333e-05,
      "loss": 1.6114,
      "step": 1951
    },
    {
      "epoch": 0.17351111111111112,
      "grad_norm": 1.6699180603027344,
      "learning_rate": 4.132888888888889e-05,
      "loss": 1.453,
      "step": 1952
    },
    {
      "epoch": 0.1736,
      "grad_norm": 1.9561070203781128,
      "learning_rate": 4.132444444444445e-05,
      "loss": 1.771,
      "step": 1953
    },
    {
      "epoch": 0.1736888888888889,
      "grad_norm": 1.63213050365448,
      "learning_rate": 4.1320000000000004e-05,
      "loss": 1.6825,
      "step": 1954
    },
    {
      "epoch": 0.17377777777777778,
      "grad_norm": 1.6909817457199097,
      "learning_rate": 4.131555555555556e-05,
      "loss": 1.6994,
      "step": 1955
    },
    {
      "epoch": 0.17386666666666667,
      "grad_norm": 1.5441018342971802,
      "learning_rate": 4.1311111111111114e-05,
      "loss": 1.6502,
      "step": 1956
    },
    {
      "epoch": 0.17395555555555556,
      "grad_norm": 1.8972103595733643,
      "learning_rate": 4.130666666666667e-05,
      "loss": 1.588,
      "step": 1957
    },
    {
      "epoch": 0.17404444444444445,
      "grad_norm": 2.540148973464966,
      "learning_rate": 4.1302222222222224e-05,
      "loss": 1.8012,
      "step": 1958
    },
    {
      "epoch": 0.17413333333333333,
      "grad_norm": 1.986013412475586,
      "learning_rate": 4.129777777777778e-05,
      "loss": 1.6332,
      "step": 1959
    },
    {
      "epoch": 0.17422222222222222,
      "grad_norm": 1.7923394441604614,
      "learning_rate": 4.129333333333333e-05,
      "loss": 1.7626,
      "step": 1960
    },
    {
      "epoch": 0.1743111111111111,
      "grad_norm": 1.7194095849990845,
      "learning_rate": 4.1288888888888895e-05,
      "loss": 1.5884,
      "step": 1961
    },
    {
      "epoch": 0.1744,
      "grad_norm": 1.8127554655075073,
      "learning_rate": 4.128444444444445e-05,
      "loss": 1.9326,
      "step": 1962
    },
    {
      "epoch": 0.1744888888888889,
      "grad_norm": 2.268387794494629,
      "learning_rate": 4.1280000000000005e-05,
      "loss": 1.7841,
      "step": 1963
    },
    {
      "epoch": 0.17457777777777778,
      "grad_norm": 2.0170657634735107,
      "learning_rate": 4.127555555555556e-05,
      "loss": 1.4587,
      "step": 1964
    },
    {
      "epoch": 0.17466666666666666,
      "grad_norm": 1.6480062007904053,
      "learning_rate": 4.127111111111111e-05,
      "loss": 1.458,
      "step": 1965
    },
    {
      "epoch": 0.17475555555555555,
      "grad_norm": 1.703443169593811,
      "learning_rate": 4.126666666666667e-05,
      "loss": 1.5469,
      "step": 1966
    },
    {
      "epoch": 0.17484444444444444,
      "grad_norm": 2.5245065689086914,
      "learning_rate": 4.1262222222222224e-05,
      "loss": 1.7078,
      "step": 1967
    },
    {
      "epoch": 0.17493333333333333,
      "grad_norm": 1.6818678379058838,
      "learning_rate": 4.125777777777778e-05,
      "loss": 1.7496,
      "step": 1968
    },
    {
      "epoch": 0.17502222222222222,
      "grad_norm": 1.8326706886291504,
      "learning_rate": 4.1253333333333334e-05,
      "loss": 1.7735,
      "step": 1969
    },
    {
      "epoch": 0.1751111111111111,
      "grad_norm": 1.6971361637115479,
      "learning_rate": 4.1248888888888895e-05,
      "loss": 1.6922,
      "step": 1970
    },
    {
      "epoch": 0.1752,
      "grad_norm": 1.9476304054260254,
      "learning_rate": 4.124444444444444e-05,
      "loss": 1.5835,
      "step": 1971
    },
    {
      "epoch": 0.17528888888888888,
      "grad_norm": 1.7618722915649414,
      "learning_rate": 4.124e-05,
      "loss": 1.7265,
      "step": 1972
    },
    {
      "epoch": 0.17537777777777777,
      "grad_norm": 1.8478021621704102,
      "learning_rate": 4.123555555555555e-05,
      "loss": 1.8363,
      "step": 1973
    },
    {
      "epoch": 0.17546666666666666,
      "grad_norm": 1.7022804021835327,
      "learning_rate": 4.1231111111111115e-05,
      "loss": 1.7551,
      "step": 1974
    },
    {
      "epoch": 0.17555555555555555,
      "grad_norm": 1.7930582761764526,
      "learning_rate": 4.122666666666667e-05,
      "loss": 1.7666,
      "step": 1975
    },
    {
      "epoch": 0.17564444444444444,
      "grad_norm": 2.2912135124206543,
      "learning_rate": 4.1222222222222224e-05,
      "loss": 1.9983,
      "step": 1976
    },
    {
      "epoch": 0.17573333333333332,
      "grad_norm": 1.7576982975006104,
      "learning_rate": 4.121777777777778e-05,
      "loss": 1.6842,
      "step": 1977
    },
    {
      "epoch": 0.1758222222222222,
      "grad_norm": 1.827005386352539,
      "learning_rate": 4.1213333333333334e-05,
      "loss": 1.9087,
      "step": 1978
    },
    {
      "epoch": 0.1759111111111111,
      "grad_norm": 1.806978702545166,
      "learning_rate": 4.120888888888889e-05,
      "loss": 1.6497,
      "step": 1979
    },
    {
      "epoch": 0.176,
      "grad_norm": 1.665950059890747,
      "learning_rate": 4.1204444444444444e-05,
      "loss": 1.7616,
      "step": 1980
    },
    {
      "epoch": 0.17608888888888888,
      "grad_norm": 1.6820611953735352,
      "learning_rate": 4.12e-05,
      "loss": 1.7542,
      "step": 1981
    },
    {
      "epoch": 0.17617777777777777,
      "grad_norm": 1.6951302289962769,
      "learning_rate": 4.119555555555556e-05,
      "loss": 1.8673,
      "step": 1982
    },
    {
      "epoch": 0.17626666666666665,
      "grad_norm": 1.765708565711975,
      "learning_rate": 4.1191111111111115e-05,
      "loss": 1.7846,
      "step": 1983
    },
    {
      "epoch": 0.17635555555555554,
      "grad_norm": 2.099201202392578,
      "learning_rate": 4.118666666666667e-05,
      "loss": 1.7464,
      "step": 1984
    },
    {
      "epoch": 0.17644444444444443,
      "grad_norm": 1.9435333013534546,
      "learning_rate": 4.1182222222222225e-05,
      "loss": 1.8344,
      "step": 1985
    },
    {
      "epoch": 0.17653333333333332,
      "grad_norm": 1.8100829124450684,
      "learning_rate": 4.117777777777778e-05,
      "loss": 1.8376,
      "step": 1986
    },
    {
      "epoch": 0.17662222222222224,
      "grad_norm": 1.683107852935791,
      "learning_rate": 4.1173333333333334e-05,
      "loss": 1.6179,
      "step": 1987
    },
    {
      "epoch": 0.17671111111111112,
      "grad_norm": 1.5686378479003906,
      "learning_rate": 4.116888888888889e-05,
      "loss": 1.7252,
      "step": 1988
    },
    {
      "epoch": 0.1768,
      "grad_norm": 1.8423632383346558,
      "learning_rate": 4.1164444444444444e-05,
      "loss": 1.8071,
      "step": 1989
    },
    {
      "epoch": 0.1768888888888889,
      "grad_norm": 1.4704004526138306,
      "learning_rate": 4.1160000000000006e-05,
      "loss": 1.5689,
      "step": 1990
    },
    {
      "epoch": 0.1769777777777778,
      "grad_norm": 1.3495070934295654,
      "learning_rate": 4.115555555555556e-05,
      "loss": 1.6239,
      "step": 1991
    },
    {
      "epoch": 0.17706666666666668,
      "grad_norm": 2.423403024673462,
      "learning_rate": 4.1151111111111115e-05,
      "loss": 1.6032,
      "step": 1992
    },
    {
      "epoch": 0.17715555555555557,
      "grad_norm": 1.7837885618209839,
      "learning_rate": 4.1146666666666663e-05,
      "loss": 1.8636,
      "step": 1993
    },
    {
      "epoch": 0.17724444444444445,
      "grad_norm": 1.6767781972885132,
      "learning_rate": 4.1142222222222225e-05,
      "loss": 1.5377,
      "step": 1994
    },
    {
      "epoch": 0.17733333333333334,
      "grad_norm": 1.6929444074630737,
      "learning_rate": 4.113777777777778e-05,
      "loss": 1.656,
      "step": 1995
    },
    {
      "epoch": 0.17742222222222223,
      "grad_norm": 1.8183283805847168,
      "learning_rate": 4.1133333333333335e-05,
      "loss": 1.6885,
      "step": 1996
    },
    {
      "epoch": 0.17751111111111112,
      "grad_norm": 1.8082829713821411,
      "learning_rate": 4.112888888888889e-05,
      "loss": 1.7078,
      "step": 1997
    },
    {
      "epoch": 0.1776,
      "grad_norm": 1.889439344406128,
      "learning_rate": 4.112444444444445e-05,
      "loss": 1.5135,
      "step": 1998
    },
    {
      "epoch": 0.1776888888888889,
      "grad_norm": 1.6933351755142212,
      "learning_rate": 4.1120000000000006e-05,
      "loss": 1.7361,
      "step": 1999
    },
    {
      "epoch": 0.17777777777777778,
      "grad_norm": 2.381605386734009,
      "learning_rate": 4.1115555555555554e-05,
      "loss": 1.9822,
      "step": 2000
    },
    {
      "epoch": 0.17786666666666667,
      "grad_norm": 1.9781463146209717,
      "learning_rate": 4.111111111111111e-05,
      "loss": 1.7568,
      "step": 2001
    },
    {
      "epoch": 0.17795555555555556,
      "grad_norm": 2.139024257659912,
      "learning_rate": 4.110666666666667e-05,
      "loss": 1.7447,
      "step": 2002
    },
    {
      "epoch": 0.17804444444444445,
      "grad_norm": 1.9875389337539673,
      "learning_rate": 4.1102222222222225e-05,
      "loss": 2.0275,
      "step": 2003
    },
    {
      "epoch": 0.17813333333333334,
      "grad_norm": 1.6315994262695312,
      "learning_rate": 4.109777777777778e-05,
      "loss": 1.6264,
      "step": 2004
    },
    {
      "epoch": 0.17822222222222223,
      "grad_norm": 1.6529772281646729,
      "learning_rate": 4.1093333333333335e-05,
      "loss": 1.6976,
      "step": 2005
    },
    {
      "epoch": 0.17831111111111111,
      "grad_norm": 1.7942965030670166,
      "learning_rate": 4.10888888888889e-05,
      "loss": 1.8786,
      "step": 2006
    },
    {
      "epoch": 0.1784,
      "grad_norm": 1.9801992177963257,
      "learning_rate": 4.1084444444444445e-05,
      "loss": 1.6406,
      "step": 2007
    },
    {
      "epoch": 0.1784888888888889,
      "grad_norm": 1.7929351329803467,
      "learning_rate": 4.108e-05,
      "loss": 1.8001,
      "step": 2008
    },
    {
      "epoch": 0.17857777777777778,
      "grad_norm": 1.8962780237197876,
      "learning_rate": 4.1075555555555555e-05,
      "loss": 1.6147,
      "step": 2009
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 1.6336249113082886,
      "learning_rate": 4.1071111111111116e-05,
      "loss": 1.555,
      "step": 2010
    },
    {
      "epoch": 0.17875555555555556,
      "grad_norm": 1.9766077995300293,
      "learning_rate": 4.106666666666667e-05,
      "loss": 1.8008,
      "step": 2011
    },
    {
      "epoch": 0.17884444444444444,
      "grad_norm": 1.8267544507980347,
      "learning_rate": 4.1062222222222226e-05,
      "loss": 1.8572,
      "step": 2012
    },
    {
      "epoch": 0.17893333333333333,
      "grad_norm": 1.8749048709869385,
      "learning_rate": 4.105777777777778e-05,
      "loss": 1.8074,
      "step": 2013
    },
    {
      "epoch": 0.17902222222222222,
      "grad_norm": 1.995988368988037,
      "learning_rate": 4.1053333333333336e-05,
      "loss": 1.8416,
      "step": 2014
    },
    {
      "epoch": 0.1791111111111111,
      "grad_norm": 1.9668173789978027,
      "learning_rate": 4.104888888888889e-05,
      "loss": 1.6358,
      "step": 2015
    },
    {
      "epoch": 0.1792,
      "grad_norm": 1.6759400367736816,
      "learning_rate": 4.1044444444444445e-05,
      "loss": 1.8482,
      "step": 2016
    },
    {
      "epoch": 0.1792888888888889,
      "grad_norm": 2.4808900356292725,
      "learning_rate": 4.104e-05,
      "loss": 1.8982,
      "step": 2017
    },
    {
      "epoch": 0.17937777777777777,
      "grad_norm": 2.2789077758789062,
      "learning_rate": 4.1035555555555555e-05,
      "loss": 1.793,
      "step": 2018
    },
    {
      "epoch": 0.17946666666666666,
      "grad_norm": 1.9639012813568115,
      "learning_rate": 4.1031111111111117e-05,
      "loss": 1.6315,
      "step": 2019
    },
    {
      "epoch": 0.17955555555555555,
      "grad_norm": 1.6706339120864868,
      "learning_rate": 4.102666666666667e-05,
      "loss": 1.6725,
      "step": 2020
    },
    {
      "epoch": 0.17964444444444444,
      "grad_norm": 2.609375,
      "learning_rate": 4.1022222222222226e-05,
      "loss": 1.8347,
      "step": 2021
    },
    {
      "epoch": 0.17973333333333333,
      "grad_norm": 1.934958815574646,
      "learning_rate": 4.1017777777777774e-05,
      "loss": 1.6761,
      "step": 2022
    },
    {
      "epoch": 0.17982222222222222,
      "grad_norm": 1.7220933437347412,
      "learning_rate": 4.1013333333333336e-05,
      "loss": 1.4298,
      "step": 2023
    },
    {
      "epoch": 0.1799111111111111,
      "grad_norm": 1.5227552652359009,
      "learning_rate": 4.100888888888889e-05,
      "loss": 1.5142,
      "step": 2024
    },
    {
      "epoch": 0.18,
      "grad_norm": 2.484541893005371,
      "learning_rate": 4.1004444444444446e-05,
      "loss": 1.9553,
      "step": 2025
    },
    {
      "epoch": 0.18008888888888888,
      "grad_norm": 1.7142947912216187,
      "learning_rate": 4.1e-05,
      "loss": 1.5889,
      "step": 2026
    },
    {
      "epoch": 0.18017777777777777,
      "grad_norm": 1.911618947982788,
      "learning_rate": 4.099555555555556e-05,
      "loss": 1.6836,
      "step": 2027
    },
    {
      "epoch": 0.18026666666666666,
      "grad_norm": 1.8671211004257202,
      "learning_rate": 4.099111111111111e-05,
      "loss": 1.6446,
      "step": 2028
    },
    {
      "epoch": 0.18035555555555555,
      "grad_norm": 1.8371896743774414,
      "learning_rate": 4.0986666666666665e-05,
      "loss": 1.6516,
      "step": 2029
    },
    {
      "epoch": 0.18044444444444444,
      "grad_norm": 1.497108817100525,
      "learning_rate": 4.098222222222222e-05,
      "loss": 1.6024,
      "step": 2030
    },
    {
      "epoch": 0.18053333333333332,
      "grad_norm": 1.5532352924346924,
      "learning_rate": 4.097777777777778e-05,
      "loss": 1.771,
      "step": 2031
    },
    {
      "epoch": 0.1806222222222222,
      "grad_norm": 1.700728416442871,
      "learning_rate": 4.0973333333333336e-05,
      "loss": 1.5068,
      "step": 2032
    },
    {
      "epoch": 0.1807111111111111,
      "grad_norm": 1.723705530166626,
      "learning_rate": 4.096888888888889e-05,
      "loss": 1.6768,
      "step": 2033
    },
    {
      "epoch": 0.1808,
      "grad_norm": 2.083933115005493,
      "learning_rate": 4.0964444444444446e-05,
      "loss": 1.6814,
      "step": 2034
    },
    {
      "epoch": 0.18088888888888888,
      "grad_norm": 1.7057337760925293,
      "learning_rate": 4.096e-05,
      "loss": 1.8143,
      "step": 2035
    },
    {
      "epoch": 0.18097777777777777,
      "grad_norm": 1.8978865146636963,
      "learning_rate": 4.0955555555555556e-05,
      "loss": 1.7983,
      "step": 2036
    },
    {
      "epoch": 0.18106666666666665,
      "grad_norm": 2.0543198585510254,
      "learning_rate": 4.095111111111111e-05,
      "loss": 1.6207,
      "step": 2037
    },
    {
      "epoch": 0.18115555555555554,
      "grad_norm": 1.5838966369628906,
      "learning_rate": 4.0946666666666665e-05,
      "loss": 1.5581,
      "step": 2038
    },
    {
      "epoch": 0.18124444444444446,
      "grad_norm": 1.6178555488586426,
      "learning_rate": 4.094222222222223e-05,
      "loss": 1.6474,
      "step": 2039
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 1.9535199403762817,
      "learning_rate": 4.093777777777778e-05,
      "loss": 1.6624,
      "step": 2040
    },
    {
      "epoch": 0.18142222222222223,
      "grad_norm": 1.9920521974563599,
      "learning_rate": 4.093333333333334e-05,
      "loss": 1.7458,
      "step": 2041
    },
    {
      "epoch": 0.18151111111111112,
      "grad_norm": 1.6710903644561768,
      "learning_rate": 4.092888888888889e-05,
      "loss": 1.6278,
      "step": 2042
    },
    {
      "epoch": 0.1816,
      "grad_norm": 1.6051441431045532,
      "learning_rate": 4.0924444444444446e-05,
      "loss": 1.5971,
      "step": 2043
    },
    {
      "epoch": 0.1816888888888889,
      "grad_norm": 1.8401252031326294,
      "learning_rate": 4.092e-05,
      "loss": 1.8525,
      "step": 2044
    },
    {
      "epoch": 0.1817777777777778,
      "grad_norm": 2.101060390472412,
      "learning_rate": 4.0915555555555556e-05,
      "loss": 1.6628,
      "step": 2045
    },
    {
      "epoch": 0.18186666666666668,
      "grad_norm": 1.8441107273101807,
      "learning_rate": 4.091111111111111e-05,
      "loss": 1.6746,
      "step": 2046
    },
    {
      "epoch": 0.18195555555555556,
      "grad_norm": 1.8338955640792847,
      "learning_rate": 4.090666666666667e-05,
      "loss": 1.5684,
      "step": 2047
    },
    {
      "epoch": 0.18204444444444445,
      "grad_norm": 1.4848304986953735,
      "learning_rate": 4.090222222222223e-05,
      "loss": 1.5537,
      "step": 2048
    },
    {
      "epoch": 0.18213333333333334,
      "grad_norm": 1.7038905620574951,
      "learning_rate": 4.089777777777778e-05,
      "loss": 1.8357,
      "step": 2049
    },
    {
      "epoch": 0.18222222222222223,
      "grad_norm": 1.9781581163406372,
      "learning_rate": 4.089333333333333e-05,
      "loss": 1.6677,
      "step": 2050
    },
    {
      "epoch": 0.18231111111111112,
      "grad_norm": 1.5364198684692383,
      "learning_rate": 4.088888888888889e-05,
      "loss": 1.6239,
      "step": 2051
    },
    {
      "epoch": 0.1824,
      "grad_norm": 1.6644350290298462,
      "learning_rate": 4.088444444444445e-05,
      "loss": 1.6131,
      "step": 2052
    },
    {
      "epoch": 0.1824888888888889,
      "grad_norm": 1.6540440320968628,
      "learning_rate": 4.088e-05,
      "loss": 1.568,
      "step": 2053
    },
    {
      "epoch": 0.18257777777777778,
      "grad_norm": 2.086165428161621,
      "learning_rate": 4.0875555555555556e-05,
      "loss": 1.6772,
      "step": 2054
    },
    {
      "epoch": 0.18266666666666667,
      "grad_norm": 1.5382496118545532,
      "learning_rate": 4.087111111111112e-05,
      "loss": 1.5896,
      "step": 2055
    },
    {
      "epoch": 0.18275555555555556,
      "grad_norm": 1.7768595218658447,
      "learning_rate": 4.086666666666667e-05,
      "loss": 1.6777,
      "step": 2056
    },
    {
      "epoch": 0.18284444444444445,
      "grad_norm": 1.5523521900177002,
      "learning_rate": 4.086222222222222e-05,
      "loss": 1.5171,
      "step": 2057
    },
    {
      "epoch": 0.18293333333333334,
      "grad_norm": 1.9435536861419678,
      "learning_rate": 4.0857777777777776e-05,
      "loss": 1.7724,
      "step": 2058
    },
    {
      "epoch": 0.18302222222222223,
      "grad_norm": 1.8920965194702148,
      "learning_rate": 4.085333333333334e-05,
      "loss": 1.6858,
      "step": 2059
    },
    {
      "epoch": 0.1831111111111111,
      "grad_norm": 1.7806966304779053,
      "learning_rate": 4.084888888888889e-05,
      "loss": 1.6702,
      "step": 2060
    },
    {
      "epoch": 0.1832,
      "grad_norm": 2.1986913681030273,
      "learning_rate": 4.084444444444445e-05,
      "loss": 1.9399,
      "step": 2061
    },
    {
      "epoch": 0.1832888888888889,
      "grad_norm": 1.6953368186950684,
      "learning_rate": 4.084e-05,
      "loss": 1.6318,
      "step": 2062
    },
    {
      "epoch": 0.18337777777777778,
      "grad_norm": 1.4658335447311401,
      "learning_rate": 4.083555555555556e-05,
      "loss": 1.5293,
      "step": 2063
    },
    {
      "epoch": 0.18346666666666667,
      "grad_norm": 1.906064510345459,
      "learning_rate": 4.083111111111111e-05,
      "loss": 1.8399,
      "step": 2064
    },
    {
      "epoch": 0.18355555555555556,
      "grad_norm": 1.462078332901001,
      "learning_rate": 4.0826666666666667e-05,
      "loss": 1.5984,
      "step": 2065
    },
    {
      "epoch": 0.18364444444444444,
      "grad_norm": 1.6685322523117065,
      "learning_rate": 4.082222222222222e-05,
      "loss": 1.671,
      "step": 2066
    },
    {
      "epoch": 0.18373333333333333,
      "grad_norm": 1.841942548751831,
      "learning_rate": 4.0817777777777776e-05,
      "loss": 1.7993,
      "step": 2067
    },
    {
      "epoch": 0.18382222222222222,
      "grad_norm": 1.6361867189407349,
      "learning_rate": 4.081333333333334e-05,
      "loss": 1.7193,
      "step": 2068
    },
    {
      "epoch": 0.1839111111111111,
      "grad_norm": 1.7419242858886719,
      "learning_rate": 4.080888888888889e-05,
      "loss": 1.665,
      "step": 2069
    },
    {
      "epoch": 0.184,
      "grad_norm": 1.6871219873428345,
      "learning_rate": 4.080444444444445e-05,
      "loss": 1.7165,
      "step": 2070
    },
    {
      "epoch": 0.18408888888888889,
      "grad_norm": 1.5614988803863525,
      "learning_rate": 4.08e-05,
      "loss": 1.5125,
      "step": 2071
    },
    {
      "epoch": 0.18417777777777777,
      "grad_norm": 1.4931317567825317,
      "learning_rate": 4.079555555555556e-05,
      "loss": 1.3867,
      "step": 2072
    },
    {
      "epoch": 0.18426666666666666,
      "grad_norm": 1.5686360597610474,
      "learning_rate": 4.079111111111111e-05,
      "loss": 1.5292,
      "step": 2073
    },
    {
      "epoch": 0.18435555555555555,
      "grad_norm": 1.730015754699707,
      "learning_rate": 4.078666666666667e-05,
      "loss": 1.7662,
      "step": 2074
    },
    {
      "epoch": 0.18444444444444444,
      "grad_norm": 2.009413957595825,
      "learning_rate": 4.078222222222222e-05,
      "loss": 1.6434,
      "step": 2075
    },
    {
      "epoch": 0.18453333333333333,
      "grad_norm": 1.879793643951416,
      "learning_rate": 4.0777777777777783e-05,
      "loss": 1.5124,
      "step": 2076
    },
    {
      "epoch": 0.18462222222222222,
      "grad_norm": 2.215707778930664,
      "learning_rate": 4.077333333333334e-05,
      "loss": 1.9428,
      "step": 2077
    },
    {
      "epoch": 0.1847111111111111,
      "grad_norm": 1.6528029441833496,
      "learning_rate": 4.076888888888889e-05,
      "loss": 1.6838,
      "step": 2078
    },
    {
      "epoch": 0.1848,
      "grad_norm": 1.6317167282104492,
      "learning_rate": 4.076444444444444e-05,
      "loss": 1.714,
      "step": 2079
    },
    {
      "epoch": 0.18488888888888888,
      "grad_norm": 1.6641380786895752,
      "learning_rate": 4.076e-05,
      "loss": 1.6222,
      "step": 2080
    },
    {
      "epoch": 0.18497777777777777,
      "grad_norm": 1.6557059288024902,
      "learning_rate": 4.075555555555556e-05,
      "loss": 1.4938,
      "step": 2081
    },
    {
      "epoch": 0.18506666666666666,
      "grad_norm": 1.6259710788726807,
      "learning_rate": 4.075111111111111e-05,
      "loss": 1.6342,
      "step": 2082
    },
    {
      "epoch": 0.18515555555555555,
      "grad_norm": 1.9491488933563232,
      "learning_rate": 4.074666666666667e-05,
      "loss": 1.8222,
      "step": 2083
    },
    {
      "epoch": 0.18524444444444443,
      "grad_norm": 1.8690940141677856,
      "learning_rate": 4.074222222222223e-05,
      "loss": 1.9248,
      "step": 2084
    },
    {
      "epoch": 0.18533333333333332,
      "grad_norm": 1.901524543762207,
      "learning_rate": 4.073777777777778e-05,
      "loss": 1.5704,
      "step": 2085
    },
    {
      "epoch": 0.1854222222222222,
      "grad_norm": 1.7302072048187256,
      "learning_rate": 4.073333333333333e-05,
      "loss": 1.7493,
      "step": 2086
    },
    {
      "epoch": 0.1855111111111111,
      "grad_norm": 1.5860085487365723,
      "learning_rate": 4.072888888888889e-05,
      "loss": 1.5909,
      "step": 2087
    },
    {
      "epoch": 0.1856,
      "grad_norm": 2.061786413192749,
      "learning_rate": 4.072444444444445e-05,
      "loss": 1.5611,
      "step": 2088
    },
    {
      "epoch": 0.18568888888888888,
      "grad_norm": 1.6939326524734497,
      "learning_rate": 4.072e-05,
      "loss": 1.6947,
      "step": 2089
    },
    {
      "epoch": 0.18577777777777776,
      "grad_norm": 2.5455732345581055,
      "learning_rate": 4.071555555555556e-05,
      "loss": 1.9563,
      "step": 2090
    },
    {
      "epoch": 0.18586666666666668,
      "grad_norm": 2.2251174449920654,
      "learning_rate": 4.071111111111111e-05,
      "loss": 1.7286,
      "step": 2091
    },
    {
      "epoch": 0.18595555555555557,
      "grad_norm": 1.5815701484680176,
      "learning_rate": 4.070666666666667e-05,
      "loss": 1.8365,
      "step": 2092
    },
    {
      "epoch": 0.18604444444444446,
      "grad_norm": 1.756192922592163,
      "learning_rate": 4.070222222222222e-05,
      "loss": 1.8661,
      "step": 2093
    },
    {
      "epoch": 0.18613333333333335,
      "grad_norm": 1.5561326742172241,
      "learning_rate": 4.069777777777778e-05,
      "loss": 1.5325,
      "step": 2094
    },
    {
      "epoch": 0.18622222222222223,
      "grad_norm": 1.9461325407028198,
      "learning_rate": 4.069333333333333e-05,
      "loss": 1.5897,
      "step": 2095
    },
    {
      "epoch": 0.18631111111111112,
      "grad_norm": 1.8591878414154053,
      "learning_rate": 4.0688888888888894e-05,
      "loss": 1.6941,
      "step": 2096
    },
    {
      "epoch": 0.1864,
      "grad_norm": 1.760399580001831,
      "learning_rate": 4.068444444444445e-05,
      "loss": 1.7877,
      "step": 2097
    },
    {
      "epoch": 0.1864888888888889,
      "grad_norm": 1.7721132040023804,
      "learning_rate": 4.0680000000000004e-05,
      "loss": 1.7827,
      "step": 2098
    },
    {
      "epoch": 0.1865777777777778,
      "grad_norm": 1.4583930969238281,
      "learning_rate": 4.067555555555556e-05,
      "loss": 1.4879,
      "step": 2099
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 1.7703231573104858,
      "learning_rate": 4.067111111111111e-05,
      "loss": 1.4487,
      "step": 2100
    },
    {
      "epoch": 0.18675555555555556,
      "grad_norm": 1.365713119506836,
      "learning_rate": 4.066666666666667e-05,
      "loss": 1.5371,
      "step": 2101
    },
    {
      "epoch": 0.18684444444444445,
      "grad_norm": 2.069568157196045,
      "learning_rate": 4.066222222222222e-05,
      "loss": 2.0997,
      "step": 2102
    },
    {
      "epoch": 0.18693333333333334,
      "grad_norm": 2.1159443855285645,
      "learning_rate": 4.065777777777778e-05,
      "loss": 1.7728,
      "step": 2103
    },
    {
      "epoch": 0.18702222222222223,
      "grad_norm": 2.3225715160369873,
      "learning_rate": 4.065333333333334e-05,
      "loss": 1.827,
      "step": 2104
    },
    {
      "epoch": 0.18711111111111112,
      "grad_norm": 1.810102939605713,
      "learning_rate": 4.0648888888888894e-05,
      "loss": 1.8442,
      "step": 2105
    },
    {
      "epoch": 0.1872,
      "grad_norm": 1.697056531906128,
      "learning_rate": 4.064444444444445e-05,
      "loss": 1.6458,
      "step": 2106
    },
    {
      "epoch": 0.1872888888888889,
      "grad_norm": 1.790730595588684,
      "learning_rate": 4.064e-05,
      "loss": 1.5981,
      "step": 2107
    },
    {
      "epoch": 0.18737777777777778,
      "grad_norm": 1.8199280500411987,
      "learning_rate": 4.063555555555556e-05,
      "loss": 1.8512,
      "step": 2108
    },
    {
      "epoch": 0.18746666666666667,
      "grad_norm": 2.0108604431152344,
      "learning_rate": 4.0631111111111114e-05,
      "loss": 1.6448,
      "step": 2109
    },
    {
      "epoch": 0.18755555555555556,
      "grad_norm": 1.582517147064209,
      "learning_rate": 4.062666666666667e-05,
      "loss": 1.5643,
      "step": 2110
    },
    {
      "epoch": 0.18764444444444445,
      "grad_norm": 2.11342453956604,
      "learning_rate": 4.062222222222222e-05,
      "loss": 1.8363,
      "step": 2111
    },
    {
      "epoch": 0.18773333333333334,
      "grad_norm": 2.6918861865997314,
      "learning_rate": 4.0617777777777785e-05,
      "loss": 1.6606,
      "step": 2112
    },
    {
      "epoch": 0.18782222222222222,
      "grad_norm": 1.739542841911316,
      "learning_rate": 4.061333333333334e-05,
      "loss": 1.5546,
      "step": 2113
    },
    {
      "epoch": 0.1879111111111111,
      "grad_norm": 3.273853063583374,
      "learning_rate": 4.060888888888889e-05,
      "loss": 2.0912,
      "step": 2114
    },
    {
      "epoch": 0.188,
      "grad_norm": 2.0238468647003174,
      "learning_rate": 4.060444444444444e-05,
      "loss": 1.5599,
      "step": 2115
    },
    {
      "epoch": 0.1880888888888889,
      "grad_norm": 1.7381455898284912,
      "learning_rate": 4.0600000000000004e-05,
      "loss": 1.9084,
      "step": 2116
    },
    {
      "epoch": 0.18817777777777778,
      "grad_norm": 2.2468628883361816,
      "learning_rate": 4.059555555555556e-05,
      "loss": 1.7152,
      "step": 2117
    },
    {
      "epoch": 0.18826666666666667,
      "grad_norm": 1.87787663936615,
      "learning_rate": 4.0591111111111114e-05,
      "loss": 1.451,
      "step": 2118
    },
    {
      "epoch": 0.18835555555555555,
      "grad_norm": 1.6517103910446167,
      "learning_rate": 4.058666666666667e-05,
      "loss": 1.7666,
      "step": 2119
    },
    {
      "epoch": 0.18844444444444444,
      "grad_norm": 1.8446440696716309,
      "learning_rate": 4.0582222222222224e-05,
      "loss": 1.9277,
      "step": 2120
    },
    {
      "epoch": 0.18853333333333333,
      "grad_norm": 2.2731988430023193,
      "learning_rate": 4.057777777777778e-05,
      "loss": 1.6007,
      "step": 2121
    },
    {
      "epoch": 0.18862222222222222,
      "grad_norm": 2.4167566299438477,
      "learning_rate": 4.057333333333333e-05,
      "loss": 1.7194,
      "step": 2122
    },
    {
      "epoch": 0.1887111111111111,
      "grad_norm": 1.6674212217330933,
      "learning_rate": 4.056888888888889e-05,
      "loss": 1.8804,
      "step": 2123
    },
    {
      "epoch": 0.1888,
      "grad_norm": 1.7503381967544556,
      "learning_rate": 4.056444444444444e-05,
      "loss": 1.8679,
      "step": 2124
    },
    {
      "epoch": 0.18888888888888888,
      "grad_norm": 1.8422725200653076,
      "learning_rate": 4.0560000000000005e-05,
      "loss": 1.8293,
      "step": 2125
    },
    {
      "epoch": 0.18897777777777777,
      "grad_norm": 1.649441123008728,
      "learning_rate": 4.055555555555556e-05,
      "loss": 1.4656,
      "step": 2126
    },
    {
      "epoch": 0.18906666666666666,
      "grad_norm": 1.7670894861221313,
      "learning_rate": 4.0551111111111114e-05,
      "loss": 1.7382,
      "step": 2127
    },
    {
      "epoch": 0.18915555555555555,
      "grad_norm": 1.7590399980545044,
      "learning_rate": 4.054666666666667e-05,
      "loss": 1.7292,
      "step": 2128
    },
    {
      "epoch": 0.18924444444444444,
      "grad_norm": 1.7090140581130981,
      "learning_rate": 4.0542222222222224e-05,
      "loss": 1.8782,
      "step": 2129
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 1.8832764625549316,
      "learning_rate": 4.053777777777778e-05,
      "loss": 1.7196,
      "step": 2130
    },
    {
      "epoch": 0.18942222222222221,
      "grad_norm": 1.5791751146316528,
      "learning_rate": 4.0533333333333334e-05,
      "loss": 1.5829,
      "step": 2131
    },
    {
      "epoch": 0.1895111111111111,
      "grad_norm": 1.5501420497894287,
      "learning_rate": 4.052888888888889e-05,
      "loss": 1.5053,
      "step": 2132
    },
    {
      "epoch": 0.1896,
      "grad_norm": 1.8139960765838623,
      "learning_rate": 4.052444444444445e-05,
      "loss": 1.4834,
      "step": 2133
    },
    {
      "epoch": 0.18968888888888888,
      "grad_norm": 1.6831287145614624,
      "learning_rate": 4.0520000000000005e-05,
      "loss": 1.7352,
      "step": 2134
    },
    {
      "epoch": 0.18977777777777777,
      "grad_norm": 1.5956449508666992,
      "learning_rate": 4.051555555555556e-05,
      "loss": 1.5,
      "step": 2135
    },
    {
      "epoch": 0.18986666666666666,
      "grad_norm": 1.6986621618270874,
      "learning_rate": 4.051111111111111e-05,
      "loss": 1.7743,
      "step": 2136
    },
    {
      "epoch": 0.18995555555555554,
      "grad_norm": 1.592542052268982,
      "learning_rate": 4.050666666666667e-05,
      "loss": 1.7395,
      "step": 2137
    },
    {
      "epoch": 0.19004444444444443,
      "grad_norm": 1.7384847402572632,
      "learning_rate": 4.0502222222222224e-05,
      "loss": 1.8197,
      "step": 2138
    },
    {
      "epoch": 0.19013333333333332,
      "grad_norm": 1.8083856105804443,
      "learning_rate": 4.049777777777778e-05,
      "loss": 1.7637,
      "step": 2139
    },
    {
      "epoch": 0.1902222222222222,
      "grad_norm": 1.5844836235046387,
      "learning_rate": 4.0493333333333334e-05,
      "loss": 1.6433,
      "step": 2140
    },
    {
      "epoch": 0.1903111111111111,
      "grad_norm": 1.6861839294433594,
      "learning_rate": 4.0488888888888896e-05,
      "loss": 1.8482,
      "step": 2141
    },
    {
      "epoch": 0.1904,
      "grad_norm": 1.6239293813705444,
      "learning_rate": 4.0484444444444444e-05,
      "loss": 1.5667,
      "step": 2142
    },
    {
      "epoch": 0.1904888888888889,
      "grad_norm": 1.6671631336212158,
      "learning_rate": 4.048e-05,
      "loss": 1.5133,
      "step": 2143
    },
    {
      "epoch": 0.1905777777777778,
      "grad_norm": 1.6958569288253784,
      "learning_rate": 4.0475555555555554e-05,
      "loss": 1.4574,
      "step": 2144
    },
    {
      "epoch": 0.19066666666666668,
      "grad_norm": 2.0335450172424316,
      "learning_rate": 4.0471111111111115e-05,
      "loss": 1.8685,
      "step": 2145
    },
    {
      "epoch": 0.19075555555555557,
      "grad_norm": 1.7765859365463257,
      "learning_rate": 4.046666666666667e-05,
      "loss": 1.7361,
      "step": 2146
    },
    {
      "epoch": 0.19084444444444446,
      "grad_norm": 2.2958250045776367,
      "learning_rate": 4.0462222222222225e-05,
      "loss": 1.7119,
      "step": 2147
    },
    {
      "epoch": 0.19093333333333334,
      "grad_norm": 1.8651490211486816,
      "learning_rate": 4.045777777777778e-05,
      "loss": 1.6447,
      "step": 2148
    },
    {
      "epoch": 0.19102222222222223,
      "grad_norm": 1.780630350112915,
      "learning_rate": 4.0453333333333335e-05,
      "loss": 1.5718,
      "step": 2149
    },
    {
      "epoch": 0.19111111111111112,
      "grad_norm": 1.8449386358261108,
      "learning_rate": 4.044888888888889e-05,
      "loss": 1.7832,
      "step": 2150
    },
    {
      "epoch": 0.1912,
      "grad_norm": 1.783892273902893,
      "learning_rate": 4.0444444444444444e-05,
      "loss": 1.9228,
      "step": 2151
    },
    {
      "epoch": 0.1912888888888889,
      "grad_norm": 1.77255380153656,
      "learning_rate": 4.044e-05,
      "loss": 1.5496,
      "step": 2152
    },
    {
      "epoch": 0.19137777777777779,
      "grad_norm": 2.1088263988494873,
      "learning_rate": 4.043555555555556e-05,
      "loss": 2.2036,
      "step": 2153
    },
    {
      "epoch": 0.19146666666666667,
      "grad_norm": 1.7603814601898193,
      "learning_rate": 4.0431111111111116e-05,
      "loss": 1.8213,
      "step": 2154
    },
    {
      "epoch": 0.19155555555555556,
      "grad_norm": 1.4841604232788086,
      "learning_rate": 4.042666666666667e-05,
      "loss": 1.5854,
      "step": 2155
    },
    {
      "epoch": 0.19164444444444445,
      "grad_norm": 1.8594236373901367,
      "learning_rate": 4.0422222222222225e-05,
      "loss": 1.5894,
      "step": 2156
    },
    {
      "epoch": 0.19173333333333334,
      "grad_norm": 1.8355016708374023,
      "learning_rate": 4.041777777777778e-05,
      "loss": 1.6922,
      "step": 2157
    },
    {
      "epoch": 0.19182222222222223,
      "grad_norm": 1.7190495729446411,
      "learning_rate": 4.0413333333333335e-05,
      "loss": 1.5317,
      "step": 2158
    },
    {
      "epoch": 0.19191111111111112,
      "grad_norm": 1.5760449171066284,
      "learning_rate": 4.040888888888889e-05,
      "loss": 1.8163,
      "step": 2159
    },
    {
      "epoch": 0.192,
      "grad_norm": 2.118420124053955,
      "learning_rate": 4.0404444444444445e-05,
      "loss": 1.6365,
      "step": 2160
    },
    {
      "epoch": 0.1920888888888889,
      "grad_norm": 1.709947109222412,
      "learning_rate": 4.0400000000000006e-05,
      "loss": 1.9184,
      "step": 2161
    },
    {
      "epoch": 0.19217777777777778,
      "grad_norm": 2.33304762840271,
      "learning_rate": 4.039555555555556e-05,
      "loss": 1.5807,
      "step": 2162
    },
    {
      "epoch": 0.19226666666666667,
      "grad_norm": 1.5702356100082397,
      "learning_rate": 4.0391111111111116e-05,
      "loss": 1.7924,
      "step": 2163
    },
    {
      "epoch": 0.19235555555555556,
      "grad_norm": 1.558249831199646,
      "learning_rate": 4.0386666666666664e-05,
      "loss": 1.5128,
      "step": 2164
    },
    {
      "epoch": 0.19244444444444445,
      "grad_norm": 1.6943504810333252,
      "learning_rate": 4.0382222222222226e-05,
      "loss": 1.5673,
      "step": 2165
    },
    {
      "epoch": 0.19253333333333333,
      "grad_norm": 1.6364690065383911,
      "learning_rate": 4.037777777777778e-05,
      "loss": 1.7122,
      "step": 2166
    },
    {
      "epoch": 0.19262222222222222,
      "grad_norm": 1.7607073783874512,
      "learning_rate": 4.0373333333333335e-05,
      "loss": 1.8511,
      "step": 2167
    },
    {
      "epoch": 0.1927111111111111,
      "grad_norm": 1.7733639478683472,
      "learning_rate": 4.036888888888889e-05,
      "loss": 1.6975,
      "step": 2168
    },
    {
      "epoch": 0.1928,
      "grad_norm": 1.892299771308899,
      "learning_rate": 4.0364444444444445e-05,
      "loss": 1.7499,
      "step": 2169
    },
    {
      "epoch": 0.1928888888888889,
      "grad_norm": 1.6777794361114502,
      "learning_rate": 4.0360000000000007e-05,
      "loss": 1.7412,
      "step": 2170
    },
    {
      "epoch": 0.19297777777777778,
      "grad_norm": 1.5008410215377808,
      "learning_rate": 4.0355555555555555e-05,
      "loss": 1.7253,
      "step": 2171
    },
    {
      "epoch": 0.19306666666666666,
      "grad_norm": 1.512451410293579,
      "learning_rate": 4.035111111111111e-05,
      "loss": 1.5375,
      "step": 2172
    },
    {
      "epoch": 0.19315555555555555,
      "grad_norm": 1.932348608970642,
      "learning_rate": 4.0346666666666664e-05,
      "loss": 1.7398,
      "step": 2173
    },
    {
      "epoch": 0.19324444444444444,
      "grad_norm": 1.6479520797729492,
      "learning_rate": 4.0342222222222226e-05,
      "loss": 1.5079,
      "step": 2174
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 1.5834068059921265,
      "learning_rate": 4.033777777777778e-05,
      "loss": 1.7387,
      "step": 2175
    },
    {
      "epoch": 0.19342222222222222,
      "grad_norm": 1.8703759908676147,
      "learning_rate": 4.0333333333333336e-05,
      "loss": 1.7385,
      "step": 2176
    },
    {
      "epoch": 0.1935111111111111,
      "grad_norm": 1.787387490272522,
      "learning_rate": 4.032888888888889e-05,
      "loss": 1.6505,
      "step": 2177
    },
    {
      "epoch": 0.1936,
      "grad_norm": 1.784216284751892,
      "learning_rate": 4.0324444444444445e-05,
      "loss": 1.7705,
      "step": 2178
    },
    {
      "epoch": 0.19368888888888888,
      "grad_norm": 1.4924557209014893,
      "learning_rate": 4.032e-05,
      "loss": 1.6224,
      "step": 2179
    },
    {
      "epoch": 0.19377777777777777,
      "grad_norm": 1.5810070037841797,
      "learning_rate": 4.0315555555555555e-05,
      "loss": 1.7046,
      "step": 2180
    },
    {
      "epoch": 0.19386666666666666,
      "grad_norm": 1.993849515914917,
      "learning_rate": 4.031111111111111e-05,
      "loss": 1.5708,
      "step": 2181
    },
    {
      "epoch": 0.19395555555555555,
      "grad_norm": 1.6967602968215942,
      "learning_rate": 4.030666666666667e-05,
      "loss": 1.5418,
      "step": 2182
    },
    {
      "epoch": 0.19404444444444444,
      "grad_norm": 2.3189971446990967,
      "learning_rate": 4.0302222222222226e-05,
      "loss": 1.7145,
      "step": 2183
    },
    {
      "epoch": 0.19413333333333332,
      "grad_norm": 1.7305277585983276,
      "learning_rate": 4.029777777777778e-05,
      "loss": 1.9842,
      "step": 2184
    },
    {
      "epoch": 0.1942222222222222,
      "grad_norm": 1.6562620401382446,
      "learning_rate": 4.0293333333333336e-05,
      "loss": 1.7371,
      "step": 2185
    },
    {
      "epoch": 0.1943111111111111,
      "grad_norm": 1.743607997894287,
      "learning_rate": 4.028888888888889e-05,
      "loss": 1.9466,
      "step": 2186
    },
    {
      "epoch": 0.1944,
      "grad_norm": 1.5145047903060913,
      "learning_rate": 4.0284444444444446e-05,
      "loss": 1.787,
      "step": 2187
    },
    {
      "epoch": 0.19448888888888888,
      "grad_norm": 1.822972059249878,
      "learning_rate": 4.028e-05,
      "loss": 1.8266,
      "step": 2188
    },
    {
      "epoch": 0.19457777777777777,
      "grad_norm": 1.6846123933792114,
      "learning_rate": 4.0275555555555555e-05,
      "loss": 1.6253,
      "step": 2189
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 2.185236930847168,
      "learning_rate": 4.027111111111112e-05,
      "loss": 1.6006,
      "step": 2190
    },
    {
      "epoch": 0.19475555555555554,
      "grad_norm": 1.7683260440826416,
      "learning_rate": 4.026666666666667e-05,
      "loss": 1.6704,
      "step": 2191
    },
    {
      "epoch": 0.19484444444444443,
      "grad_norm": 1.7126150131225586,
      "learning_rate": 4.026222222222223e-05,
      "loss": 1.8446,
      "step": 2192
    },
    {
      "epoch": 0.19493333333333332,
      "grad_norm": 1.9320625066757202,
      "learning_rate": 4.0257777777777775e-05,
      "loss": 1.5977,
      "step": 2193
    },
    {
      "epoch": 0.19502222222222224,
      "grad_norm": 1.5604052543640137,
      "learning_rate": 4.0253333333333336e-05,
      "loss": 1.8109,
      "step": 2194
    },
    {
      "epoch": 0.19511111111111112,
      "grad_norm": 1.6565508842468262,
      "learning_rate": 4.024888888888889e-05,
      "loss": 1.7811,
      "step": 2195
    },
    {
      "epoch": 0.1952,
      "grad_norm": 1.6671680212020874,
      "learning_rate": 4.0244444444444446e-05,
      "loss": 1.7811,
      "step": 2196
    },
    {
      "epoch": 0.1952888888888889,
      "grad_norm": 1.6206027269363403,
      "learning_rate": 4.024e-05,
      "loss": 1.5855,
      "step": 2197
    },
    {
      "epoch": 0.1953777777777778,
      "grad_norm": 1.4297538995742798,
      "learning_rate": 4.023555555555556e-05,
      "loss": 1.5658,
      "step": 2198
    },
    {
      "epoch": 0.19546666666666668,
      "grad_norm": 1.5823113918304443,
      "learning_rate": 4.023111111111111e-05,
      "loss": 1.7954,
      "step": 2199
    },
    {
      "epoch": 0.19555555555555557,
      "grad_norm": 1.6604496240615845,
      "learning_rate": 4.0226666666666666e-05,
      "loss": 1.824,
      "step": 2200
    },
    {
      "epoch": 0.19564444444444445,
      "grad_norm": 1.779161810874939,
      "learning_rate": 4.022222222222222e-05,
      "loss": 1.5003,
      "step": 2201
    },
    {
      "epoch": 0.19573333333333334,
      "grad_norm": 2.0288450717926025,
      "learning_rate": 4.021777777777778e-05,
      "loss": 1.5496,
      "step": 2202
    },
    {
      "epoch": 0.19582222222222223,
      "grad_norm": 1.7597274780273438,
      "learning_rate": 4.021333333333334e-05,
      "loss": 1.7004,
      "step": 2203
    },
    {
      "epoch": 0.19591111111111112,
      "grad_norm": 1.8093979358673096,
      "learning_rate": 4.020888888888889e-05,
      "loss": 1.8336,
      "step": 2204
    },
    {
      "epoch": 0.196,
      "grad_norm": 1.6037299633026123,
      "learning_rate": 4.0204444444444447e-05,
      "loss": 1.6862,
      "step": 2205
    },
    {
      "epoch": 0.1960888888888889,
      "grad_norm": 1.5977956056594849,
      "learning_rate": 4.02e-05,
      "loss": 1.5761,
      "step": 2206
    },
    {
      "epoch": 0.19617777777777778,
      "grad_norm": 1.8054161071777344,
      "learning_rate": 4.0195555555555556e-05,
      "loss": 1.6721,
      "step": 2207
    },
    {
      "epoch": 0.19626666666666667,
      "grad_norm": 1.5939022302627563,
      "learning_rate": 4.019111111111111e-05,
      "loss": 1.5335,
      "step": 2208
    },
    {
      "epoch": 0.19635555555555556,
      "grad_norm": 1.757153034210205,
      "learning_rate": 4.0186666666666666e-05,
      "loss": 1.7138,
      "step": 2209
    },
    {
      "epoch": 0.19644444444444445,
      "grad_norm": 1.7282862663269043,
      "learning_rate": 4.018222222222223e-05,
      "loss": 1.9131,
      "step": 2210
    },
    {
      "epoch": 0.19653333333333334,
      "grad_norm": 2.1061110496520996,
      "learning_rate": 4.017777777777778e-05,
      "loss": 1.7488,
      "step": 2211
    },
    {
      "epoch": 0.19662222222222223,
      "grad_norm": 1.6135509014129639,
      "learning_rate": 4.017333333333334e-05,
      "loss": 1.7313,
      "step": 2212
    },
    {
      "epoch": 0.19671111111111111,
      "grad_norm": 1.9444530010223389,
      "learning_rate": 4.016888888888889e-05,
      "loss": 1.8262,
      "step": 2213
    },
    {
      "epoch": 0.1968,
      "grad_norm": 1.6271252632141113,
      "learning_rate": 4.016444444444445e-05,
      "loss": 1.6146,
      "step": 2214
    },
    {
      "epoch": 0.1968888888888889,
      "grad_norm": 1.981998324394226,
      "learning_rate": 4.016e-05,
      "loss": 1.6532,
      "step": 2215
    },
    {
      "epoch": 0.19697777777777778,
      "grad_norm": 1.6489776372909546,
      "learning_rate": 4.0155555555555557e-05,
      "loss": 1.5996,
      "step": 2216
    },
    {
      "epoch": 0.19706666666666667,
      "grad_norm": 1.8179073333740234,
      "learning_rate": 4.015111111111111e-05,
      "loss": 1.6404,
      "step": 2217
    },
    {
      "epoch": 0.19715555555555556,
      "grad_norm": 1.7254103422164917,
      "learning_rate": 4.014666666666667e-05,
      "loss": 1.4315,
      "step": 2218
    },
    {
      "epoch": 0.19724444444444444,
      "grad_norm": 1.822956919670105,
      "learning_rate": 4.014222222222223e-05,
      "loss": 1.667,
      "step": 2219
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 1.8898409605026245,
      "learning_rate": 4.013777777777778e-05,
      "loss": 1.792,
      "step": 2220
    },
    {
      "epoch": 0.19742222222222222,
      "grad_norm": 1.6796337366104126,
      "learning_rate": 4.013333333333333e-05,
      "loss": 1.6379,
      "step": 2221
    },
    {
      "epoch": 0.1975111111111111,
      "grad_norm": 2.447265148162842,
      "learning_rate": 4.0128888888888886e-05,
      "loss": 1.6986,
      "step": 2222
    },
    {
      "epoch": 0.1976,
      "grad_norm": 1.9572440385818481,
      "learning_rate": 4.012444444444445e-05,
      "loss": 1.7659,
      "step": 2223
    },
    {
      "epoch": 0.1976888888888889,
      "grad_norm": 1.6215569972991943,
      "learning_rate": 4.012e-05,
      "loss": 1.571,
      "step": 2224
    },
    {
      "epoch": 0.19777777777777777,
      "grad_norm": 1.943545937538147,
      "learning_rate": 4.011555555555556e-05,
      "loss": 1.9631,
      "step": 2225
    },
    {
      "epoch": 0.19786666666666666,
      "grad_norm": 1.5927788019180298,
      "learning_rate": 4.011111111111111e-05,
      "loss": 1.7303,
      "step": 2226
    },
    {
      "epoch": 0.19795555555555555,
      "grad_norm": 1.759756326675415,
      "learning_rate": 4.0106666666666673e-05,
      "loss": 1.5923,
      "step": 2227
    },
    {
      "epoch": 0.19804444444444444,
      "grad_norm": 1.7978132963180542,
      "learning_rate": 4.010222222222222e-05,
      "loss": 1.9644,
      "step": 2228
    },
    {
      "epoch": 0.19813333333333333,
      "grad_norm": 1.6782339811325073,
      "learning_rate": 4.0097777777777776e-05,
      "loss": 1.756,
      "step": 2229
    },
    {
      "epoch": 0.19822222222222222,
      "grad_norm": 1.6665430068969727,
      "learning_rate": 4.009333333333333e-05,
      "loss": 1.6131,
      "step": 2230
    },
    {
      "epoch": 0.1983111111111111,
      "grad_norm": 1.5829930305480957,
      "learning_rate": 4.008888888888889e-05,
      "loss": 1.6335,
      "step": 2231
    },
    {
      "epoch": 0.1984,
      "grad_norm": 1.9567245244979858,
      "learning_rate": 4.008444444444445e-05,
      "loss": 1.7893,
      "step": 2232
    },
    {
      "epoch": 0.19848888888888888,
      "grad_norm": 2.1087887287139893,
      "learning_rate": 4.008e-05,
      "loss": 1.8215,
      "step": 2233
    },
    {
      "epoch": 0.19857777777777777,
      "grad_norm": 2.269268751144409,
      "learning_rate": 4.007555555555556e-05,
      "loss": 1.5807,
      "step": 2234
    },
    {
      "epoch": 0.19866666666666666,
      "grad_norm": 1.6360448598861694,
      "learning_rate": 4.007111111111111e-05,
      "loss": 1.6339,
      "step": 2235
    },
    {
      "epoch": 0.19875555555555555,
      "grad_norm": 1.8017246723175049,
      "learning_rate": 4.006666666666667e-05,
      "loss": 1.665,
      "step": 2236
    },
    {
      "epoch": 0.19884444444444443,
      "grad_norm": 1.705662488937378,
      "learning_rate": 4.006222222222222e-05,
      "loss": 1.6847,
      "step": 2237
    },
    {
      "epoch": 0.19893333333333332,
      "grad_norm": 1.5389885902404785,
      "learning_rate": 4.005777777777778e-05,
      "loss": 1.4814,
      "step": 2238
    },
    {
      "epoch": 0.1990222222222222,
      "grad_norm": 1.9522464275360107,
      "learning_rate": 4.005333333333334e-05,
      "loss": 1.8667,
      "step": 2239
    },
    {
      "epoch": 0.1991111111111111,
      "grad_norm": 1.4848872423171997,
      "learning_rate": 4.004888888888889e-05,
      "loss": 1.5975,
      "step": 2240
    },
    {
      "epoch": 0.1992,
      "grad_norm": 1.958227276802063,
      "learning_rate": 4.004444444444445e-05,
      "loss": 1.72,
      "step": 2241
    },
    {
      "epoch": 0.19928888888888888,
      "grad_norm": 1.9661033153533936,
      "learning_rate": 4.004e-05,
      "loss": 1.7363,
      "step": 2242
    },
    {
      "epoch": 0.19937777777777776,
      "grad_norm": 2.012901544570923,
      "learning_rate": 4.003555555555556e-05,
      "loss": 1.8504,
      "step": 2243
    },
    {
      "epoch": 0.19946666666666665,
      "grad_norm": 2.901834726333618,
      "learning_rate": 4.003111111111111e-05,
      "loss": 1.9645,
      "step": 2244
    },
    {
      "epoch": 0.19955555555555557,
      "grad_norm": 1.7903168201446533,
      "learning_rate": 4.002666666666667e-05,
      "loss": 1.6104,
      "step": 2245
    },
    {
      "epoch": 0.19964444444444446,
      "grad_norm": 1.9018406867980957,
      "learning_rate": 4.002222222222222e-05,
      "loss": 1.8971,
      "step": 2246
    },
    {
      "epoch": 0.19973333333333335,
      "grad_norm": 1.9036617279052734,
      "learning_rate": 4.0017777777777784e-05,
      "loss": 1.5571,
      "step": 2247
    },
    {
      "epoch": 0.19982222222222223,
      "grad_norm": 1.7673901319503784,
      "learning_rate": 4.001333333333334e-05,
      "loss": 1.6581,
      "step": 2248
    },
    {
      "epoch": 0.19991111111111112,
      "grad_norm": 2.0404036045074463,
      "learning_rate": 4.0008888888888894e-05,
      "loss": 1.636,
      "step": 2249
    },
    {
      "epoch": 0.2,
      "grad_norm": 1.8248368501663208,
      "learning_rate": 4.000444444444444e-05,
      "loss": 1.7136,
      "step": 2250
    },
    {
      "epoch": 0.2000888888888889,
      "grad_norm": 1.993778109550476,
      "learning_rate": 4e-05,
      "loss": 1.7854,
      "step": 2251
    },
    {
      "epoch": 0.2001777777777778,
      "grad_norm": 2.1897144317626953,
      "learning_rate": 3.999555555555556e-05,
      "loss": 1.7348,
      "step": 2252
    },
    {
      "epoch": 0.20026666666666668,
      "grad_norm": 1.77191162109375,
      "learning_rate": 3.999111111111111e-05,
      "loss": 1.6731,
      "step": 2253
    },
    {
      "epoch": 0.20035555555555556,
      "grad_norm": 1.7232683897018433,
      "learning_rate": 3.998666666666667e-05,
      "loss": 1.8974,
      "step": 2254
    },
    {
      "epoch": 0.20044444444444445,
      "grad_norm": 1.7017015218734741,
      "learning_rate": 3.998222222222223e-05,
      "loss": 1.7089,
      "step": 2255
    },
    {
      "epoch": 0.20053333333333334,
      "grad_norm": 1.6244367361068726,
      "learning_rate": 3.997777777777778e-05,
      "loss": 1.5127,
      "step": 2256
    },
    {
      "epoch": 0.20062222222222223,
      "grad_norm": 1.8234639167785645,
      "learning_rate": 3.997333333333333e-05,
      "loss": 1.521,
      "step": 2257
    },
    {
      "epoch": 0.20071111111111112,
      "grad_norm": 1.7448406219482422,
      "learning_rate": 3.996888888888889e-05,
      "loss": 1.6692,
      "step": 2258
    },
    {
      "epoch": 0.2008,
      "grad_norm": 1.5680336952209473,
      "learning_rate": 3.996444444444445e-05,
      "loss": 1.6008,
      "step": 2259
    },
    {
      "epoch": 0.2008888888888889,
      "grad_norm": 1.6757936477661133,
      "learning_rate": 3.9960000000000004e-05,
      "loss": 1.6151,
      "step": 2260
    },
    {
      "epoch": 0.20097777777777778,
      "grad_norm": 1.7608447074890137,
      "learning_rate": 3.995555555555556e-05,
      "loss": 1.6583,
      "step": 2261
    },
    {
      "epoch": 0.20106666666666667,
      "grad_norm": 1.4968476295471191,
      "learning_rate": 3.995111111111111e-05,
      "loss": 1.494,
      "step": 2262
    },
    {
      "epoch": 0.20115555555555556,
      "grad_norm": 1.6976200342178345,
      "learning_rate": 3.994666666666667e-05,
      "loss": 1.6575,
      "step": 2263
    },
    {
      "epoch": 0.20124444444444445,
      "grad_norm": 1.6429697275161743,
      "learning_rate": 3.994222222222222e-05,
      "loss": 1.3952,
      "step": 2264
    },
    {
      "epoch": 0.20133333333333334,
      "grad_norm": 1.5868862867355347,
      "learning_rate": 3.993777777777778e-05,
      "loss": 1.6798,
      "step": 2265
    },
    {
      "epoch": 0.20142222222222222,
      "grad_norm": 1.7397006750106812,
      "learning_rate": 3.993333333333333e-05,
      "loss": 1.7181,
      "step": 2266
    },
    {
      "epoch": 0.2015111111111111,
      "grad_norm": 2.410686492919922,
      "learning_rate": 3.9928888888888894e-05,
      "loss": 1.8102,
      "step": 2267
    },
    {
      "epoch": 0.2016,
      "grad_norm": 1.5275194644927979,
      "learning_rate": 3.992444444444445e-05,
      "loss": 1.6399,
      "step": 2268
    },
    {
      "epoch": 0.2016888888888889,
      "grad_norm": 1.6362147331237793,
      "learning_rate": 3.9920000000000004e-05,
      "loss": 1.7723,
      "step": 2269
    },
    {
      "epoch": 0.20177777777777778,
      "grad_norm": 1.6631782054901123,
      "learning_rate": 3.991555555555556e-05,
      "loss": 1.7201,
      "step": 2270
    },
    {
      "epoch": 0.20186666666666667,
      "grad_norm": 1.9731826782226562,
      "learning_rate": 3.9911111111111114e-05,
      "loss": 1.8627,
      "step": 2271
    },
    {
      "epoch": 0.20195555555555555,
      "grad_norm": 1.6826952695846558,
      "learning_rate": 3.990666666666667e-05,
      "loss": 1.87,
      "step": 2272
    },
    {
      "epoch": 0.20204444444444444,
      "grad_norm": 1.6551307439804077,
      "learning_rate": 3.9902222222222223e-05,
      "loss": 1.6201,
      "step": 2273
    },
    {
      "epoch": 0.20213333333333333,
      "grad_norm": 1.4825714826583862,
      "learning_rate": 3.989777777777778e-05,
      "loss": 1.5863,
      "step": 2274
    },
    {
      "epoch": 0.20222222222222222,
      "grad_norm": 1.647815227508545,
      "learning_rate": 3.989333333333333e-05,
      "loss": 1.6389,
      "step": 2275
    },
    {
      "epoch": 0.2023111111111111,
      "grad_norm": 1.8752648830413818,
      "learning_rate": 3.9888888888888895e-05,
      "loss": 1.7994,
      "step": 2276
    },
    {
      "epoch": 0.2024,
      "grad_norm": 1.6071653366088867,
      "learning_rate": 3.988444444444445e-05,
      "loss": 1.6263,
      "step": 2277
    },
    {
      "epoch": 0.20248888888888888,
      "grad_norm": 1.9431190490722656,
      "learning_rate": 3.988e-05,
      "loss": 1.7499,
      "step": 2278
    },
    {
      "epoch": 0.20257777777777777,
      "grad_norm": 1.6540669202804565,
      "learning_rate": 3.987555555555555e-05,
      "loss": 1.7168,
      "step": 2279
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 1.7419289350509644,
      "learning_rate": 3.9871111111111114e-05,
      "loss": 1.5556,
      "step": 2280
    },
    {
      "epoch": 0.20275555555555555,
      "grad_norm": 1.6440080404281616,
      "learning_rate": 3.986666666666667e-05,
      "loss": 1.7523,
      "step": 2281
    },
    {
      "epoch": 0.20284444444444444,
      "grad_norm": 2.323087215423584,
      "learning_rate": 3.9862222222222224e-05,
      "loss": 2.0606,
      "step": 2282
    },
    {
      "epoch": 0.20293333333333333,
      "grad_norm": 1.831500768661499,
      "learning_rate": 3.985777777777778e-05,
      "loss": 1.7712,
      "step": 2283
    },
    {
      "epoch": 0.20302222222222222,
      "grad_norm": 1.3906904458999634,
      "learning_rate": 3.985333333333334e-05,
      "loss": 1.5072,
      "step": 2284
    },
    {
      "epoch": 0.2031111111111111,
      "grad_norm": 2.615433931350708,
      "learning_rate": 3.984888888888889e-05,
      "loss": 1.6336,
      "step": 2285
    },
    {
      "epoch": 0.2032,
      "grad_norm": 1.9837874174118042,
      "learning_rate": 3.984444444444444e-05,
      "loss": 1.6848,
      "step": 2286
    },
    {
      "epoch": 0.20328888888888888,
      "grad_norm": 1.6056593656539917,
      "learning_rate": 3.984e-05,
      "loss": 1.44,
      "step": 2287
    },
    {
      "epoch": 0.20337777777777777,
      "grad_norm": 2.199345111846924,
      "learning_rate": 3.983555555555556e-05,
      "loss": 1.6313,
      "step": 2288
    },
    {
      "epoch": 0.20346666666666666,
      "grad_norm": 1.7313523292541504,
      "learning_rate": 3.9831111111111114e-05,
      "loss": 1.6378,
      "step": 2289
    },
    {
      "epoch": 0.20355555555555555,
      "grad_norm": 3.0185599327087402,
      "learning_rate": 3.982666666666667e-05,
      "loss": 1.7649,
      "step": 2290
    },
    {
      "epoch": 0.20364444444444443,
      "grad_norm": 1.7208105325698853,
      "learning_rate": 3.9822222222222224e-05,
      "loss": 1.6498,
      "step": 2291
    },
    {
      "epoch": 0.20373333333333332,
      "grad_norm": 1.9216629266738892,
      "learning_rate": 3.981777777777778e-05,
      "loss": 1.6796,
      "step": 2292
    },
    {
      "epoch": 0.2038222222222222,
      "grad_norm": 1.5602293014526367,
      "learning_rate": 3.9813333333333334e-05,
      "loss": 1.571,
      "step": 2293
    },
    {
      "epoch": 0.2039111111111111,
      "grad_norm": 1.5866382122039795,
      "learning_rate": 3.980888888888889e-05,
      "loss": 1.512,
      "step": 2294
    },
    {
      "epoch": 0.204,
      "grad_norm": 1.7085620164871216,
      "learning_rate": 3.9804444444444444e-05,
      "loss": 1.773,
      "step": 2295
    },
    {
      "epoch": 0.20408888888888888,
      "grad_norm": 1.7729032039642334,
      "learning_rate": 3.9800000000000005e-05,
      "loss": 1.5453,
      "step": 2296
    },
    {
      "epoch": 0.2041777777777778,
      "grad_norm": 1.7088878154754639,
      "learning_rate": 3.979555555555556e-05,
      "loss": 1.5922,
      "step": 2297
    },
    {
      "epoch": 0.20426666666666668,
      "grad_norm": 1.8419945240020752,
      "learning_rate": 3.9791111111111115e-05,
      "loss": 1.8451,
      "step": 2298
    },
    {
      "epoch": 0.20435555555555557,
      "grad_norm": 1.6953089237213135,
      "learning_rate": 3.978666666666667e-05,
      "loss": 1.5486,
      "step": 2299
    },
    {
      "epoch": 0.20444444444444446,
      "grad_norm": 1.7545416355133057,
      "learning_rate": 3.9782222222222225e-05,
      "loss": 1.5148,
      "step": 2300
    },
    {
      "epoch": 0.20453333333333334,
      "grad_norm": 1.9774889945983887,
      "learning_rate": 3.977777777777778e-05,
      "loss": 1.6709,
      "step": 2301
    },
    {
      "epoch": 0.20462222222222223,
      "grad_norm": 1.5966578722000122,
      "learning_rate": 3.9773333333333334e-05,
      "loss": 1.3933,
      "step": 2302
    },
    {
      "epoch": 0.20471111111111112,
      "grad_norm": 1.5113980770111084,
      "learning_rate": 3.976888888888889e-05,
      "loss": 1.6256,
      "step": 2303
    },
    {
      "epoch": 0.2048,
      "grad_norm": 2.2795968055725098,
      "learning_rate": 3.976444444444445e-05,
      "loss": 1.5656,
      "step": 2304
    },
    {
      "epoch": 0.2048888888888889,
      "grad_norm": 1.647929310798645,
      "learning_rate": 3.9760000000000006e-05,
      "loss": 1.4122,
      "step": 2305
    },
    {
      "epoch": 0.2049777777777778,
      "grad_norm": 2.6879265308380127,
      "learning_rate": 3.9755555555555554e-05,
      "loss": 1.6259,
      "step": 2306
    },
    {
      "epoch": 0.20506666666666667,
      "grad_norm": 1.540266513824463,
      "learning_rate": 3.975111111111111e-05,
      "loss": 1.4246,
      "step": 2307
    },
    {
      "epoch": 0.20515555555555556,
      "grad_norm": 1.6596039533615112,
      "learning_rate": 3.974666666666667e-05,
      "loss": 1.7023,
      "step": 2308
    },
    {
      "epoch": 0.20524444444444445,
      "grad_norm": 2.2824132442474365,
      "learning_rate": 3.9742222222222225e-05,
      "loss": 1.7521,
      "step": 2309
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 1.5564361810684204,
      "learning_rate": 3.973777777777778e-05,
      "loss": 1.6434,
      "step": 2310
    },
    {
      "epoch": 0.20542222222222223,
      "grad_norm": 1.9417524337768555,
      "learning_rate": 3.9733333333333335e-05,
      "loss": 1.9306,
      "step": 2311
    },
    {
      "epoch": 0.20551111111111112,
      "grad_norm": 1.8523093461990356,
      "learning_rate": 3.9728888888888896e-05,
      "loss": 1.4731,
      "step": 2312
    },
    {
      "epoch": 0.2056,
      "grad_norm": 1.7672061920166016,
      "learning_rate": 3.9724444444444444e-05,
      "loss": 1.8047,
      "step": 2313
    },
    {
      "epoch": 0.2056888888888889,
      "grad_norm": 2.3005568981170654,
      "learning_rate": 3.972e-05,
      "loss": 1.8079,
      "step": 2314
    },
    {
      "epoch": 0.20577777777777778,
      "grad_norm": 1.545959234237671,
      "learning_rate": 3.9715555555555554e-05,
      "loss": 1.6644,
      "step": 2315
    },
    {
      "epoch": 0.20586666666666667,
      "grad_norm": 1.6497336626052856,
      "learning_rate": 3.9711111111111116e-05,
      "loss": 1.5672,
      "step": 2316
    },
    {
      "epoch": 0.20595555555555556,
      "grad_norm": 2.0442733764648438,
      "learning_rate": 3.970666666666667e-05,
      "loss": 1.5589,
      "step": 2317
    },
    {
      "epoch": 0.20604444444444445,
      "grad_norm": 1.668747067451477,
      "learning_rate": 3.9702222222222225e-05,
      "loss": 1.4749,
      "step": 2318
    },
    {
      "epoch": 0.20613333333333334,
      "grad_norm": 2.1098761558532715,
      "learning_rate": 3.969777777777778e-05,
      "loss": 1.7736,
      "step": 2319
    },
    {
      "epoch": 0.20622222222222222,
      "grad_norm": 1.5478053092956543,
      "learning_rate": 3.9693333333333335e-05,
      "loss": 1.6811,
      "step": 2320
    },
    {
      "epoch": 0.2063111111111111,
      "grad_norm": 1.609005093574524,
      "learning_rate": 3.968888888888889e-05,
      "loss": 1.7011,
      "step": 2321
    },
    {
      "epoch": 0.2064,
      "grad_norm": 1.6094050407409668,
      "learning_rate": 3.9684444444444445e-05,
      "loss": 1.5659,
      "step": 2322
    },
    {
      "epoch": 0.2064888888888889,
      "grad_norm": 1.68973970413208,
      "learning_rate": 3.968e-05,
      "loss": 1.8679,
      "step": 2323
    },
    {
      "epoch": 0.20657777777777778,
      "grad_norm": 2.0127079486846924,
      "learning_rate": 3.9675555555555554e-05,
      "loss": 2.0304,
      "step": 2324
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 1.6370763778686523,
      "learning_rate": 3.9671111111111116e-05,
      "loss": 1.6513,
      "step": 2325
    },
    {
      "epoch": 0.20675555555555555,
      "grad_norm": 2.1541786193847656,
      "learning_rate": 3.966666666666667e-05,
      "loss": 1.6065,
      "step": 2326
    },
    {
      "epoch": 0.20684444444444444,
      "grad_norm": 1.9809348583221436,
      "learning_rate": 3.9662222222222226e-05,
      "loss": 1.5277,
      "step": 2327
    },
    {
      "epoch": 0.20693333333333333,
      "grad_norm": 1.8891761302947998,
      "learning_rate": 3.9657777777777774e-05,
      "loss": 1.5483,
      "step": 2328
    },
    {
      "epoch": 0.20702222222222222,
      "grad_norm": 1.709104061126709,
      "learning_rate": 3.9653333333333335e-05,
      "loss": 1.7318,
      "step": 2329
    },
    {
      "epoch": 0.2071111111111111,
      "grad_norm": 1.693685531616211,
      "learning_rate": 3.964888888888889e-05,
      "loss": 1.8526,
      "step": 2330
    },
    {
      "epoch": 0.2072,
      "grad_norm": 1.4685006141662598,
      "learning_rate": 3.9644444444444445e-05,
      "loss": 1.4234,
      "step": 2331
    },
    {
      "epoch": 0.20728888888888888,
      "grad_norm": 1.8335267305374146,
      "learning_rate": 3.964e-05,
      "loss": 1.5224,
      "step": 2332
    },
    {
      "epoch": 0.20737777777777777,
      "grad_norm": 2.3161139488220215,
      "learning_rate": 3.963555555555556e-05,
      "loss": 1.8685,
      "step": 2333
    },
    {
      "epoch": 0.20746666666666666,
      "grad_norm": 1.7376657724380493,
      "learning_rate": 3.9631111111111116e-05,
      "loss": 1.6295,
      "step": 2334
    },
    {
      "epoch": 0.20755555555555555,
      "grad_norm": 1.8547070026397705,
      "learning_rate": 3.9626666666666664e-05,
      "loss": 1.5474,
      "step": 2335
    },
    {
      "epoch": 0.20764444444444444,
      "grad_norm": 1.754027247428894,
      "learning_rate": 3.962222222222222e-05,
      "loss": 1.4381,
      "step": 2336
    },
    {
      "epoch": 0.20773333333333333,
      "grad_norm": 1.8607860803604126,
      "learning_rate": 3.961777777777778e-05,
      "loss": 1.7565,
      "step": 2337
    },
    {
      "epoch": 0.2078222222222222,
      "grad_norm": 1.5930160284042358,
      "learning_rate": 3.9613333333333336e-05,
      "loss": 1.7755,
      "step": 2338
    },
    {
      "epoch": 0.2079111111111111,
      "grad_norm": 1.7069520950317383,
      "learning_rate": 3.960888888888889e-05,
      "loss": 1.6937,
      "step": 2339
    },
    {
      "epoch": 0.208,
      "grad_norm": 1.7237977981567383,
      "learning_rate": 3.9604444444444445e-05,
      "loss": 1.8048,
      "step": 2340
    },
    {
      "epoch": 0.20808888888888888,
      "grad_norm": 1.4411566257476807,
      "learning_rate": 3.960000000000001e-05,
      "loss": 1.5111,
      "step": 2341
    },
    {
      "epoch": 0.20817777777777777,
      "grad_norm": 2.4374663829803467,
      "learning_rate": 3.9595555555555555e-05,
      "loss": 1.7853,
      "step": 2342
    },
    {
      "epoch": 0.20826666666666666,
      "grad_norm": 2.9428017139434814,
      "learning_rate": 3.959111111111111e-05,
      "loss": 1.9109,
      "step": 2343
    },
    {
      "epoch": 0.20835555555555554,
      "grad_norm": 1.7189886569976807,
      "learning_rate": 3.9586666666666665e-05,
      "loss": 1.7375,
      "step": 2344
    },
    {
      "epoch": 0.20844444444444443,
      "grad_norm": 1.609039545059204,
      "learning_rate": 3.9582222222222226e-05,
      "loss": 1.6209,
      "step": 2345
    },
    {
      "epoch": 0.20853333333333332,
      "grad_norm": 2.5031652450561523,
      "learning_rate": 3.957777777777778e-05,
      "loss": 1.7342,
      "step": 2346
    },
    {
      "epoch": 0.2086222222222222,
      "grad_norm": 1.5450025796890259,
      "learning_rate": 3.9573333333333336e-05,
      "loss": 1.7103,
      "step": 2347
    },
    {
      "epoch": 0.2087111111111111,
      "grad_norm": 1.645753264427185,
      "learning_rate": 3.956888888888889e-05,
      "loss": 1.6034,
      "step": 2348
    },
    {
      "epoch": 0.2088,
      "grad_norm": 2.129939317703247,
      "learning_rate": 3.9564444444444446e-05,
      "loss": 1.6375,
      "step": 2349
    },
    {
      "epoch": 0.2088888888888889,
      "grad_norm": 2.1028895378112793,
      "learning_rate": 3.956e-05,
      "loss": 1.8053,
      "step": 2350
    },
    {
      "epoch": 0.2089777777777778,
      "grad_norm": 1.604375958442688,
      "learning_rate": 3.9555555555555556e-05,
      "loss": 1.6157,
      "step": 2351
    },
    {
      "epoch": 0.20906666666666668,
      "grad_norm": 1.4987026453018188,
      "learning_rate": 3.955111111111111e-05,
      "loss": 1.594,
      "step": 2352
    },
    {
      "epoch": 0.20915555555555557,
      "grad_norm": 1.8592666387557983,
      "learning_rate": 3.954666666666667e-05,
      "loss": 1.6187,
      "step": 2353
    },
    {
      "epoch": 0.20924444444444446,
      "grad_norm": 1.8178222179412842,
      "learning_rate": 3.954222222222223e-05,
      "loss": 1.5335,
      "step": 2354
    },
    {
      "epoch": 0.20933333333333334,
      "grad_norm": 1.9827405214309692,
      "learning_rate": 3.953777777777778e-05,
      "loss": 1.5908,
      "step": 2355
    },
    {
      "epoch": 0.20942222222222223,
      "grad_norm": 1.9068002700805664,
      "learning_rate": 3.9533333333333337e-05,
      "loss": 1.5044,
      "step": 2356
    },
    {
      "epoch": 0.20951111111111112,
      "grad_norm": 1.5380052328109741,
      "learning_rate": 3.952888888888889e-05,
      "loss": 1.6427,
      "step": 2357
    },
    {
      "epoch": 0.2096,
      "grad_norm": 1.6504814624786377,
      "learning_rate": 3.9524444444444446e-05,
      "loss": 1.7358,
      "step": 2358
    },
    {
      "epoch": 0.2096888888888889,
      "grad_norm": 1.470503330230713,
      "learning_rate": 3.952e-05,
      "loss": 1.5501,
      "step": 2359
    },
    {
      "epoch": 0.20977777777777779,
      "grad_norm": 1.6816786527633667,
      "learning_rate": 3.9515555555555556e-05,
      "loss": 1.5482,
      "step": 2360
    },
    {
      "epoch": 0.20986666666666667,
      "grad_norm": 1.7730648517608643,
      "learning_rate": 3.951111111111112e-05,
      "loss": 1.7153,
      "step": 2361
    },
    {
      "epoch": 0.20995555555555556,
      "grad_norm": 1.7351611852645874,
      "learning_rate": 3.950666666666667e-05,
      "loss": 1.733,
      "step": 2362
    },
    {
      "epoch": 0.21004444444444445,
      "grad_norm": 1.673388957977295,
      "learning_rate": 3.950222222222222e-05,
      "loss": 1.7263,
      "step": 2363
    },
    {
      "epoch": 0.21013333333333334,
      "grad_norm": 1.6983917951583862,
      "learning_rate": 3.9497777777777775e-05,
      "loss": 1.5682,
      "step": 2364
    },
    {
      "epoch": 0.21022222222222223,
      "grad_norm": 1.7050279378890991,
      "learning_rate": 3.949333333333334e-05,
      "loss": 1.7776,
      "step": 2365
    },
    {
      "epoch": 0.21031111111111112,
      "grad_norm": 1.913048505783081,
      "learning_rate": 3.948888888888889e-05,
      "loss": 1.8138,
      "step": 2366
    },
    {
      "epoch": 0.2104,
      "grad_norm": 1.6584712266921997,
      "learning_rate": 3.948444444444445e-05,
      "loss": 1.8489,
      "step": 2367
    },
    {
      "epoch": 0.2104888888888889,
      "grad_norm": 1.5464667081832886,
      "learning_rate": 3.948e-05,
      "loss": 1.6483,
      "step": 2368
    },
    {
      "epoch": 0.21057777777777778,
      "grad_norm": 1.8270033597946167,
      "learning_rate": 3.947555555555556e-05,
      "loss": 1.7259,
      "step": 2369
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 1.8196251392364502,
      "learning_rate": 3.947111111111111e-05,
      "loss": 1.6067,
      "step": 2370
    },
    {
      "epoch": 0.21075555555555556,
      "grad_norm": 1.707822561264038,
      "learning_rate": 3.9466666666666666e-05,
      "loss": 1.6611,
      "step": 2371
    },
    {
      "epoch": 0.21084444444444445,
      "grad_norm": 1.5494463443756104,
      "learning_rate": 3.946222222222222e-05,
      "loss": 1.5629,
      "step": 2372
    },
    {
      "epoch": 0.21093333333333333,
      "grad_norm": 1.6304987668991089,
      "learning_rate": 3.945777777777778e-05,
      "loss": 1.8254,
      "step": 2373
    },
    {
      "epoch": 0.21102222222222222,
      "grad_norm": 1.5559242963790894,
      "learning_rate": 3.945333333333334e-05,
      "loss": 1.3748,
      "step": 2374
    },
    {
      "epoch": 0.2111111111111111,
      "grad_norm": 1.7419488430023193,
      "learning_rate": 3.944888888888889e-05,
      "loss": 1.6704,
      "step": 2375
    },
    {
      "epoch": 0.2112,
      "grad_norm": 1.8273203372955322,
      "learning_rate": 3.944444444444445e-05,
      "loss": 1.695,
      "step": 2376
    },
    {
      "epoch": 0.2112888888888889,
      "grad_norm": 1.4816501140594482,
      "learning_rate": 3.944e-05,
      "loss": 1.4928,
      "step": 2377
    },
    {
      "epoch": 0.21137777777777778,
      "grad_norm": 1.6676548719406128,
      "learning_rate": 3.943555555555556e-05,
      "loss": 1.7304,
      "step": 2378
    },
    {
      "epoch": 0.21146666666666666,
      "grad_norm": 1.6294357776641846,
      "learning_rate": 3.943111111111111e-05,
      "loss": 1.7096,
      "step": 2379
    },
    {
      "epoch": 0.21155555555555555,
      "grad_norm": 1.820257306098938,
      "learning_rate": 3.9426666666666666e-05,
      "loss": 1.863,
      "step": 2380
    },
    {
      "epoch": 0.21164444444444444,
      "grad_norm": 1.7826842069625854,
      "learning_rate": 3.942222222222222e-05,
      "loss": 1.5408,
      "step": 2381
    },
    {
      "epoch": 0.21173333333333333,
      "grad_norm": 1.6206166744232178,
      "learning_rate": 3.941777777777778e-05,
      "loss": 1.648,
      "step": 2382
    },
    {
      "epoch": 0.21182222222222222,
      "grad_norm": 1.5686888694763184,
      "learning_rate": 3.941333333333334e-05,
      "loss": 1.4607,
      "step": 2383
    },
    {
      "epoch": 0.2119111111111111,
      "grad_norm": 1.824994444847107,
      "learning_rate": 3.940888888888889e-05,
      "loss": 1.6957,
      "step": 2384
    },
    {
      "epoch": 0.212,
      "grad_norm": 1.7225874662399292,
      "learning_rate": 3.940444444444444e-05,
      "loss": 1.6289,
      "step": 2385
    },
    {
      "epoch": 0.21208888888888888,
      "grad_norm": 1.499942660331726,
      "learning_rate": 3.94e-05,
      "loss": 1.4949,
      "step": 2386
    },
    {
      "epoch": 0.21217777777777777,
      "grad_norm": 1.5750198364257812,
      "learning_rate": 3.939555555555556e-05,
      "loss": 1.5517,
      "step": 2387
    },
    {
      "epoch": 0.21226666666666666,
      "grad_norm": 1.677758812904358,
      "learning_rate": 3.939111111111111e-05,
      "loss": 1.7898,
      "step": 2388
    },
    {
      "epoch": 0.21235555555555555,
      "grad_norm": 1.6854331493377686,
      "learning_rate": 3.938666666666667e-05,
      "loss": 1.5321,
      "step": 2389
    },
    {
      "epoch": 0.21244444444444444,
      "grad_norm": 1.7335127592086792,
      "learning_rate": 3.938222222222223e-05,
      "loss": 1.9895,
      "step": 2390
    },
    {
      "epoch": 0.21253333333333332,
      "grad_norm": 1.6443544626235962,
      "learning_rate": 3.937777777777778e-05,
      "loss": 1.5,
      "step": 2391
    },
    {
      "epoch": 0.2126222222222222,
      "grad_norm": 1.4580827951431274,
      "learning_rate": 3.937333333333333e-05,
      "loss": 1.4759,
      "step": 2392
    },
    {
      "epoch": 0.2127111111111111,
      "grad_norm": 1.7611030340194702,
      "learning_rate": 3.9368888888888886e-05,
      "loss": 1.6859,
      "step": 2393
    },
    {
      "epoch": 0.2128,
      "grad_norm": 1.5052990913391113,
      "learning_rate": 3.936444444444445e-05,
      "loss": 1.612,
      "step": 2394
    },
    {
      "epoch": 0.21288888888888888,
      "grad_norm": 1.6680448055267334,
      "learning_rate": 3.936e-05,
      "loss": 1.8391,
      "step": 2395
    },
    {
      "epoch": 0.21297777777777777,
      "grad_norm": 1.6733402013778687,
      "learning_rate": 3.935555555555556e-05,
      "loss": 1.4172,
      "step": 2396
    },
    {
      "epoch": 0.21306666666666665,
      "grad_norm": 1.5452967882156372,
      "learning_rate": 3.935111111111111e-05,
      "loss": 1.4569,
      "step": 2397
    },
    {
      "epoch": 0.21315555555555554,
      "grad_norm": 1.7989009618759155,
      "learning_rate": 3.9346666666666674e-05,
      "loss": 1.7656,
      "step": 2398
    },
    {
      "epoch": 0.21324444444444443,
      "grad_norm": 1.9420297145843506,
      "learning_rate": 3.934222222222222e-05,
      "loss": 1.8127,
      "step": 2399
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 1.7647428512573242,
      "learning_rate": 3.933777777777778e-05,
      "loss": 1.7098,
      "step": 2400
    },
    {
      "epoch": 0.21342222222222224,
      "grad_norm": 2.1226327419281006,
      "learning_rate": 3.933333333333333e-05,
      "loss": 1.8689,
      "step": 2401
    },
    {
      "epoch": 0.21351111111111112,
      "grad_norm": 1.6982207298278809,
      "learning_rate": 3.932888888888889e-05,
      "loss": 1.7596,
      "step": 2402
    },
    {
      "epoch": 0.2136,
      "grad_norm": 1.7012759447097778,
      "learning_rate": 3.932444444444445e-05,
      "loss": 1.7833,
      "step": 2403
    },
    {
      "epoch": 0.2136888888888889,
      "grad_norm": 2.1047050952911377,
      "learning_rate": 3.932e-05,
      "loss": 1.858,
      "step": 2404
    },
    {
      "epoch": 0.2137777777777778,
      "grad_norm": 1.8703631162643433,
      "learning_rate": 3.931555555555556e-05,
      "loss": 1.6938,
      "step": 2405
    },
    {
      "epoch": 0.21386666666666668,
      "grad_norm": 1.7208020687103271,
      "learning_rate": 3.931111111111111e-05,
      "loss": 1.5545,
      "step": 2406
    },
    {
      "epoch": 0.21395555555555557,
      "grad_norm": 1.7492038011550903,
      "learning_rate": 3.930666666666667e-05,
      "loss": 1.8322,
      "step": 2407
    },
    {
      "epoch": 0.21404444444444445,
      "grad_norm": 1.6410101652145386,
      "learning_rate": 3.930222222222222e-05,
      "loss": 1.7304,
      "step": 2408
    },
    {
      "epoch": 0.21413333333333334,
      "grad_norm": 1.8337751626968384,
      "learning_rate": 3.929777777777778e-05,
      "loss": 1.8217,
      "step": 2409
    },
    {
      "epoch": 0.21422222222222223,
      "grad_norm": 1.8006422519683838,
      "learning_rate": 3.929333333333334e-05,
      "loss": 1.5869,
      "step": 2410
    },
    {
      "epoch": 0.21431111111111112,
      "grad_norm": 1.783355712890625,
      "learning_rate": 3.9288888888888894e-05,
      "loss": 1.6055,
      "step": 2411
    },
    {
      "epoch": 0.2144,
      "grad_norm": 1.5084418058395386,
      "learning_rate": 3.928444444444445e-05,
      "loss": 1.6225,
      "step": 2412
    },
    {
      "epoch": 0.2144888888888889,
      "grad_norm": 1.61844801902771,
      "learning_rate": 3.9280000000000003e-05,
      "loss": 1.5972,
      "step": 2413
    },
    {
      "epoch": 0.21457777777777778,
      "grad_norm": 1.7652698755264282,
      "learning_rate": 3.927555555555556e-05,
      "loss": 1.7525,
      "step": 2414
    },
    {
      "epoch": 0.21466666666666667,
      "grad_norm": 1.6596555709838867,
      "learning_rate": 3.927111111111111e-05,
      "loss": 1.5752,
      "step": 2415
    },
    {
      "epoch": 0.21475555555555556,
      "grad_norm": 1.743172526359558,
      "learning_rate": 3.926666666666667e-05,
      "loss": 1.5533,
      "step": 2416
    },
    {
      "epoch": 0.21484444444444445,
      "grad_norm": 1.4583804607391357,
      "learning_rate": 3.926222222222222e-05,
      "loss": 1.5281,
      "step": 2417
    },
    {
      "epoch": 0.21493333333333334,
      "grad_norm": 1.7972420454025269,
      "learning_rate": 3.9257777777777784e-05,
      "loss": 1.7794,
      "step": 2418
    },
    {
      "epoch": 0.21502222222222223,
      "grad_norm": 1.8299992084503174,
      "learning_rate": 3.925333333333334e-05,
      "loss": 1.7274,
      "step": 2419
    },
    {
      "epoch": 0.21511111111111111,
      "grad_norm": 1.7039012908935547,
      "learning_rate": 3.924888888888889e-05,
      "loss": 1.6343,
      "step": 2420
    },
    {
      "epoch": 0.2152,
      "grad_norm": 1.583783745765686,
      "learning_rate": 3.924444444444444e-05,
      "loss": 1.8025,
      "step": 2421
    },
    {
      "epoch": 0.2152888888888889,
      "grad_norm": 1.5780547857284546,
      "learning_rate": 3.9240000000000004e-05,
      "loss": 1.6796,
      "step": 2422
    },
    {
      "epoch": 0.21537777777777778,
      "grad_norm": 1.6301982402801514,
      "learning_rate": 3.923555555555556e-05,
      "loss": 1.8927,
      "step": 2423
    },
    {
      "epoch": 0.21546666666666667,
      "grad_norm": 1.7121634483337402,
      "learning_rate": 3.9231111111111113e-05,
      "loss": 1.6753,
      "step": 2424
    },
    {
      "epoch": 0.21555555555555556,
      "grad_norm": 1.492531418800354,
      "learning_rate": 3.922666666666667e-05,
      "loss": 1.7723,
      "step": 2425
    },
    {
      "epoch": 0.21564444444444444,
      "grad_norm": 1.552668809890747,
      "learning_rate": 3.922222222222223e-05,
      "loss": 1.599,
      "step": 2426
    },
    {
      "epoch": 0.21573333333333333,
      "grad_norm": 1.987433910369873,
      "learning_rate": 3.921777777777778e-05,
      "loss": 1.6912,
      "step": 2427
    },
    {
      "epoch": 0.21582222222222222,
      "grad_norm": 1.806483507156372,
      "learning_rate": 3.921333333333333e-05,
      "loss": 1.7047,
      "step": 2428
    },
    {
      "epoch": 0.2159111111111111,
      "grad_norm": 1.7153136730194092,
      "learning_rate": 3.920888888888889e-05,
      "loss": 1.9284,
      "step": 2429
    },
    {
      "epoch": 0.216,
      "grad_norm": 1.6448770761489868,
      "learning_rate": 3.920444444444444e-05,
      "loss": 1.6466,
      "step": 2430
    },
    {
      "epoch": 0.21608888888888889,
      "grad_norm": 1.6469229459762573,
      "learning_rate": 3.9200000000000004e-05,
      "loss": 1.5473,
      "step": 2431
    },
    {
      "epoch": 0.21617777777777777,
      "grad_norm": 2.0599827766418457,
      "learning_rate": 3.919555555555556e-05,
      "loss": 1.7,
      "step": 2432
    },
    {
      "epoch": 0.21626666666666666,
      "grad_norm": 2.0676252841949463,
      "learning_rate": 3.9191111111111114e-05,
      "loss": 1.7583,
      "step": 2433
    },
    {
      "epoch": 0.21635555555555555,
      "grad_norm": 1.8804234266281128,
      "learning_rate": 3.918666666666667e-05,
      "loss": 1.8931,
      "step": 2434
    },
    {
      "epoch": 0.21644444444444444,
      "grad_norm": 1.9817959070205688,
      "learning_rate": 3.9182222222222224e-05,
      "loss": 1.6752,
      "step": 2435
    },
    {
      "epoch": 0.21653333333333333,
      "grad_norm": 1.8221707344055176,
      "learning_rate": 3.917777777777778e-05,
      "loss": 1.7175,
      "step": 2436
    },
    {
      "epoch": 0.21662222222222222,
      "grad_norm": 1.6963189840316772,
      "learning_rate": 3.917333333333333e-05,
      "loss": 1.8258,
      "step": 2437
    },
    {
      "epoch": 0.2167111111111111,
      "grad_norm": 1.5773913860321045,
      "learning_rate": 3.916888888888889e-05,
      "loss": 1.6018,
      "step": 2438
    },
    {
      "epoch": 0.2168,
      "grad_norm": 1.5847017765045166,
      "learning_rate": 3.916444444444445e-05,
      "loss": 1.5843,
      "step": 2439
    },
    {
      "epoch": 0.21688888888888888,
      "grad_norm": 1.808243989944458,
      "learning_rate": 3.9160000000000005e-05,
      "loss": 1.6725,
      "step": 2440
    },
    {
      "epoch": 0.21697777777777777,
      "grad_norm": 1.844569444656372,
      "learning_rate": 3.915555555555556e-05,
      "loss": 1.6261,
      "step": 2441
    },
    {
      "epoch": 0.21706666666666666,
      "grad_norm": 1.4951024055480957,
      "learning_rate": 3.915111111111111e-05,
      "loss": 1.5248,
      "step": 2442
    },
    {
      "epoch": 0.21715555555555555,
      "grad_norm": 1.886756181716919,
      "learning_rate": 3.914666666666667e-05,
      "loss": 1.8681,
      "step": 2443
    },
    {
      "epoch": 0.21724444444444443,
      "grad_norm": 1.585193157196045,
      "learning_rate": 3.9142222222222224e-05,
      "loss": 1.627,
      "step": 2444
    },
    {
      "epoch": 0.21733333333333332,
      "grad_norm": 1.6564685106277466,
      "learning_rate": 3.913777777777778e-05,
      "loss": 1.7382,
      "step": 2445
    },
    {
      "epoch": 0.2174222222222222,
      "grad_norm": 2.069361448287964,
      "learning_rate": 3.9133333333333334e-05,
      "loss": 1.4708,
      "step": 2446
    },
    {
      "epoch": 0.2175111111111111,
      "grad_norm": 1.6084399223327637,
      "learning_rate": 3.9128888888888895e-05,
      "loss": 1.7634,
      "step": 2447
    },
    {
      "epoch": 0.2176,
      "grad_norm": 1.621681571006775,
      "learning_rate": 3.912444444444445e-05,
      "loss": 1.6885,
      "step": 2448
    },
    {
      "epoch": 0.21768888888888888,
      "grad_norm": 1.5307865142822266,
      "learning_rate": 3.912e-05,
      "loss": 1.6374,
      "step": 2449
    },
    {
      "epoch": 0.21777777777777776,
      "grad_norm": 1.7616806030273438,
      "learning_rate": 3.911555555555555e-05,
      "loss": 1.8924,
      "step": 2450
    },
    {
      "epoch": 0.21786666666666665,
      "grad_norm": 1.9242686033248901,
      "learning_rate": 3.9111111111111115e-05,
      "loss": 1.895,
      "step": 2451
    },
    {
      "epoch": 0.21795555555555557,
      "grad_norm": 1.5222187042236328,
      "learning_rate": 3.910666666666667e-05,
      "loss": 1.5604,
      "step": 2452
    },
    {
      "epoch": 0.21804444444444446,
      "grad_norm": 1.6012775897979736,
      "learning_rate": 3.9102222222222224e-05,
      "loss": 1.5602,
      "step": 2453
    },
    {
      "epoch": 0.21813333333333335,
      "grad_norm": 1.8092186450958252,
      "learning_rate": 3.909777777777778e-05,
      "loss": 1.7538,
      "step": 2454
    },
    {
      "epoch": 0.21822222222222223,
      "grad_norm": 1.6649296283721924,
      "learning_rate": 3.9093333333333334e-05,
      "loss": 1.7933,
      "step": 2455
    },
    {
      "epoch": 0.21831111111111112,
      "grad_norm": 2.2986817359924316,
      "learning_rate": 3.908888888888889e-05,
      "loss": 1.887,
      "step": 2456
    },
    {
      "epoch": 0.2184,
      "grad_norm": 1.9202792644500732,
      "learning_rate": 3.9084444444444444e-05,
      "loss": 1.8733,
      "step": 2457
    },
    {
      "epoch": 0.2184888888888889,
      "grad_norm": 1.7491307258605957,
      "learning_rate": 3.908e-05,
      "loss": 1.6315,
      "step": 2458
    },
    {
      "epoch": 0.2185777777777778,
      "grad_norm": 1.7624927759170532,
      "learning_rate": 3.907555555555556e-05,
      "loss": 1.7149,
      "step": 2459
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 1.4596184492111206,
      "learning_rate": 3.9071111111111115e-05,
      "loss": 1.5538,
      "step": 2460
    },
    {
      "epoch": 0.21875555555555556,
      "grad_norm": 1.5328261852264404,
      "learning_rate": 3.906666666666667e-05,
      "loss": 1.6677,
      "step": 2461
    },
    {
      "epoch": 0.21884444444444445,
      "grad_norm": 1.5561102628707886,
      "learning_rate": 3.9062222222222225e-05,
      "loss": 1.6933,
      "step": 2462
    },
    {
      "epoch": 0.21893333333333334,
      "grad_norm": 1.7645902633666992,
      "learning_rate": 3.905777777777778e-05,
      "loss": 1.8681,
      "step": 2463
    },
    {
      "epoch": 0.21902222222222223,
      "grad_norm": 1.9213693141937256,
      "learning_rate": 3.9053333333333334e-05,
      "loss": 1.6945,
      "step": 2464
    },
    {
      "epoch": 0.21911111111111112,
      "grad_norm": 1.4936481714248657,
      "learning_rate": 3.904888888888889e-05,
      "loss": 1.5573,
      "step": 2465
    },
    {
      "epoch": 0.2192,
      "grad_norm": 1.8415226936340332,
      "learning_rate": 3.9044444444444444e-05,
      "loss": 1.754,
      "step": 2466
    },
    {
      "epoch": 0.2192888888888889,
      "grad_norm": 1.5920300483703613,
      "learning_rate": 3.9040000000000006e-05,
      "loss": 1.7807,
      "step": 2467
    },
    {
      "epoch": 0.21937777777777778,
      "grad_norm": 1.745810866355896,
      "learning_rate": 3.903555555555556e-05,
      "loss": 1.5289,
      "step": 2468
    },
    {
      "epoch": 0.21946666666666667,
      "grad_norm": 2.0054962635040283,
      "learning_rate": 3.9031111111111115e-05,
      "loss": 1.7134,
      "step": 2469
    },
    {
      "epoch": 0.21955555555555556,
      "grad_norm": 1.6379897594451904,
      "learning_rate": 3.902666666666667e-05,
      "loss": 1.5634,
      "step": 2470
    },
    {
      "epoch": 0.21964444444444445,
      "grad_norm": 2.0431430339813232,
      "learning_rate": 3.9022222222222225e-05,
      "loss": 1.8164,
      "step": 2471
    },
    {
      "epoch": 0.21973333333333334,
      "grad_norm": 1.6731466054916382,
      "learning_rate": 3.901777777777778e-05,
      "loss": 1.5433,
      "step": 2472
    },
    {
      "epoch": 0.21982222222222222,
      "grad_norm": 1.4794769287109375,
      "learning_rate": 3.9013333333333335e-05,
      "loss": 1.3864,
      "step": 2473
    },
    {
      "epoch": 0.2199111111111111,
      "grad_norm": 1.9784507751464844,
      "learning_rate": 3.900888888888889e-05,
      "loss": 1.5835,
      "step": 2474
    },
    {
      "epoch": 0.22,
      "grad_norm": 1.6922540664672852,
      "learning_rate": 3.900444444444445e-05,
      "loss": 1.8535,
      "step": 2475
    },
    {
      "epoch": 0.2200888888888889,
      "grad_norm": 1.879363775253296,
      "learning_rate": 3.9000000000000006e-05,
      "loss": 1.6723,
      "step": 2476
    },
    {
      "epoch": 0.22017777777777778,
      "grad_norm": 1.5817420482635498,
      "learning_rate": 3.8995555555555554e-05,
      "loss": 1.53,
      "step": 2477
    },
    {
      "epoch": 0.22026666666666667,
      "grad_norm": 1.8168234825134277,
      "learning_rate": 3.899111111111111e-05,
      "loss": 1.7297,
      "step": 2478
    },
    {
      "epoch": 0.22035555555555555,
      "grad_norm": 1.617736577987671,
      "learning_rate": 3.8986666666666664e-05,
      "loss": 1.7205,
      "step": 2479
    },
    {
      "epoch": 0.22044444444444444,
      "grad_norm": 1.8794411420822144,
      "learning_rate": 3.8982222222222225e-05,
      "loss": 1.4196,
      "step": 2480
    },
    {
      "epoch": 0.22053333333333333,
      "grad_norm": 1.7015070915222168,
      "learning_rate": 3.897777777777778e-05,
      "loss": 1.633,
      "step": 2481
    },
    {
      "epoch": 0.22062222222222222,
      "grad_norm": 2.04089093208313,
      "learning_rate": 3.8973333333333335e-05,
      "loss": 1.6976,
      "step": 2482
    },
    {
      "epoch": 0.2207111111111111,
      "grad_norm": 1.6288379430770874,
      "learning_rate": 3.896888888888889e-05,
      "loss": 1.7442,
      "step": 2483
    },
    {
      "epoch": 0.2208,
      "grad_norm": 2.260270357131958,
      "learning_rate": 3.8964444444444445e-05,
      "loss": 1.9734,
      "step": 2484
    },
    {
      "epoch": 0.22088888888888888,
      "grad_norm": 1.6023766994476318,
      "learning_rate": 3.896e-05,
      "loss": 1.6841,
      "step": 2485
    },
    {
      "epoch": 0.22097777777777777,
      "grad_norm": 1.7036815881729126,
      "learning_rate": 3.8955555555555555e-05,
      "loss": 1.7097,
      "step": 2486
    },
    {
      "epoch": 0.22106666666666666,
      "grad_norm": 1.7442303895950317,
      "learning_rate": 3.895111111111111e-05,
      "loss": 1.6842,
      "step": 2487
    },
    {
      "epoch": 0.22115555555555555,
      "grad_norm": 1.6958903074264526,
      "learning_rate": 3.894666666666667e-05,
      "loss": 1.3642,
      "step": 2488
    },
    {
      "epoch": 0.22124444444444444,
      "grad_norm": 1.7152410745620728,
      "learning_rate": 3.8942222222222226e-05,
      "loss": 1.8002,
      "step": 2489
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 1.6382591724395752,
      "learning_rate": 3.893777777777778e-05,
      "loss": 1.8111,
      "step": 2490
    },
    {
      "epoch": 0.22142222222222221,
      "grad_norm": 1.6608632802963257,
      "learning_rate": 3.8933333333333336e-05,
      "loss": 1.738,
      "step": 2491
    },
    {
      "epoch": 0.2215111111111111,
      "grad_norm": 1.8993202447891235,
      "learning_rate": 3.892888888888889e-05,
      "loss": 1.9686,
      "step": 2492
    },
    {
      "epoch": 0.2216,
      "grad_norm": 2.364654064178467,
      "learning_rate": 3.8924444444444445e-05,
      "loss": 1.8232,
      "step": 2493
    },
    {
      "epoch": 0.22168888888888888,
      "grad_norm": 1.4640458822250366,
      "learning_rate": 3.892e-05,
      "loss": 1.4852,
      "step": 2494
    },
    {
      "epoch": 0.22177777777777777,
      "grad_norm": 2.0248842239379883,
      "learning_rate": 3.8915555555555555e-05,
      "loss": 1.9709,
      "step": 2495
    },
    {
      "epoch": 0.22186666666666666,
      "grad_norm": 1.5615789890289307,
      "learning_rate": 3.8911111111111117e-05,
      "loss": 1.6511,
      "step": 2496
    },
    {
      "epoch": 0.22195555555555554,
      "grad_norm": 1.923542857170105,
      "learning_rate": 3.890666666666667e-05,
      "loss": 1.7407,
      "step": 2497
    },
    {
      "epoch": 0.22204444444444443,
      "grad_norm": 1.456978678703308,
      "learning_rate": 3.8902222222222226e-05,
      "loss": 1.4851,
      "step": 2498
    },
    {
      "epoch": 0.22213333333333332,
      "grad_norm": 1.716018557548523,
      "learning_rate": 3.8897777777777774e-05,
      "loss": 1.7442,
      "step": 2499
    },
    {
      "epoch": 0.2222222222222222,
      "grad_norm": 1.9913783073425293,
      "learning_rate": 3.8893333333333336e-05,
      "loss": 1.8656,
      "step": 2500
    },
    {
      "epoch": 0.2223111111111111,
      "grad_norm": 1.5981769561767578,
      "learning_rate": 3.888888888888889e-05,
      "loss": 1.7765,
      "step": 2501
    },
    {
      "epoch": 0.2224,
      "grad_norm": 1.4659068584442139,
      "learning_rate": 3.8884444444444446e-05,
      "loss": 1.5538,
      "step": 2502
    },
    {
      "epoch": 0.2224888888888889,
      "grad_norm": 1.6168092489242554,
      "learning_rate": 3.888e-05,
      "loss": 1.614,
      "step": 2503
    },
    {
      "epoch": 0.2225777777777778,
      "grad_norm": 1.9818203449249268,
      "learning_rate": 3.887555555555556e-05,
      "loss": 1.8468,
      "step": 2504
    },
    {
      "epoch": 0.22266666666666668,
      "grad_norm": 1.907921314239502,
      "learning_rate": 3.887111111111112e-05,
      "loss": 1.5761,
      "step": 2505
    },
    {
      "epoch": 0.22275555555555557,
      "grad_norm": 1.7536524534225464,
      "learning_rate": 3.8866666666666665e-05,
      "loss": 1.6735,
      "step": 2506
    },
    {
      "epoch": 0.22284444444444446,
      "grad_norm": 1.4329999685287476,
      "learning_rate": 3.886222222222222e-05,
      "loss": 1.4699,
      "step": 2507
    },
    {
      "epoch": 0.22293333333333334,
      "grad_norm": 1.5860501527786255,
      "learning_rate": 3.885777777777778e-05,
      "loss": 1.7097,
      "step": 2508
    },
    {
      "epoch": 0.22302222222222223,
      "grad_norm": 2.0469937324523926,
      "learning_rate": 3.8853333333333336e-05,
      "loss": 1.5676,
      "step": 2509
    },
    {
      "epoch": 0.22311111111111112,
      "grad_norm": 1.5483006238937378,
      "learning_rate": 3.884888888888889e-05,
      "loss": 1.7003,
      "step": 2510
    },
    {
      "epoch": 0.2232,
      "grad_norm": 1.673067569732666,
      "learning_rate": 3.8844444444444446e-05,
      "loss": 1.6279,
      "step": 2511
    },
    {
      "epoch": 0.2232888888888889,
      "grad_norm": 1.70378577709198,
      "learning_rate": 3.884e-05,
      "loss": 1.5421,
      "step": 2512
    },
    {
      "epoch": 0.2233777777777778,
      "grad_norm": 1.6603772640228271,
      "learning_rate": 3.8835555555555556e-05,
      "loss": 1.8205,
      "step": 2513
    },
    {
      "epoch": 0.22346666666666667,
      "grad_norm": 1.7124857902526855,
      "learning_rate": 3.883111111111111e-05,
      "loss": 1.575,
      "step": 2514
    },
    {
      "epoch": 0.22355555555555556,
      "grad_norm": 1.5892820358276367,
      "learning_rate": 3.8826666666666665e-05,
      "loss": 1.7728,
      "step": 2515
    },
    {
      "epoch": 0.22364444444444445,
      "grad_norm": 1.8636999130249023,
      "learning_rate": 3.882222222222223e-05,
      "loss": 1.7269,
      "step": 2516
    },
    {
      "epoch": 0.22373333333333334,
      "grad_norm": 1.883545160293579,
      "learning_rate": 3.881777777777778e-05,
      "loss": 1.784,
      "step": 2517
    },
    {
      "epoch": 0.22382222222222223,
      "grad_norm": 1.730812430381775,
      "learning_rate": 3.881333333333334e-05,
      "loss": 1.64,
      "step": 2518
    },
    {
      "epoch": 0.22391111111111112,
      "grad_norm": 1.7360386848449707,
      "learning_rate": 3.880888888888889e-05,
      "loss": 1.8226,
      "step": 2519
    },
    {
      "epoch": 0.224,
      "grad_norm": 1.9059603214263916,
      "learning_rate": 3.8804444444444446e-05,
      "loss": 1.9015,
      "step": 2520
    },
    {
      "epoch": 0.2240888888888889,
      "grad_norm": 1.5275055170059204,
      "learning_rate": 3.88e-05,
      "loss": 1.6977,
      "step": 2521
    },
    {
      "epoch": 0.22417777777777778,
      "grad_norm": 1.8821758031845093,
      "learning_rate": 3.8795555555555556e-05,
      "loss": 1.6264,
      "step": 2522
    },
    {
      "epoch": 0.22426666666666667,
      "grad_norm": 1.8952968120574951,
      "learning_rate": 3.879111111111111e-05,
      "loss": 1.4949,
      "step": 2523
    },
    {
      "epoch": 0.22435555555555556,
      "grad_norm": 1.6281274557113647,
      "learning_rate": 3.878666666666667e-05,
      "loss": 1.618,
      "step": 2524
    },
    {
      "epoch": 0.22444444444444445,
      "grad_norm": 1.9043983221054077,
      "learning_rate": 3.878222222222223e-05,
      "loss": 1.8878,
      "step": 2525
    },
    {
      "epoch": 0.22453333333333333,
      "grad_norm": 1.5203585624694824,
      "learning_rate": 3.877777777777778e-05,
      "loss": 1.592,
      "step": 2526
    },
    {
      "epoch": 0.22462222222222222,
      "grad_norm": 2.112545967102051,
      "learning_rate": 3.877333333333334e-05,
      "loss": 2.0511,
      "step": 2527
    },
    {
      "epoch": 0.2247111111111111,
      "grad_norm": 1.7827335596084595,
      "learning_rate": 3.876888888888889e-05,
      "loss": 1.6926,
      "step": 2528
    },
    {
      "epoch": 0.2248,
      "grad_norm": 1.61783766746521,
      "learning_rate": 3.876444444444445e-05,
      "loss": 1.8065,
      "step": 2529
    },
    {
      "epoch": 0.2248888888888889,
      "grad_norm": 1.5529357194900513,
      "learning_rate": 3.876e-05,
      "loss": 1.4132,
      "step": 2530
    },
    {
      "epoch": 0.22497777777777778,
      "grad_norm": 1.8201850652694702,
      "learning_rate": 3.8755555555555556e-05,
      "loss": 1.5495,
      "step": 2531
    },
    {
      "epoch": 0.22506666666666666,
      "grad_norm": 2.089406728744507,
      "learning_rate": 3.875111111111111e-05,
      "loss": 1.4552,
      "step": 2532
    },
    {
      "epoch": 0.22515555555555555,
      "grad_norm": 1.6586509943008423,
      "learning_rate": 3.874666666666667e-05,
      "loss": 1.5555,
      "step": 2533
    },
    {
      "epoch": 0.22524444444444444,
      "grad_norm": 1.6174031496047974,
      "learning_rate": 3.874222222222222e-05,
      "loss": 1.7443,
      "step": 2534
    },
    {
      "epoch": 0.22533333333333333,
      "grad_norm": 1.6948360204696655,
      "learning_rate": 3.8737777777777776e-05,
      "loss": 1.7275,
      "step": 2535
    },
    {
      "epoch": 0.22542222222222222,
      "grad_norm": 1.8332630395889282,
      "learning_rate": 3.873333333333333e-05,
      "loss": 1.9117,
      "step": 2536
    },
    {
      "epoch": 0.2255111111111111,
      "grad_norm": 1.523328423500061,
      "learning_rate": 3.872888888888889e-05,
      "loss": 1.4228,
      "step": 2537
    },
    {
      "epoch": 0.2256,
      "grad_norm": 1.4937716722488403,
      "learning_rate": 3.872444444444445e-05,
      "loss": 1.4706,
      "step": 2538
    },
    {
      "epoch": 0.22568888888888888,
      "grad_norm": 1.6031537055969238,
      "learning_rate": 3.872e-05,
      "loss": 1.6335,
      "step": 2539
    },
    {
      "epoch": 0.22577777777777777,
      "grad_norm": 1.6278235912322998,
      "learning_rate": 3.871555555555556e-05,
      "loss": 1.78,
      "step": 2540
    },
    {
      "epoch": 0.22586666666666666,
      "grad_norm": 2.074300765991211,
      "learning_rate": 3.871111111111111e-05,
      "loss": 1.8232,
      "step": 2541
    },
    {
      "epoch": 0.22595555555555555,
      "grad_norm": 2.0389809608459473,
      "learning_rate": 3.8706666666666667e-05,
      "loss": 1.7913,
      "step": 2542
    },
    {
      "epoch": 0.22604444444444444,
      "grad_norm": 1.671333909034729,
      "learning_rate": 3.870222222222222e-05,
      "loss": 1.7097,
      "step": 2543
    },
    {
      "epoch": 0.22613333333333333,
      "grad_norm": 1.7528654336929321,
      "learning_rate": 3.8697777777777776e-05,
      "loss": 1.6207,
      "step": 2544
    },
    {
      "epoch": 0.2262222222222222,
      "grad_norm": 2.102768659591675,
      "learning_rate": 3.869333333333334e-05,
      "loss": 1.9089,
      "step": 2545
    },
    {
      "epoch": 0.2263111111111111,
      "grad_norm": 1.6604716777801514,
      "learning_rate": 3.868888888888889e-05,
      "loss": 1.4656,
      "step": 2546
    },
    {
      "epoch": 0.2264,
      "grad_norm": 1.572485089302063,
      "learning_rate": 3.868444444444445e-05,
      "loss": 1.4578,
      "step": 2547
    },
    {
      "epoch": 0.22648888888888888,
      "grad_norm": 2.2092645168304443,
      "learning_rate": 3.868e-05,
      "loss": 1.8133,
      "step": 2548
    },
    {
      "epoch": 0.22657777777777777,
      "grad_norm": 1.8454238176345825,
      "learning_rate": 3.867555555555556e-05,
      "loss": 1.7497,
      "step": 2549
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 1.5828404426574707,
      "learning_rate": 3.867111111111111e-05,
      "loss": 1.477,
      "step": 2550
    },
    {
      "epoch": 0.22675555555555554,
      "grad_norm": 1.862949013710022,
      "learning_rate": 3.866666666666667e-05,
      "loss": 1.6348,
      "step": 2551
    },
    {
      "epoch": 0.22684444444444443,
      "grad_norm": 1.7416645288467407,
      "learning_rate": 3.866222222222222e-05,
      "loss": 1.7624,
      "step": 2552
    },
    {
      "epoch": 0.22693333333333332,
      "grad_norm": 1.7929682731628418,
      "learning_rate": 3.865777777777778e-05,
      "loss": 1.5645,
      "step": 2553
    },
    {
      "epoch": 0.2270222222222222,
      "grad_norm": 2.244155168533325,
      "learning_rate": 3.865333333333334e-05,
      "loss": 1.6616,
      "step": 2554
    },
    {
      "epoch": 0.22711111111111112,
      "grad_norm": 1.9095641374588013,
      "learning_rate": 3.864888888888889e-05,
      "loss": 1.7093,
      "step": 2555
    },
    {
      "epoch": 0.2272,
      "grad_norm": 1.5874550342559814,
      "learning_rate": 3.864444444444444e-05,
      "loss": 1.5165,
      "step": 2556
    },
    {
      "epoch": 0.2272888888888889,
      "grad_norm": 1.7893965244293213,
      "learning_rate": 3.864e-05,
      "loss": 1.7139,
      "step": 2557
    },
    {
      "epoch": 0.2273777777777778,
      "grad_norm": 3.3677873611450195,
      "learning_rate": 3.863555555555556e-05,
      "loss": 1.6972,
      "step": 2558
    },
    {
      "epoch": 0.22746666666666668,
      "grad_norm": 1.6146106719970703,
      "learning_rate": 3.863111111111111e-05,
      "loss": 1.5419,
      "step": 2559
    },
    {
      "epoch": 0.22755555555555557,
      "grad_norm": 1.7029354572296143,
      "learning_rate": 3.862666666666667e-05,
      "loss": 1.7011,
      "step": 2560
    },
    {
      "epoch": 0.22764444444444445,
      "grad_norm": 2.60666823387146,
      "learning_rate": 3.862222222222223e-05,
      "loss": 1.8369,
      "step": 2561
    },
    {
      "epoch": 0.22773333333333334,
      "grad_norm": 1.5759398937225342,
      "learning_rate": 3.8617777777777784e-05,
      "loss": 1.6757,
      "step": 2562
    },
    {
      "epoch": 0.22782222222222223,
      "grad_norm": 1.7081706523895264,
      "learning_rate": 3.861333333333333e-05,
      "loss": 1.7099,
      "step": 2563
    },
    {
      "epoch": 0.22791111111111112,
      "grad_norm": 2.2960569858551025,
      "learning_rate": 3.860888888888889e-05,
      "loss": 1.5782,
      "step": 2564
    },
    {
      "epoch": 0.228,
      "grad_norm": 1.6956701278686523,
      "learning_rate": 3.860444444444445e-05,
      "loss": 1.8817,
      "step": 2565
    },
    {
      "epoch": 0.2280888888888889,
      "grad_norm": 1.647727370262146,
      "learning_rate": 3.86e-05,
      "loss": 1.4827,
      "step": 2566
    },
    {
      "epoch": 0.22817777777777778,
      "grad_norm": 1.660559058189392,
      "learning_rate": 3.859555555555556e-05,
      "loss": 1.6169,
      "step": 2567
    },
    {
      "epoch": 0.22826666666666667,
      "grad_norm": 1.5752675533294678,
      "learning_rate": 3.859111111111111e-05,
      "loss": 1.6984,
      "step": 2568
    },
    {
      "epoch": 0.22835555555555556,
      "grad_norm": 1.6437660455703735,
      "learning_rate": 3.858666666666667e-05,
      "loss": 1.5927,
      "step": 2569
    },
    {
      "epoch": 0.22844444444444445,
      "grad_norm": 1.936867356300354,
      "learning_rate": 3.858222222222222e-05,
      "loss": 1.5941,
      "step": 2570
    },
    {
      "epoch": 0.22853333333333334,
      "grad_norm": 1.8043996095657349,
      "learning_rate": 3.857777777777778e-05,
      "loss": 1.6249,
      "step": 2571
    },
    {
      "epoch": 0.22862222222222223,
      "grad_norm": 1.9503995180130005,
      "learning_rate": 3.857333333333333e-05,
      "loss": 1.777,
      "step": 2572
    },
    {
      "epoch": 0.22871111111111112,
      "grad_norm": 1.6308252811431885,
      "learning_rate": 3.8568888888888894e-05,
      "loss": 1.5562,
      "step": 2573
    },
    {
      "epoch": 0.2288,
      "grad_norm": 1.7687573432922363,
      "learning_rate": 3.856444444444445e-05,
      "loss": 1.5623,
      "step": 2574
    },
    {
      "epoch": 0.2288888888888889,
      "grad_norm": 1.7971482276916504,
      "learning_rate": 3.8560000000000004e-05,
      "loss": 1.5902,
      "step": 2575
    },
    {
      "epoch": 0.22897777777777778,
      "grad_norm": 1.6666159629821777,
      "learning_rate": 3.855555555555556e-05,
      "loss": 1.7244,
      "step": 2576
    },
    {
      "epoch": 0.22906666666666667,
      "grad_norm": 1.890350103378296,
      "learning_rate": 3.855111111111111e-05,
      "loss": 1.7594,
      "step": 2577
    },
    {
      "epoch": 0.22915555555555556,
      "grad_norm": 1.869533658027649,
      "learning_rate": 3.854666666666667e-05,
      "loss": 1.6434,
      "step": 2578
    },
    {
      "epoch": 0.22924444444444445,
      "grad_norm": 1.6620007753372192,
      "learning_rate": 3.854222222222222e-05,
      "loss": 1.6079,
      "step": 2579
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 1.5732460021972656,
      "learning_rate": 3.853777777777778e-05,
      "loss": 1.6897,
      "step": 2580
    },
    {
      "epoch": 0.22942222222222222,
      "grad_norm": 2.5816256999969482,
      "learning_rate": 3.853333333333334e-05,
      "loss": 1.7451,
      "step": 2581
    },
    {
      "epoch": 0.2295111111111111,
      "grad_norm": 1.8664560317993164,
      "learning_rate": 3.8528888888888894e-05,
      "loss": 1.8463,
      "step": 2582
    },
    {
      "epoch": 0.2296,
      "grad_norm": 1.7394838333129883,
      "learning_rate": 3.852444444444445e-05,
      "loss": 1.9112,
      "step": 2583
    },
    {
      "epoch": 0.2296888888888889,
      "grad_norm": 1.569934606552124,
      "learning_rate": 3.8520000000000004e-05,
      "loss": 1.5909,
      "step": 2584
    },
    {
      "epoch": 0.22977777777777778,
      "grad_norm": 1.5670251846313477,
      "learning_rate": 3.851555555555555e-05,
      "loss": 1.5693,
      "step": 2585
    },
    {
      "epoch": 0.22986666666666666,
      "grad_norm": 1.7218073606491089,
      "learning_rate": 3.8511111111111114e-05,
      "loss": 1.7402,
      "step": 2586
    },
    {
      "epoch": 0.22995555555555555,
      "grad_norm": 1.716289758682251,
      "learning_rate": 3.850666666666667e-05,
      "loss": 1.785,
      "step": 2587
    },
    {
      "epoch": 0.23004444444444444,
      "grad_norm": 1.5615068674087524,
      "learning_rate": 3.850222222222222e-05,
      "loss": 1.5538,
      "step": 2588
    },
    {
      "epoch": 0.23013333333333333,
      "grad_norm": 1.492388129234314,
      "learning_rate": 3.849777777777778e-05,
      "loss": 1.7066,
      "step": 2589
    },
    {
      "epoch": 0.23022222222222222,
      "grad_norm": 1.7160812616348267,
      "learning_rate": 3.849333333333334e-05,
      "loss": 1.4941,
      "step": 2590
    },
    {
      "epoch": 0.2303111111111111,
      "grad_norm": 1.5146373510360718,
      "learning_rate": 3.848888888888889e-05,
      "loss": 1.7627,
      "step": 2591
    },
    {
      "epoch": 0.2304,
      "grad_norm": 1.51585054397583,
      "learning_rate": 3.848444444444444e-05,
      "loss": 1.7022,
      "step": 2592
    },
    {
      "epoch": 0.23048888888888888,
      "grad_norm": 1.460973858833313,
      "learning_rate": 3.848e-05,
      "loss": 1.7822,
      "step": 2593
    },
    {
      "epoch": 0.23057777777777777,
      "grad_norm": 1.652283787727356,
      "learning_rate": 3.847555555555556e-05,
      "loss": 1.6393,
      "step": 2594
    },
    {
      "epoch": 0.23066666666666666,
      "grad_norm": 1.9405860900878906,
      "learning_rate": 3.8471111111111114e-05,
      "loss": 1.7922,
      "step": 2595
    },
    {
      "epoch": 0.23075555555555555,
      "grad_norm": 1.6939226388931274,
      "learning_rate": 3.846666666666667e-05,
      "loss": 1.76,
      "step": 2596
    },
    {
      "epoch": 0.23084444444444444,
      "grad_norm": 1.6425687074661255,
      "learning_rate": 3.8462222222222224e-05,
      "loss": 1.5557,
      "step": 2597
    },
    {
      "epoch": 0.23093333333333332,
      "grad_norm": 1.5682481527328491,
      "learning_rate": 3.845777777777778e-05,
      "loss": 1.6103,
      "step": 2598
    },
    {
      "epoch": 0.2310222222222222,
      "grad_norm": 1.9832061529159546,
      "learning_rate": 3.845333333333333e-05,
      "loss": 1.646,
      "step": 2599
    },
    {
      "epoch": 0.2311111111111111,
      "grad_norm": 1.6714107990264893,
      "learning_rate": 3.844888888888889e-05,
      "loss": 1.7987,
      "step": 2600
    },
    {
      "epoch": 0.2312,
      "grad_norm": 1.6688084602355957,
      "learning_rate": 3.844444444444444e-05,
      "loss": 1.53,
      "step": 2601
    },
    {
      "epoch": 0.23128888888888888,
      "grad_norm": 1.640249252319336,
      "learning_rate": 3.8440000000000005e-05,
      "loss": 1.4659,
      "step": 2602
    },
    {
      "epoch": 0.23137777777777777,
      "grad_norm": 1.6195592880249023,
      "learning_rate": 3.843555555555556e-05,
      "loss": 1.6783,
      "step": 2603
    },
    {
      "epoch": 0.23146666666666665,
      "grad_norm": 1.7501660585403442,
      "learning_rate": 3.8431111111111114e-05,
      "loss": 1.6127,
      "step": 2604
    },
    {
      "epoch": 0.23155555555555554,
      "grad_norm": 1.5065091848373413,
      "learning_rate": 3.842666666666667e-05,
      "loss": 1.4513,
      "step": 2605
    },
    {
      "epoch": 0.23164444444444443,
      "grad_norm": 1.58149254322052,
      "learning_rate": 3.8422222222222224e-05,
      "loss": 1.4524,
      "step": 2606
    },
    {
      "epoch": 0.23173333333333335,
      "grad_norm": 1.7195459604263306,
      "learning_rate": 3.841777777777778e-05,
      "loss": 1.6213,
      "step": 2607
    },
    {
      "epoch": 0.23182222222222224,
      "grad_norm": 1.4569411277770996,
      "learning_rate": 3.8413333333333334e-05,
      "loss": 1.6269,
      "step": 2608
    },
    {
      "epoch": 0.23191111111111112,
      "grad_norm": 2.379608154296875,
      "learning_rate": 3.840888888888889e-05,
      "loss": 1.8363,
      "step": 2609
    },
    {
      "epoch": 0.232,
      "grad_norm": 1.9503288269042969,
      "learning_rate": 3.840444444444445e-05,
      "loss": 1.8119,
      "step": 2610
    },
    {
      "epoch": 0.2320888888888889,
      "grad_norm": 1.7472299337387085,
      "learning_rate": 3.8400000000000005e-05,
      "loss": 1.7598,
      "step": 2611
    },
    {
      "epoch": 0.2321777777777778,
      "grad_norm": 1.701751470565796,
      "learning_rate": 3.839555555555556e-05,
      "loss": 1.774,
      "step": 2612
    },
    {
      "epoch": 0.23226666666666668,
      "grad_norm": 1.5293481349945068,
      "learning_rate": 3.839111111111111e-05,
      "loss": 1.5061,
      "step": 2613
    },
    {
      "epoch": 0.23235555555555557,
      "grad_norm": 2.1806063652038574,
      "learning_rate": 3.838666666666667e-05,
      "loss": 1.8933,
      "step": 2614
    },
    {
      "epoch": 0.23244444444444445,
      "grad_norm": 1.672797441482544,
      "learning_rate": 3.8382222222222224e-05,
      "loss": 1.6805,
      "step": 2615
    },
    {
      "epoch": 0.23253333333333334,
      "grad_norm": 1.985448956489563,
      "learning_rate": 3.837777777777778e-05,
      "loss": 1.9347,
      "step": 2616
    },
    {
      "epoch": 0.23262222222222223,
      "grad_norm": 1.583720326423645,
      "learning_rate": 3.8373333333333334e-05,
      "loss": 1.6983,
      "step": 2617
    },
    {
      "epoch": 0.23271111111111112,
      "grad_norm": 1.631561040878296,
      "learning_rate": 3.8368888888888896e-05,
      "loss": 1.6635,
      "step": 2618
    },
    {
      "epoch": 0.2328,
      "grad_norm": 1.9341782331466675,
      "learning_rate": 3.836444444444445e-05,
      "loss": 1.683,
      "step": 2619
    },
    {
      "epoch": 0.2328888888888889,
      "grad_norm": 1.7047855854034424,
      "learning_rate": 3.836e-05,
      "loss": 1.5678,
      "step": 2620
    },
    {
      "epoch": 0.23297777777777778,
      "grad_norm": 1.719071388244629,
      "learning_rate": 3.8355555555555553e-05,
      "loss": 1.8308,
      "step": 2621
    },
    {
      "epoch": 0.23306666666666667,
      "grad_norm": 1.7063878774642944,
      "learning_rate": 3.8351111111111115e-05,
      "loss": 1.6716,
      "step": 2622
    },
    {
      "epoch": 0.23315555555555556,
      "grad_norm": 1.6318209171295166,
      "learning_rate": 3.834666666666667e-05,
      "loss": 1.5578,
      "step": 2623
    },
    {
      "epoch": 0.23324444444444445,
      "grad_norm": 1.8715219497680664,
      "learning_rate": 3.8342222222222225e-05,
      "loss": 1.7906,
      "step": 2624
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 2.190941095352173,
      "learning_rate": 3.833777777777778e-05,
      "loss": 1.8557,
      "step": 2625
    },
    {
      "epoch": 0.23342222222222223,
      "grad_norm": 1.5115951299667358,
      "learning_rate": 3.8333333333333334e-05,
      "loss": 1.4888,
      "step": 2626
    },
    {
      "epoch": 0.2335111111111111,
      "grad_norm": 1.813828706741333,
      "learning_rate": 3.832888888888889e-05,
      "loss": 1.8373,
      "step": 2627
    },
    {
      "epoch": 0.2336,
      "grad_norm": 1.7458361387252808,
      "learning_rate": 3.8324444444444444e-05,
      "loss": 1.8879,
      "step": 2628
    },
    {
      "epoch": 0.2336888888888889,
      "grad_norm": 1.4891585111618042,
      "learning_rate": 3.832e-05,
      "loss": 1.4205,
      "step": 2629
    },
    {
      "epoch": 0.23377777777777778,
      "grad_norm": 1.7357314825057983,
      "learning_rate": 3.831555555555556e-05,
      "loss": 1.6758,
      "step": 2630
    },
    {
      "epoch": 0.23386666666666667,
      "grad_norm": 1.786377191543579,
      "learning_rate": 3.8311111111111115e-05,
      "loss": 1.6295,
      "step": 2631
    },
    {
      "epoch": 0.23395555555555556,
      "grad_norm": 1.937595248222351,
      "learning_rate": 3.830666666666667e-05,
      "loss": 1.7109,
      "step": 2632
    },
    {
      "epoch": 0.23404444444444444,
      "grad_norm": 1.4341925382614136,
      "learning_rate": 3.8302222222222225e-05,
      "loss": 1.5287,
      "step": 2633
    },
    {
      "epoch": 0.23413333333333333,
      "grad_norm": 1.4615025520324707,
      "learning_rate": 3.829777777777778e-05,
      "loss": 1.4296,
      "step": 2634
    },
    {
      "epoch": 0.23422222222222222,
      "grad_norm": 1.720924973487854,
      "learning_rate": 3.8293333333333335e-05,
      "loss": 1.8056,
      "step": 2635
    },
    {
      "epoch": 0.2343111111111111,
      "grad_norm": 1.8789541721343994,
      "learning_rate": 3.828888888888889e-05,
      "loss": 1.7262,
      "step": 2636
    },
    {
      "epoch": 0.2344,
      "grad_norm": 2.175579786300659,
      "learning_rate": 3.8284444444444445e-05,
      "loss": 1.9792,
      "step": 2637
    },
    {
      "epoch": 0.23448888888888889,
      "grad_norm": 1.8361486196517944,
      "learning_rate": 3.828e-05,
      "loss": 1.8051,
      "step": 2638
    },
    {
      "epoch": 0.23457777777777777,
      "grad_norm": 1.9518762826919556,
      "learning_rate": 3.827555555555556e-05,
      "loss": 1.702,
      "step": 2639
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 1.8620637655258179,
      "learning_rate": 3.8271111111111116e-05,
      "loss": 1.7002,
      "step": 2640
    },
    {
      "epoch": 0.23475555555555555,
      "grad_norm": 1.6023529767990112,
      "learning_rate": 3.8266666666666664e-05,
      "loss": 1.6164,
      "step": 2641
    },
    {
      "epoch": 0.23484444444444444,
      "grad_norm": 2.1468257904052734,
      "learning_rate": 3.826222222222222e-05,
      "loss": 1.9404,
      "step": 2642
    },
    {
      "epoch": 0.23493333333333333,
      "grad_norm": 1.7724021673202515,
      "learning_rate": 3.825777777777778e-05,
      "loss": 1.8893,
      "step": 2643
    },
    {
      "epoch": 0.23502222222222222,
      "grad_norm": 1.8431791067123413,
      "learning_rate": 3.8253333333333335e-05,
      "loss": 1.7002,
      "step": 2644
    },
    {
      "epoch": 0.2351111111111111,
      "grad_norm": 1.9446862936019897,
      "learning_rate": 3.824888888888889e-05,
      "loss": 1.5515,
      "step": 2645
    },
    {
      "epoch": 0.2352,
      "grad_norm": 1.878260850906372,
      "learning_rate": 3.8244444444444445e-05,
      "loss": 1.9434,
      "step": 2646
    },
    {
      "epoch": 0.23528888888888888,
      "grad_norm": 1.7061923742294312,
      "learning_rate": 3.8240000000000007e-05,
      "loss": 1.5985,
      "step": 2647
    },
    {
      "epoch": 0.23537777777777777,
      "grad_norm": 2.0255398750305176,
      "learning_rate": 3.8235555555555555e-05,
      "loss": 1.6326,
      "step": 2648
    },
    {
      "epoch": 0.23546666666666666,
      "grad_norm": 1.8755528926849365,
      "learning_rate": 3.823111111111111e-05,
      "loss": 1.6724,
      "step": 2649
    },
    {
      "epoch": 0.23555555555555555,
      "grad_norm": 1.815409779548645,
      "learning_rate": 3.8226666666666664e-05,
      "loss": 1.5156,
      "step": 2650
    },
    {
      "epoch": 0.23564444444444443,
      "grad_norm": 2.120095729827881,
      "learning_rate": 3.8222222222222226e-05,
      "loss": 1.7716,
      "step": 2651
    },
    {
      "epoch": 0.23573333333333332,
      "grad_norm": 2.0936331748962402,
      "learning_rate": 3.821777777777778e-05,
      "loss": 1.8193,
      "step": 2652
    },
    {
      "epoch": 0.2358222222222222,
      "grad_norm": 1.8090624809265137,
      "learning_rate": 3.8213333333333336e-05,
      "loss": 1.9362,
      "step": 2653
    },
    {
      "epoch": 0.2359111111111111,
      "grad_norm": 1.7291655540466309,
      "learning_rate": 3.820888888888889e-05,
      "loss": 1.5158,
      "step": 2654
    },
    {
      "epoch": 0.236,
      "grad_norm": 2.266282558441162,
      "learning_rate": 3.8204444444444445e-05,
      "loss": 1.7241,
      "step": 2655
    },
    {
      "epoch": 0.23608888888888888,
      "grad_norm": 1.848702073097229,
      "learning_rate": 3.82e-05,
      "loss": 1.8468,
      "step": 2656
    },
    {
      "epoch": 0.23617777777777776,
      "grad_norm": 1.8164070844650269,
      "learning_rate": 3.8195555555555555e-05,
      "loss": 1.787,
      "step": 2657
    },
    {
      "epoch": 0.23626666666666668,
      "grad_norm": 1.9500415325164795,
      "learning_rate": 3.819111111111111e-05,
      "loss": 1.4358,
      "step": 2658
    },
    {
      "epoch": 0.23635555555555557,
      "grad_norm": 1.6015275716781616,
      "learning_rate": 3.818666666666667e-05,
      "loss": 1.819,
      "step": 2659
    },
    {
      "epoch": 0.23644444444444446,
      "grad_norm": 2.3171281814575195,
      "learning_rate": 3.8182222222222226e-05,
      "loss": 1.4753,
      "step": 2660
    },
    {
      "epoch": 0.23653333333333335,
      "grad_norm": 1.5791786909103394,
      "learning_rate": 3.817777777777778e-05,
      "loss": 1.5859,
      "step": 2661
    },
    {
      "epoch": 0.23662222222222223,
      "grad_norm": 2.0054054260253906,
      "learning_rate": 3.8173333333333336e-05,
      "loss": 1.6597,
      "step": 2662
    },
    {
      "epoch": 0.23671111111111112,
      "grad_norm": 1.6407097578048706,
      "learning_rate": 3.816888888888889e-05,
      "loss": 1.6066,
      "step": 2663
    },
    {
      "epoch": 0.2368,
      "grad_norm": 1.8333096504211426,
      "learning_rate": 3.8164444444444446e-05,
      "loss": 1.8932,
      "step": 2664
    },
    {
      "epoch": 0.2368888888888889,
      "grad_norm": 1.6766916513442993,
      "learning_rate": 3.816e-05,
      "loss": 1.6132,
      "step": 2665
    },
    {
      "epoch": 0.2369777777777778,
      "grad_norm": 1.8302844762802124,
      "learning_rate": 3.8155555555555555e-05,
      "loss": 1.7576,
      "step": 2666
    },
    {
      "epoch": 0.23706666666666668,
      "grad_norm": 1.7409160137176514,
      "learning_rate": 3.815111111111112e-05,
      "loss": 1.8252,
      "step": 2667
    },
    {
      "epoch": 0.23715555555555556,
      "grad_norm": 1.840774655342102,
      "learning_rate": 3.814666666666667e-05,
      "loss": 1.7632,
      "step": 2668
    },
    {
      "epoch": 0.23724444444444445,
      "grad_norm": 1.6323338747024536,
      "learning_rate": 3.814222222222223e-05,
      "loss": 1.6228,
      "step": 2669
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 1.6346089839935303,
      "learning_rate": 3.8137777777777775e-05,
      "loss": 1.5088,
      "step": 2670
    },
    {
      "epoch": 0.23742222222222223,
      "grad_norm": 1.664076566696167,
      "learning_rate": 3.8133333333333336e-05,
      "loss": 1.6281,
      "step": 2671
    },
    {
      "epoch": 0.23751111111111112,
      "grad_norm": 1.754508376121521,
      "learning_rate": 3.812888888888889e-05,
      "loss": 1.5286,
      "step": 2672
    },
    {
      "epoch": 0.2376,
      "grad_norm": 1.8883858919143677,
      "learning_rate": 3.8124444444444446e-05,
      "loss": 1.7168,
      "step": 2673
    },
    {
      "epoch": 0.2376888888888889,
      "grad_norm": 1.8304983377456665,
      "learning_rate": 3.812e-05,
      "loss": 2.0757,
      "step": 2674
    },
    {
      "epoch": 0.23777777777777778,
      "grad_norm": 1.5334851741790771,
      "learning_rate": 3.811555555555556e-05,
      "loss": 1.7073,
      "step": 2675
    },
    {
      "epoch": 0.23786666666666667,
      "grad_norm": 1.6649470329284668,
      "learning_rate": 3.811111111111112e-05,
      "loss": 1.6718,
      "step": 2676
    },
    {
      "epoch": 0.23795555555555556,
      "grad_norm": 1.3185787200927734,
      "learning_rate": 3.8106666666666665e-05,
      "loss": 1.4322,
      "step": 2677
    },
    {
      "epoch": 0.23804444444444445,
      "grad_norm": 1.9857187271118164,
      "learning_rate": 3.810222222222222e-05,
      "loss": 1.7575,
      "step": 2678
    },
    {
      "epoch": 0.23813333333333334,
      "grad_norm": 1.6612313985824585,
      "learning_rate": 3.809777777777778e-05,
      "loss": 1.7148,
      "step": 2679
    },
    {
      "epoch": 0.23822222222222222,
      "grad_norm": 1.8952738046646118,
      "learning_rate": 3.809333333333334e-05,
      "loss": 1.8085,
      "step": 2680
    },
    {
      "epoch": 0.2383111111111111,
      "grad_norm": 1.765729308128357,
      "learning_rate": 3.808888888888889e-05,
      "loss": 1.5795,
      "step": 2681
    },
    {
      "epoch": 0.2384,
      "grad_norm": 1.8403401374816895,
      "learning_rate": 3.8084444444444446e-05,
      "loss": 1.6206,
      "step": 2682
    },
    {
      "epoch": 0.2384888888888889,
      "grad_norm": 1.679540753364563,
      "learning_rate": 3.808e-05,
      "loss": 1.9091,
      "step": 2683
    },
    {
      "epoch": 0.23857777777777778,
      "grad_norm": 1.751556158065796,
      "learning_rate": 3.8075555555555556e-05,
      "loss": 1.6667,
      "step": 2684
    },
    {
      "epoch": 0.23866666666666667,
      "grad_norm": 1.561716914176941,
      "learning_rate": 3.807111111111111e-05,
      "loss": 1.8876,
      "step": 2685
    },
    {
      "epoch": 0.23875555555555555,
      "grad_norm": 1.9885202646255493,
      "learning_rate": 3.8066666666666666e-05,
      "loss": 1.6827,
      "step": 2686
    },
    {
      "epoch": 0.23884444444444444,
      "grad_norm": 1.9434638023376465,
      "learning_rate": 3.806222222222222e-05,
      "loss": 1.6572,
      "step": 2687
    },
    {
      "epoch": 0.23893333333333333,
      "grad_norm": 1.688549280166626,
      "learning_rate": 3.805777777777778e-05,
      "loss": 1.5686,
      "step": 2688
    },
    {
      "epoch": 0.23902222222222222,
      "grad_norm": 2.304340124130249,
      "learning_rate": 3.805333333333334e-05,
      "loss": 1.6309,
      "step": 2689
    },
    {
      "epoch": 0.2391111111111111,
      "grad_norm": 1.5654855966567993,
      "learning_rate": 3.804888888888889e-05,
      "loss": 1.343,
      "step": 2690
    },
    {
      "epoch": 0.2392,
      "grad_norm": 1.9231784343719482,
      "learning_rate": 3.804444444444445e-05,
      "loss": 1.6624,
      "step": 2691
    },
    {
      "epoch": 0.23928888888888888,
      "grad_norm": 1.8451002836227417,
      "learning_rate": 3.804e-05,
      "loss": 1.8031,
      "step": 2692
    },
    {
      "epoch": 0.23937777777777777,
      "grad_norm": 1.4600363969802856,
      "learning_rate": 3.8035555555555557e-05,
      "loss": 1.5879,
      "step": 2693
    },
    {
      "epoch": 0.23946666666666666,
      "grad_norm": 1.6498439311981201,
      "learning_rate": 3.803111111111111e-05,
      "loss": 1.4607,
      "step": 2694
    },
    {
      "epoch": 0.23955555555555555,
      "grad_norm": 2.042173385620117,
      "learning_rate": 3.8026666666666666e-05,
      "loss": 1.7576,
      "step": 2695
    },
    {
      "epoch": 0.23964444444444444,
      "grad_norm": 1.8444386720657349,
      "learning_rate": 3.802222222222223e-05,
      "loss": 1.6403,
      "step": 2696
    },
    {
      "epoch": 0.23973333333333333,
      "grad_norm": 1.9421377182006836,
      "learning_rate": 3.801777777777778e-05,
      "loss": 1.7673,
      "step": 2697
    },
    {
      "epoch": 0.23982222222222221,
      "grad_norm": 2.0131173133850098,
      "learning_rate": 3.801333333333333e-05,
      "loss": 1.6539,
      "step": 2698
    },
    {
      "epoch": 0.2399111111111111,
      "grad_norm": 1.5849635601043701,
      "learning_rate": 3.8008888888888886e-05,
      "loss": 1.6897,
      "step": 2699
    },
    {
      "epoch": 0.24,
      "grad_norm": 1.635818600654602,
      "learning_rate": 3.800444444444445e-05,
      "loss": 1.7103,
      "step": 2700
    },
    {
      "epoch": 0.24008888888888888,
      "grad_norm": 1.7430033683776855,
      "learning_rate": 3.8e-05,
      "loss": 1.6552,
      "step": 2701
    },
    {
      "epoch": 0.24017777777777777,
      "grad_norm": 1.6690195798873901,
      "learning_rate": 3.799555555555556e-05,
      "loss": 1.4596,
      "step": 2702
    },
    {
      "epoch": 0.24026666666666666,
      "grad_norm": 2.2069003582000732,
      "learning_rate": 3.799111111111111e-05,
      "loss": 1.6775,
      "step": 2703
    },
    {
      "epoch": 0.24035555555555554,
      "grad_norm": 1.5785480737686157,
      "learning_rate": 3.7986666666666673e-05,
      "loss": 1.7248,
      "step": 2704
    },
    {
      "epoch": 0.24044444444444443,
      "grad_norm": 1.6156704425811768,
      "learning_rate": 3.798222222222222e-05,
      "loss": 1.5561,
      "step": 2705
    },
    {
      "epoch": 0.24053333333333332,
      "grad_norm": 2.0175082683563232,
      "learning_rate": 3.7977777777777776e-05,
      "loss": 1.7543,
      "step": 2706
    },
    {
      "epoch": 0.2406222222222222,
      "grad_norm": 1.9310379028320312,
      "learning_rate": 3.797333333333333e-05,
      "loss": 1.6731,
      "step": 2707
    },
    {
      "epoch": 0.2407111111111111,
      "grad_norm": 1.5334035158157349,
      "learning_rate": 3.796888888888889e-05,
      "loss": 1.5517,
      "step": 2708
    },
    {
      "epoch": 0.2408,
      "grad_norm": 1.709243655204773,
      "learning_rate": 3.796444444444445e-05,
      "loss": 1.5717,
      "step": 2709
    },
    {
      "epoch": 0.2408888888888889,
      "grad_norm": 1.4918782711029053,
      "learning_rate": 3.796e-05,
      "loss": 1.5629,
      "step": 2710
    },
    {
      "epoch": 0.2409777777777778,
      "grad_norm": 1.6863898038864136,
      "learning_rate": 3.795555555555556e-05,
      "loss": 1.725,
      "step": 2711
    },
    {
      "epoch": 0.24106666666666668,
      "grad_norm": 1.837954044342041,
      "learning_rate": 3.795111111111111e-05,
      "loss": 1.7036,
      "step": 2712
    },
    {
      "epoch": 0.24115555555555557,
      "grad_norm": 1.6965241432189941,
      "learning_rate": 3.794666666666667e-05,
      "loss": 1.3708,
      "step": 2713
    },
    {
      "epoch": 0.24124444444444446,
      "grad_norm": 1.7394599914550781,
      "learning_rate": 3.794222222222222e-05,
      "loss": 1.6692,
      "step": 2714
    },
    {
      "epoch": 0.24133333333333334,
      "grad_norm": 1.6441165208816528,
      "learning_rate": 3.793777777777778e-05,
      "loss": 1.6695,
      "step": 2715
    },
    {
      "epoch": 0.24142222222222223,
      "grad_norm": 2.02236270904541,
      "learning_rate": 3.793333333333334e-05,
      "loss": 1.6767,
      "step": 2716
    },
    {
      "epoch": 0.24151111111111112,
      "grad_norm": 1.8309009075164795,
      "learning_rate": 3.792888888888889e-05,
      "loss": 1.4926,
      "step": 2717
    },
    {
      "epoch": 0.2416,
      "grad_norm": 1.607761025428772,
      "learning_rate": 3.792444444444445e-05,
      "loss": 1.6707,
      "step": 2718
    },
    {
      "epoch": 0.2416888888888889,
      "grad_norm": 1.9113613367080688,
      "learning_rate": 3.792e-05,
      "loss": 1.6316,
      "step": 2719
    },
    {
      "epoch": 0.24177777777777779,
      "grad_norm": 1.6748981475830078,
      "learning_rate": 3.791555555555556e-05,
      "loss": 1.7287,
      "step": 2720
    },
    {
      "epoch": 0.24186666666666667,
      "grad_norm": 2.0703656673431396,
      "learning_rate": 3.791111111111111e-05,
      "loss": 1.5625,
      "step": 2721
    },
    {
      "epoch": 0.24195555555555556,
      "grad_norm": 1.6143510341644287,
      "learning_rate": 3.790666666666667e-05,
      "loss": 1.7476,
      "step": 2722
    },
    {
      "epoch": 0.24204444444444445,
      "grad_norm": 1.580189824104309,
      "learning_rate": 3.790222222222222e-05,
      "loss": 1.6226,
      "step": 2723
    },
    {
      "epoch": 0.24213333333333334,
      "grad_norm": 2.0369856357574463,
      "learning_rate": 3.7897777777777784e-05,
      "loss": 1.8733,
      "step": 2724
    },
    {
      "epoch": 0.24222222222222223,
      "grad_norm": 1.6992619037628174,
      "learning_rate": 3.789333333333334e-05,
      "loss": 1.5977,
      "step": 2725
    },
    {
      "epoch": 0.24231111111111112,
      "grad_norm": 1.8021119832992554,
      "learning_rate": 3.7888888888888894e-05,
      "loss": 1.7332,
      "step": 2726
    },
    {
      "epoch": 0.2424,
      "grad_norm": 1.7948524951934814,
      "learning_rate": 3.788444444444444e-05,
      "loss": 1.7063,
      "step": 2727
    },
    {
      "epoch": 0.2424888888888889,
      "grad_norm": 1.6352356672286987,
      "learning_rate": 3.788e-05,
      "loss": 1.632,
      "step": 2728
    },
    {
      "epoch": 0.24257777777777778,
      "grad_norm": 1.5830892324447632,
      "learning_rate": 3.787555555555556e-05,
      "loss": 1.5045,
      "step": 2729
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 1.5518401861190796,
      "learning_rate": 3.787111111111111e-05,
      "loss": 1.6959,
      "step": 2730
    },
    {
      "epoch": 0.24275555555555556,
      "grad_norm": 1.3499685525894165,
      "learning_rate": 3.786666666666667e-05,
      "loss": 1.3692,
      "step": 2731
    },
    {
      "epoch": 0.24284444444444445,
      "grad_norm": 1.423539638519287,
      "learning_rate": 3.786222222222223e-05,
      "loss": 1.3361,
      "step": 2732
    },
    {
      "epoch": 0.24293333333333333,
      "grad_norm": 1.7572752237319946,
      "learning_rate": 3.7857777777777784e-05,
      "loss": 1.7704,
      "step": 2733
    },
    {
      "epoch": 0.24302222222222222,
      "grad_norm": 1.6532132625579834,
      "learning_rate": 3.785333333333333e-05,
      "loss": 1.7927,
      "step": 2734
    },
    {
      "epoch": 0.2431111111111111,
      "grad_norm": 1.88160240650177,
      "learning_rate": 3.784888888888889e-05,
      "loss": 1.8049,
      "step": 2735
    },
    {
      "epoch": 0.2432,
      "grad_norm": 1.660880446434021,
      "learning_rate": 3.784444444444445e-05,
      "loss": 1.615,
      "step": 2736
    },
    {
      "epoch": 0.2432888888888889,
      "grad_norm": 1.857597827911377,
      "learning_rate": 3.7840000000000004e-05,
      "loss": 1.7372,
      "step": 2737
    },
    {
      "epoch": 0.24337777777777778,
      "grad_norm": 2.189742088317871,
      "learning_rate": 3.783555555555556e-05,
      "loss": 1.8982,
      "step": 2738
    },
    {
      "epoch": 0.24346666666666666,
      "grad_norm": 1.7988853454589844,
      "learning_rate": 3.783111111111111e-05,
      "loss": 1.7537,
      "step": 2739
    },
    {
      "epoch": 0.24355555555555555,
      "grad_norm": 1.7450529336929321,
      "learning_rate": 3.782666666666667e-05,
      "loss": 1.672,
      "step": 2740
    },
    {
      "epoch": 0.24364444444444444,
      "grad_norm": 1.8234801292419434,
      "learning_rate": 3.782222222222222e-05,
      "loss": 1.6266,
      "step": 2741
    },
    {
      "epoch": 0.24373333333333333,
      "grad_norm": 1.9201874732971191,
      "learning_rate": 3.781777777777778e-05,
      "loss": 1.8144,
      "step": 2742
    },
    {
      "epoch": 0.24382222222222222,
      "grad_norm": 1.6932713985443115,
      "learning_rate": 3.781333333333333e-05,
      "loss": 1.7607,
      "step": 2743
    },
    {
      "epoch": 0.2439111111111111,
      "grad_norm": 2.2127931118011475,
      "learning_rate": 3.780888888888889e-05,
      "loss": 1.9832,
      "step": 2744
    },
    {
      "epoch": 0.244,
      "grad_norm": 1.643052101135254,
      "learning_rate": 3.780444444444445e-05,
      "loss": 1.7069,
      "step": 2745
    },
    {
      "epoch": 0.24408888888888888,
      "grad_norm": 1.750794529914856,
      "learning_rate": 3.7800000000000004e-05,
      "loss": 1.6122,
      "step": 2746
    },
    {
      "epoch": 0.24417777777777777,
      "grad_norm": 1.8097018003463745,
      "learning_rate": 3.779555555555556e-05,
      "loss": 1.7437,
      "step": 2747
    },
    {
      "epoch": 0.24426666666666666,
      "grad_norm": 1.908957839012146,
      "learning_rate": 3.7791111111111114e-05,
      "loss": 1.8681,
      "step": 2748
    },
    {
      "epoch": 0.24435555555555555,
      "grad_norm": 1.7987052202224731,
      "learning_rate": 3.778666666666667e-05,
      "loss": 1.6219,
      "step": 2749
    },
    {
      "epoch": 0.24444444444444444,
      "grad_norm": 1.62003755569458,
      "learning_rate": 3.778222222222222e-05,
      "loss": 1.4872,
      "step": 2750
    },
    {
      "epoch": 0.24453333333333332,
      "grad_norm": 1.5982739925384521,
      "learning_rate": 3.777777777777778e-05,
      "loss": 1.5903,
      "step": 2751
    },
    {
      "epoch": 0.2446222222222222,
      "grad_norm": 1.621583342552185,
      "learning_rate": 3.777333333333333e-05,
      "loss": 1.5369,
      "step": 2752
    },
    {
      "epoch": 0.2447111111111111,
      "grad_norm": 2.105059862136841,
      "learning_rate": 3.7768888888888895e-05,
      "loss": 1.5248,
      "step": 2753
    },
    {
      "epoch": 0.2448,
      "grad_norm": 1.7621219158172607,
      "learning_rate": 3.776444444444445e-05,
      "loss": 1.7261,
      "step": 2754
    },
    {
      "epoch": 0.24488888888888888,
      "grad_norm": 1.5648144483566284,
      "learning_rate": 3.776e-05,
      "loss": 1.6507,
      "step": 2755
    },
    {
      "epoch": 0.24497777777777777,
      "grad_norm": 1.9154963493347168,
      "learning_rate": 3.775555555555555e-05,
      "loss": 1.6213,
      "step": 2756
    },
    {
      "epoch": 0.24506666666666665,
      "grad_norm": 1.7791531085968018,
      "learning_rate": 3.7751111111111114e-05,
      "loss": 1.7186,
      "step": 2757
    },
    {
      "epoch": 0.24515555555555554,
      "grad_norm": 1.80304753780365,
      "learning_rate": 3.774666666666667e-05,
      "loss": 1.8284,
      "step": 2758
    },
    {
      "epoch": 0.24524444444444443,
      "grad_norm": 1.5622508525848389,
      "learning_rate": 3.7742222222222224e-05,
      "loss": 1.5338,
      "step": 2759
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 1.7613319158554077,
      "learning_rate": 3.773777777777778e-05,
      "loss": 1.6356,
      "step": 2760
    },
    {
      "epoch": 0.24542222222222224,
      "grad_norm": 1.790833830833435,
      "learning_rate": 3.773333333333334e-05,
      "loss": 1.6012,
      "step": 2761
    },
    {
      "epoch": 0.24551111111111112,
      "grad_norm": 1.6358156204223633,
      "learning_rate": 3.772888888888889e-05,
      "loss": 1.7903,
      "step": 2762
    },
    {
      "epoch": 0.2456,
      "grad_norm": 1.6176422834396362,
      "learning_rate": 3.772444444444444e-05,
      "loss": 1.4508,
      "step": 2763
    },
    {
      "epoch": 0.2456888888888889,
      "grad_norm": 1.5440804958343506,
      "learning_rate": 3.772e-05,
      "loss": 1.8084,
      "step": 2764
    },
    {
      "epoch": 0.2457777777777778,
      "grad_norm": 1.6530336141586304,
      "learning_rate": 3.771555555555556e-05,
      "loss": 1.8167,
      "step": 2765
    },
    {
      "epoch": 0.24586666666666668,
      "grad_norm": 1.5326534509658813,
      "learning_rate": 3.7711111111111114e-05,
      "loss": 1.5488,
      "step": 2766
    },
    {
      "epoch": 0.24595555555555557,
      "grad_norm": 2.480454921722412,
      "learning_rate": 3.770666666666667e-05,
      "loss": 1.8695,
      "step": 2767
    },
    {
      "epoch": 0.24604444444444445,
      "grad_norm": 1.8547371625900269,
      "learning_rate": 3.7702222222222224e-05,
      "loss": 1.6316,
      "step": 2768
    },
    {
      "epoch": 0.24613333333333334,
      "grad_norm": 1.6860878467559814,
      "learning_rate": 3.769777777777778e-05,
      "loss": 1.5396,
      "step": 2769
    },
    {
      "epoch": 0.24622222222222223,
      "grad_norm": 1.4428362846374512,
      "learning_rate": 3.7693333333333334e-05,
      "loss": 1.5244,
      "step": 2770
    },
    {
      "epoch": 0.24631111111111112,
      "grad_norm": 1.682167410850525,
      "learning_rate": 3.768888888888889e-05,
      "loss": 1.6998,
      "step": 2771
    },
    {
      "epoch": 0.2464,
      "grad_norm": 1.5615801811218262,
      "learning_rate": 3.7684444444444444e-05,
      "loss": 1.5624,
      "step": 2772
    },
    {
      "epoch": 0.2464888888888889,
      "grad_norm": 1.9540481567382812,
      "learning_rate": 3.7680000000000005e-05,
      "loss": 1.917,
      "step": 2773
    },
    {
      "epoch": 0.24657777777777778,
      "grad_norm": 1.6240953207015991,
      "learning_rate": 3.767555555555556e-05,
      "loss": 1.6221,
      "step": 2774
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 1.9922069311141968,
      "learning_rate": 3.7671111111111115e-05,
      "loss": 1.8502,
      "step": 2775
    },
    {
      "epoch": 0.24675555555555556,
      "grad_norm": 1.5368046760559082,
      "learning_rate": 3.766666666666667e-05,
      "loss": 1.714,
      "step": 2776
    },
    {
      "epoch": 0.24684444444444445,
      "grad_norm": 1.752049446105957,
      "learning_rate": 3.7662222222222225e-05,
      "loss": 1.607,
      "step": 2777
    },
    {
      "epoch": 0.24693333333333334,
      "grad_norm": 1.6791318655014038,
      "learning_rate": 3.765777777777778e-05,
      "loss": 1.6534,
      "step": 2778
    },
    {
      "epoch": 0.24702222222222223,
      "grad_norm": 1.6137826442718506,
      "learning_rate": 3.7653333333333334e-05,
      "loss": 1.712,
      "step": 2779
    },
    {
      "epoch": 0.24711111111111111,
      "grad_norm": 1.6111057996749878,
      "learning_rate": 3.764888888888889e-05,
      "loss": 1.5836,
      "step": 2780
    },
    {
      "epoch": 0.2472,
      "grad_norm": 2.1548118591308594,
      "learning_rate": 3.764444444444445e-05,
      "loss": 1.6362,
      "step": 2781
    },
    {
      "epoch": 0.2472888888888889,
      "grad_norm": 1.824885368347168,
      "learning_rate": 3.7640000000000006e-05,
      "loss": 1.6444,
      "step": 2782
    },
    {
      "epoch": 0.24737777777777778,
      "grad_norm": 1.4706820249557495,
      "learning_rate": 3.763555555555556e-05,
      "loss": 1.6101,
      "step": 2783
    },
    {
      "epoch": 0.24746666666666667,
      "grad_norm": 1.575826644897461,
      "learning_rate": 3.763111111111111e-05,
      "loss": 1.5341,
      "step": 2784
    },
    {
      "epoch": 0.24755555555555556,
      "grad_norm": 1.495194911956787,
      "learning_rate": 3.762666666666667e-05,
      "loss": 1.7798,
      "step": 2785
    },
    {
      "epoch": 0.24764444444444444,
      "grad_norm": 1.8108677864074707,
      "learning_rate": 3.7622222222222225e-05,
      "loss": 1.6131,
      "step": 2786
    },
    {
      "epoch": 0.24773333333333333,
      "grad_norm": 1.710202693939209,
      "learning_rate": 3.761777777777778e-05,
      "loss": 1.7762,
      "step": 2787
    },
    {
      "epoch": 0.24782222222222222,
      "grad_norm": 1.4732877016067505,
      "learning_rate": 3.7613333333333335e-05,
      "loss": 1.7626,
      "step": 2788
    },
    {
      "epoch": 0.2479111111111111,
      "grad_norm": 1.516554832458496,
      "learning_rate": 3.760888888888889e-05,
      "loss": 1.6914,
      "step": 2789
    },
    {
      "epoch": 0.248,
      "grad_norm": 2.0945630073547363,
      "learning_rate": 3.760444444444445e-05,
      "loss": 1.8454,
      "step": 2790
    },
    {
      "epoch": 0.2480888888888889,
      "grad_norm": 1.8273664712905884,
      "learning_rate": 3.76e-05,
      "loss": 1.7864,
      "step": 2791
    },
    {
      "epoch": 0.24817777777777777,
      "grad_norm": 1.5338472127914429,
      "learning_rate": 3.7595555555555554e-05,
      "loss": 1.8504,
      "step": 2792
    },
    {
      "epoch": 0.24826666666666666,
      "grad_norm": 1.6015180349349976,
      "learning_rate": 3.759111111111111e-05,
      "loss": 1.7171,
      "step": 2793
    },
    {
      "epoch": 0.24835555555555555,
      "grad_norm": 1.5079827308654785,
      "learning_rate": 3.758666666666667e-05,
      "loss": 1.6269,
      "step": 2794
    },
    {
      "epoch": 0.24844444444444444,
      "grad_norm": 1.311124324798584,
      "learning_rate": 3.7582222222222225e-05,
      "loss": 1.5335,
      "step": 2795
    },
    {
      "epoch": 0.24853333333333333,
      "grad_norm": 2.0859744548797607,
      "learning_rate": 3.757777777777778e-05,
      "loss": 1.5961,
      "step": 2796
    },
    {
      "epoch": 0.24862222222222222,
      "grad_norm": 1.616391897201538,
      "learning_rate": 3.7573333333333335e-05,
      "loss": 1.641,
      "step": 2797
    },
    {
      "epoch": 0.2487111111111111,
      "grad_norm": 1.6801868677139282,
      "learning_rate": 3.756888888888889e-05,
      "loss": 1.6447,
      "step": 2798
    },
    {
      "epoch": 0.2488,
      "grad_norm": 2.164881706237793,
      "learning_rate": 3.7564444444444445e-05,
      "loss": 1.5988,
      "step": 2799
    },
    {
      "epoch": 0.24888888888888888,
      "grad_norm": 2.5913894176483154,
      "learning_rate": 3.756e-05,
      "loss": 1.6558,
      "step": 2800
    },
    {
      "epoch": 0.24897777777777777,
      "grad_norm": 2.391029119491577,
      "learning_rate": 3.7555555555555554e-05,
      "loss": 1.7728,
      "step": 2801
    },
    {
      "epoch": 0.24906666666666666,
      "grad_norm": 1.4556808471679688,
      "learning_rate": 3.7551111111111116e-05,
      "loss": 1.5455,
      "step": 2802
    },
    {
      "epoch": 0.24915555555555555,
      "grad_norm": 1.5865951776504517,
      "learning_rate": 3.754666666666667e-05,
      "loss": 1.4551,
      "step": 2803
    },
    {
      "epoch": 0.24924444444444444,
      "grad_norm": 1.6690988540649414,
      "learning_rate": 3.7542222222222226e-05,
      "loss": 1.795,
      "step": 2804
    },
    {
      "epoch": 0.24933333333333332,
      "grad_norm": 1.756680965423584,
      "learning_rate": 3.753777777777778e-05,
      "loss": 1.5564,
      "step": 2805
    },
    {
      "epoch": 0.2494222222222222,
      "grad_norm": 1.603102684020996,
      "learning_rate": 3.7533333333333335e-05,
      "loss": 1.6453,
      "step": 2806
    },
    {
      "epoch": 0.2495111111111111,
      "grad_norm": 1.8720036745071411,
      "learning_rate": 3.752888888888889e-05,
      "loss": 1.5528,
      "step": 2807
    },
    {
      "epoch": 0.2496,
      "grad_norm": 2.336625099182129,
      "learning_rate": 3.7524444444444445e-05,
      "loss": 1.681,
      "step": 2808
    },
    {
      "epoch": 0.24968888888888888,
      "grad_norm": 1.4697457551956177,
      "learning_rate": 3.752e-05,
      "loss": 1.2824,
      "step": 2809
    },
    {
      "epoch": 0.24977777777777777,
      "grad_norm": 1.7138108015060425,
      "learning_rate": 3.751555555555556e-05,
      "loss": 1.7469,
      "step": 2810
    },
    {
      "epoch": 0.24986666666666665,
      "grad_norm": 1.5537090301513672,
      "learning_rate": 3.7511111111111116e-05,
      "loss": 1.5565,
      "step": 2811
    },
    {
      "epoch": 0.24995555555555554,
      "grad_norm": 2.535902976989746,
      "learning_rate": 3.7506666666666664e-05,
      "loss": 1.6041,
      "step": 2812
    },
    {
      "epoch": 0.25004444444444446,
      "grad_norm": 2.0028717517852783,
      "learning_rate": 3.750222222222222e-05,
      "loss": 1.6278,
      "step": 2813
    },
    {
      "epoch": 0.2501333333333333,
      "grad_norm": 1.5834416151046753,
      "learning_rate": 3.749777777777778e-05,
      "loss": 1.3655,
      "step": 2814
    },
    {
      "epoch": 0.25022222222222223,
      "grad_norm": 1.803371548652649,
      "learning_rate": 3.7493333333333336e-05,
      "loss": 1.6544,
      "step": 2815
    },
    {
      "epoch": 0.2503111111111111,
      "grad_norm": 1.917039155960083,
      "learning_rate": 3.748888888888889e-05,
      "loss": 1.6078,
      "step": 2816
    },
    {
      "epoch": 0.2504,
      "grad_norm": 1.5250563621520996,
      "learning_rate": 3.7484444444444445e-05,
      "loss": 1.6961,
      "step": 2817
    },
    {
      "epoch": 0.25048888888888887,
      "grad_norm": 1.8178330659866333,
      "learning_rate": 3.748000000000001e-05,
      "loss": 1.4487,
      "step": 2818
    },
    {
      "epoch": 0.2505777777777778,
      "grad_norm": 1.917922854423523,
      "learning_rate": 3.7475555555555555e-05,
      "loss": 1.5521,
      "step": 2819
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 1.5084896087646484,
      "learning_rate": 3.747111111111111e-05,
      "loss": 1.448,
      "step": 2820
    },
    {
      "epoch": 0.25075555555555556,
      "grad_norm": 2.0336310863494873,
      "learning_rate": 3.7466666666666665e-05,
      "loss": 1.7793,
      "step": 2821
    },
    {
      "epoch": 0.2508444444444444,
      "grad_norm": 1.767636775970459,
      "learning_rate": 3.7462222222222226e-05,
      "loss": 1.6401,
      "step": 2822
    },
    {
      "epoch": 0.25093333333333334,
      "grad_norm": 2.31758451461792,
      "learning_rate": 3.745777777777778e-05,
      "loss": 1.7238,
      "step": 2823
    },
    {
      "epoch": 0.2510222222222222,
      "grad_norm": 1.7535632848739624,
      "learning_rate": 3.7453333333333336e-05,
      "loss": 1.6491,
      "step": 2824
    },
    {
      "epoch": 0.2511111111111111,
      "grad_norm": 1.9009320735931396,
      "learning_rate": 3.744888888888889e-05,
      "loss": 1.87,
      "step": 2825
    },
    {
      "epoch": 0.2512,
      "grad_norm": 1.6316391229629517,
      "learning_rate": 3.7444444444444446e-05,
      "loss": 1.5303,
      "step": 2826
    },
    {
      "epoch": 0.2512888888888889,
      "grad_norm": 1.769601821899414,
      "learning_rate": 3.744e-05,
      "loss": 1.7162,
      "step": 2827
    },
    {
      "epoch": 0.25137777777777776,
      "grad_norm": 1.4644062519073486,
      "learning_rate": 3.7435555555555556e-05,
      "loss": 1.6219,
      "step": 2828
    },
    {
      "epoch": 0.25146666666666667,
      "grad_norm": 1.8618409633636475,
      "learning_rate": 3.743111111111111e-05,
      "loss": 1.5864,
      "step": 2829
    },
    {
      "epoch": 0.25155555555555553,
      "grad_norm": 1.8784499168395996,
      "learning_rate": 3.742666666666667e-05,
      "loss": 1.6955,
      "step": 2830
    },
    {
      "epoch": 0.25164444444444445,
      "grad_norm": 1.9216018915176392,
      "learning_rate": 3.742222222222223e-05,
      "loss": 1.5695,
      "step": 2831
    },
    {
      "epoch": 0.2517333333333333,
      "grad_norm": 1.7679059505462646,
      "learning_rate": 3.741777777777778e-05,
      "loss": 1.5494,
      "step": 2832
    },
    {
      "epoch": 0.2518222222222222,
      "grad_norm": 1.6245180368423462,
      "learning_rate": 3.7413333333333337e-05,
      "loss": 1.5514,
      "step": 2833
    },
    {
      "epoch": 0.2519111111111111,
      "grad_norm": 2.582969903945923,
      "learning_rate": 3.740888888888889e-05,
      "loss": 1.8122,
      "step": 2834
    },
    {
      "epoch": 0.252,
      "grad_norm": 1.6182752847671509,
      "learning_rate": 3.7404444444444446e-05,
      "loss": 1.5329,
      "step": 2835
    },
    {
      "epoch": 0.25208888888888886,
      "grad_norm": 1.683573842048645,
      "learning_rate": 3.74e-05,
      "loss": 1.5368,
      "step": 2836
    },
    {
      "epoch": 0.2521777777777778,
      "grad_norm": 2.0321476459503174,
      "learning_rate": 3.7395555555555556e-05,
      "loss": 2.0065,
      "step": 2837
    },
    {
      "epoch": 0.25226666666666664,
      "grad_norm": 1.7754299640655518,
      "learning_rate": 3.739111111111112e-05,
      "loss": 1.7328,
      "step": 2838
    },
    {
      "epoch": 0.25235555555555556,
      "grad_norm": 1.6180534362792969,
      "learning_rate": 3.738666666666667e-05,
      "loss": 1.7184,
      "step": 2839
    },
    {
      "epoch": 0.25244444444444447,
      "grad_norm": 1.7327557802200317,
      "learning_rate": 3.738222222222223e-05,
      "loss": 1.6695,
      "step": 2840
    },
    {
      "epoch": 0.25253333333333333,
      "grad_norm": 1.75111985206604,
      "learning_rate": 3.7377777777777775e-05,
      "loss": 1.5587,
      "step": 2841
    },
    {
      "epoch": 0.25262222222222225,
      "grad_norm": 1.9701318740844727,
      "learning_rate": 3.737333333333333e-05,
      "loss": 1.7092,
      "step": 2842
    },
    {
      "epoch": 0.2527111111111111,
      "grad_norm": 1.847986102104187,
      "learning_rate": 3.736888888888889e-05,
      "loss": 1.9065,
      "step": 2843
    },
    {
      "epoch": 0.2528,
      "grad_norm": 1.7533305883407593,
      "learning_rate": 3.7364444444444447e-05,
      "loss": 1.794,
      "step": 2844
    },
    {
      "epoch": 0.2528888888888889,
      "grad_norm": 1.7904636859893799,
      "learning_rate": 3.736e-05,
      "loss": 1.6396,
      "step": 2845
    },
    {
      "epoch": 0.2529777777777778,
      "grad_norm": 1.5994032621383667,
      "learning_rate": 3.7355555555555556e-05,
      "loss": 1.5851,
      "step": 2846
    },
    {
      "epoch": 0.25306666666666666,
      "grad_norm": 2.043180227279663,
      "learning_rate": 3.735111111111111e-05,
      "loss": 1.6526,
      "step": 2847
    },
    {
      "epoch": 0.2531555555555556,
      "grad_norm": 1.548890471458435,
      "learning_rate": 3.7346666666666666e-05,
      "loss": 1.6473,
      "step": 2848
    },
    {
      "epoch": 0.25324444444444444,
      "grad_norm": 2.0273396968841553,
      "learning_rate": 3.734222222222222e-05,
      "loss": 1.5843,
      "step": 2849
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 1.6996716260910034,
      "learning_rate": 3.7337777777777776e-05,
      "loss": 1.7136,
      "step": 2850
    },
    {
      "epoch": 0.2534222222222222,
      "grad_norm": 1.6081688404083252,
      "learning_rate": 3.733333333333334e-05,
      "loss": 1.5561,
      "step": 2851
    },
    {
      "epoch": 0.25351111111111113,
      "grad_norm": 1.7707390785217285,
      "learning_rate": 3.732888888888889e-05,
      "loss": 1.5407,
      "step": 2852
    },
    {
      "epoch": 0.2536,
      "grad_norm": 1.4999581575393677,
      "learning_rate": 3.732444444444445e-05,
      "loss": 1.5799,
      "step": 2853
    },
    {
      "epoch": 0.2536888888888889,
      "grad_norm": 1.9344960451126099,
      "learning_rate": 3.732e-05,
      "loss": 1.777,
      "step": 2854
    },
    {
      "epoch": 0.25377777777777777,
      "grad_norm": 1.8796677589416504,
      "learning_rate": 3.731555555555556e-05,
      "loss": 1.5853,
      "step": 2855
    },
    {
      "epoch": 0.2538666666666667,
      "grad_norm": 1.809312105178833,
      "learning_rate": 3.731111111111111e-05,
      "loss": 1.6556,
      "step": 2856
    },
    {
      "epoch": 0.25395555555555555,
      "grad_norm": 1.493384599685669,
      "learning_rate": 3.7306666666666666e-05,
      "loss": 1.5798,
      "step": 2857
    },
    {
      "epoch": 0.25404444444444446,
      "grad_norm": 1.7080461978912354,
      "learning_rate": 3.730222222222222e-05,
      "loss": 1.6664,
      "step": 2858
    },
    {
      "epoch": 0.2541333333333333,
      "grad_norm": 1.925238013267517,
      "learning_rate": 3.729777777777778e-05,
      "loss": 1.4785,
      "step": 2859
    },
    {
      "epoch": 0.25422222222222224,
      "grad_norm": 1.8749945163726807,
      "learning_rate": 3.729333333333334e-05,
      "loss": 1.845,
      "step": 2860
    },
    {
      "epoch": 0.2543111111111111,
      "grad_norm": 1.9821176528930664,
      "learning_rate": 3.728888888888889e-05,
      "loss": 1.9166,
      "step": 2861
    },
    {
      "epoch": 0.2544,
      "grad_norm": 1.8656628131866455,
      "learning_rate": 3.728444444444445e-05,
      "loss": 1.6175,
      "step": 2862
    },
    {
      "epoch": 0.2544888888888889,
      "grad_norm": 1.6511847972869873,
      "learning_rate": 3.728e-05,
      "loss": 1.623,
      "step": 2863
    },
    {
      "epoch": 0.2545777777777778,
      "grad_norm": 1.5520122051239014,
      "learning_rate": 3.727555555555556e-05,
      "loss": 1.749,
      "step": 2864
    },
    {
      "epoch": 0.25466666666666665,
      "grad_norm": 1.5567140579223633,
      "learning_rate": 3.727111111111111e-05,
      "loss": 1.546,
      "step": 2865
    },
    {
      "epoch": 0.25475555555555557,
      "grad_norm": 1.6909409761428833,
      "learning_rate": 3.726666666666667e-05,
      "loss": 1.6701,
      "step": 2866
    },
    {
      "epoch": 0.25484444444444443,
      "grad_norm": 1.6915256977081299,
      "learning_rate": 3.726222222222223e-05,
      "loss": 1.7438,
      "step": 2867
    },
    {
      "epoch": 0.25493333333333335,
      "grad_norm": 1.8785414695739746,
      "learning_rate": 3.725777777777778e-05,
      "loss": 1.7611,
      "step": 2868
    },
    {
      "epoch": 0.2550222222222222,
      "grad_norm": 2.3339650630950928,
      "learning_rate": 3.725333333333333e-05,
      "loss": 1.6265,
      "step": 2869
    },
    {
      "epoch": 0.2551111111111111,
      "grad_norm": 1.6492677927017212,
      "learning_rate": 3.7248888888888886e-05,
      "loss": 1.6108,
      "step": 2870
    },
    {
      "epoch": 0.2552,
      "grad_norm": 2.9008848667144775,
      "learning_rate": 3.724444444444445e-05,
      "loss": 1.6586,
      "step": 2871
    },
    {
      "epoch": 0.2552888888888889,
      "grad_norm": 2.1644632816314697,
      "learning_rate": 3.724e-05,
      "loss": 1.8089,
      "step": 2872
    },
    {
      "epoch": 0.25537777777777776,
      "grad_norm": 1.989158272743225,
      "learning_rate": 3.723555555555556e-05,
      "loss": 1.7587,
      "step": 2873
    },
    {
      "epoch": 0.2554666666666667,
      "grad_norm": 1.7338780164718628,
      "learning_rate": 3.723111111111111e-05,
      "loss": 1.7822,
      "step": 2874
    },
    {
      "epoch": 0.25555555555555554,
      "grad_norm": 1.9132384061813354,
      "learning_rate": 3.7226666666666674e-05,
      "loss": 1.9851,
      "step": 2875
    },
    {
      "epoch": 0.25564444444444445,
      "grad_norm": 1.8123949766159058,
      "learning_rate": 3.722222222222222e-05,
      "loss": 1.6693,
      "step": 2876
    },
    {
      "epoch": 0.2557333333333333,
      "grad_norm": 1.717684030532837,
      "learning_rate": 3.721777777777778e-05,
      "loss": 1.6173,
      "step": 2877
    },
    {
      "epoch": 0.25582222222222223,
      "grad_norm": 1.5320159196853638,
      "learning_rate": 3.721333333333333e-05,
      "loss": 1.562,
      "step": 2878
    },
    {
      "epoch": 0.2559111111111111,
      "grad_norm": 1.7041207551956177,
      "learning_rate": 3.720888888888889e-05,
      "loss": 1.7605,
      "step": 2879
    },
    {
      "epoch": 0.256,
      "grad_norm": 1.5505402088165283,
      "learning_rate": 3.720444444444445e-05,
      "loss": 1.6186,
      "step": 2880
    },
    {
      "epoch": 0.25608888888888887,
      "grad_norm": 2.788867235183716,
      "learning_rate": 3.72e-05,
      "loss": 1.6539,
      "step": 2881
    },
    {
      "epoch": 0.2561777777777778,
      "grad_norm": 1.6936484575271606,
      "learning_rate": 3.719555555555556e-05,
      "loss": 1.6546,
      "step": 2882
    },
    {
      "epoch": 0.25626666666666664,
      "grad_norm": 1.6488780975341797,
      "learning_rate": 3.719111111111111e-05,
      "loss": 1.5842,
      "step": 2883
    },
    {
      "epoch": 0.25635555555555556,
      "grad_norm": 1.8134313821792603,
      "learning_rate": 3.718666666666667e-05,
      "loss": 1.8138,
      "step": 2884
    },
    {
      "epoch": 0.2564444444444444,
      "grad_norm": 1.7754647731781006,
      "learning_rate": 3.718222222222222e-05,
      "loss": 1.772,
      "step": 2885
    },
    {
      "epoch": 0.25653333333333334,
      "grad_norm": 1.5752156972885132,
      "learning_rate": 3.717777777777778e-05,
      "loss": 1.4528,
      "step": 2886
    },
    {
      "epoch": 0.2566222222222222,
      "grad_norm": 2.1062262058258057,
      "learning_rate": 3.717333333333334e-05,
      "loss": 1.7083,
      "step": 2887
    },
    {
      "epoch": 0.2567111111111111,
      "grad_norm": 1.8539365530014038,
      "learning_rate": 3.7168888888888894e-05,
      "loss": 1.7645,
      "step": 2888
    },
    {
      "epoch": 0.2568,
      "grad_norm": 2.188524007797241,
      "learning_rate": 3.716444444444445e-05,
      "loss": 1.7187,
      "step": 2889
    },
    {
      "epoch": 0.2568888888888889,
      "grad_norm": 1.7285940647125244,
      "learning_rate": 3.716e-05,
      "loss": 1.5137,
      "step": 2890
    },
    {
      "epoch": 0.2569777777777778,
      "grad_norm": 1.553760290145874,
      "learning_rate": 3.715555555555555e-05,
      "loss": 1.4121,
      "step": 2891
    },
    {
      "epoch": 0.25706666666666667,
      "grad_norm": 1.6667861938476562,
      "learning_rate": 3.715111111111111e-05,
      "loss": 1.7372,
      "step": 2892
    },
    {
      "epoch": 0.2571555555555556,
      "grad_norm": 1.6160486936569214,
      "learning_rate": 3.714666666666667e-05,
      "loss": 1.4582,
      "step": 2893
    },
    {
      "epoch": 0.25724444444444444,
      "grad_norm": 1.6083256006240845,
      "learning_rate": 3.714222222222222e-05,
      "loss": 1.6435,
      "step": 2894
    },
    {
      "epoch": 0.25733333333333336,
      "grad_norm": 1.6169157028198242,
      "learning_rate": 3.713777777777778e-05,
      "loss": 1.6799,
      "step": 2895
    },
    {
      "epoch": 0.2574222222222222,
      "grad_norm": 1.7607753276824951,
      "learning_rate": 3.713333333333334e-05,
      "loss": 1.7082,
      "step": 2896
    },
    {
      "epoch": 0.25751111111111114,
      "grad_norm": 1.5021954774856567,
      "learning_rate": 3.7128888888888894e-05,
      "loss": 1.4633,
      "step": 2897
    },
    {
      "epoch": 0.2576,
      "grad_norm": 1.6914538145065308,
      "learning_rate": 3.712444444444444e-05,
      "loss": 1.732,
      "step": 2898
    },
    {
      "epoch": 0.2576888888888889,
      "grad_norm": 1.6749507188796997,
      "learning_rate": 3.712e-05,
      "loss": 1.9801,
      "step": 2899
    },
    {
      "epoch": 0.2577777777777778,
      "grad_norm": 1.5084943771362305,
      "learning_rate": 3.711555555555556e-05,
      "loss": 1.6584,
      "step": 2900
    },
    {
      "epoch": 0.2578666666666667,
      "grad_norm": 1.6441168785095215,
      "learning_rate": 3.7111111111111113e-05,
      "loss": 1.6675,
      "step": 2901
    },
    {
      "epoch": 0.25795555555555555,
      "grad_norm": 2.4948971271514893,
      "learning_rate": 3.710666666666667e-05,
      "loss": 1.7503,
      "step": 2902
    },
    {
      "epoch": 0.25804444444444447,
      "grad_norm": 1.8630229234695435,
      "learning_rate": 3.710222222222222e-05,
      "loss": 1.7848,
      "step": 2903
    },
    {
      "epoch": 0.2581333333333333,
      "grad_norm": 1.7799487113952637,
      "learning_rate": 3.709777777777778e-05,
      "loss": 1.7418,
      "step": 2904
    },
    {
      "epoch": 0.25822222222222224,
      "grad_norm": 1.976750373840332,
      "learning_rate": 3.709333333333333e-05,
      "loss": 1.8761,
      "step": 2905
    },
    {
      "epoch": 0.2583111111111111,
      "grad_norm": 1.7648916244506836,
      "learning_rate": 3.708888888888889e-05,
      "loss": 1.7446,
      "step": 2906
    },
    {
      "epoch": 0.2584,
      "grad_norm": 1.6748063564300537,
      "learning_rate": 3.708444444444444e-05,
      "loss": 1.6915,
      "step": 2907
    },
    {
      "epoch": 0.2584888888888889,
      "grad_norm": 1.4411728382110596,
      "learning_rate": 3.7080000000000004e-05,
      "loss": 1.525,
      "step": 2908
    },
    {
      "epoch": 0.2585777777777778,
      "grad_norm": 1.7237114906311035,
      "learning_rate": 3.707555555555556e-05,
      "loss": 1.7282,
      "step": 2909
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 1.847602128982544,
      "learning_rate": 3.7071111111111114e-05,
      "loss": 1.7792,
      "step": 2910
    },
    {
      "epoch": 0.25875555555555557,
      "grad_norm": 2.1515870094299316,
      "learning_rate": 3.706666666666667e-05,
      "loss": 1.8211,
      "step": 2911
    },
    {
      "epoch": 0.25884444444444443,
      "grad_norm": 1.5666687488555908,
      "learning_rate": 3.7062222222222224e-05,
      "loss": 1.6201,
      "step": 2912
    },
    {
      "epoch": 0.25893333333333335,
      "grad_norm": 1.5892665386199951,
      "learning_rate": 3.705777777777778e-05,
      "loss": 1.7436,
      "step": 2913
    },
    {
      "epoch": 0.2590222222222222,
      "grad_norm": 2.105832099914551,
      "learning_rate": 3.705333333333333e-05,
      "loss": 1.6861,
      "step": 2914
    },
    {
      "epoch": 0.2591111111111111,
      "grad_norm": 1.8071680068969727,
      "learning_rate": 3.704888888888889e-05,
      "loss": 1.6622,
      "step": 2915
    },
    {
      "epoch": 0.2592,
      "grad_norm": 1.7108283042907715,
      "learning_rate": 3.704444444444445e-05,
      "loss": 1.5581,
      "step": 2916
    },
    {
      "epoch": 0.2592888888888889,
      "grad_norm": 1.7363698482513428,
      "learning_rate": 3.7040000000000005e-05,
      "loss": 1.7013,
      "step": 2917
    },
    {
      "epoch": 0.25937777777777776,
      "grad_norm": 1.5364022254943848,
      "learning_rate": 3.703555555555556e-05,
      "loss": 1.6474,
      "step": 2918
    },
    {
      "epoch": 0.2594666666666667,
      "grad_norm": 1.6956490278244019,
      "learning_rate": 3.7031111111111114e-05,
      "loss": 1.8026,
      "step": 2919
    },
    {
      "epoch": 0.25955555555555554,
      "grad_norm": 1.5376704931259155,
      "learning_rate": 3.702666666666667e-05,
      "loss": 1.5242,
      "step": 2920
    },
    {
      "epoch": 0.25964444444444446,
      "grad_norm": 2.555844783782959,
      "learning_rate": 3.7022222222222224e-05,
      "loss": 1.7111,
      "step": 2921
    },
    {
      "epoch": 0.2597333333333333,
      "grad_norm": 1.7599910497665405,
      "learning_rate": 3.701777777777778e-05,
      "loss": 1.8014,
      "step": 2922
    },
    {
      "epoch": 0.25982222222222223,
      "grad_norm": 1.9259496927261353,
      "learning_rate": 3.7013333333333334e-05,
      "loss": 1.5172,
      "step": 2923
    },
    {
      "epoch": 0.2599111111111111,
      "grad_norm": 1.6904751062393188,
      "learning_rate": 3.7008888888888895e-05,
      "loss": 1.7515,
      "step": 2924
    },
    {
      "epoch": 0.26,
      "grad_norm": 2.7028157711029053,
      "learning_rate": 3.700444444444445e-05,
      "loss": 1.8635,
      "step": 2925
    },
    {
      "epoch": 0.26008888888888887,
      "grad_norm": 1.816786289215088,
      "learning_rate": 3.7e-05,
      "loss": 1.8658,
      "step": 2926
    },
    {
      "epoch": 0.2601777777777778,
      "grad_norm": 2.199805498123169,
      "learning_rate": 3.699555555555555e-05,
      "loss": 1.6466,
      "step": 2927
    },
    {
      "epoch": 0.26026666666666665,
      "grad_norm": 1.915378451347351,
      "learning_rate": 3.6991111111111115e-05,
      "loss": 1.5407,
      "step": 2928
    },
    {
      "epoch": 0.26035555555555556,
      "grad_norm": 1.791115641593933,
      "learning_rate": 3.698666666666667e-05,
      "loss": 1.6159,
      "step": 2929
    },
    {
      "epoch": 0.2604444444444444,
      "grad_norm": 1.8306537866592407,
      "learning_rate": 3.6982222222222224e-05,
      "loss": 1.5757,
      "step": 2930
    },
    {
      "epoch": 0.26053333333333334,
      "grad_norm": 1.5965944528579712,
      "learning_rate": 3.697777777777778e-05,
      "loss": 1.5716,
      "step": 2931
    },
    {
      "epoch": 0.2606222222222222,
      "grad_norm": 2.2341299057006836,
      "learning_rate": 3.697333333333334e-05,
      "loss": 1.678,
      "step": 2932
    },
    {
      "epoch": 0.2607111111111111,
      "grad_norm": 1.5954804420471191,
      "learning_rate": 3.696888888888889e-05,
      "loss": 1.5034,
      "step": 2933
    },
    {
      "epoch": 0.2608,
      "grad_norm": 1.5802284479141235,
      "learning_rate": 3.6964444444444444e-05,
      "loss": 1.5869,
      "step": 2934
    },
    {
      "epoch": 0.2608888888888889,
      "grad_norm": 1.5723150968551636,
      "learning_rate": 3.696e-05,
      "loss": 1.5926,
      "step": 2935
    },
    {
      "epoch": 0.26097777777777775,
      "grad_norm": 2.5252315998077393,
      "learning_rate": 3.695555555555556e-05,
      "loss": 1.8061,
      "step": 2936
    },
    {
      "epoch": 0.26106666666666667,
      "grad_norm": 1.5509949922561646,
      "learning_rate": 3.6951111111111115e-05,
      "loss": 1.5147,
      "step": 2937
    },
    {
      "epoch": 0.26115555555555553,
      "grad_norm": 1.9911812543869019,
      "learning_rate": 3.694666666666667e-05,
      "loss": 1.6836,
      "step": 2938
    },
    {
      "epoch": 0.26124444444444445,
      "grad_norm": 1.8456242084503174,
      "learning_rate": 3.6942222222222225e-05,
      "loss": 1.8193,
      "step": 2939
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 1.9274736642837524,
      "learning_rate": 3.693777777777778e-05,
      "loss": 1.6853,
      "step": 2940
    },
    {
      "epoch": 0.2614222222222222,
      "grad_norm": 1.5892693996429443,
      "learning_rate": 3.6933333333333334e-05,
      "loss": 1.5748,
      "step": 2941
    },
    {
      "epoch": 0.26151111111111114,
      "grad_norm": 1.5794042348861694,
      "learning_rate": 3.692888888888889e-05,
      "loss": 1.6974,
      "step": 2942
    },
    {
      "epoch": 0.2616,
      "grad_norm": 2.1551053524017334,
      "learning_rate": 3.6924444444444444e-05,
      "loss": 1.843,
      "step": 2943
    },
    {
      "epoch": 0.2616888888888889,
      "grad_norm": 1.6717760562896729,
      "learning_rate": 3.692e-05,
      "loss": 1.8457,
      "step": 2944
    },
    {
      "epoch": 0.2617777777777778,
      "grad_norm": 1.7754640579223633,
      "learning_rate": 3.691555555555556e-05,
      "loss": 1.7137,
      "step": 2945
    },
    {
      "epoch": 0.2618666666666667,
      "grad_norm": 1.6741647720336914,
      "learning_rate": 3.6911111111111115e-05,
      "loss": 1.8107,
      "step": 2946
    },
    {
      "epoch": 0.26195555555555555,
      "grad_norm": 1.5140691995620728,
      "learning_rate": 3.690666666666667e-05,
      "loss": 1.6311,
      "step": 2947
    },
    {
      "epoch": 0.26204444444444447,
      "grad_norm": 1.7988107204437256,
      "learning_rate": 3.690222222222222e-05,
      "loss": 1.799,
      "step": 2948
    },
    {
      "epoch": 0.26213333333333333,
      "grad_norm": 1.8138010501861572,
      "learning_rate": 3.689777777777778e-05,
      "loss": 1.4562,
      "step": 2949
    },
    {
      "epoch": 0.26222222222222225,
      "grad_norm": 1.7031642198562622,
      "learning_rate": 3.6893333333333335e-05,
      "loss": 1.7586,
      "step": 2950
    },
    {
      "epoch": 0.2623111111111111,
      "grad_norm": 1.908899188041687,
      "learning_rate": 3.688888888888889e-05,
      "loss": 1.6918,
      "step": 2951
    },
    {
      "epoch": 0.2624,
      "grad_norm": 1.6885298490524292,
      "learning_rate": 3.6884444444444444e-05,
      "loss": 1.63,
      "step": 2952
    },
    {
      "epoch": 0.2624888888888889,
      "grad_norm": 1.779321551322937,
      "learning_rate": 3.6880000000000006e-05,
      "loss": 1.6976,
      "step": 2953
    },
    {
      "epoch": 0.2625777777777778,
      "grad_norm": 2.2148187160491943,
      "learning_rate": 3.687555555555556e-05,
      "loss": 1.8518,
      "step": 2954
    },
    {
      "epoch": 0.26266666666666666,
      "grad_norm": 1.7679955959320068,
      "learning_rate": 3.687111111111111e-05,
      "loss": 1.9891,
      "step": 2955
    },
    {
      "epoch": 0.2627555555555556,
      "grad_norm": 1.721396565437317,
      "learning_rate": 3.6866666666666664e-05,
      "loss": 1.7821,
      "step": 2956
    },
    {
      "epoch": 0.26284444444444444,
      "grad_norm": 1.9378058910369873,
      "learning_rate": 3.6862222222222225e-05,
      "loss": 1.8622,
      "step": 2957
    },
    {
      "epoch": 0.26293333333333335,
      "grad_norm": 1.9642530679702759,
      "learning_rate": 3.685777777777778e-05,
      "loss": 1.685,
      "step": 2958
    },
    {
      "epoch": 0.2630222222222222,
      "grad_norm": 1.5136946439743042,
      "learning_rate": 3.6853333333333335e-05,
      "loss": 1.673,
      "step": 2959
    },
    {
      "epoch": 0.26311111111111113,
      "grad_norm": 1.760534644126892,
      "learning_rate": 3.684888888888889e-05,
      "loss": 1.6172,
      "step": 2960
    },
    {
      "epoch": 0.2632,
      "grad_norm": 1.5924873352050781,
      "learning_rate": 3.6844444444444445e-05,
      "loss": 1.4564,
      "step": 2961
    },
    {
      "epoch": 0.2632888888888889,
      "grad_norm": 1.5297447443008423,
      "learning_rate": 3.684e-05,
      "loss": 1.4636,
      "step": 2962
    },
    {
      "epoch": 0.26337777777777777,
      "grad_norm": 1.7209001779556274,
      "learning_rate": 3.6835555555555554e-05,
      "loss": 1.7782,
      "step": 2963
    },
    {
      "epoch": 0.2634666666666667,
      "grad_norm": 1.7230380773544312,
      "learning_rate": 3.683111111111111e-05,
      "loss": 1.6422,
      "step": 2964
    },
    {
      "epoch": 0.26355555555555554,
      "grad_norm": 2.3577444553375244,
      "learning_rate": 3.682666666666667e-05,
      "loss": 1.5894,
      "step": 2965
    },
    {
      "epoch": 0.26364444444444446,
      "grad_norm": 1.525403380393982,
      "learning_rate": 3.6822222222222226e-05,
      "loss": 1.7058,
      "step": 2966
    },
    {
      "epoch": 0.2637333333333333,
      "grad_norm": 1.7990226745605469,
      "learning_rate": 3.681777777777778e-05,
      "loss": 1.581,
      "step": 2967
    },
    {
      "epoch": 0.26382222222222224,
      "grad_norm": 1.9751371145248413,
      "learning_rate": 3.6813333333333335e-05,
      "loss": 1.8036,
      "step": 2968
    },
    {
      "epoch": 0.2639111111111111,
      "grad_norm": 1.671974778175354,
      "learning_rate": 3.680888888888889e-05,
      "loss": 1.7757,
      "step": 2969
    },
    {
      "epoch": 0.264,
      "grad_norm": 1.5668238401412964,
      "learning_rate": 3.6804444444444445e-05,
      "loss": 1.5429,
      "step": 2970
    },
    {
      "epoch": 0.2640888888888889,
      "grad_norm": 1.6893483400344849,
      "learning_rate": 3.68e-05,
      "loss": 1.6897,
      "step": 2971
    },
    {
      "epoch": 0.2641777777777778,
      "grad_norm": 1.7846952676773071,
      "learning_rate": 3.6795555555555555e-05,
      "loss": 1.8167,
      "step": 2972
    },
    {
      "epoch": 0.26426666666666665,
      "grad_norm": 1.5427371263504028,
      "learning_rate": 3.6791111111111116e-05,
      "loss": 1.5191,
      "step": 2973
    },
    {
      "epoch": 0.26435555555555557,
      "grad_norm": 1.6964383125305176,
      "learning_rate": 3.678666666666667e-05,
      "loss": 1.9414,
      "step": 2974
    },
    {
      "epoch": 0.2644444444444444,
      "grad_norm": 1.5242656469345093,
      "learning_rate": 3.6782222222222226e-05,
      "loss": 1.4022,
      "step": 2975
    },
    {
      "epoch": 0.26453333333333334,
      "grad_norm": 1.8551288843154907,
      "learning_rate": 3.677777777777778e-05,
      "loss": 1.6782,
      "step": 2976
    },
    {
      "epoch": 0.2646222222222222,
      "grad_norm": 2.5795345306396484,
      "learning_rate": 3.6773333333333336e-05,
      "loss": 1.7843,
      "step": 2977
    },
    {
      "epoch": 0.2647111111111111,
      "grad_norm": 1.5929462909698486,
      "learning_rate": 3.676888888888889e-05,
      "loss": 1.5951,
      "step": 2978
    },
    {
      "epoch": 0.2648,
      "grad_norm": 1.777002215385437,
      "learning_rate": 3.6764444444444446e-05,
      "loss": 1.8327,
      "step": 2979
    },
    {
      "epoch": 0.2648888888888889,
      "grad_norm": 1.8810372352600098,
      "learning_rate": 3.676e-05,
      "loss": 1.7005,
      "step": 2980
    },
    {
      "epoch": 0.26497777777777776,
      "grad_norm": 1.4584752321243286,
      "learning_rate": 3.675555555555556e-05,
      "loss": 1.516,
      "step": 2981
    },
    {
      "epoch": 0.2650666666666667,
      "grad_norm": 1.6698347330093384,
      "learning_rate": 3.675111111111112e-05,
      "loss": 1.6403,
      "step": 2982
    },
    {
      "epoch": 0.26515555555555553,
      "grad_norm": 1.4792604446411133,
      "learning_rate": 3.6746666666666665e-05,
      "loss": 1.6308,
      "step": 2983
    },
    {
      "epoch": 0.26524444444444445,
      "grad_norm": 1.796318769454956,
      "learning_rate": 3.674222222222222e-05,
      "loss": 1.8963,
      "step": 2984
    },
    {
      "epoch": 0.2653333333333333,
      "grad_norm": 1.5500233173370361,
      "learning_rate": 3.673777777777778e-05,
      "loss": 1.7037,
      "step": 2985
    },
    {
      "epoch": 0.2654222222222222,
      "grad_norm": 1.8665101528167725,
      "learning_rate": 3.6733333333333336e-05,
      "loss": 1.8372,
      "step": 2986
    },
    {
      "epoch": 0.2655111111111111,
      "grad_norm": 1.745995283126831,
      "learning_rate": 3.672888888888889e-05,
      "loss": 1.7075,
      "step": 2987
    },
    {
      "epoch": 0.2656,
      "grad_norm": 1.6809196472167969,
      "learning_rate": 3.6724444444444446e-05,
      "loss": 1.7936,
      "step": 2988
    },
    {
      "epoch": 0.26568888888888886,
      "grad_norm": 1.8078118562698364,
      "learning_rate": 3.672000000000001e-05,
      "loss": 1.5772,
      "step": 2989
    },
    {
      "epoch": 0.2657777777777778,
      "grad_norm": 1.6048614978790283,
      "learning_rate": 3.6715555555555556e-05,
      "loss": 1.3114,
      "step": 2990
    },
    {
      "epoch": 0.26586666666666664,
      "grad_norm": 1.665120244026184,
      "learning_rate": 3.671111111111111e-05,
      "loss": 1.4595,
      "step": 2991
    },
    {
      "epoch": 0.26595555555555556,
      "grad_norm": 1.5676292181015015,
      "learning_rate": 3.6706666666666665e-05,
      "loss": 1.6333,
      "step": 2992
    },
    {
      "epoch": 0.2660444444444444,
      "grad_norm": 1.725341796875,
      "learning_rate": 3.670222222222223e-05,
      "loss": 1.6869,
      "step": 2993
    },
    {
      "epoch": 0.26613333333333333,
      "grad_norm": 1.9696707725524902,
      "learning_rate": 3.669777777777778e-05,
      "loss": 2.0072,
      "step": 2994
    },
    {
      "epoch": 0.26622222222222225,
      "grad_norm": 1.7396644353866577,
      "learning_rate": 3.669333333333334e-05,
      "loss": 1.5825,
      "step": 2995
    },
    {
      "epoch": 0.2663111111111111,
      "grad_norm": 1.5961196422576904,
      "learning_rate": 3.668888888888889e-05,
      "loss": 1.5217,
      "step": 2996
    },
    {
      "epoch": 0.2664,
      "grad_norm": 1.5840489864349365,
      "learning_rate": 3.6684444444444446e-05,
      "loss": 1.6338,
      "step": 2997
    },
    {
      "epoch": 0.2664888888888889,
      "grad_norm": 1.7331860065460205,
      "learning_rate": 3.668e-05,
      "loss": 1.7003,
      "step": 2998
    },
    {
      "epoch": 0.2665777777777778,
      "grad_norm": 1.7172828912734985,
      "learning_rate": 3.6675555555555556e-05,
      "loss": 1.6668,
      "step": 2999
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.3733457326889038,
      "learning_rate": 3.667111111111111e-05,
      "loss": 1.4919,
      "step": 3000
    },
    {
      "epoch": 0.2667555555555556,
      "grad_norm": 1.4995371103286743,
      "learning_rate": 3.6666666666666666e-05,
      "loss": 1.4435,
      "step": 3001
    },
    {
      "epoch": 0.26684444444444444,
      "grad_norm": 1.7401357889175415,
      "learning_rate": 3.666222222222223e-05,
      "loss": 1.8132,
      "step": 3002
    },
    {
      "epoch": 0.26693333333333336,
      "grad_norm": 1.8073912858963013,
      "learning_rate": 3.665777777777778e-05,
      "loss": 1.3571,
      "step": 3003
    },
    {
      "epoch": 0.2670222222222222,
      "grad_norm": 1.9727975130081177,
      "learning_rate": 3.665333333333334e-05,
      "loss": 1.7961,
      "step": 3004
    },
    {
      "epoch": 0.26711111111111113,
      "grad_norm": 1.606787919998169,
      "learning_rate": 3.6648888888888885e-05,
      "loss": 1.4307,
      "step": 3005
    },
    {
      "epoch": 0.2672,
      "grad_norm": 1.495844841003418,
      "learning_rate": 3.664444444444445e-05,
      "loss": 1.6385,
      "step": 3006
    },
    {
      "epoch": 0.2672888888888889,
      "grad_norm": 1.7905142307281494,
      "learning_rate": 3.664e-05,
      "loss": 1.6496,
      "step": 3007
    },
    {
      "epoch": 0.26737777777777777,
      "grad_norm": 1.7457741498947144,
      "learning_rate": 3.6635555555555556e-05,
      "loss": 1.5738,
      "step": 3008
    },
    {
      "epoch": 0.2674666666666667,
      "grad_norm": 1.9808043241500854,
      "learning_rate": 3.663111111111111e-05,
      "loss": 1.4873,
      "step": 3009
    },
    {
      "epoch": 0.26755555555555555,
      "grad_norm": 1.7434028387069702,
      "learning_rate": 3.662666666666667e-05,
      "loss": 1.6715,
      "step": 3010
    },
    {
      "epoch": 0.26764444444444446,
      "grad_norm": 1.4999569654464722,
      "learning_rate": 3.662222222222223e-05,
      "loss": 1.4166,
      "step": 3011
    },
    {
      "epoch": 0.2677333333333333,
      "grad_norm": 1.9531238079071045,
      "learning_rate": 3.6617777777777776e-05,
      "loss": 1.67,
      "step": 3012
    },
    {
      "epoch": 0.26782222222222224,
      "grad_norm": 1.635284423828125,
      "learning_rate": 3.661333333333333e-05,
      "loss": 1.7143,
      "step": 3013
    },
    {
      "epoch": 0.2679111111111111,
      "grad_norm": 1.6504822969436646,
      "learning_rate": 3.660888888888889e-05,
      "loss": 1.7002,
      "step": 3014
    },
    {
      "epoch": 0.268,
      "grad_norm": 1.8606294393539429,
      "learning_rate": 3.660444444444445e-05,
      "loss": 1.7522,
      "step": 3015
    },
    {
      "epoch": 0.2680888888888889,
      "grad_norm": 1.6485806703567505,
      "learning_rate": 3.66e-05,
      "loss": 1.7745,
      "step": 3016
    },
    {
      "epoch": 0.2681777777777778,
      "grad_norm": 1.5204640626907349,
      "learning_rate": 3.659555555555556e-05,
      "loss": 1.8677,
      "step": 3017
    },
    {
      "epoch": 0.26826666666666665,
      "grad_norm": 2.1533725261688232,
      "learning_rate": 3.659111111111111e-05,
      "loss": 1.7677,
      "step": 3018
    },
    {
      "epoch": 0.26835555555555557,
      "grad_norm": 1.6193660497665405,
      "learning_rate": 3.6586666666666666e-05,
      "loss": 1.6053,
      "step": 3019
    },
    {
      "epoch": 0.26844444444444443,
      "grad_norm": 2.17246150970459,
      "learning_rate": 3.658222222222222e-05,
      "loss": 1.4403,
      "step": 3020
    },
    {
      "epoch": 0.26853333333333335,
      "grad_norm": 2.6374685764312744,
      "learning_rate": 3.6577777777777776e-05,
      "loss": 1.7382,
      "step": 3021
    },
    {
      "epoch": 0.2686222222222222,
      "grad_norm": 1.65641188621521,
      "learning_rate": 3.657333333333334e-05,
      "loss": 1.6172,
      "step": 3022
    },
    {
      "epoch": 0.2687111111111111,
      "grad_norm": 1.8224048614501953,
      "learning_rate": 3.656888888888889e-05,
      "loss": 1.7269,
      "step": 3023
    },
    {
      "epoch": 0.2688,
      "grad_norm": 2.3085577487945557,
      "learning_rate": 3.656444444444445e-05,
      "loss": 1.555,
      "step": 3024
    },
    {
      "epoch": 0.2688888888888889,
      "grad_norm": 2.0601298809051514,
      "learning_rate": 3.656e-05,
      "loss": 1.7021,
      "step": 3025
    },
    {
      "epoch": 0.26897777777777776,
      "grad_norm": 1.7551803588867188,
      "learning_rate": 3.655555555555556e-05,
      "loss": 1.7531,
      "step": 3026
    },
    {
      "epoch": 0.2690666666666667,
      "grad_norm": 1.6127463579177856,
      "learning_rate": 3.655111111111111e-05,
      "loss": 1.4585,
      "step": 3027
    },
    {
      "epoch": 0.26915555555555554,
      "grad_norm": 1.607980489730835,
      "learning_rate": 3.654666666666667e-05,
      "loss": 1.7651,
      "step": 3028
    },
    {
      "epoch": 0.26924444444444445,
      "grad_norm": 1.5261791944503784,
      "learning_rate": 3.654222222222222e-05,
      "loss": 1.7206,
      "step": 3029
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 1.855391502380371,
      "learning_rate": 3.653777777777778e-05,
      "loss": 1.6861,
      "step": 3030
    },
    {
      "epoch": 0.26942222222222223,
      "grad_norm": 1.822925329208374,
      "learning_rate": 3.653333333333334e-05,
      "loss": 1.7574,
      "step": 3031
    },
    {
      "epoch": 0.2695111111111111,
      "grad_norm": 1.6244317293167114,
      "learning_rate": 3.652888888888889e-05,
      "loss": 1.5658,
      "step": 3032
    },
    {
      "epoch": 0.2696,
      "grad_norm": 1.6019424200057983,
      "learning_rate": 3.652444444444444e-05,
      "loss": 1.6428,
      "step": 3033
    },
    {
      "epoch": 0.26968888888888887,
      "grad_norm": 1.8484489917755127,
      "learning_rate": 3.652e-05,
      "loss": 1.7502,
      "step": 3034
    },
    {
      "epoch": 0.2697777777777778,
      "grad_norm": 1.652775526046753,
      "learning_rate": 3.651555555555556e-05,
      "loss": 1.546,
      "step": 3035
    },
    {
      "epoch": 0.26986666666666664,
      "grad_norm": 1.4201723337173462,
      "learning_rate": 3.651111111111111e-05,
      "loss": 1.468,
      "step": 3036
    },
    {
      "epoch": 0.26995555555555556,
      "grad_norm": 1.770393967628479,
      "learning_rate": 3.650666666666667e-05,
      "loss": 1.8879,
      "step": 3037
    },
    {
      "epoch": 0.2700444444444444,
      "grad_norm": 2.036731243133545,
      "learning_rate": 3.650222222222223e-05,
      "loss": 1.8718,
      "step": 3038
    },
    {
      "epoch": 0.27013333333333334,
      "grad_norm": 1.9599298238754272,
      "learning_rate": 3.6497777777777784e-05,
      "loss": 1.5072,
      "step": 3039
    },
    {
      "epoch": 0.2702222222222222,
      "grad_norm": 1.5098559856414795,
      "learning_rate": 3.649333333333333e-05,
      "loss": 1.7127,
      "step": 3040
    },
    {
      "epoch": 0.2703111111111111,
      "grad_norm": 1.6955864429473877,
      "learning_rate": 3.648888888888889e-05,
      "loss": 1.4396,
      "step": 3041
    },
    {
      "epoch": 0.2704,
      "grad_norm": 1.5016319751739502,
      "learning_rate": 3.648444444444445e-05,
      "loss": 1.3135,
      "step": 3042
    },
    {
      "epoch": 0.2704888888888889,
      "grad_norm": 1.4361851215362549,
      "learning_rate": 3.648e-05,
      "loss": 1.4703,
      "step": 3043
    },
    {
      "epoch": 0.27057777777777775,
      "grad_norm": 1.8448911905288696,
      "learning_rate": 3.647555555555556e-05,
      "loss": 1.752,
      "step": 3044
    },
    {
      "epoch": 0.27066666666666667,
      "grad_norm": 1.8054207563400269,
      "learning_rate": 3.647111111111111e-05,
      "loss": 1.5756,
      "step": 3045
    },
    {
      "epoch": 0.2707555555555556,
      "grad_norm": 1.6293989419937134,
      "learning_rate": 3.646666666666667e-05,
      "loss": 1.6302,
      "step": 3046
    },
    {
      "epoch": 0.27084444444444444,
      "grad_norm": 2.769659996032715,
      "learning_rate": 3.646222222222222e-05,
      "loss": 1.586,
      "step": 3047
    },
    {
      "epoch": 0.27093333333333336,
      "grad_norm": 1.5522061586380005,
      "learning_rate": 3.645777777777778e-05,
      "loss": 1.6545,
      "step": 3048
    },
    {
      "epoch": 0.2710222222222222,
      "grad_norm": 1.4933170080184937,
      "learning_rate": 3.645333333333333e-05,
      "loss": 1.4894,
      "step": 3049
    },
    {
      "epoch": 0.27111111111111114,
      "grad_norm": 1.5601884126663208,
      "learning_rate": 3.644888888888889e-05,
      "loss": 1.6957,
      "step": 3050
    },
    {
      "epoch": 0.2712,
      "grad_norm": 1.850358486175537,
      "learning_rate": 3.644444444444445e-05,
      "loss": 1.7539,
      "step": 3051
    },
    {
      "epoch": 0.2712888888888889,
      "grad_norm": 1.6552034616470337,
      "learning_rate": 3.6440000000000003e-05,
      "loss": 1.3275,
      "step": 3052
    },
    {
      "epoch": 0.2713777777777778,
      "grad_norm": 1.6574594974517822,
      "learning_rate": 3.643555555555556e-05,
      "loss": 1.6067,
      "step": 3053
    },
    {
      "epoch": 0.2714666666666667,
      "grad_norm": 1.5536199808120728,
      "learning_rate": 3.643111111111111e-05,
      "loss": 1.5481,
      "step": 3054
    },
    {
      "epoch": 0.27155555555555555,
      "grad_norm": 1.6618605852127075,
      "learning_rate": 3.642666666666667e-05,
      "loss": 1.6041,
      "step": 3055
    },
    {
      "epoch": 0.27164444444444447,
      "grad_norm": 2.260711908340454,
      "learning_rate": 3.642222222222222e-05,
      "loss": 1.4983,
      "step": 3056
    },
    {
      "epoch": 0.2717333333333333,
      "grad_norm": 1.6917341947555542,
      "learning_rate": 3.641777777777778e-05,
      "loss": 1.5992,
      "step": 3057
    },
    {
      "epoch": 0.27182222222222224,
      "grad_norm": 1.6991890668869019,
      "learning_rate": 3.641333333333333e-05,
      "loss": 1.6579,
      "step": 3058
    },
    {
      "epoch": 0.2719111111111111,
      "grad_norm": 1.612683892250061,
      "learning_rate": 3.6408888888888894e-05,
      "loss": 1.6894,
      "step": 3059
    },
    {
      "epoch": 0.272,
      "grad_norm": 2.238382339477539,
      "learning_rate": 3.640444444444445e-05,
      "loss": 1.5535,
      "step": 3060
    },
    {
      "epoch": 0.2720888888888889,
      "grad_norm": 1.6370048522949219,
      "learning_rate": 3.6400000000000004e-05,
      "loss": 1.7305,
      "step": 3061
    },
    {
      "epoch": 0.2721777777777778,
      "grad_norm": 1.4810079336166382,
      "learning_rate": 3.639555555555555e-05,
      "loss": 1.7844,
      "step": 3062
    },
    {
      "epoch": 0.27226666666666666,
      "grad_norm": 1.441293478012085,
      "learning_rate": 3.6391111111111114e-05,
      "loss": 1.6446,
      "step": 3063
    },
    {
      "epoch": 0.2723555555555556,
      "grad_norm": 1.5993579626083374,
      "learning_rate": 3.638666666666667e-05,
      "loss": 1.6691,
      "step": 3064
    },
    {
      "epoch": 0.27244444444444443,
      "grad_norm": 1.5363097190856934,
      "learning_rate": 3.638222222222222e-05,
      "loss": 1.7271,
      "step": 3065
    },
    {
      "epoch": 0.27253333333333335,
      "grad_norm": 1.373773455619812,
      "learning_rate": 3.637777777777778e-05,
      "loss": 1.5967,
      "step": 3066
    },
    {
      "epoch": 0.2726222222222222,
      "grad_norm": 1.7787315845489502,
      "learning_rate": 3.637333333333334e-05,
      "loss": 1.5818,
      "step": 3067
    },
    {
      "epoch": 0.2727111111111111,
      "grad_norm": 1.7619608640670776,
      "learning_rate": 3.6368888888888895e-05,
      "loss": 1.624,
      "step": 3068
    },
    {
      "epoch": 0.2728,
      "grad_norm": 1.706911563873291,
      "learning_rate": 3.636444444444444e-05,
      "loss": 1.6084,
      "step": 3069
    },
    {
      "epoch": 0.2728888888888889,
      "grad_norm": 1.7678102254867554,
      "learning_rate": 3.636e-05,
      "loss": 1.6983,
      "step": 3070
    },
    {
      "epoch": 0.27297777777777776,
      "grad_norm": 2.03617787361145,
      "learning_rate": 3.635555555555556e-05,
      "loss": 1.4474,
      "step": 3071
    },
    {
      "epoch": 0.2730666666666667,
      "grad_norm": 1.6505210399627686,
      "learning_rate": 3.6351111111111114e-05,
      "loss": 1.6182,
      "step": 3072
    },
    {
      "epoch": 0.27315555555555554,
      "grad_norm": 2.0887136459350586,
      "learning_rate": 3.634666666666667e-05,
      "loss": 1.7114,
      "step": 3073
    },
    {
      "epoch": 0.27324444444444446,
      "grad_norm": 1.648205041885376,
      "learning_rate": 3.6342222222222224e-05,
      "loss": 1.6308,
      "step": 3074
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 1.6430885791778564,
      "learning_rate": 3.633777777777778e-05,
      "loss": 1.6663,
      "step": 3075
    },
    {
      "epoch": 0.27342222222222223,
      "grad_norm": 1.5446250438690186,
      "learning_rate": 3.633333333333333e-05,
      "loss": 1.4756,
      "step": 3076
    },
    {
      "epoch": 0.2735111111111111,
      "grad_norm": 1.4001680612564087,
      "learning_rate": 3.632888888888889e-05,
      "loss": 1.3133,
      "step": 3077
    },
    {
      "epoch": 0.2736,
      "grad_norm": 1.624970555305481,
      "learning_rate": 3.632444444444444e-05,
      "loss": 1.7118,
      "step": 3078
    },
    {
      "epoch": 0.27368888888888887,
      "grad_norm": 1.5629650354385376,
      "learning_rate": 3.6320000000000005e-05,
      "loss": 1.5656,
      "step": 3079
    },
    {
      "epoch": 0.2737777777777778,
      "grad_norm": 1.6359970569610596,
      "learning_rate": 3.631555555555556e-05,
      "loss": 1.6161,
      "step": 3080
    },
    {
      "epoch": 0.27386666666666665,
      "grad_norm": 1.8043564558029175,
      "learning_rate": 3.6311111111111114e-05,
      "loss": 1.7946,
      "step": 3081
    },
    {
      "epoch": 0.27395555555555556,
      "grad_norm": 1.5555689334869385,
      "learning_rate": 3.630666666666667e-05,
      "loss": 1.6478,
      "step": 3082
    },
    {
      "epoch": 0.2740444444444444,
      "grad_norm": 1.8408557176589966,
      "learning_rate": 3.6302222222222224e-05,
      "loss": 1.544,
      "step": 3083
    },
    {
      "epoch": 0.27413333333333334,
      "grad_norm": 1.7379038333892822,
      "learning_rate": 3.629777777777778e-05,
      "loss": 1.6436,
      "step": 3084
    },
    {
      "epoch": 0.2742222222222222,
      "grad_norm": 1.7432273626327515,
      "learning_rate": 3.6293333333333334e-05,
      "loss": 1.4862,
      "step": 3085
    },
    {
      "epoch": 0.2743111111111111,
      "grad_norm": 1.6795047521591187,
      "learning_rate": 3.628888888888889e-05,
      "loss": 1.6954,
      "step": 3086
    },
    {
      "epoch": 0.2744,
      "grad_norm": 1.609647274017334,
      "learning_rate": 3.628444444444445e-05,
      "loss": 1.405,
      "step": 3087
    },
    {
      "epoch": 0.2744888888888889,
      "grad_norm": 1.610586166381836,
      "learning_rate": 3.6280000000000005e-05,
      "loss": 1.4781,
      "step": 3088
    },
    {
      "epoch": 0.27457777777777775,
      "grad_norm": 1.6475305557250977,
      "learning_rate": 3.627555555555556e-05,
      "loss": 1.6777,
      "step": 3089
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 1.6880394220352173,
      "learning_rate": 3.627111111111111e-05,
      "loss": 1.7335,
      "step": 3090
    },
    {
      "epoch": 0.27475555555555553,
      "grad_norm": 1.904028058052063,
      "learning_rate": 3.626666666666667e-05,
      "loss": 1.8704,
      "step": 3091
    },
    {
      "epoch": 0.27484444444444445,
      "grad_norm": 1.5976860523223877,
      "learning_rate": 3.6262222222222224e-05,
      "loss": 1.7541,
      "step": 3092
    },
    {
      "epoch": 0.2749333333333333,
      "grad_norm": 2.0955393314361572,
      "learning_rate": 3.625777777777778e-05,
      "loss": 1.6043,
      "step": 3093
    },
    {
      "epoch": 0.2750222222222222,
      "grad_norm": 1.804657220840454,
      "learning_rate": 3.6253333333333334e-05,
      "loss": 1.744,
      "step": 3094
    },
    {
      "epoch": 0.2751111111111111,
      "grad_norm": 1.7145941257476807,
      "learning_rate": 3.6248888888888896e-05,
      "loss": 1.7617,
      "step": 3095
    },
    {
      "epoch": 0.2752,
      "grad_norm": 1.9407641887664795,
      "learning_rate": 3.624444444444445e-05,
      "loss": 1.7696,
      "step": 3096
    },
    {
      "epoch": 0.2752888888888889,
      "grad_norm": 1.827390432357788,
      "learning_rate": 3.624e-05,
      "loss": 1.7671,
      "step": 3097
    },
    {
      "epoch": 0.2753777777777778,
      "grad_norm": 1.422584056854248,
      "learning_rate": 3.6235555555555553e-05,
      "loss": 1.4951,
      "step": 3098
    },
    {
      "epoch": 0.2754666666666667,
      "grad_norm": 1.9744631052017212,
      "learning_rate": 3.623111111111111e-05,
      "loss": 1.8915,
      "step": 3099
    },
    {
      "epoch": 0.27555555555555555,
      "grad_norm": 1.6441792249679565,
      "learning_rate": 3.622666666666667e-05,
      "loss": 1.6833,
      "step": 3100
    },
    {
      "epoch": 0.27564444444444447,
      "grad_norm": 1.537943959236145,
      "learning_rate": 3.6222222222222225e-05,
      "loss": 1.6338,
      "step": 3101
    },
    {
      "epoch": 0.27573333333333333,
      "grad_norm": 1.7064208984375,
      "learning_rate": 3.621777777777778e-05,
      "loss": 1.7565,
      "step": 3102
    },
    {
      "epoch": 0.27582222222222225,
      "grad_norm": 1.6944894790649414,
      "learning_rate": 3.6213333333333334e-05,
      "loss": 1.531,
      "step": 3103
    },
    {
      "epoch": 0.2759111111111111,
      "grad_norm": 1.581148624420166,
      "learning_rate": 3.620888888888889e-05,
      "loss": 1.5426,
      "step": 3104
    },
    {
      "epoch": 0.276,
      "grad_norm": 1.5907552242279053,
      "learning_rate": 3.6204444444444444e-05,
      "loss": 1.5836,
      "step": 3105
    },
    {
      "epoch": 0.2760888888888889,
      "grad_norm": 1.5181217193603516,
      "learning_rate": 3.62e-05,
      "loss": 1.6401,
      "step": 3106
    },
    {
      "epoch": 0.2761777777777778,
      "grad_norm": 1.99476957321167,
      "learning_rate": 3.6195555555555554e-05,
      "loss": 1.7917,
      "step": 3107
    },
    {
      "epoch": 0.27626666666666666,
      "grad_norm": 2.0591371059417725,
      "learning_rate": 3.6191111111111115e-05,
      "loss": 1.642,
      "step": 3108
    },
    {
      "epoch": 0.2763555555555556,
      "grad_norm": 1.7623616456985474,
      "learning_rate": 3.618666666666667e-05,
      "loss": 1.5906,
      "step": 3109
    },
    {
      "epoch": 0.27644444444444444,
      "grad_norm": 1.9023815393447876,
      "learning_rate": 3.6182222222222225e-05,
      "loss": 1.6769,
      "step": 3110
    },
    {
      "epoch": 0.27653333333333335,
      "grad_norm": 1.584871530532837,
      "learning_rate": 3.617777777777778e-05,
      "loss": 1.613,
      "step": 3111
    },
    {
      "epoch": 0.2766222222222222,
      "grad_norm": 1.883360505104065,
      "learning_rate": 3.6173333333333335e-05,
      "loss": 1.582,
      "step": 3112
    },
    {
      "epoch": 0.27671111111111113,
      "grad_norm": 1.8390456438064575,
      "learning_rate": 3.616888888888889e-05,
      "loss": 1.7639,
      "step": 3113
    },
    {
      "epoch": 0.2768,
      "grad_norm": 1.4772289991378784,
      "learning_rate": 3.6164444444444445e-05,
      "loss": 1.5585,
      "step": 3114
    },
    {
      "epoch": 0.2768888888888889,
      "grad_norm": 2.03546142578125,
      "learning_rate": 3.616e-05,
      "loss": 1.3759,
      "step": 3115
    },
    {
      "epoch": 0.27697777777777777,
      "grad_norm": 1.8080400228500366,
      "learning_rate": 3.615555555555556e-05,
      "loss": 1.657,
      "step": 3116
    },
    {
      "epoch": 0.2770666666666667,
      "grad_norm": 1.8049020767211914,
      "learning_rate": 3.6151111111111116e-05,
      "loss": 1.5266,
      "step": 3117
    },
    {
      "epoch": 0.27715555555555554,
      "grad_norm": 1.5493876934051514,
      "learning_rate": 3.614666666666667e-05,
      "loss": 1.7018,
      "step": 3118
    },
    {
      "epoch": 0.27724444444444446,
      "grad_norm": 1.7547276020050049,
      "learning_rate": 3.614222222222222e-05,
      "loss": 1.6439,
      "step": 3119
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 1.9297860860824585,
      "learning_rate": 3.613777777777778e-05,
      "loss": 1.7343,
      "step": 3120
    },
    {
      "epoch": 0.27742222222222224,
      "grad_norm": 1.6489061117172241,
      "learning_rate": 3.6133333333333335e-05,
      "loss": 1.4765,
      "step": 3121
    },
    {
      "epoch": 0.2775111111111111,
      "grad_norm": 2.1954236030578613,
      "learning_rate": 3.612888888888889e-05,
      "loss": 2.147,
      "step": 3122
    },
    {
      "epoch": 0.2776,
      "grad_norm": 1.6000899076461792,
      "learning_rate": 3.6124444444444445e-05,
      "loss": 1.6309,
      "step": 3123
    },
    {
      "epoch": 0.2776888888888889,
      "grad_norm": 1.740031361579895,
      "learning_rate": 3.6120000000000007e-05,
      "loss": 1.5708,
      "step": 3124
    },
    {
      "epoch": 0.2777777777777778,
      "grad_norm": 2.3029630184173584,
      "learning_rate": 3.611555555555556e-05,
      "loss": 1.8328,
      "step": 3125
    },
    {
      "epoch": 0.27786666666666665,
      "grad_norm": 1.7165712118148804,
      "learning_rate": 3.611111111111111e-05,
      "loss": 1.6266,
      "step": 3126
    },
    {
      "epoch": 0.27795555555555557,
      "grad_norm": 1.7222929000854492,
      "learning_rate": 3.6106666666666664e-05,
      "loss": 1.6772,
      "step": 3127
    },
    {
      "epoch": 0.2780444444444444,
      "grad_norm": 2.5487003326416016,
      "learning_rate": 3.6102222222222226e-05,
      "loss": 1.7805,
      "step": 3128
    },
    {
      "epoch": 0.27813333333333334,
      "grad_norm": 1.7384873628616333,
      "learning_rate": 3.609777777777778e-05,
      "loss": 2.0041,
      "step": 3129
    },
    {
      "epoch": 0.2782222222222222,
      "grad_norm": 2.1226108074188232,
      "learning_rate": 3.6093333333333336e-05,
      "loss": 1.7596,
      "step": 3130
    },
    {
      "epoch": 0.2783111111111111,
      "grad_norm": 1.5962839126586914,
      "learning_rate": 3.608888888888889e-05,
      "loss": 1.8264,
      "step": 3131
    },
    {
      "epoch": 0.2784,
      "grad_norm": 1.787829041481018,
      "learning_rate": 3.6084444444444445e-05,
      "loss": 1.6556,
      "step": 3132
    },
    {
      "epoch": 0.2784888888888889,
      "grad_norm": 2.0958900451660156,
      "learning_rate": 3.608e-05,
      "loss": 1.631,
      "step": 3133
    },
    {
      "epoch": 0.27857777777777776,
      "grad_norm": 1.7218270301818848,
      "learning_rate": 3.6075555555555555e-05,
      "loss": 1.4632,
      "step": 3134
    },
    {
      "epoch": 0.2786666666666667,
      "grad_norm": 1.8193166255950928,
      "learning_rate": 3.607111111111111e-05,
      "loss": 1.7338,
      "step": 3135
    },
    {
      "epoch": 0.27875555555555553,
      "grad_norm": 1.895216703414917,
      "learning_rate": 3.606666666666667e-05,
      "loss": 1.7142,
      "step": 3136
    },
    {
      "epoch": 0.27884444444444445,
      "grad_norm": 2.0838241577148438,
      "learning_rate": 3.6062222222222226e-05,
      "loss": 1.677,
      "step": 3137
    },
    {
      "epoch": 0.2789333333333333,
      "grad_norm": 1.4211106300354004,
      "learning_rate": 3.605777777777778e-05,
      "loss": 1.4322,
      "step": 3138
    },
    {
      "epoch": 0.2790222222222222,
      "grad_norm": 1.889918565750122,
      "learning_rate": 3.6053333333333336e-05,
      "loss": 1.7278,
      "step": 3139
    },
    {
      "epoch": 0.2791111111111111,
      "grad_norm": 3.5410008430480957,
      "learning_rate": 3.604888888888889e-05,
      "loss": 2.0111,
      "step": 3140
    },
    {
      "epoch": 0.2792,
      "grad_norm": 1.4041590690612793,
      "learning_rate": 3.6044444444444446e-05,
      "loss": 1.6804,
      "step": 3141
    },
    {
      "epoch": 0.27928888888888886,
      "grad_norm": 2.0068044662475586,
      "learning_rate": 3.604e-05,
      "loss": 1.6297,
      "step": 3142
    },
    {
      "epoch": 0.2793777777777778,
      "grad_norm": 1.3307029008865356,
      "learning_rate": 3.6035555555555555e-05,
      "loss": 1.2921,
      "step": 3143
    },
    {
      "epoch": 0.27946666666666664,
      "grad_norm": 1.6287682056427002,
      "learning_rate": 3.603111111111112e-05,
      "loss": 1.5802,
      "step": 3144
    },
    {
      "epoch": 0.27955555555555556,
      "grad_norm": 1.8368184566497803,
      "learning_rate": 3.602666666666667e-05,
      "loss": 1.8341,
      "step": 3145
    },
    {
      "epoch": 0.2796444444444444,
      "grad_norm": 9.0264310836792,
      "learning_rate": 3.602222222222223e-05,
      "loss": 1.8904,
      "step": 3146
    },
    {
      "epoch": 0.27973333333333333,
      "grad_norm": 2.452064037322998,
      "learning_rate": 3.6017777777777775e-05,
      "loss": 1.9326,
      "step": 3147
    },
    {
      "epoch": 0.27982222222222225,
      "grad_norm": 1.7498077154159546,
      "learning_rate": 3.6013333333333336e-05,
      "loss": 1.7337,
      "step": 3148
    },
    {
      "epoch": 0.2799111111111111,
      "grad_norm": 1.826662302017212,
      "learning_rate": 3.600888888888889e-05,
      "loss": 1.5791,
      "step": 3149
    },
    {
      "epoch": 0.28,
      "grad_norm": 2.219086170196533,
      "learning_rate": 3.6004444444444446e-05,
      "loss": 1.7385,
      "step": 3150
    },
    {
      "epoch": 0.2800888888888889,
      "grad_norm": 1.7032263278961182,
      "learning_rate": 3.6e-05,
      "loss": 1.7141,
      "step": 3151
    },
    {
      "epoch": 0.2801777777777778,
      "grad_norm": 1.7878843545913696,
      "learning_rate": 3.5995555555555556e-05,
      "loss": 1.6232,
      "step": 3152
    },
    {
      "epoch": 0.28026666666666666,
      "grad_norm": 2.4266505241394043,
      "learning_rate": 3.599111111111112e-05,
      "loss": 1.5994,
      "step": 3153
    },
    {
      "epoch": 0.2803555555555556,
      "grad_norm": 1.6021146774291992,
      "learning_rate": 3.5986666666666665e-05,
      "loss": 1.692,
      "step": 3154
    },
    {
      "epoch": 0.28044444444444444,
      "grad_norm": 1.5797821283340454,
      "learning_rate": 3.598222222222222e-05,
      "loss": 1.7233,
      "step": 3155
    },
    {
      "epoch": 0.28053333333333336,
      "grad_norm": 1.8529807329177856,
      "learning_rate": 3.5977777777777775e-05,
      "loss": 1.563,
      "step": 3156
    },
    {
      "epoch": 0.2806222222222222,
      "grad_norm": 1.57045578956604,
      "learning_rate": 3.597333333333334e-05,
      "loss": 1.5196,
      "step": 3157
    },
    {
      "epoch": 0.28071111111111113,
      "grad_norm": 1.6024504899978638,
      "learning_rate": 3.596888888888889e-05,
      "loss": 1.7189,
      "step": 3158
    },
    {
      "epoch": 0.2808,
      "grad_norm": 1.7472822666168213,
      "learning_rate": 3.5964444444444446e-05,
      "loss": 1.7096,
      "step": 3159
    },
    {
      "epoch": 0.2808888888888889,
      "grad_norm": 1.9210160970687866,
      "learning_rate": 3.596e-05,
      "loss": 1.7624,
      "step": 3160
    },
    {
      "epoch": 0.28097777777777777,
      "grad_norm": 1.6469910144805908,
      "learning_rate": 3.5955555555555556e-05,
      "loss": 1.758,
      "step": 3161
    },
    {
      "epoch": 0.2810666666666667,
      "grad_norm": 1.7371766567230225,
      "learning_rate": 3.595111111111111e-05,
      "loss": 1.6089,
      "step": 3162
    },
    {
      "epoch": 0.28115555555555555,
      "grad_norm": 1.6063592433929443,
      "learning_rate": 3.5946666666666666e-05,
      "loss": 1.5839,
      "step": 3163
    },
    {
      "epoch": 0.28124444444444446,
      "grad_norm": 1.647121787071228,
      "learning_rate": 3.594222222222222e-05,
      "loss": 1.6999,
      "step": 3164
    },
    {
      "epoch": 0.2813333333333333,
      "grad_norm": 1.7052801847457886,
      "learning_rate": 3.593777777777778e-05,
      "loss": 1.7532,
      "step": 3165
    },
    {
      "epoch": 0.28142222222222224,
      "grad_norm": 1.642006278038025,
      "learning_rate": 3.593333333333334e-05,
      "loss": 1.6891,
      "step": 3166
    },
    {
      "epoch": 0.2815111111111111,
      "grad_norm": 1.6821709871292114,
      "learning_rate": 3.592888888888889e-05,
      "loss": 1.6019,
      "step": 3167
    },
    {
      "epoch": 0.2816,
      "grad_norm": 1.4930665493011475,
      "learning_rate": 3.592444444444445e-05,
      "loss": 1.4883,
      "step": 3168
    },
    {
      "epoch": 0.2816888888888889,
      "grad_norm": 1.6494876146316528,
      "learning_rate": 3.592e-05,
      "loss": 1.5502,
      "step": 3169
    },
    {
      "epoch": 0.2817777777777778,
      "grad_norm": 1.8019047975540161,
      "learning_rate": 3.5915555555555557e-05,
      "loss": 1.5135,
      "step": 3170
    },
    {
      "epoch": 0.28186666666666665,
      "grad_norm": 1.6017706394195557,
      "learning_rate": 3.591111111111111e-05,
      "loss": 1.6628,
      "step": 3171
    },
    {
      "epoch": 0.28195555555555557,
      "grad_norm": 1.8060163259506226,
      "learning_rate": 3.5906666666666666e-05,
      "loss": 1.6808,
      "step": 3172
    },
    {
      "epoch": 0.28204444444444443,
      "grad_norm": 1.7191375494003296,
      "learning_rate": 3.590222222222223e-05,
      "loss": 1.7287,
      "step": 3173
    },
    {
      "epoch": 0.28213333333333335,
      "grad_norm": 1.459467887878418,
      "learning_rate": 3.589777777777778e-05,
      "loss": 1.5672,
      "step": 3174
    },
    {
      "epoch": 0.2822222222222222,
      "grad_norm": 1.8657763004302979,
      "learning_rate": 3.589333333333334e-05,
      "loss": 1.5907,
      "step": 3175
    },
    {
      "epoch": 0.2823111111111111,
      "grad_norm": 1.8574467897415161,
      "learning_rate": 3.5888888888888886e-05,
      "loss": 1.9456,
      "step": 3176
    },
    {
      "epoch": 0.2824,
      "grad_norm": 1.8597736358642578,
      "learning_rate": 3.588444444444445e-05,
      "loss": 1.8457,
      "step": 3177
    },
    {
      "epoch": 0.2824888888888889,
      "grad_norm": 1.7749336957931519,
      "learning_rate": 3.588e-05,
      "loss": 1.7908,
      "step": 3178
    },
    {
      "epoch": 0.28257777777777776,
      "grad_norm": 1.88409423828125,
      "learning_rate": 3.587555555555556e-05,
      "loss": 1.6205,
      "step": 3179
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 1.7384642362594604,
      "learning_rate": 3.587111111111111e-05,
      "loss": 1.6777,
      "step": 3180
    },
    {
      "epoch": 0.28275555555555554,
      "grad_norm": 1.68522310256958,
      "learning_rate": 3.586666666666667e-05,
      "loss": 1.7852,
      "step": 3181
    },
    {
      "epoch": 0.28284444444444445,
      "grad_norm": 1.5713125467300415,
      "learning_rate": 3.586222222222223e-05,
      "loss": 1.5475,
      "step": 3182
    },
    {
      "epoch": 0.2829333333333333,
      "grad_norm": 1.6566873788833618,
      "learning_rate": 3.5857777777777776e-05,
      "loss": 1.8288,
      "step": 3183
    },
    {
      "epoch": 0.28302222222222223,
      "grad_norm": 1.5975685119628906,
      "learning_rate": 3.585333333333333e-05,
      "loss": 1.5353,
      "step": 3184
    },
    {
      "epoch": 0.2831111111111111,
      "grad_norm": 1.835189938545227,
      "learning_rate": 3.584888888888889e-05,
      "loss": 1.6828,
      "step": 3185
    },
    {
      "epoch": 0.2832,
      "grad_norm": 1.7472953796386719,
      "learning_rate": 3.584444444444445e-05,
      "loss": 1.6523,
      "step": 3186
    },
    {
      "epoch": 0.28328888888888887,
      "grad_norm": 1.4771496057510376,
      "learning_rate": 3.584e-05,
      "loss": 1.5712,
      "step": 3187
    },
    {
      "epoch": 0.2833777777777778,
      "grad_norm": 1.6641197204589844,
      "learning_rate": 3.583555555555556e-05,
      "loss": 1.5483,
      "step": 3188
    },
    {
      "epoch": 0.28346666666666664,
      "grad_norm": 1.9126241207122803,
      "learning_rate": 3.583111111111111e-05,
      "loss": 1.689,
      "step": 3189
    },
    {
      "epoch": 0.28355555555555556,
      "grad_norm": 1.532585859298706,
      "learning_rate": 3.582666666666667e-05,
      "loss": 1.5309,
      "step": 3190
    },
    {
      "epoch": 0.2836444444444444,
      "grad_norm": 2.0593247413635254,
      "learning_rate": 3.582222222222222e-05,
      "loss": 1.75,
      "step": 3191
    },
    {
      "epoch": 0.28373333333333334,
      "grad_norm": 1.8666108846664429,
      "learning_rate": 3.581777777777778e-05,
      "loss": 1.7157,
      "step": 3192
    },
    {
      "epoch": 0.2838222222222222,
      "grad_norm": 1.6318694353103638,
      "learning_rate": 3.581333333333334e-05,
      "loss": 1.6423,
      "step": 3193
    },
    {
      "epoch": 0.2839111111111111,
      "grad_norm": 1.7216744422912598,
      "learning_rate": 3.580888888888889e-05,
      "loss": 1.842,
      "step": 3194
    },
    {
      "epoch": 0.284,
      "grad_norm": 1.8613425493240356,
      "learning_rate": 3.580444444444445e-05,
      "loss": 1.8209,
      "step": 3195
    },
    {
      "epoch": 0.2840888888888889,
      "grad_norm": 2.0607638359069824,
      "learning_rate": 3.58e-05,
      "loss": 1.6643,
      "step": 3196
    },
    {
      "epoch": 0.28417777777777775,
      "grad_norm": 1.7049041986465454,
      "learning_rate": 3.579555555555556e-05,
      "loss": 1.605,
      "step": 3197
    },
    {
      "epoch": 0.28426666666666667,
      "grad_norm": 1.5613974332809448,
      "learning_rate": 3.579111111111111e-05,
      "loss": 1.6413,
      "step": 3198
    },
    {
      "epoch": 0.28435555555555553,
      "grad_norm": 1.777225375175476,
      "learning_rate": 3.578666666666667e-05,
      "loss": 1.7085,
      "step": 3199
    },
    {
      "epoch": 0.28444444444444444,
      "grad_norm": 1.532502293586731,
      "learning_rate": 3.578222222222222e-05,
      "loss": 1.4352,
      "step": 3200
    },
    {
      "epoch": 0.28453333333333336,
      "grad_norm": 1.7716734409332275,
      "learning_rate": 3.577777777777778e-05,
      "loss": 1.4335,
      "step": 3201
    },
    {
      "epoch": 0.2846222222222222,
      "grad_norm": 1.8045142889022827,
      "learning_rate": 3.577333333333334e-05,
      "loss": 1.7392,
      "step": 3202
    },
    {
      "epoch": 0.28471111111111114,
      "grad_norm": 1.7209254503250122,
      "learning_rate": 3.5768888888888894e-05,
      "loss": 1.7416,
      "step": 3203
    },
    {
      "epoch": 0.2848,
      "grad_norm": 1.4251807928085327,
      "learning_rate": 3.576444444444444e-05,
      "loss": 1.4272,
      "step": 3204
    },
    {
      "epoch": 0.2848888888888889,
      "grad_norm": 1.7836463451385498,
      "learning_rate": 3.5759999999999996e-05,
      "loss": 1.6931,
      "step": 3205
    },
    {
      "epoch": 0.2849777777777778,
      "grad_norm": 2.2808852195739746,
      "learning_rate": 3.575555555555556e-05,
      "loss": 1.6833,
      "step": 3206
    },
    {
      "epoch": 0.2850666666666667,
      "grad_norm": 1.8098773956298828,
      "learning_rate": 3.575111111111111e-05,
      "loss": 1.7589,
      "step": 3207
    },
    {
      "epoch": 0.28515555555555555,
      "grad_norm": 1.6703130006790161,
      "learning_rate": 3.574666666666667e-05,
      "loss": 1.8444,
      "step": 3208
    },
    {
      "epoch": 0.28524444444444447,
      "grad_norm": 2.0026190280914307,
      "learning_rate": 3.574222222222222e-05,
      "loss": 1.7427,
      "step": 3209
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 2.0029008388519287,
      "learning_rate": 3.5737777777777784e-05,
      "loss": 1.9832,
      "step": 3210
    },
    {
      "epoch": 0.28542222222222224,
      "grad_norm": 1.5379663705825806,
      "learning_rate": 3.573333333333333e-05,
      "loss": 1.3748,
      "step": 3211
    },
    {
      "epoch": 0.2855111111111111,
      "grad_norm": 1.317828893661499,
      "learning_rate": 3.572888888888889e-05,
      "loss": 1.3815,
      "step": 3212
    },
    {
      "epoch": 0.2856,
      "grad_norm": 1.6653999090194702,
      "learning_rate": 3.572444444444444e-05,
      "loss": 1.7715,
      "step": 3213
    },
    {
      "epoch": 0.2856888888888889,
      "grad_norm": 1.5809284448623657,
      "learning_rate": 3.5720000000000004e-05,
      "loss": 1.5623,
      "step": 3214
    },
    {
      "epoch": 0.2857777777777778,
      "grad_norm": 1.5188487768173218,
      "learning_rate": 3.571555555555556e-05,
      "loss": 1.6474,
      "step": 3215
    },
    {
      "epoch": 0.28586666666666666,
      "grad_norm": 1.729618787765503,
      "learning_rate": 3.571111111111111e-05,
      "loss": 1.522,
      "step": 3216
    },
    {
      "epoch": 0.2859555555555556,
      "grad_norm": 1.886996865272522,
      "learning_rate": 3.570666666666667e-05,
      "loss": 1.7637,
      "step": 3217
    },
    {
      "epoch": 0.28604444444444443,
      "grad_norm": 2.0733039379119873,
      "learning_rate": 3.570222222222222e-05,
      "loss": 1.606,
      "step": 3218
    },
    {
      "epoch": 0.28613333333333335,
      "grad_norm": 1.9334598779678345,
      "learning_rate": 3.569777777777778e-05,
      "loss": 1.8031,
      "step": 3219
    },
    {
      "epoch": 0.2862222222222222,
      "grad_norm": 1.589573621749878,
      "learning_rate": 3.569333333333333e-05,
      "loss": 1.4067,
      "step": 3220
    },
    {
      "epoch": 0.2863111111111111,
      "grad_norm": 1.6552271842956543,
      "learning_rate": 3.568888888888889e-05,
      "loss": 1.7865,
      "step": 3221
    },
    {
      "epoch": 0.2864,
      "grad_norm": 1.6420574188232422,
      "learning_rate": 3.568444444444445e-05,
      "loss": 1.5003,
      "step": 3222
    },
    {
      "epoch": 0.2864888888888889,
      "grad_norm": 1.9795892238616943,
      "learning_rate": 3.5680000000000004e-05,
      "loss": 1.7872,
      "step": 3223
    },
    {
      "epoch": 0.28657777777777776,
      "grad_norm": 1.533673644065857,
      "learning_rate": 3.567555555555556e-05,
      "loss": 1.669,
      "step": 3224
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 2.244839668273926,
      "learning_rate": 3.5671111111111114e-05,
      "loss": 1.7949,
      "step": 3225
    },
    {
      "epoch": 0.28675555555555554,
      "grad_norm": 1.6299642324447632,
      "learning_rate": 3.566666666666667e-05,
      "loss": 1.6378,
      "step": 3226
    },
    {
      "epoch": 0.28684444444444446,
      "grad_norm": 1.7501778602600098,
      "learning_rate": 3.566222222222222e-05,
      "loss": 1.721,
      "step": 3227
    },
    {
      "epoch": 0.2869333333333333,
      "grad_norm": 1.6023881435394287,
      "learning_rate": 3.565777777777778e-05,
      "loss": 1.4617,
      "step": 3228
    },
    {
      "epoch": 0.28702222222222223,
      "grad_norm": 1.873668909072876,
      "learning_rate": 3.565333333333333e-05,
      "loss": 1.6026,
      "step": 3229
    },
    {
      "epoch": 0.2871111111111111,
      "grad_norm": 1.7823065519332886,
      "learning_rate": 3.5648888888888895e-05,
      "loss": 1.7912,
      "step": 3230
    },
    {
      "epoch": 0.2872,
      "grad_norm": 1.8635332584381104,
      "learning_rate": 3.564444444444445e-05,
      "loss": 1.6149,
      "step": 3231
    },
    {
      "epoch": 0.28728888888888887,
      "grad_norm": 1.547224998474121,
      "learning_rate": 3.5640000000000004e-05,
      "loss": 1.4655,
      "step": 3232
    },
    {
      "epoch": 0.2873777777777778,
      "grad_norm": 1.8211859464645386,
      "learning_rate": 3.563555555555555e-05,
      "loss": 1.5207,
      "step": 3233
    },
    {
      "epoch": 0.28746666666666665,
      "grad_norm": 1.6288772821426392,
      "learning_rate": 3.5631111111111114e-05,
      "loss": 1.7248,
      "step": 3234
    },
    {
      "epoch": 0.28755555555555556,
      "grad_norm": 1.442603588104248,
      "learning_rate": 3.562666666666667e-05,
      "loss": 1.5083,
      "step": 3235
    },
    {
      "epoch": 0.2876444444444444,
      "grad_norm": 1.858025074005127,
      "learning_rate": 3.5622222222222224e-05,
      "loss": 1.6957,
      "step": 3236
    },
    {
      "epoch": 0.28773333333333334,
      "grad_norm": 1.807429313659668,
      "learning_rate": 3.561777777777778e-05,
      "loss": 1.7605,
      "step": 3237
    },
    {
      "epoch": 0.2878222222222222,
      "grad_norm": 1.6708985567092896,
      "learning_rate": 3.561333333333334e-05,
      "loss": 1.7973,
      "step": 3238
    },
    {
      "epoch": 0.2879111111111111,
      "grad_norm": 1.5283937454223633,
      "learning_rate": 3.560888888888889e-05,
      "loss": 1.6942,
      "step": 3239
    },
    {
      "epoch": 0.288,
      "grad_norm": 1.8058549165725708,
      "learning_rate": 3.560444444444444e-05,
      "loss": 1.9885,
      "step": 3240
    },
    {
      "epoch": 0.2880888888888889,
      "grad_norm": 1.6586800813674927,
      "learning_rate": 3.56e-05,
      "loss": 1.6018,
      "step": 3241
    },
    {
      "epoch": 0.28817777777777775,
      "grad_norm": 1.7380151748657227,
      "learning_rate": 3.559555555555556e-05,
      "loss": 1.8267,
      "step": 3242
    },
    {
      "epoch": 0.28826666666666667,
      "grad_norm": 1.768296241760254,
      "learning_rate": 3.5591111111111114e-05,
      "loss": 1.9481,
      "step": 3243
    },
    {
      "epoch": 0.28835555555555553,
      "grad_norm": 1.357631802558899,
      "learning_rate": 3.558666666666667e-05,
      "loss": 1.5532,
      "step": 3244
    },
    {
      "epoch": 0.28844444444444445,
      "grad_norm": 1.9364498853683472,
      "learning_rate": 3.5582222222222224e-05,
      "loss": 1.7884,
      "step": 3245
    },
    {
      "epoch": 0.2885333333333333,
      "grad_norm": 1.6656932830810547,
      "learning_rate": 3.557777777777778e-05,
      "loss": 1.4863,
      "step": 3246
    },
    {
      "epoch": 0.2886222222222222,
      "grad_norm": 2.1930673122406006,
      "learning_rate": 3.5573333333333334e-05,
      "loss": 1.7915,
      "step": 3247
    },
    {
      "epoch": 0.2887111111111111,
      "grad_norm": 1.607221007347107,
      "learning_rate": 3.556888888888889e-05,
      "loss": 1.7918,
      "step": 3248
    },
    {
      "epoch": 0.2888,
      "grad_norm": 1.5735164880752563,
      "learning_rate": 3.5564444444444444e-05,
      "loss": 1.459,
      "step": 3249
    },
    {
      "epoch": 0.28888888888888886,
      "grad_norm": 1.6160482168197632,
      "learning_rate": 3.5560000000000005e-05,
      "loss": 1.5607,
      "step": 3250
    },
    {
      "epoch": 0.2889777777777778,
      "grad_norm": 1.7026830911636353,
      "learning_rate": 3.555555555555556e-05,
      "loss": 1.5389,
      "step": 3251
    },
    {
      "epoch": 0.2890666666666667,
      "grad_norm": 1.648173451423645,
      "learning_rate": 3.5551111111111115e-05,
      "loss": 1.687,
      "step": 3252
    },
    {
      "epoch": 0.28915555555555555,
      "grad_norm": 1.7149314880371094,
      "learning_rate": 3.554666666666667e-05,
      "loss": 1.6278,
      "step": 3253
    },
    {
      "epoch": 0.28924444444444447,
      "grad_norm": 1.3646351099014282,
      "learning_rate": 3.5542222222222225e-05,
      "loss": 1.6812,
      "step": 3254
    },
    {
      "epoch": 0.28933333333333333,
      "grad_norm": 1.5159072875976562,
      "learning_rate": 3.553777777777778e-05,
      "loss": 1.697,
      "step": 3255
    },
    {
      "epoch": 0.28942222222222225,
      "grad_norm": 1.4523725509643555,
      "learning_rate": 3.5533333333333334e-05,
      "loss": 1.3886,
      "step": 3256
    },
    {
      "epoch": 0.2895111111111111,
      "grad_norm": 1.790814757347107,
      "learning_rate": 3.552888888888889e-05,
      "loss": 1.5483,
      "step": 3257
    },
    {
      "epoch": 0.2896,
      "grad_norm": 1.5035014152526855,
      "learning_rate": 3.5524444444444444e-05,
      "loss": 1.6362,
      "step": 3258
    },
    {
      "epoch": 0.2896888888888889,
      "grad_norm": 1.6406453847885132,
      "learning_rate": 3.5520000000000006e-05,
      "loss": 1.6311,
      "step": 3259
    },
    {
      "epoch": 0.2897777777777778,
      "grad_norm": 1.824364423751831,
      "learning_rate": 3.551555555555556e-05,
      "loss": 1.6995,
      "step": 3260
    },
    {
      "epoch": 0.28986666666666666,
      "grad_norm": 1.5721405744552612,
      "learning_rate": 3.551111111111111e-05,
      "loss": 1.54,
      "step": 3261
    },
    {
      "epoch": 0.2899555555555556,
      "grad_norm": 1.6332453489303589,
      "learning_rate": 3.550666666666666e-05,
      "loss": 1.4918,
      "step": 3262
    },
    {
      "epoch": 0.29004444444444444,
      "grad_norm": 2.03975248336792,
      "learning_rate": 3.5502222222222225e-05,
      "loss": 1.71,
      "step": 3263
    },
    {
      "epoch": 0.29013333333333335,
      "grad_norm": 2.177048921585083,
      "learning_rate": 3.549777777777778e-05,
      "loss": 1.6333,
      "step": 3264
    },
    {
      "epoch": 0.2902222222222222,
      "grad_norm": 1.8032162189483643,
      "learning_rate": 3.5493333333333335e-05,
      "loss": 1.7643,
      "step": 3265
    },
    {
      "epoch": 0.29031111111111113,
      "grad_norm": 1.6542527675628662,
      "learning_rate": 3.548888888888889e-05,
      "loss": 1.5841,
      "step": 3266
    },
    {
      "epoch": 0.2904,
      "grad_norm": 1.5560091733932495,
      "learning_rate": 3.548444444444445e-05,
      "loss": 1.5833,
      "step": 3267
    },
    {
      "epoch": 0.2904888888888889,
      "grad_norm": 1.3583850860595703,
      "learning_rate": 3.548e-05,
      "loss": 1.3453,
      "step": 3268
    },
    {
      "epoch": 0.29057777777777777,
      "grad_norm": 1.6657277345657349,
      "learning_rate": 3.5475555555555554e-05,
      "loss": 1.7375,
      "step": 3269
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 1.5262185335159302,
      "learning_rate": 3.547111111111111e-05,
      "loss": 1.7003,
      "step": 3270
    },
    {
      "epoch": 0.29075555555555554,
      "grad_norm": 1.9023518562316895,
      "learning_rate": 3.546666666666667e-05,
      "loss": 1.9046,
      "step": 3271
    },
    {
      "epoch": 0.29084444444444446,
      "grad_norm": 1.6684114933013916,
      "learning_rate": 3.5462222222222225e-05,
      "loss": 1.6845,
      "step": 3272
    },
    {
      "epoch": 0.2909333333333333,
      "grad_norm": 1.7552694082260132,
      "learning_rate": 3.545777777777778e-05,
      "loss": 1.579,
      "step": 3273
    },
    {
      "epoch": 0.29102222222222224,
      "grad_norm": 1.8016647100448608,
      "learning_rate": 3.5453333333333335e-05,
      "loss": 1.6155,
      "step": 3274
    },
    {
      "epoch": 0.2911111111111111,
      "grad_norm": 1.623953938484192,
      "learning_rate": 3.544888888888889e-05,
      "loss": 1.6862,
      "step": 3275
    },
    {
      "epoch": 0.2912,
      "grad_norm": 1.5943515300750732,
      "learning_rate": 3.5444444444444445e-05,
      "loss": 1.6597,
      "step": 3276
    },
    {
      "epoch": 0.2912888888888889,
      "grad_norm": 1.7839860916137695,
      "learning_rate": 3.544e-05,
      "loss": 1.3611,
      "step": 3277
    },
    {
      "epoch": 0.2913777777777778,
      "grad_norm": 1.8794926404953003,
      "learning_rate": 3.5435555555555554e-05,
      "loss": 1.6211,
      "step": 3278
    },
    {
      "epoch": 0.29146666666666665,
      "grad_norm": 1.810943841934204,
      "learning_rate": 3.5431111111111116e-05,
      "loss": 1.6534,
      "step": 3279
    },
    {
      "epoch": 0.29155555555555557,
      "grad_norm": 1.8082456588745117,
      "learning_rate": 3.542666666666667e-05,
      "loss": 1.6653,
      "step": 3280
    },
    {
      "epoch": 0.29164444444444443,
      "grad_norm": 2.0415806770324707,
      "learning_rate": 3.5422222222222226e-05,
      "loss": 1.6039,
      "step": 3281
    },
    {
      "epoch": 0.29173333333333334,
      "grad_norm": 2.365675449371338,
      "learning_rate": 3.541777777777778e-05,
      "loss": 1.8316,
      "step": 3282
    },
    {
      "epoch": 0.2918222222222222,
      "grad_norm": 1.577304482460022,
      "learning_rate": 3.5413333333333335e-05,
      "loss": 1.6228,
      "step": 3283
    },
    {
      "epoch": 0.2919111111111111,
      "grad_norm": 1.5462888479232788,
      "learning_rate": 3.540888888888889e-05,
      "loss": 1.6844,
      "step": 3284
    },
    {
      "epoch": 0.292,
      "grad_norm": 1.9067286252975464,
      "learning_rate": 3.5404444444444445e-05,
      "loss": 1.7755,
      "step": 3285
    },
    {
      "epoch": 0.2920888888888889,
      "grad_norm": 1.4417632818222046,
      "learning_rate": 3.54e-05,
      "loss": 1.5239,
      "step": 3286
    },
    {
      "epoch": 0.29217777777777776,
      "grad_norm": 1.5788596868515015,
      "learning_rate": 3.539555555555556e-05,
      "loss": 1.6645,
      "step": 3287
    },
    {
      "epoch": 0.2922666666666667,
      "grad_norm": 1.6099969148635864,
      "learning_rate": 3.5391111111111116e-05,
      "loss": 1.6103,
      "step": 3288
    },
    {
      "epoch": 0.29235555555555554,
      "grad_norm": 1.6632134914398193,
      "learning_rate": 3.538666666666667e-05,
      "loss": 1.5741,
      "step": 3289
    },
    {
      "epoch": 0.29244444444444445,
      "grad_norm": 1.6249617338180542,
      "learning_rate": 3.538222222222222e-05,
      "loss": 1.7291,
      "step": 3290
    },
    {
      "epoch": 0.2925333333333333,
      "grad_norm": 2.033254861831665,
      "learning_rate": 3.537777777777778e-05,
      "loss": 1.5274,
      "step": 3291
    },
    {
      "epoch": 0.29262222222222223,
      "grad_norm": 2.1244118213653564,
      "learning_rate": 3.5373333333333336e-05,
      "loss": 1.6486,
      "step": 3292
    },
    {
      "epoch": 0.2927111111111111,
      "grad_norm": 1.7024798393249512,
      "learning_rate": 3.536888888888889e-05,
      "loss": 1.8058,
      "step": 3293
    },
    {
      "epoch": 0.2928,
      "grad_norm": 1.667952060699463,
      "learning_rate": 3.5364444444444445e-05,
      "loss": 1.4962,
      "step": 3294
    },
    {
      "epoch": 0.29288888888888887,
      "grad_norm": 2.438920021057129,
      "learning_rate": 3.536000000000001e-05,
      "loss": 1.8895,
      "step": 3295
    },
    {
      "epoch": 0.2929777777777778,
      "grad_norm": 1.5726937055587769,
      "learning_rate": 3.5355555555555555e-05,
      "loss": 1.6593,
      "step": 3296
    },
    {
      "epoch": 0.29306666666666664,
      "grad_norm": 1.4283732175827026,
      "learning_rate": 3.535111111111111e-05,
      "loss": 1.7008,
      "step": 3297
    },
    {
      "epoch": 0.29315555555555556,
      "grad_norm": 1.7996995449066162,
      "learning_rate": 3.5346666666666665e-05,
      "loss": 1.68,
      "step": 3298
    },
    {
      "epoch": 0.2932444444444444,
      "grad_norm": 1.7128969430923462,
      "learning_rate": 3.5342222222222226e-05,
      "loss": 1.6643,
      "step": 3299
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 1.7293214797973633,
      "learning_rate": 3.533777777777778e-05,
      "loss": 1.6117,
      "step": 3300
    },
    {
      "epoch": 0.2934222222222222,
      "grad_norm": 1.6598789691925049,
      "learning_rate": 3.5333333333333336e-05,
      "loss": 1.7038,
      "step": 3301
    },
    {
      "epoch": 0.2935111111111111,
      "grad_norm": 1.7093474864959717,
      "learning_rate": 3.532888888888889e-05,
      "loss": 1.5389,
      "step": 3302
    },
    {
      "epoch": 0.2936,
      "grad_norm": 1.9642404317855835,
      "learning_rate": 3.5324444444444446e-05,
      "loss": 1.7516,
      "step": 3303
    },
    {
      "epoch": 0.2936888888888889,
      "grad_norm": 1.8112297058105469,
      "learning_rate": 3.532e-05,
      "loss": 1.483,
      "step": 3304
    },
    {
      "epoch": 0.2937777777777778,
      "grad_norm": 1.8672105073928833,
      "learning_rate": 3.5315555555555555e-05,
      "loss": 1.4428,
      "step": 3305
    },
    {
      "epoch": 0.29386666666666666,
      "grad_norm": 1.494545578956604,
      "learning_rate": 3.531111111111111e-05,
      "loss": 1.6679,
      "step": 3306
    },
    {
      "epoch": 0.2939555555555556,
      "grad_norm": 1.5954433679580688,
      "learning_rate": 3.5306666666666665e-05,
      "loss": 1.753,
      "step": 3307
    },
    {
      "epoch": 0.29404444444444444,
      "grad_norm": 1.6752110719680786,
      "learning_rate": 3.530222222222223e-05,
      "loss": 1.5996,
      "step": 3308
    },
    {
      "epoch": 0.29413333333333336,
      "grad_norm": 1.6984163522720337,
      "learning_rate": 3.529777777777778e-05,
      "loss": 1.5778,
      "step": 3309
    },
    {
      "epoch": 0.2942222222222222,
      "grad_norm": 1.8680044412612915,
      "learning_rate": 3.5293333333333336e-05,
      "loss": 1.7721,
      "step": 3310
    },
    {
      "epoch": 0.29431111111111113,
      "grad_norm": 1.7015280723571777,
      "learning_rate": 3.528888888888889e-05,
      "loss": 1.6633,
      "step": 3311
    },
    {
      "epoch": 0.2944,
      "grad_norm": 1.735055923461914,
      "learning_rate": 3.5284444444444446e-05,
      "loss": 1.8156,
      "step": 3312
    },
    {
      "epoch": 0.2944888888888889,
      "grad_norm": 1.6777468919754028,
      "learning_rate": 3.528e-05,
      "loss": 1.5902,
      "step": 3313
    },
    {
      "epoch": 0.29457777777777777,
      "grad_norm": 1.5855743885040283,
      "learning_rate": 3.5275555555555556e-05,
      "loss": 1.4883,
      "step": 3314
    },
    {
      "epoch": 0.2946666666666667,
      "grad_norm": 1.9687548875808716,
      "learning_rate": 3.527111111111111e-05,
      "loss": 1.7577,
      "step": 3315
    },
    {
      "epoch": 0.29475555555555555,
      "grad_norm": 1.745812177658081,
      "learning_rate": 3.526666666666667e-05,
      "loss": 1.5128,
      "step": 3316
    },
    {
      "epoch": 0.29484444444444446,
      "grad_norm": 2.0262157917022705,
      "learning_rate": 3.526222222222223e-05,
      "loss": 1.8503,
      "step": 3317
    },
    {
      "epoch": 0.2949333333333333,
      "grad_norm": 1.770554780960083,
      "learning_rate": 3.5257777777777775e-05,
      "loss": 1.5997,
      "step": 3318
    },
    {
      "epoch": 0.29502222222222224,
      "grad_norm": 2.0852251052856445,
      "learning_rate": 3.525333333333333e-05,
      "loss": 1.7981,
      "step": 3319
    },
    {
      "epoch": 0.2951111111111111,
      "grad_norm": 1.75857412815094,
      "learning_rate": 3.524888888888889e-05,
      "loss": 1.6713,
      "step": 3320
    },
    {
      "epoch": 0.2952,
      "grad_norm": 1.6753400564193726,
      "learning_rate": 3.5244444444444447e-05,
      "loss": 1.7373,
      "step": 3321
    },
    {
      "epoch": 0.2952888888888889,
      "grad_norm": 1.5057188272476196,
      "learning_rate": 3.524e-05,
      "loss": 1.3966,
      "step": 3322
    },
    {
      "epoch": 0.2953777777777778,
      "grad_norm": 1.4031668901443481,
      "learning_rate": 3.5235555555555556e-05,
      "loss": 1.4662,
      "step": 3323
    },
    {
      "epoch": 0.29546666666666666,
      "grad_norm": 1.9711322784423828,
      "learning_rate": 3.523111111111112e-05,
      "loss": 1.7096,
      "step": 3324
    },
    {
      "epoch": 0.29555555555555557,
      "grad_norm": 1.9075592756271362,
      "learning_rate": 3.5226666666666666e-05,
      "loss": 1.7422,
      "step": 3325
    },
    {
      "epoch": 0.29564444444444443,
      "grad_norm": 1.7232584953308105,
      "learning_rate": 3.522222222222222e-05,
      "loss": 1.7402,
      "step": 3326
    },
    {
      "epoch": 0.29573333333333335,
      "grad_norm": 1.6816092729568481,
      "learning_rate": 3.5217777777777776e-05,
      "loss": 1.9007,
      "step": 3327
    },
    {
      "epoch": 0.2958222222222222,
      "grad_norm": 1.773192286491394,
      "learning_rate": 3.521333333333334e-05,
      "loss": 1.6702,
      "step": 3328
    },
    {
      "epoch": 0.2959111111111111,
      "grad_norm": 1.7745707035064697,
      "learning_rate": 3.520888888888889e-05,
      "loss": 1.9505,
      "step": 3329
    },
    {
      "epoch": 0.296,
      "grad_norm": 1.742005467414856,
      "learning_rate": 3.520444444444445e-05,
      "loss": 1.6353,
      "step": 3330
    },
    {
      "epoch": 0.2960888888888889,
      "grad_norm": 2.81855845451355,
      "learning_rate": 3.52e-05,
      "loss": 2.0957,
      "step": 3331
    },
    {
      "epoch": 0.29617777777777776,
      "grad_norm": 1.7046583890914917,
      "learning_rate": 3.519555555555556e-05,
      "loss": 1.8444,
      "step": 3332
    },
    {
      "epoch": 0.2962666666666667,
      "grad_norm": 1.7599380016326904,
      "learning_rate": 3.519111111111111e-05,
      "loss": 1.4993,
      "step": 3333
    },
    {
      "epoch": 0.29635555555555554,
      "grad_norm": 2.298414468765259,
      "learning_rate": 3.5186666666666666e-05,
      "loss": 1.7616,
      "step": 3334
    },
    {
      "epoch": 0.29644444444444445,
      "grad_norm": 1.814719557762146,
      "learning_rate": 3.518222222222222e-05,
      "loss": 1.6632,
      "step": 3335
    },
    {
      "epoch": 0.2965333333333333,
      "grad_norm": 1.59336256980896,
      "learning_rate": 3.517777777777778e-05,
      "loss": 1.7507,
      "step": 3336
    },
    {
      "epoch": 0.29662222222222223,
      "grad_norm": 1.6235511302947998,
      "learning_rate": 3.517333333333334e-05,
      "loss": 1.573,
      "step": 3337
    },
    {
      "epoch": 0.2967111111111111,
      "grad_norm": 1.9008654356002808,
      "learning_rate": 3.516888888888889e-05,
      "loss": 1.5444,
      "step": 3338
    },
    {
      "epoch": 0.2968,
      "grad_norm": 1.569454550743103,
      "learning_rate": 3.516444444444445e-05,
      "loss": 1.6402,
      "step": 3339
    },
    {
      "epoch": 0.29688888888888887,
      "grad_norm": 1.6842325925827026,
      "learning_rate": 3.516e-05,
      "loss": 1.3595,
      "step": 3340
    },
    {
      "epoch": 0.2969777777777778,
      "grad_norm": 1.6463543176651,
      "learning_rate": 3.515555555555556e-05,
      "loss": 1.7616,
      "step": 3341
    },
    {
      "epoch": 0.29706666666666665,
      "grad_norm": 1.6111513376235962,
      "learning_rate": 3.515111111111111e-05,
      "loss": 1.5982,
      "step": 3342
    },
    {
      "epoch": 0.29715555555555556,
      "grad_norm": 1.7661854028701782,
      "learning_rate": 3.514666666666667e-05,
      "loss": 1.5705,
      "step": 3343
    },
    {
      "epoch": 0.2972444444444444,
      "grad_norm": 1.5968055725097656,
      "learning_rate": 3.514222222222223e-05,
      "loss": 1.4106,
      "step": 3344
    },
    {
      "epoch": 0.29733333333333334,
      "grad_norm": 1.8534443378448486,
      "learning_rate": 3.513777777777778e-05,
      "loss": 1.7376,
      "step": 3345
    },
    {
      "epoch": 0.2974222222222222,
      "grad_norm": 1.3708815574645996,
      "learning_rate": 3.513333333333334e-05,
      "loss": 1.5725,
      "step": 3346
    },
    {
      "epoch": 0.2975111111111111,
      "grad_norm": 1.601006031036377,
      "learning_rate": 3.5128888888888886e-05,
      "loss": 1.6326,
      "step": 3347
    },
    {
      "epoch": 0.2976,
      "grad_norm": 1.8799387216567993,
      "learning_rate": 3.512444444444445e-05,
      "loss": 1.6746,
      "step": 3348
    },
    {
      "epoch": 0.2976888888888889,
      "grad_norm": 1.8850593566894531,
      "learning_rate": 3.512e-05,
      "loss": 1.6694,
      "step": 3349
    },
    {
      "epoch": 0.29777777777777775,
      "grad_norm": 1.799480676651001,
      "learning_rate": 3.511555555555556e-05,
      "loss": 1.7098,
      "step": 3350
    },
    {
      "epoch": 0.29786666666666667,
      "grad_norm": 1.6505285501480103,
      "learning_rate": 3.511111111111111e-05,
      "loss": 1.6564,
      "step": 3351
    },
    {
      "epoch": 0.29795555555555553,
      "grad_norm": 2.0094873905181885,
      "learning_rate": 3.5106666666666674e-05,
      "loss": 1.7388,
      "step": 3352
    },
    {
      "epoch": 0.29804444444444445,
      "grad_norm": 1.594504475593567,
      "learning_rate": 3.510222222222222e-05,
      "loss": 1.7379,
      "step": 3353
    },
    {
      "epoch": 0.2981333333333333,
      "grad_norm": 1.644354224205017,
      "learning_rate": 3.509777777777778e-05,
      "loss": 1.5825,
      "step": 3354
    },
    {
      "epoch": 0.2982222222222222,
      "grad_norm": 1.8856537342071533,
      "learning_rate": 3.509333333333333e-05,
      "loss": 1.7894,
      "step": 3355
    },
    {
      "epoch": 0.29831111111111114,
      "grad_norm": 1.6785632371902466,
      "learning_rate": 3.5088888888888886e-05,
      "loss": 1.5079,
      "step": 3356
    },
    {
      "epoch": 0.2984,
      "grad_norm": 3.2064602375030518,
      "learning_rate": 3.508444444444445e-05,
      "loss": 1.6274,
      "step": 3357
    },
    {
      "epoch": 0.2984888888888889,
      "grad_norm": 2.052868366241455,
      "learning_rate": 3.508e-05,
      "loss": 1.8352,
      "step": 3358
    },
    {
      "epoch": 0.2985777777777778,
      "grad_norm": 1.6107347011566162,
      "learning_rate": 3.507555555555556e-05,
      "loss": 1.5244,
      "step": 3359
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 1.7302982807159424,
      "learning_rate": 3.507111111111111e-05,
      "loss": 1.7555,
      "step": 3360
    },
    {
      "epoch": 0.29875555555555555,
      "grad_norm": 1.531339406967163,
      "learning_rate": 3.506666666666667e-05,
      "loss": 1.6118,
      "step": 3361
    },
    {
      "epoch": 0.29884444444444447,
      "grad_norm": 1.6992201805114746,
      "learning_rate": 3.506222222222222e-05,
      "loss": 1.8602,
      "step": 3362
    },
    {
      "epoch": 0.29893333333333333,
      "grad_norm": 1.8340191841125488,
      "learning_rate": 3.505777777777778e-05,
      "loss": 1.4883,
      "step": 3363
    },
    {
      "epoch": 0.29902222222222224,
      "grad_norm": 1.5417795181274414,
      "learning_rate": 3.505333333333333e-05,
      "loss": 1.5097,
      "step": 3364
    },
    {
      "epoch": 0.2991111111111111,
      "grad_norm": 1.7319157123565674,
      "learning_rate": 3.5048888888888894e-05,
      "loss": 1.9173,
      "step": 3365
    },
    {
      "epoch": 0.2992,
      "grad_norm": 1.3618228435516357,
      "learning_rate": 3.504444444444445e-05,
      "loss": 1.3154,
      "step": 3366
    },
    {
      "epoch": 0.2992888888888889,
      "grad_norm": 1.9239914417266846,
      "learning_rate": 3.504e-05,
      "loss": 1.5184,
      "step": 3367
    },
    {
      "epoch": 0.2993777777777778,
      "grad_norm": 1.6505939960479736,
      "learning_rate": 3.503555555555556e-05,
      "loss": 1.5635,
      "step": 3368
    },
    {
      "epoch": 0.29946666666666666,
      "grad_norm": 2.37093448638916,
      "learning_rate": 3.503111111111111e-05,
      "loss": 1.6687,
      "step": 3369
    },
    {
      "epoch": 0.2995555555555556,
      "grad_norm": 1.608306884765625,
      "learning_rate": 3.502666666666667e-05,
      "loss": 1.6113,
      "step": 3370
    },
    {
      "epoch": 0.29964444444444444,
      "grad_norm": 1.646709680557251,
      "learning_rate": 3.502222222222222e-05,
      "loss": 1.6391,
      "step": 3371
    },
    {
      "epoch": 0.29973333333333335,
      "grad_norm": 1.5127954483032227,
      "learning_rate": 3.501777777777778e-05,
      "loss": 1.4765,
      "step": 3372
    },
    {
      "epoch": 0.2998222222222222,
      "grad_norm": 1.5462546348571777,
      "learning_rate": 3.501333333333334e-05,
      "loss": 1.8359,
      "step": 3373
    },
    {
      "epoch": 0.29991111111111113,
      "grad_norm": 1.6546427011489868,
      "learning_rate": 3.5008888888888894e-05,
      "loss": 1.6377,
      "step": 3374
    },
    {
      "epoch": 0.3,
      "grad_norm": 1.9666600227355957,
      "learning_rate": 3.500444444444444e-05,
      "loss": 1.7079,
      "step": 3375
    },
    {
      "epoch": 0.3000888888888889,
      "grad_norm": 1.7121654748916626,
      "learning_rate": 3.5e-05,
      "loss": 1.5372,
      "step": 3376
    },
    {
      "epoch": 0.30017777777777777,
      "grad_norm": 1.7617172002792358,
      "learning_rate": 3.499555555555556e-05,
      "loss": 1.8631,
      "step": 3377
    },
    {
      "epoch": 0.3002666666666667,
      "grad_norm": 1.5495107173919678,
      "learning_rate": 3.4991111111111113e-05,
      "loss": 1.5534,
      "step": 3378
    },
    {
      "epoch": 0.30035555555555554,
      "grad_norm": 1.9429237842559814,
      "learning_rate": 3.498666666666667e-05,
      "loss": 1.6034,
      "step": 3379
    },
    {
      "epoch": 0.30044444444444446,
      "grad_norm": 1.5111215114593506,
      "learning_rate": 3.498222222222222e-05,
      "loss": 1.5261,
      "step": 3380
    },
    {
      "epoch": 0.3005333333333333,
      "grad_norm": 1.620226502418518,
      "learning_rate": 3.4977777777777785e-05,
      "loss": 1.5063,
      "step": 3381
    },
    {
      "epoch": 0.30062222222222224,
      "grad_norm": 1.5997153520584106,
      "learning_rate": 3.497333333333333e-05,
      "loss": 1.6425,
      "step": 3382
    },
    {
      "epoch": 0.3007111111111111,
      "grad_norm": 1.6778644323349,
      "learning_rate": 3.496888888888889e-05,
      "loss": 1.623,
      "step": 3383
    },
    {
      "epoch": 0.3008,
      "grad_norm": 1.5573794841766357,
      "learning_rate": 3.496444444444444e-05,
      "loss": 1.733,
      "step": 3384
    },
    {
      "epoch": 0.3008888888888889,
      "grad_norm": 1.6691640615463257,
      "learning_rate": 3.4960000000000004e-05,
      "loss": 1.7053,
      "step": 3385
    },
    {
      "epoch": 0.3009777777777778,
      "grad_norm": 1.8378204107284546,
      "learning_rate": 3.495555555555556e-05,
      "loss": 1.615,
      "step": 3386
    },
    {
      "epoch": 0.30106666666666665,
      "grad_norm": 1.459315299987793,
      "learning_rate": 3.4951111111111114e-05,
      "loss": 1.746,
      "step": 3387
    },
    {
      "epoch": 0.30115555555555557,
      "grad_norm": 1.9009934663772583,
      "learning_rate": 3.494666666666667e-05,
      "loss": 1.7705,
      "step": 3388
    },
    {
      "epoch": 0.3012444444444444,
      "grad_norm": 2.3979363441467285,
      "learning_rate": 3.4942222222222223e-05,
      "loss": 1.6617,
      "step": 3389
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 1.779299259185791,
      "learning_rate": 3.493777777777778e-05,
      "loss": 1.7252,
      "step": 3390
    },
    {
      "epoch": 0.3014222222222222,
      "grad_norm": 1.487723708152771,
      "learning_rate": 3.493333333333333e-05,
      "loss": 1.6969,
      "step": 3391
    },
    {
      "epoch": 0.3015111111111111,
      "grad_norm": 1.9100793600082397,
      "learning_rate": 3.492888888888889e-05,
      "loss": 1.7868,
      "step": 3392
    },
    {
      "epoch": 0.3016,
      "grad_norm": 1.7938016653060913,
      "learning_rate": 3.492444444444445e-05,
      "loss": 1.7241,
      "step": 3393
    },
    {
      "epoch": 0.3016888888888889,
      "grad_norm": 1.8686602115631104,
      "learning_rate": 3.4920000000000004e-05,
      "loss": 1.6987,
      "step": 3394
    },
    {
      "epoch": 0.30177777777777776,
      "grad_norm": 2.347912073135376,
      "learning_rate": 3.491555555555556e-05,
      "loss": 1.62,
      "step": 3395
    },
    {
      "epoch": 0.30186666666666667,
      "grad_norm": 1.9341533184051514,
      "learning_rate": 3.4911111111111114e-05,
      "loss": 1.6439,
      "step": 3396
    },
    {
      "epoch": 0.30195555555555553,
      "grad_norm": 1.6894912719726562,
      "learning_rate": 3.490666666666667e-05,
      "loss": 1.5036,
      "step": 3397
    },
    {
      "epoch": 0.30204444444444445,
      "grad_norm": 1.5874866247177124,
      "learning_rate": 3.4902222222222224e-05,
      "loss": 1.609,
      "step": 3398
    },
    {
      "epoch": 0.3021333333333333,
      "grad_norm": 1.817512035369873,
      "learning_rate": 3.489777777777778e-05,
      "loss": 1.5691,
      "step": 3399
    },
    {
      "epoch": 0.3022222222222222,
      "grad_norm": 1.671221375465393,
      "learning_rate": 3.4893333333333334e-05,
      "loss": 1.7396,
      "step": 3400
    },
    {
      "epoch": 0.3023111111111111,
      "grad_norm": 1.7175577878952026,
      "learning_rate": 3.4888888888888895e-05,
      "loss": 1.767,
      "step": 3401
    },
    {
      "epoch": 0.3024,
      "grad_norm": 1.7586308717727661,
      "learning_rate": 3.488444444444445e-05,
      "loss": 1.6823,
      "step": 3402
    },
    {
      "epoch": 0.30248888888888886,
      "grad_norm": 1.5843126773834229,
      "learning_rate": 3.4880000000000005e-05,
      "loss": 1.7327,
      "step": 3403
    },
    {
      "epoch": 0.3025777777777778,
      "grad_norm": 1.4040194749832153,
      "learning_rate": 3.487555555555555e-05,
      "loss": 1.6081,
      "step": 3404
    },
    {
      "epoch": 0.30266666666666664,
      "grad_norm": 1.715320110321045,
      "learning_rate": 3.4871111111111115e-05,
      "loss": 1.6099,
      "step": 3405
    },
    {
      "epoch": 0.30275555555555556,
      "grad_norm": 2.3276026248931885,
      "learning_rate": 3.486666666666667e-05,
      "loss": 1.6511,
      "step": 3406
    },
    {
      "epoch": 0.30284444444444447,
      "grad_norm": 2.0226497650146484,
      "learning_rate": 3.4862222222222224e-05,
      "loss": 1.786,
      "step": 3407
    },
    {
      "epoch": 0.30293333333333333,
      "grad_norm": 1.5462260246276855,
      "learning_rate": 3.485777777777778e-05,
      "loss": 1.8042,
      "step": 3408
    },
    {
      "epoch": 0.30302222222222225,
      "grad_norm": 1.3977093696594238,
      "learning_rate": 3.4853333333333334e-05,
      "loss": 1.6905,
      "step": 3409
    },
    {
      "epoch": 0.3031111111111111,
      "grad_norm": 2.5350711345672607,
      "learning_rate": 3.484888888888889e-05,
      "loss": 1.725,
      "step": 3410
    },
    {
      "epoch": 0.3032,
      "grad_norm": 1.929875135421753,
      "learning_rate": 3.4844444444444444e-05,
      "loss": 1.4948,
      "step": 3411
    },
    {
      "epoch": 0.3032888888888889,
      "grad_norm": 1.654304027557373,
      "learning_rate": 3.484e-05,
      "loss": 1.4579,
      "step": 3412
    },
    {
      "epoch": 0.3033777777777778,
      "grad_norm": 1.7977955341339111,
      "learning_rate": 3.483555555555555e-05,
      "loss": 1.6056,
      "step": 3413
    },
    {
      "epoch": 0.30346666666666666,
      "grad_norm": 1.6254990100860596,
      "learning_rate": 3.4831111111111115e-05,
      "loss": 1.6281,
      "step": 3414
    },
    {
      "epoch": 0.3035555555555556,
      "grad_norm": 2.0455517768859863,
      "learning_rate": 3.482666666666667e-05,
      "loss": 1.7224,
      "step": 3415
    },
    {
      "epoch": 0.30364444444444444,
      "grad_norm": 1.462498426437378,
      "learning_rate": 3.4822222222222225e-05,
      "loss": 1.7283,
      "step": 3416
    },
    {
      "epoch": 0.30373333333333336,
      "grad_norm": 1.6763182878494263,
      "learning_rate": 3.481777777777778e-05,
      "loss": 1.7477,
      "step": 3417
    },
    {
      "epoch": 0.3038222222222222,
      "grad_norm": 1.5785936117172241,
      "learning_rate": 3.4813333333333334e-05,
      "loss": 1.4307,
      "step": 3418
    },
    {
      "epoch": 0.30391111111111113,
      "grad_norm": 1.5841377973556519,
      "learning_rate": 3.480888888888889e-05,
      "loss": 1.5425,
      "step": 3419
    },
    {
      "epoch": 0.304,
      "grad_norm": 1.453628420829773,
      "learning_rate": 3.4804444444444444e-05,
      "loss": 1.4637,
      "step": 3420
    },
    {
      "epoch": 0.3040888888888889,
      "grad_norm": 1.612797737121582,
      "learning_rate": 3.48e-05,
      "loss": 1.6096,
      "step": 3421
    },
    {
      "epoch": 0.30417777777777777,
      "grad_norm": 1.9207355976104736,
      "learning_rate": 3.479555555555556e-05,
      "loss": 1.6838,
      "step": 3422
    },
    {
      "epoch": 0.3042666666666667,
      "grad_norm": 1.7091989517211914,
      "learning_rate": 3.4791111111111115e-05,
      "loss": 1.5837,
      "step": 3423
    },
    {
      "epoch": 0.30435555555555555,
      "grad_norm": 1.6881797313690186,
      "learning_rate": 3.478666666666667e-05,
      "loss": 1.5946,
      "step": 3424
    },
    {
      "epoch": 0.30444444444444446,
      "grad_norm": 2.365605115890503,
      "learning_rate": 3.478222222222222e-05,
      "loss": 1.7196,
      "step": 3425
    },
    {
      "epoch": 0.3045333333333333,
      "grad_norm": 1.6824357509613037,
      "learning_rate": 3.477777777777778e-05,
      "loss": 1.7347,
      "step": 3426
    },
    {
      "epoch": 0.30462222222222224,
      "grad_norm": 1.584524393081665,
      "learning_rate": 3.4773333333333335e-05,
      "loss": 1.4946,
      "step": 3427
    },
    {
      "epoch": 0.3047111111111111,
      "grad_norm": 1.4951070547103882,
      "learning_rate": 3.476888888888889e-05,
      "loss": 1.512,
      "step": 3428
    },
    {
      "epoch": 0.3048,
      "grad_norm": 2.2436556816101074,
      "learning_rate": 3.4764444444444444e-05,
      "loss": 1.755,
      "step": 3429
    },
    {
      "epoch": 0.3048888888888889,
      "grad_norm": 1.6835185289382935,
      "learning_rate": 3.4760000000000006e-05,
      "loss": 1.4701,
      "step": 3430
    },
    {
      "epoch": 0.3049777777777778,
      "grad_norm": 1.911251187324524,
      "learning_rate": 3.475555555555556e-05,
      "loss": 2.0795,
      "step": 3431
    },
    {
      "epoch": 0.30506666666666665,
      "grad_norm": 1.5119662284851074,
      "learning_rate": 3.475111111111111e-05,
      "loss": 1.5813,
      "step": 3432
    },
    {
      "epoch": 0.30515555555555557,
      "grad_norm": 1.873037576675415,
      "learning_rate": 3.4746666666666664e-05,
      "loss": 1.8692,
      "step": 3433
    },
    {
      "epoch": 0.30524444444444443,
      "grad_norm": 1.6470190286636353,
      "learning_rate": 3.4742222222222225e-05,
      "loss": 1.5725,
      "step": 3434
    },
    {
      "epoch": 0.30533333333333335,
      "grad_norm": 1.5653799772262573,
      "learning_rate": 3.473777777777778e-05,
      "loss": 1.4585,
      "step": 3435
    },
    {
      "epoch": 0.3054222222222222,
      "grad_norm": 1.608817458152771,
      "learning_rate": 3.4733333333333335e-05,
      "loss": 1.5522,
      "step": 3436
    },
    {
      "epoch": 0.3055111111111111,
      "grad_norm": 1.6606976985931396,
      "learning_rate": 3.472888888888889e-05,
      "loss": 1.6002,
      "step": 3437
    },
    {
      "epoch": 0.3056,
      "grad_norm": 1.630641222000122,
      "learning_rate": 3.472444444444445e-05,
      "loss": 1.5666,
      "step": 3438
    },
    {
      "epoch": 0.3056888888888889,
      "grad_norm": 1.524039387702942,
      "learning_rate": 3.472e-05,
      "loss": 1.5522,
      "step": 3439
    },
    {
      "epoch": 0.30577777777777776,
      "grad_norm": 1.6905239820480347,
      "learning_rate": 3.4715555555555554e-05,
      "loss": 1.7726,
      "step": 3440
    },
    {
      "epoch": 0.3058666666666667,
      "grad_norm": 2.0009868144989014,
      "learning_rate": 3.471111111111111e-05,
      "loss": 1.535,
      "step": 3441
    },
    {
      "epoch": 0.30595555555555554,
      "grad_norm": 2.2010350227355957,
      "learning_rate": 3.470666666666667e-05,
      "loss": 1.8012,
      "step": 3442
    },
    {
      "epoch": 0.30604444444444445,
      "grad_norm": 1.7668284177780151,
      "learning_rate": 3.4702222222222226e-05,
      "loss": 1.9472,
      "step": 3443
    },
    {
      "epoch": 0.3061333333333333,
      "grad_norm": 1.7991995811462402,
      "learning_rate": 3.469777777777778e-05,
      "loss": 1.6861,
      "step": 3444
    },
    {
      "epoch": 0.30622222222222223,
      "grad_norm": 2.3211240768432617,
      "learning_rate": 3.4693333333333335e-05,
      "loss": 1.4246,
      "step": 3445
    },
    {
      "epoch": 0.3063111111111111,
      "grad_norm": 2.315725088119507,
      "learning_rate": 3.468888888888889e-05,
      "loss": 1.737,
      "step": 3446
    },
    {
      "epoch": 0.3064,
      "grad_norm": 1.7382724285125732,
      "learning_rate": 3.4684444444444445e-05,
      "loss": 1.6442,
      "step": 3447
    },
    {
      "epoch": 0.30648888888888887,
      "grad_norm": 1.4273837804794312,
      "learning_rate": 3.468e-05,
      "loss": 1.4214,
      "step": 3448
    },
    {
      "epoch": 0.3065777777777778,
      "grad_norm": 1.5410032272338867,
      "learning_rate": 3.4675555555555555e-05,
      "loss": 1.5936,
      "step": 3449
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 1.4561212062835693,
      "learning_rate": 3.4671111111111116e-05,
      "loss": 1.6628,
      "step": 3450
    },
    {
      "epoch": 0.30675555555555556,
      "grad_norm": 1.551034927368164,
      "learning_rate": 3.466666666666667e-05,
      "loss": 1.5788,
      "step": 3451
    },
    {
      "epoch": 0.3068444444444444,
      "grad_norm": 1.6110731363296509,
      "learning_rate": 3.4662222222222226e-05,
      "loss": 1.7285,
      "step": 3452
    },
    {
      "epoch": 0.30693333333333334,
      "grad_norm": 1.9770842790603638,
      "learning_rate": 3.465777777777778e-05,
      "loss": 1.9084,
      "step": 3453
    },
    {
      "epoch": 0.3070222222222222,
      "grad_norm": 1.7126199007034302,
      "learning_rate": 3.4653333333333336e-05,
      "loss": 1.6282,
      "step": 3454
    },
    {
      "epoch": 0.3071111111111111,
      "grad_norm": 1.5494574308395386,
      "learning_rate": 3.464888888888889e-05,
      "loss": 1.5519,
      "step": 3455
    },
    {
      "epoch": 0.3072,
      "grad_norm": 1.505860447883606,
      "learning_rate": 3.4644444444444446e-05,
      "loss": 1.6164,
      "step": 3456
    },
    {
      "epoch": 0.3072888888888889,
      "grad_norm": 1.8808478116989136,
      "learning_rate": 3.464e-05,
      "loss": 1.6253,
      "step": 3457
    },
    {
      "epoch": 0.3073777777777778,
      "grad_norm": 1.5212327241897583,
      "learning_rate": 3.463555555555556e-05,
      "loss": 1.6741,
      "step": 3458
    },
    {
      "epoch": 0.30746666666666667,
      "grad_norm": 1.5330708026885986,
      "learning_rate": 3.463111111111112e-05,
      "loss": 1.6843,
      "step": 3459
    },
    {
      "epoch": 0.3075555555555556,
      "grad_norm": 1.8526307344436646,
      "learning_rate": 3.462666666666667e-05,
      "loss": 1.8334,
      "step": 3460
    },
    {
      "epoch": 0.30764444444444444,
      "grad_norm": 1.4066098928451538,
      "learning_rate": 3.462222222222222e-05,
      "loss": 1.4624,
      "step": 3461
    },
    {
      "epoch": 0.30773333333333336,
      "grad_norm": 1.7605425119400024,
      "learning_rate": 3.4617777777777775e-05,
      "loss": 1.807,
      "step": 3462
    },
    {
      "epoch": 0.3078222222222222,
      "grad_norm": 1.615844964981079,
      "learning_rate": 3.4613333333333336e-05,
      "loss": 1.6601,
      "step": 3463
    },
    {
      "epoch": 0.30791111111111114,
      "grad_norm": 1.5472930669784546,
      "learning_rate": 3.460888888888889e-05,
      "loss": 1.6209,
      "step": 3464
    },
    {
      "epoch": 0.308,
      "grad_norm": 1.7553755044937134,
      "learning_rate": 3.4604444444444446e-05,
      "loss": 1.8735,
      "step": 3465
    },
    {
      "epoch": 0.3080888888888889,
      "grad_norm": 1.5396931171417236,
      "learning_rate": 3.46e-05,
      "loss": 1.6947,
      "step": 3466
    },
    {
      "epoch": 0.3081777777777778,
      "grad_norm": 1.4861581325531006,
      "learning_rate": 3.4595555555555556e-05,
      "loss": 1.4459,
      "step": 3467
    },
    {
      "epoch": 0.3082666666666667,
      "grad_norm": 1.959067463874817,
      "learning_rate": 3.459111111111111e-05,
      "loss": 1.7776,
      "step": 3468
    },
    {
      "epoch": 0.30835555555555555,
      "grad_norm": 1.4059640169143677,
      "learning_rate": 3.4586666666666665e-05,
      "loss": 1.4521,
      "step": 3469
    },
    {
      "epoch": 0.30844444444444447,
      "grad_norm": 1.5356225967407227,
      "learning_rate": 3.458222222222222e-05,
      "loss": 1.7171,
      "step": 3470
    },
    {
      "epoch": 0.3085333333333333,
      "grad_norm": 2.292882204055786,
      "learning_rate": 3.457777777777778e-05,
      "loss": 1.9487,
      "step": 3471
    },
    {
      "epoch": 0.30862222222222224,
      "grad_norm": 1.449676513671875,
      "learning_rate": 3.4573333333333337e-05,
      "loss": 1.6333,
      "step": 3472
    },
    {
      "epoch": 0.3087111111111111,
      "grad_norm": 1.6783628463745117,
      "learning_rate": 3.456888888888889e-05,
      "loss": 1.4108,
      "step": 3473
    },
    {
      "epoch": 0.3088,
      "grad_norm": 1.6093013286590576,
      "learning_rate": 3.4564444444444446e-05,
      "loss": 1.622,
      "step": 3474
    },
    {
      "epoch": 0.3088888888888889,
      "grad_norm": 1.675450325012207,
      "learning_rate": 3.456e-05,
      "loss": 1.5776,
      "step": 3475
    },
    {
      "epoch": 0.3089777777777778,
      "grad_norm": 1.8895207643508911,
      "learning_rate": 3.4555555555555556e-05,
      "loss": 1.7617,
      "step": 3476
    },
    {
      "epoch": 0.30906666666666666,
      "grad_norm": 2.0093183517456055,
      "learning_rate": 3.455111111111111e-05,
      "loss": 1.7725,
      "step": 3477
    },
    {
      "epoch": 0.3091555555555556,
      "grad_norm": 1.4067031145095825,
      "learning_rate": 3.4546666666666666e-05,
      "loss": 1.5455,
      "step": 3478
    },
    {
      "epoch": 0.30924444444444443,
      "grad_norm": 1.5153921842575073,
      "learning_rate": 3.454222222222223e-05,
      "loss": 1.5529,
      "step": 3479
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 1.6360137462615967,
      "learning_rate": 3.453777777777778e-05,
      "loss": 1.8721,
      "step": 3480
    },
    {
      "epoch": 0.3094222222222222,
      "grad_norm": 1.683763861656189,
      "learning_rate": 3.453333333333334e-05,
      "loss": 1.9637,
      "step": 3481
    },
    {
      "epoch": 0.3095111111111111,
      "grad_norm": 1.7868202924728394,
      "learning_rate": 3.4528888888888885e-05,
      "loss": 1.7678,
      "step": 3482
    },
    {
      "epoch": 0.3096,
      "grad_norm": 1.6163865327835083,
      "learning_rate": 3.452444444444445e-05,
      "loss": 1.847,
      "step": 3483
    },
    {
      "epoch": 0.3096888888888889,
      "grad_norm": 1.940276026725769,
      "learning_rate": 3.452e-05,
      "loss": 1.5398,
      "step": 3484
    },
    {
      "epoch": 0.30977777777777776,
      "grad_norm": 1.7324068546295166,
      "learning_rate": 3.4515555555555556e-05,
      "loss": 1.7363,
      "step": 3485
    },
    {
      "epoch": 0.3098666666666667,
      "grad_norm": 1.895660638809204,
      "learning_rate": 3.451111111111111e-05,
      "loss": 1.7141,
      "step": 3486
    },
    {
      "epoch": 0.30995555555555554,
      "grad_norm": 1.6353473663330078,
      "learning_rate": 3.450666666666667e-05,
      "loss": 1.736,
      "step": 3487
    },
    {
      "epoch": 0.31004444444444446,
      "grad_norm": 1.8708631992340088,
      "learning_rate": 3.450222222222223e-05,
      "loss": 1.7445,
      "step": 3488
    },
    {
      "epoch": 0.3101333333333333,
      "grad_norm": 1.8224778175354004,
      "learning_rate": 3.4497777777777776e-05,
      "loss": 1.5931,
      "step": 3489
    },
    {
      "epoch": 0.31022222222222223,
      "grad_norm": 2.016669273376465,
      "learning_rate": 3.449333333333333e-05,
      "loss": 1.9178,
      "step": 3490
    },
    {
      "epoch": 0.3103111111111111,
      "grad_norm": 1.9668455123901367,
      "learning_rate": 3.448888888888889e-05,
      "loss": 1.7079,
      "step": 3491
    },
    {
      "epoch": 0.3104,
      "grad_norm": 1.8534520864486694,
      "learning_rate": 3.448444444444445e-05,
      "loss": 1.6493,
      "step": 3492
    },
    {
      "epoch": 0.31048888888888887,
      "grad_norm": 1.6083405017852783,
      "learning_rate": 3.448e-05,
      "loss": 1.7699,
      "step": 3493
    },
    {
      "epoch": 0.3105777777777778,
      "grad_norm": 1.6384124755859375,
      "learning_rate": 3.447555555555556e-05,
      "loss": 1.8835,
      "step": 3494
    },
    {
      "epoch": 0.31066666666666665,
      "grad_norm": 1.5447556972503662,
      "learning_rate": 3.447111111111112e-05,
      "loss": 1.6965,
      "step": 3495
    },
    {
      "epoch": 0.31075555555555556,
      "grad_norm": 1.6250559091567993,
      "learning_rate": 3.4466666666666666e-05,
      "loss": 1.6573,
      "step": 3496
    },
    {
      "epoch": 0.3108444444444444,
      "grad_norm": 1.945535659790039,
      "learning_rate": 3.446222222222222e-05,
      "loss": 1.5878,
      "step": 3497
    },
    {
      "epoch": 0.31093333333333334,
      "grad_norm": 1.9660789966583252,
      "learning_rate": 3.4457777777777776e-05,
      "loss": 1.8424,
      "step": 3498
    },
    {
      "epoch": 0.3110222222222222,
      "grad_norm": 2.0139880180358887,
      "learning_rate": 3.445333333333334e-05,
      "loss": 1.7439,
      "step": 3499
    },
    {
      "epoch": 0.3111111111111111,
      "grad_norm": 1.73151695728302,
      "learning_rate": 3.444888888888889e-05,
      "loss": 1.5296,
      "step": 3500
    },
    {
      "epoch": 0.3112,
      "grad_norm": 1.749858021736145,
      "learning_rate": 3.444444444444445e-05,
      "loss": 1.659,
      "step": 3501
    },
    {
      "epoch": 0.3112888888888889,
      "grad_norm": 2.452847719192505,
      "learning_rate": 3.444e-05,
      "loss": 1.7614,
      "step": 3502
    },
    {
      "epoch": 0.31137777777777775,
      "grad_norm": 1.8076635599136353,
      "learning_rate": 3.443555555555556e-05,
      "loss": 1.4447,
      "step": 3503
    },
    {
      "epoch": 0.31146666666666667,
      "grad_norm": 1.6852117776870728,
      "learning_rate": 3.443111111111111e-05,
      "loss": 1.8534,
      "step": 3504
    },
    {
      "epoch": 0.31155555555555553,
      "grad_norm": 1.9918625354766846,
      "learning_rate": 3.442666666666667e-05,
      "loss": 1.6599,
      "step": 3505
    },
    {
      "epoch": 0.31164444444444445,
      "grad_norm": 1.7650396823883057,
      "learning_rate": 3.442222222222222e-05,
      "loss": 1.7785,
      "step": 3506
    },
    {
      "epoch": 0.3117333333333333,
      "grad_norm": 1.7495973110198975,
      "learning_rate": 3.441777777777778e-05,
      "loss": 1.882,
      "step": 3507
    },
    {
      "epoch": 0.3118222222222222,
      "grad_norm": 1.6699656248092651,
      "learning_rate": 3.441333333333334e-05,
      "loss": 1.6482,
      "step": 3508
    },
    {
      "epoch": 0.3119111111111111,
      "grad_norm": 1.6352142095565796,
      "learning_rate": 3.440888888888889e-05,
      "loss": 1.6588,
      "step": 3509
    },
    {
      "epoch": 0.312,
      "grad_norm": 2.572042465209961,
      "learning_rate": 3.440444444444445e-05,
      "loss": 1.9399,
      "step": 3510
    },
    {
      "epoch": 0.3120888888888889,
      "grad_norm": 1.7228331565856934,
      "learning_rate": 3.4399999999999996e-05,
      "loss": 1.6018,
      "step": 3511
    },
    {
      "epoch": 0.3121777777777778,
      "grad_norm": 1.731758713722229,
      "learning_rate": 3.439555555555556e-05,
      "loss": 1.4881,
      "step": 3512
    },
    {
      "epoch": 0.3122666666666667,
      "grad_norm": 1.8654909133911133,
      "learning_rate": 3.439111111111111e-05,
      "loss": 1.6399,
      "step": 3513
    },
    {
      "epoch": 0.31235555555555555,
      "grad_norm": 1.5821925401687622,
      "learning_rate": 3.438666666666667e-05,
      "loss": 1.5209,
      "step": 3514
    },
    {
      "epoch": 0.31244444444444447,
      "grad_norm": 1.8664665222167969,
      "learning_rate": 3.438222222222222e-05,
      "loss": 1.6356,
      "step": 3515
    },
    {
      "epoch": 0.31253333333333333,
      "grad_norm": 2.0348048210144043,
      "learning_rate": 3.4377777777777784e-05,
      "loss": 1.5019,
      "step": 3516
    },
    {
      "epoch": 0.31262222222222225,
      "grad_norm": 1.8077906370162964,
      "learning_rate": 3.437333333333334e-05,
      "loss": 1.6561,
      "step": 3517
    },
    {
      "epoch": 0.3127111111111111,
      "grad_norm": 1.5899282693862915,
      "learning_rate": 3.4368888888888887e-05,
      "loss": 1.6059,
      "step": 3518
    },
    {
      "epoch": 0.3128,
      "grad_norm": 1.5669399499893188,
      "learning_rate": 3.436444444444444e-05,
      "loss": 1.3956,
      "step": 3519
    },
    {
      "epoch": 0.3128888888888889,
      "grad_norm": 1.7575583457946777,
      "learning_rate": 3.436e-05,
      "loss": 1.6691,
      "step": 3520
    },
    {
      "epoch": 0.3129777777777778,
      "grad_norm": 1.8376390933990479,
      "learning_rate": 3.435555555555556e-05,
      "loss": 1.4482,
      "step": 3521
    },
    {
      "epoch": 0.31306666666666666,
      "grad_norm": 1.9291484355926514,
      "learning_rate": 3.435111111111111e-05,
      "loss": 1.4685,
      "step": 3522
    },
    {
      "epoch": 0.3131555555555556,
      "grad_norm": 1.4887717962265015,
      "learning_rate": 3.434666666666667e-05,
      "loss": 1.6365,
      "step": 3523
    },
    {
      "epoch": 0.31324444444444444,
      "grad_norm": 1.746862769126892,
      "learning_rate": 3.434222222222222e-05,
      "loss": 1.4897,
      "step": 3524
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 1.8033936023712158,
      "learning_rate": 3.433777777777778e-05,
      "loss": 1.5259,
      "step": 3525
    },
    {
      "epoch": 0.3134222222222222,
      "grad_norm": 1.5153337717056274,
      "learning_rate": 3.433333333333333e-05,
      "loss": 1.4902,
      "step": 3526
    },
    {
      "epoch": 0.31351111111111113,
      "grad_norm": 1.5532453060150146,
      "learning_rate": 3.432888888888889e-05,
      "loss": 1.6884,
      "step": 3527
    },
    {
      "epoch": 0.3136,
      "grad_norm": 1.4962068796157837,
      "learning_rate": 3.432444444444445e-05,
      "loss": 1.4182,
      "step": 3528
    },
    {
      "epoch": 0.3136888888888889,
      "grad_norm": 1.5731515884399414,
      "learning_rate": 3.4320000000000003e-05,
      "loss": 1.7416,
      "step": 3529
    },
    {
      "epoch": 0.31377777777777777,
      "grad_norm": 1.7519313097000122,
      "learning_rate": 3.431555555555556e-05,
      "loss": 1.5162,
      "step": 3530
    },
    {
      "epoch": 0.3138666666666667,
      "grad_norm": 1.5222280025482178,
      "learning_rate": 3.431111111111111e-05,
      "loss": 1.6684,
      "step": 3531
    },
    {
      "epoch": 0.31395555555555554,
      "grad_norm": 1.5342161655426025,
      "learning_rate": 3.430666666666667e-05,
      "loss": 1.6925,
      "step": 3532
    },
    {
      "epoch": 0.31404444444444446,
      "grad_norm": 1.419315218925476,
      "learning_rate": 3.430222222222222e-05,
      "loss": 1.5071,
      "step": 3533
    },
    {
      "epoch": 0.3141333333333333,
      "grad_norm": 2.4455180168151855,
      "learning_rate": 3.429777777777778e-05,
      "loss": 1.8558,
      "step": 3534
    },
    {
      "epoch": 0.31422222222222224,
      "grad_norm": 1.5263298749923706,
      "learning_rate": 3.429333333333333e-05,
      "loss": 1.813,
      "step": 3535
    },
    {
      "epoch": 0.3143111111111111,
      "grad_norm": 1.6844922304153442,
      "learning_rate": 3.4288888888888894e-05,
      "loss": 1.6631,
      "step": 3536
    },
    {
      "epoch": 0.3144,
      "grad_norm": 1.9382084608078003,
      "learning_rate": 3.428444444444445e-05,
      "loss": 1.7906,
      "step": 3537
    },
    {
      "epoch": 0.3144888888888889,
      "grad_norm": 1.955718755722046,
      "learning_rate": 3.4280000000000004e-05,
      "loss": 1.8284,
      "step": 3538
    },
    {
      "epoch": 0.3145777777777778,
      "grad_norm": 1.705215573310852,
      "learning_rate": 3.427555555555555e-05,
      "loss": 1.6953,
      "step": 3539
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 1.7618801593780518,
      "learning_rate": 3.4271111111111114e-05,
      "loss": 1.5363,
      "step": 3540
    },
    {
      "epoch": 0.31475555555555557,
      "grad_norm": 1.8126684427261353,
      "learning_rate": 3.426666666666667e-05,
      "loss": 1.483,
      "step": 3541
    },
    {
      "epoch": 0.3148444444444444,
      "grad_norm": 1.7167797088623047,
      "learning_rate": 3.426222222222222e-05,
      "loss": 1.7164,
      "step": 3542
    },
    {
      "epoch": 0.31493333333333334,
      "grad_norm": 1.5575300455093384,
      "learning_rate": 3.425777777777778e-05,
      "loss": 1.44,
      "step": 3543
    },
    {
      "epoch": 0.3150222222222222,
      "grad_norm": 1.690890908241272,
      "learning_rate": 3.425333333333334e-05,
      "loss": 1.6743,
      "step": 3544
    },
    {
      "epoch": 0.3151111111111111,
      "grad_norm": 1.6230429410934448,
      "learning_rate": 3.4248888888888895e-05,
      "loss": 1.5807,
      "step": 3545
    },
    {
      "epoch": 0.3152,
      "grad_norm": 1.9762145280838013,
      "learning_rate": 3.424444444444444e-05,
      "loss": 1.6879,
      "step": 3546
    },
    {
      "epoch": 0.3152888888888889,
      "grad_norm": 2.0988571643829346,
      "learning_rate": 3.424e-05,
      "loss": 1.3933,
      "step": 3547
    },
    {
      "epoch": 0.31537777777777776,
      "grad_norm": 1.376631736755371,
      "learning_rate": 3.423555555555556e-05,
      "loss": 1.4221,
      "step": 3548
    },
    {
      "epoch": 0.3154666666666667,
      "grad_norm": 1.776861310005188,
      "learning_rate": 3.4231111111111114e-05,
      "loss": 1.6676,
      "step": 3549
    },
    {
      "epoch": 0.31555555555555553,
      "grad_norm": 1.5478914976119995,
      "learning_rate": 3.422666666666667e-05,
      "loss": 1.5598,
      "step": 3550
    },
    {
      "epoch": 0.31564444444444445,
      "grad_norm": 1.7088866233825684,
      "learning_rate": 3.4222222222222224e-05,
      "loss": 1.6201,
      "step": 3551
    },
    {
      "epoch": 0.3157333333333333,
      "grad_norm": 1.8188847303390503,
      "learning_rate": 3.4217777777777785e-05,
      "loss": 1.6647,
      "step": 3552
    },
    {
      "epoch": 0.3158222222222222,
      "grad_norm": 1.728153109550476,
      "learning_rate": 3.421333333333333e-05,
      "loss": 1.6216,
      "step": 3553
    },
    {
      "epoch": 0.3159111111111111,
      "grad_norm": 1.747043251991272,
      "learning_rate": 3.420888888888889e-05,
      "loss": 1.8402,
      "step": 3554
    },
    {
      "epoch": 0.316,
      "grad_norm": 1.553849220275879,
      "learning_rate": 3.420444444444444e-05,
      "loss": 1.3398,
      "step": 3555
    },
    {
      "epoch": 0.31608888888888886,
      "grad_norm": 1.5919609069824219,
      "learning_rate": 3.4200000000000005e-05,
      "loss": 1.5829,
      "step": 3556
    },
    {
      "epoch": 0.3161777777777778,
      "grad_norm": 1.9791922569274902,
      "learning_rate": 3.419555555555556e-05,
      "loss": 1.6005,
      "step": 3557
    },
    {
      "epoch": 0.31626666666666664,
      "grad_norm": 1.7565338611602783,
      "learning_rate": 3.4191111111111114e-05,
      "loss": 1.6808,
      "step": 3558
    },
    {
      "epoch": 0.31635555555555556,
      "grad_norm": 1.7040847539901733,
      "learning_rate": 3.418666666666667e-05,
      "loss": 1.7482,
      "step": 3559
    },
    {
      "epoch": 0.3164444444444444,
      "grad_norm": 1.6141608953475952,
      "learning_rate": 3.4182222222222224e-05,
      "loss": 1.5483,
      "step": 3560
    },
    {
      "epoch": 0.31653333333333333,
      "grad_norm": 1.5513215065002441,
      "learning_rate": 3.417777777777778e-05,
      "loss": 1.5495,
      "step": 3561
    },
    {
      "epoch": 0.31662222222222225,
      "grad_norm": 2.498537063598633,
      "learning_rate": 3.4173333333333334e-05,
      "loss": 1.6416,
      "step": 3562
    },
    {
      "epoch": 0.3167111111111111,
      "grad_norm": 1.5479062795639038,
      "learning_rate": 3.416888888888889e-05,
      "loss": 1.8064,
      "step": 3563
    },
    {
      "epoch": 0.3168,
      "grad_norm": 3.8134074211120605,
      "learning_rate": 3.416444444444444e-05,
      "loss": 1.9543,
      "step": 3564
    },
    {
      "epoch": 0.3168888888888889,
      "grad_norm": 1.9036506414413452,
      "learning_rate": 3.4160000000000005e-05,
      "loss": 1.7089,
      "step": 3565
    },
    {
      "epoch": 0.3169777777777778,
      "grad_norm": 1.6172677278518677,
      "learning_rate": 3.415555555555556e-05,
      "loss": 1.8958,
      "step": 3566
    },
    {
      "epoch": 0.31706666666666666,
      "grad_norm": 1.7118237018585205,
      "learning_rate": 3.4151111111111115e-05,
      "loss": 1.5281,
      "step": 3567
    },
    {
      "epoch": 0.3171555555555556,
      "grad_norm": 1.8141416311264038,
      "learning_rate": 3.414666666666666e-05,
      "loss": 1.5286,
      "step": 3568
    },
    {
      "epoch": 0.31724444444444444,
      "grad_norm": 1.7029396295547485,
      "learning_rate": 3.4142222222222224e-05,
      "loss": 1.8293,
      "step": 3569
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 1.5709880590438843,
      "learning_rate": 3.413777777777778e-05,
      "loss": 1.6286,
      "step": 3570
    },
    {
      "epoch": 0.3174222222222222,
      "grad_norm": 2.2568297386169434,
      "learning_rate": 3.4133333333333334e-05,
      "loss": 1.6848,
      "step": 3571
    },
    {
      "epoch": 0.31751111111111113,
      "grad_norm": 1.6521564722061157,
      "learning_rate": 3.412888888888889e-05,
      "loss": 1.5727,
      "step": 3572
    },
    {
      "epoch": 0.3176,
      "grad_norm": 2.306748390197754,
      "learning_rate": 3.412444444444445e-05,
      "loss": 1.6106,
      "step": 3573
    },
    {
      "epoch": 0.3176888888888889,
      "grad_norm": 1.6330516338348389,
      "learning_rate": 3.412e-05,
      "loss": 1.6683,
      "step": 3574
    },
    {
      "epoch": 0.31777777777777777,
      "grad_norm": 2.0166735649108887,
      "learning_rate": 3.4115555555555553e-05,
      "loss": 1.6095,
      "step": 3575
    },
    {
      "epoch": 0.3178666666666667,
      "grad_norm": 1.6356382369995117,
      "learning_rate": 3.411111111111111e-05,
      "loss": 1.441,
      "step": 3576
    },
    {
      "epoch": 0.31795555555555555,
      "grad_norm": 1.6931750774383545,
      "learning_rate": 3.410666666666667e-05,
      "loss": 1.6972,
      "step": 3577
    },
    {
      "epoch": 0.31804444444444446,
      "grad_norm": 2.4278295040130615,
      "learning_rate": 3.4102222222222225e-05,
      "loss": 1.8386,
      "step": 3578
    },
    {
      "epoch": 0.3181333333333333,
      "grad_norm": 1.7103043794631958,
      "learning_rate": 3.409777777777778e-05,
      "loss": 1.5902,
      "step": 3579
    },
    {
      "epoch": 0.31822222222222224,
      "grad_norm": 1.6065497398376465,
      "learning_rate": 3.4093333333333334e-05,
      "loss": 1.5131,
      "step": 3580
    },
    {
      "epoch": 0.3183111111111111,
      "grad_norm": 1.7594832181930542,
      "learning_rate": 3.408888888888889e-05,
      "loss": 1.6241,
      "step": 3581
    },
    {
      "epoch": 0.3184,
      "grad_norm": 1.6201015710830688,
      "learning_rate": 3.4084444444444444e-05,
      "loss": 1.6813,
      "step": 3582
    },
    {
      "epoch": 0.3184888888888889,
      "grad_norm": 1.6453804969787598,
      "learning_rate": 3.408e-05,
      "loss": 1.4906,
      "step": 3583
    },
    {
      "epoch": 0.3185777777777778,
      "grad_norm": 2.131279468536377,
      "learning_rate": 3.4075555555555554e-05,
      "loss": 1.641,
      "step": 3584
    },
    {
      "epoch": 0.31866666666666665,
      "grad_norm": 1.4527170658111572,
      "learning_rate": 3.4071111111111115e-05,
      "loss": 1.4468,
      "step": 3585
    },
    {
      "epoch": 0.31875555555555557,
      "grad_norm": 2.173011541366577,
      "learning_rate": 3.406666666666667e-05,
      "loss": 1.6418,
      "step": 3586
    },
    {
      "epoch": 0.31884444444444443,
      "grad_norm": 1.8714958429336548,
      "learning_rate": 3.4062222222222225e-05,
      "loss": 1.8668,
      "step": 3587
    },
    {
      "epoch": 0.31893333333333335,
      "grad_norm": 1.5492101907730103,
      "learning_rate": 3.405777777777778e-05,
      "loss": 1.5899,
      "step": 3588
    },
    {
      "epoch": 0.3190222222222222,
      "grad_norm": 1.8227869272232056,
      "learning_rate": 3.4053333333333335e-05,
      "loss": 1.8575,
      "step": 3589
    },
    {
      "epoch": 0.3191111111111111,
      "grad_norm": 1.7724686861038208,
      "learning_rate": 3.404888888888889e-05,
      "loss": 1.4589,
      "step": 3590
    },
    {
      "epoch": 0.3192,
      "grad_norm": 1.816100001335144,
      "learning_rate": 3.4044444444444445e-05,
      "loss": 1.4986,
      "step": 3591
    },
    {
      "epoch": 0.3192888888888889,
      "grad_norm": 1.7493489980697632,
      "learning_rate": 3.404e-05,
      "loss": 1.8092,
      "step": 3592
    },
    {
      "epoch": 0.31937777777777776,
      "grad_norm": 1.8448905944824219,
      "learning_rate": 3.403555555555556e-05,
      "loss": 1.5433,
      "step": 3593
    },
    {
      "epoch": 0.3194666666666667,
      "grad_norm": 1.4460009336471558,
      "learning_rate": 3.4031111111111116e-05,
      "loss": 1.5699,
      "step": 3594
    },
    {
      "epoch": 0.31955555555555554,
      "grad_norm": 3.4620938301086426,
      "learning_rate": 3.402666666666667e-05,
      "loss": 1.759,
      "step": 3595
    },
    {
      "epoch": 0.31964444444444445,
      "grad_norm": 1.759945273399353,
      "learning_rate": 3.402222222222222e-05,
      "loss": 1.8719,
      "step": 3596
    },
    {
      "epoch": 0.3197333333333333,
      "grad_norm": 1.7095401287078857,
      "learning_rate": 3.401777777777778e-05,
      "loss": 1.7274,
      "step": 3597
    },
    {
      "epoch": 0.31982222222222223,
      "grad_norm": 1.4840847253799438,
      "learning_rate": 3.4013333333333335e-05,
      "loss": 1.4898,
      "step": 3598
    },
    {
      "epoch": 0.3199111111111111,
      "grad_norm": 1.9535526037216187,
      "learning_rate": 3.400888888888889e-05,
      "loss": 1.6137,
      "step": 3599
    },
    {
      "epoch": 0.32,
      "grad_norm": 1.6144767999649048,
      "learning_rate": 3.4004444444444445e-05,
      "loss": 1.6238,
      "step": 3600
    },
    {
      "epoch": 0.32008888888888887,
      "grad_norm": 2.2273595333099365,
      "learning_rate": 3.4000000000000007e-05,
      "loss": 1.5264,
      "step": 3601
    },
    {
      "epoch": 0.3201777777777778,
      "grad_norm": 1.6293805837631226,
      "learning_rate": 3.399555555555556e-05,
      "loss": 1.4704,
      "step": 3602
    },
    {
      "epoch": 0.32026666666666664,
      "grad_norm": 1.5652328729629517,
      "learning_rate": 3.399111111111111e-05,
      "loss": 1.511,
      "step": 3603
    },
    {
      "epoch": 0.32035555555555556,
      "grad_norm": 1.708402156829834,
      "learning_rate": 3.3986666666666664e-05,
      "loss": 1.8941,
      "step": 3604
    },
    {
      "epoch": 0.3204444444444444,
      "grad_norm": 1.553568720817566,
      "learning_rate": 3.3982222222222226e-05,
      "loss": 1.5653,
      "step": 3605
    },
    {
      "epoch": 0.32053333333333334,
      "grad_norm": 1.3724011182785034,
      "learning_rate": 3.397777777777778e-05,
      "loss": 1.4597,
      "step": 3606
    },
    {
      "epoch": 0.3206222222222222,
      "grad_norm": 1.5440481901168823,
      "learning_rate": 3.3973333333333336e-05,
      "loss": 1.668,
      "step": 3607
    },
    {
      "epoch": 0.3207111111111111,
      "grad_norm": 1.578224539756775,
      "learning_rate": 3.396888888888889e-05,
      "loss": 1.4151,
      "step": 3608
    },
    {
      "epoch": 0.3208,
      "grad_norm": 1.5801318883895874,
      "learning_rate": 3.396444444444445e-05,
      "loss": 1.7528,
      "step": 3609
    },
    {
      "epoch": 0.3208888888888889,
      "grad_norm": 1.43213951587677,
      "learning_rate": 3.396e-05,
      "loss": 1.5285,
      "step": 3610
    },
    {
      "epoch": 0.32097777777777775,
      "grad_norm": 1.5730594396591187,
      "learning_rate": 3.3955555555555555e-05,
      "loss": 1.5651,
      "step": 3611
    },
    {
      "epoch": 0.32106666666666667,
      "grad_norm": 1.6281548738479614,
      "learning_rate": 3.395111111111111e-05,
      "loss": 1.6664,
      "step": 3612
    },
    {
      "epoch": 0.3211555555555556,
      "grad_norm": 1.6181390285491943,
      "learning_rate": 3.394666666666667e-05,
      "loss": 1.7663,
      "step": 3613
    },
    {
      "epoch": 0.32124444444444444,
      "grad_norm": 1.7213793992996216,
      "learning_rate": 3.3942222222222226e-05,
      "loss": 1.5762,
      "step": 3614
    },
    {
      "epoch": 0.32133333333333336,
      "grad_norm": 2.0229885578155518,
      "learning_rate": 3.393777777777778e-05,
      "loss": 2.1174,
      "step": 3615
    },
    {
      "epoch": 0.3214222222222222,
      "grad_norm": 1.580231785774231,
      "learning_rate": 3.3933333333333336e-05,
      "loss": 1.7016,
      "step": 3616
    },
    {
      "epoch": 0.32151111111111114,
      "grad_norm": 1.7743079662322998,
      "learning_rate": 3.392888888888889e-05,
      "loss": 1.5908,
      "step": 3617
    },
    {
      "epoch": 0.3216,
      "grad_norm": 2.058523654937744,
      "learning_rate": 3.3924444444444446e-05,
      "loss": 1.6916,
      "step": 3618
    },
    {
      "epoch": 0.3216888888888889,
      "grad_norm": 2.4608099460601807,
      "learning_rate": 3.392e-05,
      "loss": 1.915,
      "step": 3619
    },
    {
      "epoch": 0.3217777777777778,
      "grad_norm": 1.4629936218261719,
      "learning_rate": 3.3915555555555555e-05,
      "loss": 1.3967,
      "step": 3620
    },
    {
      "epoch": 0.3218666666666667,
      "grad_norm": 1.612583875656128,
      "learning_rate": 3.391111111111111e-05,
      "loss": 1.7355,
      "step": 3621
    },
    {
      "epoch": 0.32195555555555555,
      "grad_norm": 1.9733130931854248,
      "learning_rate": 3.390666666666667e-05,
      "loss": 1.6701,
      "step": 3622
    },
    {
      "epoch": 0.32204444444444447,
      "grad_norm": 1.7983264923095703,
      "learning_rate": 3.390222222222223e-05,
      "loss": 1.5997,
      "step": 3623
    },
    {
      "epoch": 0.3221333333333333,
      "grad_norm": 1.7625221014022827,
      "learning_rate": 3.389777777777778e-05,
      "loss": 1.5086,
      "step": 3624
    },
    {
      "epoch": 0.32222222222222224,
      "grad_norm": 1.6720595359802246,
      "learning_rate": 3.389333333333333e-05,
      "loss": 1.6034,
      "step": 3625
    },
    {
      "epoch": 0.3223111111111111,
      "grad_norm": 1.555347204208374,
      "learning_rate": 3.388888888888889e-05,
      "loss": 1.66,
      "step": 3626
    },
    {
      "epoch": 0.3224,
      "grad_norm": 2.451037883758545,
      "learning_rate": 3.3884444444444446e-05,
      "loss": 1.5394,
      "step": 3627
    },
    {
      "epoch": 0.3224888888888889,
      "grad_norm": 1.7193310260772705,
      "learning_rate": 3.388e-05,
      "loss": 1.8914,
      "step": 3628
    },
    {
      "epoch": 0.3225777777777778,
      "grad_norm": 1.4984209537506104,
      "learning_rate": 3.3875555555555556e-05,
      "loss": 1.6628,
      "step": 3629
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 1.5798789262771606,
      "learning_rate": 3.387111111111112e-05,
      "loss": 1.5884,
      "step": 3630
    },
    {
      "epoch": 0.3227555555555556,
      "grad_norm": 1.860460877418518,
      "learning_rate": 3.3866666666666665e-05,
      "loss": 1.4485,
      "step": 3631
    },
    {
      "epoch": 0.32284444444444443,
      "grad_norm": 2.2228446006774902,
      "learning_rate": 3.386222222222222e-05,
      "loss": 1.7209,
      "step": 3632
    },
    {
      "epoch": 0.32293333333333335,
      "grad_norm": 1.611250638961792,
      "learning_rate": 3.3857777777777775e-05,
      "loss": 1.7368,
      "step": 3633
    },
    {
      "epoch": 0.3230222222222222,
      "grad_norm": 1.6647460460662842,
      "learning_rate": 3.385333333333334e-05,
      "loss": 1.6681,
      "step": 3634
    },
    {
      "epoch": 0.3231111111111111,
      "grad_norm": 1.522377371788025,
      "learning_rate": 3.384888888888889e-05,
      "loss": 1.4474,
      "step": 3635
    },
    {
      "epoch": 0.3232,
      "grad_norm": 1.663894534111023,
      "learning_rate": 3.3844444444444446e-05,
      "loss": 1.7337,
      "step": 3636
    },
    {
      "epoch": 0.3232888888888889,
      "grad_norm": 1.6996042728424072,
      "learning_rate": 3.384e-05,
      "loss": 1.6998,
      "step": 3637
    },
    {
      "epoch": 0.32337777777777776,
      "grad_norm": 1.711936354637146,
      "learning_rate": 3.3835555555555556e-05,
      "loss": 1.7088,
      "step": 3638
    },
    {
      "epoch": 0.3234666666666667,
      "grad_norm": 1.8739603757858276,
      "learning_rate": 3.383111111111111e-05,
      "loss": 1.5759,
      "step": 3639
    },
    {
      "epoch": 0.32355555555555554,
      "grad_norm": 2.161740303039551,
      "learning_rate": 3.3826666666666666e-05,
      "loss": 1.634,
      "step": 3640
    },
    {
      "epoch": 0.32364444444444446,
      "grad_norm": 1.6372138261795044,
      "learning_rate": 3.382222222222222e-05,
      "loss": 1.677,
      "step": 3641
    },
    {
      "epoch": 0.3237333333333333,
      "grad_norm": 2.7975664138793945,
      "learning_rate": 3.381777777777778e-05,
      "loss": 1.6503,
      "step": 3642
    },
    {
      "epoch": 0.32382222222222223,
      "grad_norm": 1.429618239402771,
      "learning_rate": 3.381333333333334e-05,
      "loss": 1.5856,
      "step": 3643
    },
    {
      "epoch": 0.3239111111111111,
      "grad_norm": 1.6804773807525635,
      "learning_rate": 3.380888888888889e-05,
      "loss": 1.6349,
      "step": 3644
    },
    {
      "epoch": 0.324,
      "grad_norm": 1.584488034248352,
      "learning_rate": 3.380444444444445e-05,
      "loss": 1.5929,
      "step": 3645
    },
    {
      "epoch": 0.32408888888888887,
      "grad_norm": 1.5460721254348755,
      "learning_rate": 3.38e-05,
      "loss": 1.7509,
      "step": 3646
    },
    {
      "epoch": 0.3241777777777778,
      "grad_norm": 1.6811814308166504,
      "learning_rate": 3.3795555555555556e-05,
      "loss": 1.7077,
      "step": 3647
    },
    {
      "epoch": 0.32426666666666665,
      "grad_norm": 1.6637688875198364,
      "learning_rate": 3.379111111111111e-05,
      "loss": 1.5925,
      "step": 3648
    },
    {
      "epoch": 0.32435555555555556,
      "grad_norm": 1.6327282190322876,
      "learning_rate": 3.3786666666666666e-05,
      "loss": 1.5807,
      "step": 3649
    },
    {
      "epoch": 0.3244444444444444,
      "grad_norm": 1.9563711881637573,
      "learning_rate": 3.378222222222223e-05,
      "loss": 1.7238,
      "step": 3650
    },
    {
      "epoch": 0.32453333333333334,
      "grad_norm": 2.0165488719940186,
      "learning_rate": 3.377777777777778e-05,
      "loss": 1.868,
      "step": 3651
    },
    {
      "epoch": 0.3246222222222222,
      "grad_norm": 1.5490174293518066,
      "learning_rate": 3.377333333333334e-05,
      "loss": 1.6479,
      "step": 3652
    },
    {
      "epoch": 0.3247111111111111,
      "grad_norm": 2.1468420028686523,
      "learning_rate": 3.3768888888888886e-05,
      "loss": 1.593,
      "step": 3653
    },
    {
      "epoch": 0.3248,
      "grad_norm": 1.559977650642395,
      "learning_rate": 3.376444444444445e-05,
      "loss": 1.6355,
      "step": 3654
    },
    {
      "epoch": 0.3248888888888889,
      "grad_norm": 1.7159122228622437,
      "learning_rate": 3.376e-05,
      "loss": 1.7263,
      "step": 3655
    },
    {
      "epoch": 0.32497777777777775,
      "grad_norm": 1.5860188007354736,
      "learning_rate": 3.375555555555556e-05,
      "loss": 1.6119,
      "step": 3656
    },
    {
      "epoch": 0.32506666666666667,
      "grad_norm": 1.6881659030914307,
      "learning_rate": 3.375111111111111e-05,
      "loss": 1.7435,
      "step": 3657
    },
    {
      "epoch": 0.32515555555555553,
      "grad_norm": 1.7232089042663574,
      "learning_rate": 3.374666666666667e-05,
      "loss": 1.6458,
      "step": 3658
    },
    {
      "epoch": 0.32524444444444445,
      "grad_norm": 1.7026500701904297,
      "learning_rate": 3.374222222222223e-05,
      "loss": 1.6415,
      "step": 3659
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 1.508431315422058,
      "learning_rate": 3.3737777777777776e-05,
      "loss": 1.5632,
      "step": 3660
    },
    {
      "epoch": 0.3254222222222222,
      "grad_norm": 1.694647192955017,
      "learning_rate": 3.373333333333333e-05,
      "loss": 1.4936,
      "step": 3661
    },
    {
      "epoch": 0.3255111111111111,
      "grad_norm": 1.6223995685577393,
      "learning_rate": 3.372888888888889e-05,
      "loss": 1.5866,
      "step": 3662
    },
    {
      "epoch": 0.3256,
      "grad_norm": 1.653810739517212,
      "learning_rate": 3.372444444444445e-05,
      "loss": 1.6863,
      "step": 3663
    },
    {
      "epoch": 0.3256888888888889,
      "grad_norm": 1.7114771604537964,
      "learning_rate": 3.372e-05,
      "loss": 1.4076,
      "step": 3664
    },
    {
      "epoch": 0.3257777777777778,
      "grad_norm": 1.628611445426941,
      "learning_rate": 3.371555555555556e-05,
      "loss": 1.4446,
      "step": 3665
    },
    {
      "epoch": 0.3258666666666667,
      "grad_norm": 1.6445199251174927,
      "learning_rate": 3.371111111111111e-05,
      "loss": 1.8041,
      "step": 3666
    },
    {
      "epoch": 0.32595555555555555,
      "grad_norm": 1.7128156423568726,
      "learning_rate": 3.370666666666667e-05,
      "loss": 1.7738,
      "step": 3667
    },
    {
      "epoch": 0.32604444444444447,
      "grad_norm": 1.941265344619751,
      "learning_rate": 3.370222222222222e-05,
      "loss": 1.8229,
      "step": 3668
    },
    {
      "epoch": 0.32613333333333333,
      "grad_norm": 1.5389573574066162,
      "learning_rate": 3.369777777777778e-05,
      "loss": 1.5668,
      "step": 3669
    },
    {
      "epoch": 0.32622222222222225,
      "grad_norm": 1.98114812374115,
      "learning_rate": 3.369333333333333e-05,
      "loss": 1.6305,
      "step": 3670
    },
    {
      "epoch": 0.3263111111111111,
      "grad_norm": 1.5874767303466797,
      "learning_rate": 3.368888888888889e-05,
      "loss": 1.8529,
      "step": 3671
    },
    {
      "epoch": 0.3264,
      "grad_norm": 2.5493264198303223,
      "learning_rate": 3.368444444444445e-05,
      "loss": 2.195,
      "step": 3672
    },
    {
      "epoch": 0.3264888888888889,
      "grad_norm": 2.060422420501709,
      "learning_rate": 3.368e-05,
      "loss": 1.5674,
      "step": 3673
    },
    {
      "epoch": 0.3265777777777778,
      "grad_norm": 1.3563246726989746,
      "learning_rate": 3.367555555555556e-05,
      "loss": 1.4388,
      "step": 3674
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 1.5971934795379639,
      "learning_rate": 3.367111111111111e-05,
      "loss": 1.8256,
      "step": 3675
    },
    {
      "epoch": 0.3267555555555556,
      "grad_norm": 1.5827338695526123,
      "learning_rate": 3.366666666666667e-05,
      "loss": 1.4062,
      "step": 3676
    },
    {
      "epoch": 0.32684444444444444,
      "grad_norm": 1.647185206413269,
      "learning_rate": 3.366222222222222e-05,
      "loss": 1.5906,
      "step": 3677
    },
    {
      "epoch": 0.32693333333333335,
      "grad_norm": 2.4038422107696533,
      "learning_rate": 3.365777777777778e-05,
      "loss": 1.6971,
      "step": 3678
    },
    {
      "epoch": 0.3270222222222222,
      "grad_norm": 1.4440078735351562,
      "learning_rate": 3.365333333333334e-05,
      "loss": 1.4468,
      "step": 3679
    },
    {
      "epoch": 0.32711111111111113,
      "grad_norm": 1.9295567274093628,
      "learning_rate": 3.3648888888888893e-05,
      "loss": 1.7486,
      "step": 3680
    },
    {
      "epoch": 0.3272,
      "grad_norm": 1.5105819702148438,
      "learning_rate": 3.364444444444445e-05,
      "loss": 1.6808,
      "step": 3681
    },
    {
      "epoch": 0.3272888888888889,
      "grad_norm": 1.5456048250198364,
      "learning_rate": 3.3639999999999996e-05,
      "loss": 1.7314,
      "step": 3682
    },
    {
      "epoch": 0.32737777777777777,
      "grad_norm": 1.5120054483413696,
      "learning_rate": 3.363555555555556e-05,
      "loss": 1.5393,
      "step": 3683
    },
    {
      "epoch": 0.3274666666666667,
      "grad_norm": 2.162569046020508,
      "learning_rate": 3.363111111111111e-05,
      "loss": 1.588,
      "step": 3684
    },
    {
      "epoch": 0.32755555555555554,
      "grad_norm": 1.5726507902145386,
      "learning_rate": 3.362666666666667e-05,
      "loss": 1.4899,
      "step": 3685
    },
    {
      "epoch": 0.32764444444444446,
      "grad_norm": 1.4428319931030273,
      "learning_rate": 3.362222222222222e-05,
      "loss": 1.583,
      "step": 3686
    },
    {
      "epoch": 0.3277333333333333,
      "grad_norm": 1.9446943998336792,
      "learning_rate": 3.3617777777777784e-05,
      "loss": 1.5419,
      "step": 3687
    },
    {
      "epoch": 0.32782222222222224,
      "grad_norm": 1.5067158937454224,
      "learning_rate": 3.361333333333333e-05,
      "loss": 1.4415,
      "step": 3688
    },
    {
      "epoch": 0.3279111111111111,
      "grad_norm": 2.1319222450256348,
      "learning_rate": 3.360888888888889e-05,
      "loss": 1.7164,
      "step": 3689
    },
    {
      "epoch": 0.328,
      "grad_norm": 2.2959718704223633,
      "learning_rate": 3.360444444444444e-05,
      "loss": 1.6494,
      "step": 3690
    },
    {
      "epoch": 0.3280888888888889,
      "grad_norm": 1.7325763702392578,
      "learning_rate": 3.3600000000000004e-05,
      "loss": 1.6194,
      "step": 3691
    },
    {
      "epoch": 0.3281777777777778,
      "grad_norm": 1.6249359846115112,
      "learning_rate": 3.359555555555556e-05,
      "loss": 1.6055,
      "step": 3692
    },
    {
      "epoch": 0.32826666666666665,
      "grad_norm": 1.5142015218734741,
      "learning_rate": 3.359111111111111e-05,
      "loss": 1.6404,
      "step": 3693
    },
    {
      "epoch": 0.32835555555555557,
      "grad_norm": 1.3807495832443237,
      "learning_rate": 3.358666666666667e-05,
      "loss": 1.4152,
      "step": 3694
    },
    {
      "epoch": 0.32844444444444443,
      "grad_norm": 1.7170994281768799,
      "learning_rate": 3.358222222222222e-05,
      "loss": 1.5715,
      "step": 3695
    },
    {
      "epoch": 0.32853333333333334,
      "grad_norm": 1.5226553678512573,
      "learning_rate": 3.357777777777778e-05,
      "loss": 1.6406,
      "step": 3696
    },
    {
      "epoch": 0.3286222222222222,
      "grad_norm": 1.6917682886123657,
      "learning_rate": 3.357333333333333e-05,
      "loss": 1.7187,
      "step": 3697
    },
    {
      "epoch": 0.3287111111111111,
      "grad_norm": 1.597091794013977,
      "learning_rate": 3.356888888888889e-05,
      "loss": 1.5063,
      "step": 3698
    },
    {
      "epoch": 0.3288,
      "grad_norm": 1.5815192461013794,
      "learning_rate": 3.356444444444445e-05,
      "loss": 1.6812,
      "step": 3699
    },
    {
      "epoch": 0.3288888888888889,
      "grad_norm": 1.5631327629089355,
      "learning_rate": 3.3560000000000004e-05,
      "loss": 1.5864,
      "step": 3700
    },
    {
      "epoch": 0.32897777777777776,
      "grad_norm": 1.503953456878662,
      "learning_rate": 3.355555555555556e-05,
      "loss": 1.577,
      "step": 3701
    },
    {
      "epoch": 0.3290666666666667,
      "grad_norm": 1.6488754749298096,
      "learning_rate": 3.3551111111111114e-05,
      "loss": 1.4228,
      "step": 3702
    },
    {
      "epoch": 0.32915555555555553,
      "grad_norm": 1.5377278327941895,
      "learning_rate": 3.354666666666667e-05,
      "loss": 1.6504,
      "step": 3703
    },
    {
      "epoch": 0.32924444444444445,
      "grad_norm": 1.6351693868637085,
      "learning_rate": 3.354222222222222e-05,
      "loss": 1.5937,
      "step": 3704
    },
    {
      "epoch": 0.3293333333333333,
      "grad_norm": 1.5717819929122925,
      "learning_rate": 3.353777777777778e-05,
      "loss": 1.6897,
      "step": 3705
    },
    {
      "epoch": 0.3294222222222222,
      "grad_norm": 1.685883641242981,
      "learning_rate": 3.353333333333333e-05,
      "loss": 1.5279,
      "step": 3706
    },
    {
      "epoch": 0.3295111111111111,
      "grad_norm": 1.6887121200561523,
      "learning_rate": 3.3528888888888895e-05,
      "loss": 1.5906,
      "step": 3707
    },
    {
      "epoch": 0.3296,
      "grad_norm": 1.4989579916000366,
      "learning_rate": 3.352444444444445e-05,
      "loss": 1.5571,
      "step": 3708
    },
    {
      "epoch": 0.32968888888888886,
      "grad_norm": 1.5689829587936401,
      "learning_rate": 3.3520000000000004e-05,
      "loss": 1.3354,
      "step": 3709
    },
    {
      "epoch": 0.3297777777777778,
      "grad_norm": 1.8361053466796875,
      "learning_rate": 3.351555555555555e-05,
      "loss": 1.6268,
      "step": 3710
    },
    {
      "epoch": 0.32986666666666664,
      "grad_norm": 1.813960075378418,
      "learning_rate": 3.3511111111111114e-05,
      "loss": 1.6708,
      "step": 3711
    },
    {
      "epoch": 0.32995555555555556,
      "grad_norm": 1.6872310638427734,
      "learning_rate": 3.350666666666667e-05,
      "loss": 1.6366,
      "step": 3712
    },
    {
      "epoch": 0.3300444444444444,
      "grad_norm": 2.064803123474121,
      "learning_rate": 3.3502222222222224e-05,
      "loss": 1.423,
      "step": 3713
    },
    {
      "epoch": 0.33013333333333333,
      "grad_norm": 1.531277060508728,
      "learning_rate": 3.349777777777778e-05,
      "loss": 1.6205,
      "step": 3714
    },
    {
      "epoch": 0.3302222222222222,
      "grad_norm": 1.541862964630127,
      "learning_rate": 3.349333333333334e-05,
      "loss": 1.6367,
      "step": 3715
    },
    {
      "epoch": 0.3303111111111111,
      "grad_norm": 1.5880831480026245,
      "learning_rate": 3.3488888888888895e-05,
      "loss": 1.617,
      "step": 3716
    },
    {
      "epoch": 0.3304,
      "grad_norm": 1.5824337005615234,
      "learning_rate": 3.348444444444444e-05,
      "loss": 1.6331,
      "step": 3717
    },
    {
      "epoch": 0.3304888888888889,
      "grad_norm": 1.4867650270462036,
      "learning_rate": 3.348e-05,
      "loss": 1.6306,
      "step": 3718
    },
    {
      "epoch": 0.3305777777777778,
      "grad_norm": 1.515504002571106,
      "learning_rate": 3.347555555555555e-05,
      "loss": 1.5553,
      "step": 3719
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 1.7285568714141846,
      "learning_rate": 3.3471111111111114e-05,
      "loss": 1.5135,
      "step": 3720
    },
    {
      "epoch": 0.3307555555555556,
      "grad_norm": 1.970718502998352,
      "learning_rate": 3.346666666666667e-05,
      "loss": 1.6643,
      "step": 3721
    },
    {
      "epoch": 0.33084444444444444,
      "grad_norm": 2.050889253616333,
      "learning_rate": 3.3462222222222224e-05,
      "loss": 1.7724,
      "step": 3722
    },
    {
      "epoch": 0.33093333333333336,
      "grad_norm": 1.5615508556365967,
      "learning_rate": 3.345777777777778e-05,
      "loss": 1.4919,
      "step": 3723
    },
    {
      "epoch": 0.3310222222222222,
      "grad_norm": 1.6607941389083862,
      "learning_rate": 3.3453333333333334e-05,
      "loss": 1.6776,
      "step": 3724
    },
    {
      "epoch": 0.33111111111111113,
      "grad_norm": 1.5044904947280884,
      "learning_rate": 3.344888888888889e-05,
      "loss": 1.7984,
      "step": 3725
    },
    {
      "epoch": 0.3312,
      "grad_norm": 1.824407935142517,
      "learning_rate": 3.3444444444444443e-05,
      "loss": 1.6919,
      "step": 3726
    },
    {
      "epoch": 0.3312888888888889,
      "grad_norm": 1.7899160385131836,
      "learning_rate": 3.344e-05,
      "loss": 1.5684,
      "step": 3727
    },
    {
      "epoch": 0.33137777777777777,
      "grad_norm": 1.609022617340088,
      "learning_rate": 3.343555555555556e-05,
      "loss": 1.6041,
      "step": 3728
    },
    {
      "epoch": 0.3314666666666667,
      "grad_norm": 1.412050485610962,
      "learning_rate": 3.3431111111111115e-05,
      "loss": 1.5298,
      "step": 3729
    },
    {
      "epoch": 0.33155555555555555,
      "grad_norm": 1.5231925249099731,
      "learning_rate": 3.342666666666667e-05,
      "loss": 1.6346,
      "step": 3730
    },
    {
      "epoch": 0.33164444444444446,
      "grad_norm": 1.709497094154358,
      "learning_rate": 3.3422222222222224e-05,
      "loss": 1.6878,
      "step": 3731
    },
    {
      "epoch": 0.3317333333333333,
      "grad_norm": 2.3580570220947266,
      "learning_rate": 3.341777777777778e-05,
      "loss": 1.6524,
      "step": 3732
    },
    {
      "epoch": 0.33182222222222224,
      "grad_norm": 1.6645550727844238,
      "learning_rate": 3.3413333333333334e-05,
      "loss": 2.0043,
      "step": 3733
    },
    {
      "epoch": 0.3319111111111111,
      "grad_norm": 1.5743459463119507,
      "learning_rate": 3.340888888888889e-05,
      "loss": 1.7105,
      "step": 3734
    },
    {
      "epoch": 0.332,
      "grad_norm": 1.6156399250030518,
      "learning_rate": 3.3404444444444444e-05,
      "loss": 1.7057,
      "step": 3735
    },
    {
      "epoch": 0.3320888888888889,
      "grad_norm": 1.7576677799224854,
      "learning_rate": 3.3400000000000005e-05,
      "loss": 1.8935,
      "step": 3736
    },
    {
      "epoch": 0.3321777777777778,
      "grad_norm": 1.6892987489700317,
      "learning_rate": 3.339555555555556e-05,
      "loss": 1.5274,
      "step": 3737
    },
    {
      "epoch": 0.33226666666666665,
      "grad_norm": 1.5050687789916992,
      "learning_rate": 3.3391111111111115e-05,
      "loss": 1.5696,
      "step": 3738
    },
    {
      "epoch": 0.33235555555555557,
      "grad_norm": 1.608783483505249,
      "learning_rate": 3.338666666666666e-05,
      "loss": 1.7724,
      "step": 3739
    },
    {
      "epoch": 0.33244444444444443,
      "grad_norm": 1.534420371055603,
      "learning_rate": 3.3382222222222225e-05,
      "loss": 1.6525,
      "step": 3740
    },
    {
      "epoch": 0.33253333333333335,
      "grad_norm": 1.5798556804656982,
      "learning_rate": 3.337777777777778e-05,
      "loss": 1.7137,
      "step": 3741
    },
    {
      "epoch": 0.3326222222222222,
      "grad_norm": 1.5161676406860352,
      "learning_rate": 3.3373333333333335e-05,
      "loss": 1.7758,
      "step": 3742
    },
    {
      "epoch": 0.3327111111111111,
      "grad_norm": 1.5526771545410156,
      "learning_rate": 3.336888888888889e-05,
      "loss": 1.8144,
      "step": 3743
    },
    {
      "epoch": 0.3328,
      "grad_norm": 1.8821132183074951,
      "learning_rate": 3.336444444444445e-05,
      "loss": 1.5595,
      "step": 3744
    },
    {
      "epoch": 0.3328888888888889,
      "grad_norm": 1.7265316247940063,
      "learning_rate": 3.336e-05,
      "loss": 1.4839,
      "step": 3745
    },
    {
      "epoch": 0.33297777777777776,
      "grad_norm": 1.8591374158859253,
      "learning_rate": 3.3355555555555554e-05,
      "loss": 1.802,
      "step": 3746
    },
    {
      "epoch": 0.3330666666666667,
      "grad_norm": 1.4695185422897339,
      "learning_rate": 3.335111111111111e-05,
      "loss": 1.6521,
      "step": 3747
    },
    {
      "epoch": 0.33315555555555554,
      "grad_norm": 1.8254660367965698,
      "learning_rate": 3.334666666666667e-05,
      "loss": 1.7889,
      "step": 3748
    },
    {
      "epoch": 0.33324444444444445,
      "grad_norm": 1.5025337934494019,
      "learning_rate": 3.3342222222222225e-05,
      "loss": 1.5823,
      "step": 3749
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.813364028930664,
      "learning_rate": 3.333777777777778e-05,
      "loss": 1.6572,
      "step": 3750
    },
    {
      "epoch": 0.33342222222222223,
      "grad_norm": 1.595650315284729,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 1.5698,
      "step": 3751
    },
    {
      "epoch": 0.3335111111111111,
      "grad_norm": 1.5035176277160645,
      "learning_rate": 3.332888888888889e-05,
      "loss": 1.5693,
      "step": 3752
    },
    {
      "epoch": 0.3336,
      "grad_norm": 1.6772345304489136,
      "learning_rate": 3.3324444444444445e-05,
      "loss": 1.6965,
      "step": 3753
    },
    {
      "epoch": 0.33368888888888887,
      "grad_norm": 1.9741681814193726,
      "learning_rate": 3.332e-05,
      "loss": 1.6256,
      "step": 3754
    },
    {
      "epoch": 0.3337777777777778,
      "grad_norm": 1.7122838497161865,
      "learning_rate": 3.3315555555555554e-05,
      "loss": 1.4725,
      "step": 3755
    },
    {
      "epoch": 0.33386666666666664,
      "grad_norm": 1.437859058380127,
      "learning_rate": 3.3311111111111116e-05,
      "loss": 1.5235,
      "step": 3756
    },
    {
      "epoch": 0.33395555555555556,
      "grad_norm": 1.9407039880752563,
      "learning_rate": 3.330666666666667e-05,
      "loss": 1.7845,
      "step": 3757
    },
    {
      "epoch": 0.3340444444444444,
      "grad_norm": 1.5773411989212036,
      "learning_rate": 3.3302222222222226e-05,
      "loss": 1.5469,
      "step": 3758
    },
    {
      "epoch": 0.33413333333333334,
      "grad_norm": 1.705020546913147,
      "learning_rate": 3.329777777777778e-05,
      "loss": 1.5357,
      "step": 3759
    },
    {
      "epoch": 0.3342222222222222,
      "grad_norm": 1.6226716041564941,
      "learning_rate": 3.3293333333333335e-05,
      "loss": 1.5737,
      "step": 3760
    },
    {
      "epoch": 0.3343111111111111,
      "grad_norm": 1.421168327331543,
      "learning_rate": 3.328888888888889e-05,
      "loss": 1.4788,
      "step": 3761
    },
    {
      "epoch": 0.3344,
      "grad_norm": 1.9693171977996826,
      "learning_rate": 3.3284444444444445e-05,
      "loss": 1.4261,
      "step": 3762
    },
    {
      "epoch": 0.3344888888888889,
      "grad_norm": 1.651039481163025,
      "learning_rate": 3.328e-05,
      "loss": 1.434,
      "step": 3763
    },
    {
      "epoch": 0.33457777777777775,
      "grad_norm": 1.9189692735671997,
      "learning_rate": 3.327555555555556e-05,
      "loss": 1.525,
      "step": 3764
    },
    {
      "epoch": 0.33466666666666667,
      "grad_norm": 1.825094223022461,
      "learning_rate": 3.3271111111111116e-05,
      "loss": 1.7326,
      "step": 3765
    },
    {
      "epoch": 0.33475555555555553,
      "grad_norm": 2.189924478530884,
      "learning_rate": 3.326666666666667e-05,
      "loss": 1.7613,
      "step": 3766
    },
    {
      "epoch": 0.33484444444444444,
      "grad_norm": 1.7514182329177856,
      "learning_rate": 3.326222222222222e-05,
      "loss": 1.7352,
      "step": 3767
    },
    {
      "epoch": 0.33493333333333336,
      "grad_norm": 2.076204776763916,
      "learning_rate": 3.325777777777778e-05,
      "loss": 1.7897,
      "step": 3768
    },
    {
      "epoch": 0.3350222222222222,
      "grad_norm": 2.2051217555999756,
      "learning_rate": 3.3253333333333336e-05,
      "loss": 1.7052,
      "step": 3769
    },
    {
      "epoch": 0.33511111111111114,
      "grad_norm": 1.8515516519546509,
      "learning_rate": 3.324888888888889e-05,
      "loss": 1.834,
      "step": 3770
    },
    {
      "epoch": 0.3352,
      "grad_norm": 1.7340983152389526,
      "learning_rate": 3.3244444444444445e-05,
      "loss": 1.6088,
      "step": 3771
    },
    {
      "epoch": 0.3352888888888889,
      "grad_norm": 2.002784490585327,
      "learning_rate": 3.324e-05,
      "loss": 1.6465,
      "step": 3772
    },
    {
      "epoch": 0.3353777777777778,
      "grad_norm": 1.765255331993103,
      "learning_rate": 3.323555555555556e-05,
      "loss": 1.6787,
      "step": 3773
    },
    {
      "epoch": 0.3354666666666667,
      "grad_norm": 1.6669272184371948,
      "learning_rate": 3.323111111111111e-05,
      "loss": 1.5782,
      "step": 3774
    },
    {
      "epoch": 0.33555555555555555,
      "grad_norm": 2.000941038131714,
      "learning_rate": 3.3226666666666665e-05,
      "loss": 1.6586,
      "step": 3775
    },
    {
      "epoch": 0.33564444444444447,
      "grad_norm": 1.5851490497589111,
      "learning_rate": 3.322222222222222e-05,
      "loss": 1.6939,
      "step": 3776
    },
    {
      "epoch": 0.33573333333333333,
      "grad_norm": 1.6860721111297607,
      "learning_rate": 3.321777777777778e-05,
      "loss": 1.5803,
      "step": 3777
    },
    {
      "epoch": 0.33582222222222224,
      "grad_norm": 2.2860748767852783,
      "learning_rate": 3.3213333333333336e-05,
      "loss": 1.7833,
      "step": 3778
    },
    {
      "epoch": 0.3359111111111111,
      "grad_norm": 1.7692204713821411,
      "learning_rate": 3.320888888888889e-05,
      "loss": 1.8101,
      "step": 3779
    },
    {
      "epoch": 0.336,
      "grad_norm": 1.7451469898223877,
      "learning_rate": 3.3204444444444446e-05,
      "loss": 1.6382,
      "step": 3780
    },
    {
      "epoch": 0.3360888888888889,
      "grad_norm": 1.6833852529525757,
      "learning_rate": 3.32e-05,
      "loss": 1.5762,
      "step": 3781
    },
    {
      "epoch": 0.3361777777777778,
      "grad_norm": 1.5149532556533813,
      "learning_rate": 3.3195555555555555e-05,
      "loss": 1.5202,
      "step": 3782
    },
    {
      "epoch": 0.33626666666666666,
      "grad_norm": 2.7459404468536377,
      "learning_rate": 3.319111111111111e-05,
      "loss": 1.7852,
      "step": 3783
    },
    {
      "epoch": 0.3363555555555556,
      "grad_norm": 1.8493609428405762,
      "learning_rate": 3.3186666666666665e-05,
      "loss": 1.4472,
      "step": 3784
    },
    {
      "epoch": 0.33644444444444443,
      "grad_norm": 1.5834165811538696,
      "learning_rate": 3.318222222222223e-05,
      "loss": 1.6349,
      "step": 3785
    },
    {
      "epoch": 0.33653333333333335,
      "grad_norm": 1.6537861824035645,
      "learning_rate": 3.317777777777778e-05,
      "loss": 1.7427,
      "step": 3786
    },
    {
      "epoch": 0.3366222222222222,
      "grad_norm": 1.6790648698806763,
      "learning_rate": 3.3173333333333336e-05,
      "loss": 1.4799,
      "step": 3787
    },
    {
      "epoch": 0.3367111111111111,
      "grad_norm": 1.9341069459915161,
      "learning_rate": 3.316888888888889e-05,
      "loss": 1.5999,
      "step": 3788
    },
    {
      "epoch": 0.3368,
      "grad_norm": 1.5787746906280518,
      "learning_rate": 3.3164444444444446e-05,
      "loss": 1.6865,
      "step": 3789
    },
    {
      "epoch": 0.3368888888888889,
      "grad_norm": 2.308943271636963,
      "learning_rate": 3.316e-05,
      "loss": 1.6531,
      "step": 3790
    },
    {
      "epoch": 0.33697777777777776,
      "grad_norm": 1.608814001083374,
      "learning_rate": 3.3155555555555556e-05,
      "loss": 1.8003,
      "step": 3791
    },
    {
      "epoch": 0.3370666666666667,
      "grad_norm": 2.140868902206421,
      "learning_rate": 3.315111111111111e-05,
      "loss": 1.5131,
      "step": 3792
    },
    {
      "epoch": 0.33715555555555554,
      "grad_norm": 2.1621737480163574,
      "learning_rate": 3.314666666666667e-05,
      "loss": 2.0174,
      "step": 3793
    },
    {
      "epoch": 0.33724444444444446,
      "grad_norm": 1.758454442024231,
      "learning_rate": 3.314222222222223e-05,
      "loss": 1.7667,
      "step": 3794
    },
    {
      "epoch": 0.3373333333333333,
      "grad_norm": 1.7644774913787842,
      "learning_rate": 3.313777777777778e-05,
      "loss": 1.7377,
      "step": 3795
    },
    {
      "epoch": 0.33742222222222223,
      "grad_norm": 1.624076247215271,
      "learning_rate": 3.313333333333333e-05,
      "loss": 1.6865,
      "step": 3796
    },
    {
      "epoch": 0.3375111111111111,
      "grad_norm": 1.4768420457839966,
      "learning_rate": 3.312888888888889e-05,
      "loss": 1.6718,
      "step": 3797
    },
    {
      "epoch": 0.3376,
      "grad_norm": 1.5633575916290283,
      "learning_rate": 3.3124444444444447e-05,
      "loss": 1.7981,
      "step": 3798
    },
    {
      "epoch": 0.33768888888888887,
      "grad_norm": 1.558997392654419,
      "learning_rate": 3.312e-05,
      "loss": 1.5079,
      "step": 3799
    },
    {
      "epoch": 0.3377777777777778,
      "grad_norm": 2.1489503383636475,
      "learning_rate": 3.3115555555555556e-05,
      "loss": 1.9245,
      "step": 3800
    },
    {
      "epoch": 0.33786666666666665,
      "grad_norm": 2.020535945892334,
      "learning_rate": 3.311111111111112e-05,
      "loss": 1.5713,
      "step": 3801
    },
    {
      "epoch": 0.33795555555555556,
      "grad_norm": 2.6755852699279785,
      "learning_rate": 3.3106666666666666e-05,
      "loss": 1.8807,
      "step": 3802
    },
    {
      "epoch": 0.3380444444444444,
      "grad_norm": 1.7633756399154663,
      "learning_rate": 3.310222222222222e-05,
      "loss": 1.6294,
      "step": 3803
    },
    {
      "epoch": 0.33813333333333334,
      "grad_norm": 1.8413039445877075,
      "learning_rate": 3.3097777777777776e-05,
      "loss": 1.6935,
      "step": 3804
    },
    {
      "epoch": 0.3382222222222222,
      "grad_norm": 1.8525896072387695,
      "learning_rate": 3.309333333333334e-05,
      "loss": 1.5913,
      "step": 3805
    },
    {
      "epoch": 0.3383111111111111,
      "grad_norm": 1.439017653465271,
      "learning_rate": 3.308888888888889e-05,
      "loss": 1.4407,
      "step": 3806
    },
    {
      "epoch": 0.3384,
      "grad_norm": 1.8051003217697144,
      "learning_rate": 3.308444444444445e-05,
      "loss": 1.5598,
      "step": 3807
    },
    {
      "epoch": 0.3384888888888889,
      "grad_norm": 2.005648374557495,
      "learning_rate": 3.308e-05,
      "loss": 1.7365,
      "step": 3808
    },
    {
      "epoch": 0.33857777777777776,
      "grad_norm": 1.8736144304275513,
      "learning_rate": 3.3075555555555557e-05,
      "loss": 1.7122,
      "step": 3809
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 1.9830023050308228,
      "learning_rate": 3.307111111111111e-05,
      "loss": 1.6971,
      "step": 3810
    },
    {
      "epoch": 0.33875555555555553,
      "grad_norm": 1.8647669553756714,
      "learning_rate": 3.3066666666666666e-05,
      "loss": 1.5388,
      "step": 3811
    },
    {
      "epoch": 0.33884444444444445,
      "grad_norm": 1.7425265312194824,
      "learning_rate": 3.306222222222222e-05,
      "loss": 1.5562,
      "step": 3812
    },
    {
      "epoch": 0.3389333333333333,
      "grad_norm": 1.4077262878417969,
      "learning_rate": 3.305777777777778e-05,
      "loss": 1.573,
      "step": 3813
    },
    {
      "epoch": 0.3390222222222222,
      "grad_norm": 2.0213258266448975,
      "learning_rate": 3.305333333333334e-05,
      "loss": 1.8479,
      "step": 3814
    },
    {
      "epoch": 0.3391111111111111,
      "grad_norm": 1.4098032712936401,
      "learning_rate": 3.304888888888889e-05,
      "loss": 1.5321,
      "step": 3815
    },
    {
      "epoch": 0.3392,
      "grad_norm": 1.5235316753387451,
      "learning_rate": 3.304444444444445e-05,
      "loss": 1.6156,
      "step": 3816
    },
    {
      "epoch": 0.33928888888888886,
      "grad_norm": 1.5404574871063232,
      "learning_rate": 3.304e-05,
      "loss": 1.4819,
      "step": 3817
    },
    {
      "epoch": 0.3393777777777778,
      "grad_norm": 1.6251492500305176,
      "learning_rate": 3.303555555555556e-05,
      "loss": 1.8118,
      "step": 3818
    },
    {
      "epoch": 0.3394666666666667,
      "grad_norm": 1.4340335130691528,
      "learning_rate": 3.303111111111111e-05,
      "loss": 1.5489,
      "step": 3819
    },
    {
      "epoch": 0.33955555555555555,
      "grad_norm": 1.4635249376296997,
      "learning_rate": 3.302666666666667e-05,
      "loss": 1.6087,
      "step": 3820
    },
    {
      "epoch": 0.33964444444444447,
      "grad_norm": 1.3892346620559692,
      "learning_rate": 3.302222222222222e-05,
      "loss": 1.3493,
      "step": 3821
    },
    {
      "epoch": 0.33973333333333333,
      "grad_norm": 2.3865163326263428,
      "learning_rate": 3.301777777777778e-05,
      "loss": 1.7329,
      "step": 3822
    },
    {
      "epoch": 0.33982222222222225,
      "grad_norm": 2.1249399185180664,
      "learning_rate": 3.301333333333334e-05,
      "loss": 1.7464,
      "step": 3823
    },
    {
      "epoch": 0.3399111111111111,
      "grad_norm": 1.4905071258544922,
      "learning_rate": 3.3008888888888886e-05,
      "loss": 1.5651,
      "step": 3824
    },
    {
      "epoch": 0.34,
      "grad_norm": 2.1299691200256348,
      "learning_rate": 3.300444444444444e-05,
      "loss": 1.6828,
      "step": 3825
    },
    {
      "epoch": 0.3400888888888889,
      "grad_norm": 1.3751111030578613,
      "learning_rate": 3.3e-05,
      "loss": 1.6181,
      "step": 3826
    },
    {
      "epoch": 0.3401777777777778,
      "grad_norm": 1.7366973161697388,
      "learning_rate": 3.299555555555556e-05,
      "loss": 1.8499,
      "step": 3827
    },
    {
      "epoch": 0.34026666666666666,
      "grad_norm": 1.7640608549118042,
      "learning_rate": 3.299111111111111e-05,
      "loss": 1.6896,
      "step": 3828
    },
    {
      "epoch": 0.3403555555555556,
      "grad_norm": 1.8035101890563965,
      "learning_rate": 3.298666666666667e-05,
      "loss": 1.8526,
      "step": 3829
    },
    {
      "epoch": 0.34044444444444444,
      "grad_norm": 1.511892557144165,
      "learning_rate": 3.298222222222223e-05,
      "loss": 1.6107,
      "step": 3830
    },
    {
      "epoch": 0.34053333333333335,
      "grad_norm": 1.4668266773223877,
      "learning_rate": 3.297777777777778e-05,
      "loss": 1.6118,
      "step": 3831
    },
    {
      "epoch": 0.3406222222222222,
      "grad_norm": 1.5219300985336304,
      "learning_rate": 3.297333333333333e-05,
      "loss": 1.8199,
      "step": 3832
    },
    {
      "epoch": 0.34071111111111113,
      "grad_norm": 1.7818000316619873,
      "learning_rate": 3.2968888888888886e-05,
      "loss": 1.7334,
      "step": 3833
    },
    {
      "epoch": 0.3408,
      "grad_norm": 1.6927719116210938,
      "learning_rate": 3.296444444444445e-05,
      "loss": 1.7304,
      "step": 3834
    },
    {
      "epoch": 0.3408888888888889,
      "grad_norm": 1.741918921470642,
      "learning_rate": 3.296e-05,
      "loss": 1.6763,
      "step": 3835
    },
    {
      "epoch": 0.34097777777777777,
      "grad_norm": 1.6010680198669434,
      "learning_rate": 3.295555555555556e-05,
      "loss": 1.8272,
      "step": 3836
    },
    {
      "epoch": 0.3410666666666667,
      "grad_norm": 1.501452088356018,
      "learning_rate": 3.295111111111111e-05,
      "loss": 1.5969,
      "step": 3837
    },
    {
      "epoch": 0.34115555555555555,
      "grad_norm": 1.7063056230545044,
      "learning_rate": 3.294666666666667e-05,
      "loss": 1.7228,
      "step": 3838
    },
    {
      "epoch": 0.34124444444444446,
      "grad_norm": 1.487840175628662,
      "learning_rate": 3.294222222222222e-05,
      "loss": 1.4314,
      "step": 3839
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 1.5525379180908203,
      "learning_rate": 3.293777777777778e-05,
      "loss": 1.4532,
      "step": 3840
    },
    {
      "epoch": 0.34142222222222224,
      "grad_norm": 1.5651049613952637,
      "learning_rate": 3.293333333333333e-05,
      "loss": 1.5884,
      "step": 3841
    },
    {
      "epoch": 0.3415111111111111,
      "grad_norm": 2.059039831161499,
      "learning_rate": 3.2928888888888894e-05,
      "loss": 1.8129,
      "step": 3842
    },
    {
      "epoch": 0.3416,
      "grad_norm": 1.7638533115386963,
      "learning_rate": 3.292444444444445e-05,
      "loss": 1.5608,
      "step": 3843
    },
    {
      "epoch": 0.3416888888888889,
      "grad_norm": 1.5886335372924805,
      "learning_rate": 3.292e-05,
      "loss": 1.617,
      "step": 3844
    },
    {
      "epoch": 0.3417777777777778,
      "grad_norm": 1.5573585033416748,
      "learning_rate": 3.291555555555556e-05,
      "loss": 1.7928,
      "step": 3845
    },
    {
      "epoch": 0.34186666666666665,
      "grad_norm": 1.5229647159576416,
      "learning_rate": 3.291111111111111e-05,
      "loss": 1.677,
      "step": 3846
    },
    {
      "epoch": 0.34195555555555557,
      "grad_norm": 1.7707703113555908,
      "learning_rate": 3.290666666666667e-05,
      "loss": 1.7924,
      "step": 3847
    },
    {
      "epoch": 0.34204444444444443,
      "grad_norm": 1.6847904920578003,
      "learning_rate": 3.290222222222222e-05,
      "loss": 1.6364,
      "step": 3848
    },
    {
      "epoch": 0.34213333333333334,
      "grad_norm": 1.573235034942627,
      "learning_rate": 3.289777777777778e-05,
      "loss": 1.4186,
      "step": 3849
    },
    {
      "epoch": 0.3422222222222222,
      "grad_norm": 1.7048739194869995,
      "learning_rate": 3.289333333333334e-05,
      "loss": 1.8469,
      "step": 3850
    },
    {
      "epoch": 0.3423111111111111,
      "grad_norm": 1.9982517957687378,
      "learning_rate": 3.2888888888888894e-05,
      "loss": 1.6921,
      "step": 3851
    },
    {
      "epoch": 0.3424,
      "grad_norm": 1.9748680591583252,
      "learning_rate": 3.288444444444445e-05,
      "loss": 1.688,
      "step": 3852
    },
    {
      "epoch": 0.3424888888888889,
      "grad_norm": 1.6871706247329712,
      "learning_rate": 3.288e-05,
      "loss": 1.7435,
      "step": 3853
    },
    {
      "epoch": 0.34257777777777776,
      "grad_norm": 1.698844313621521,
      "learning_rate": 3.287555555555556e-05,
      "loss": 1.6326,
      "step": 3854
    },
    {
      "epoch": 0.3426666666666667,
      "grad_norm": 1.6179908514022827,
      "learning_rate": 3.287111111111111e-05,
      "loss": 1.5475,
      "step": 3855
    },
    {
      "epoch": 0.34275555555555554,
      "grad_norm": 1.8802430629730225,
      "learning_rate": 3.286666666666667e-05,
      "loss": 1.5711,
      "step": 3856
    },
    {
      "epoch": 0.34284444444444445,
      "grad_norm": 1.5916950702667236,
      "learning_rate": 3.286222222222222e-05,
      "loss": 1.695,
      "step": 3857
    },
    {
      "epoch": 0.3429333333333333,
      "grad_norm": 1.6638813018798828,
      "learning_rate": 3.2857777777777785e-05,
      "loss": 1.532,
      "step": 3858
    },
    {
      "epoch": 0.34302222222222223,
      "grad_norm": 1.5176922082901,
      "learning_rate": 3.285333333333333e-05,
      "loss": 1.6496,
      "step": 3859
    },
    {
      "epoch": 0.3431111111111111,
      "grad_norm": 1.4624115228652954,
      "learning_rate": 3.284888888888889e-05,
      "loss": 1.5671,
      "step": 3860
    },
    {
      "epoch": 0.3432,
      "grad_norm": 1.7138370275497437,
      "learning_rate": 3.284444444444444e-05,
      "loss": 1.7713,
      "step": 3861
    },
    {
      "epoch": 0.34328888888888887,
      "grad_norm": 1.6962268352508545,
      "learning_rate": 3.2840000000000004e-05,
      "loss": 1.8023,
      "step": 3862
    },
    {
      "epoch": 0.3433777777777778,
      "grad_norm": 1.6589349508285522,
      "learning_rate": 3.283555555555556e-05,
      "loss": 1.684,
      "step": 3863
    },
    {
      "epoch": 0.34346666666666664,
      "grad_norm": 1.613037109375,
      "learning_rate": 3.2831111111111114e-05,
      "loss": 1.7461,
      "step": 3864
    },
    {
      "epoch": 0.34355555555555556,
      "grad_norm": 1.7186241149902344,
      "learning_rate": 3.282666666666667e-05,
      "loss": 1.4829,
      "step": 3865
    },
    {
      "epoch": 0.3436444444444444,
      "grad_norm": 1.6041691303253174,
      "learning_rate": 3.2822222222222223e-05,
      "loss": 1.4399,
      "step": 3866
    },
    {
      "epoch": 0.34373333333333334,
      "grad_norm": 1.4082914590835571,
      "learning_rate": 3.281777777777778e-05,
      "loss": 1.6337,
      "step": 3867
    },
    {
      "epoch": 0.3438222222222222,
      "grad_norm": 1.5442287921905518,
      "learning_rate": 3.281333333333333e-05,
      "loss": 1.6808,
      "step": 3868
    },
    {
      "epoch": 0.3439111111111111,
      "grad_norm": 2.1537728309631348,
      "learning_rate": 3.280888888888889e-05,
      "loss": 1.8156,
      "step": 3869
    },
    {
      "epoch": 0.344,
      "grad_norm": 1.460085153579712,
      "learning_rate": 3.280444444444445e-05,
      "loss": 1.3829,
      "step": 3870
    },
    {
      "epoch": 0.3440888888888889,
      "grad_norm": 1.7929985523223877,
      "learning_rate": 3.2800000000000004e-05,
      "loss": 1.8074,
      "step": 3871
    },
    {
      "epoch": 0.3441777777777778,
      "grad_norm": 2.099273204803467,
      "learning_rate": 3.279555555555556e-05,
      "loss": 1.8781,
      "step": 3872
    },
    {
      "epoch": 0.34426666666666667,
      "grad_norm": 1.513380765914917,
      "learning_rate": 3.2791111111111114e-05,
      "loss": 1.3686,
      "step": 3873
    },
    {
      "epoch": 0.3443555555555556,
      "grad_norm": 1.9318522214889526,
      "learning_rate": 3.278666666666666e-05,
      "loss": 1.6336,
      "step": 3874
    },
    {
      "epoch": 0.34444444444444444,
      "grad_norm": 1.6723555326461792,
      "learning_rate": 3.2782222222222224e-05,
      "loss": 1.6483,
      "step": 3875
    },
    {
      "epoch": 0.34453333333333336,
      "grad_norm": 2.0041468143463135,
      "learning_rate": 3.277777777777778e-05,
      "loss": 1.7515,
      "step": 3876
    },
    {
      "epoch": 0.3446222222222222,
      "grad_norm": 1.683714509010315,
      "learning_rate": 3.2773333333333334e-05,
      "loss": 1.5612,
      "step": 3877
    },
    {
      "epoch": 0.34471111111111113,
      "grad_norm": 1.6424189805984497,
      "learning_rate": 3.276888888888889e-05,
      "loss": 1.6346,
      "step": 3878
    },
    {
      "epoch": 0.3448,
      "grad_norm": 1.6971029043197632,
      "learning_rate": 3.276444444444445e-05,
      "loss": 1.3639,
      "step": 3879
    },
    {
      "epoch": 0.3448888888888889,
      "grad_norm": 1.5830683708190918,
      "learning_rate": 3.2760000000000005e-05,
      "loss": 1.6894,
      "step": 3880
    },
    {
      "epoch": 0.34497777777777777,
      "grad_norm": 1.5658469200134277,
      "learning_rate": 3.275555555555555e-05,
      "loss": 1.772,
      "step": 3881
    },
    {
      "epoch": 0.3450666666666667,
      "grad_norm": 1.6601845026016235,
      "learning_rate": 3.275111111111111e-05,
      "loss": 1.5918,
      "step": 3882
    },
    {
      "epoch": 0.34515555555555555,
      "grad_norm": 1.4407025575637817,
      "learning_rate": 3.274666666666667e-05,
      "loss": 1.645,
      "step": 3883
    },
    {
      "epoch": 0.34524444444444446,
      "grad_norm": 1.6169990301132202,
      "learning_rate": 3.2742222222222224e-05,
      "loss": 1.808,
      "step": 3884
    },
    {
      "epoch": 0.3453333333333333,
      "grad_norm": 1.9696098566055298,
      "learning_rate": 3.273777777777778e-05,
      "loss": 1.9425,
      "step": 3885
    },
    {
      "epoch": 0.34542222222222224,
      "grad_norm": 1.615992546081543,
      "learning_rate": 3.2733333333333334e-05,
      "loss": 1.6327,
      "step": 3886
    },
    {
      "epoch": 0.3455111111111111,
      "grad_norm": 1.7484451532363892,
      "learning_rate": 3.2728888888888896e-05,
      "loss": 1.6662,
      "step": 3887
    },
    {
      "epoch": 0.3456,
      "grad_norm": 1.7059926986694336,
      "learning_rate": 3.2724444444444444e-05,
      "loss": 1.6783,
      "step": 3888
    },
    {
      "epoch": 0.3456888888888889,
      "grad_norm": 1.582791805267334,
      "learning_rate": 3.272e-05,
      "loss": 1.4568,
      "step": 3889
    },
    {
      "epoch": 0.3457777777777778,
      "grad_norm": 2.020970582962036,
      "learning_rate": 3.271555555555555e-05,
      "loss": 1.6696,
      "step": 3890
    },
    {
      "epoch": 0.34586666666666666,
      "grad_norm": 1.7368896007537842,
      "learning_rate": 3.2711111111111115e-05,
      "loss": 1.4792,
      "step": 3891
    },
    {
      "epoch": 0.34595555555555557,
      "grad_norm": 1.4925594329833984,
      "learning_rate": 3.270666666666667e-05,
      "loss": 1.6883,
      "step": 3892
    },
    {
      "epoch": 0.34604444444444443,
      "grad_norm": 2.0250492095947266,
      "learning_rate": 3.2702222222222225e-05,
      "loss": 2.0134,
      "step": 3893
    },
    {
      "epoch": 0.34613333333333335,
      "grad_norm": 1.7414038181304932,
      "learning_rate": 3.269777777777778e-05,
      "loss": 1.7425,
      "step": 3894
    },
    {
      "epoch": 0.3462222222222222,
      "grad_norm": 1.5178695917129517,
      "learning_rate": 3.2693333333333334e-05,
      "loss": 1.6507,
      "step": 3895
    },
    {
      "epoch": 0.3463111111111111,
      "grad_norm": 1.4484487771987915,
      "learning_rate": 3.268888888888889e-05,
      "loss": 1.5284,
      "step": 3896
    },
    {
      "epoch": 0.3464,
      "grad_norm": 2.067229986190796,
      "learning_rate": 3.2684444444444444e-05,
      "loss": 1.8902,
      "step": 3897
    },
    {
      "epoch": 0.3464888888888889,
      "grad_norm": 1.744734764099121,
      "learning_rate": 3.268e-05,
      "loss": 1.7456,
      "step": 3898
    },
    {
      "epoch": 0.34657777777777776,
      "grad_norm": 1.606459617614746,
      "learning_rate": 3.267555555555556e-05,
      "loss": 1.4678,
      "step": 3899
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.4514895677566528,
      "learning_rate": 3.2671111111111115e-05,
      "loss": 1.448,
      "step": 3900
    },
    {
      "epoch": 0.34675555555555554,
      "grad_norm": 1.3828742504119873,
      "learning_rate": 3.266666666666667e-05,
      "loss": 1.6319,
      "step": 3901
    },
    {
      "epoch": 0.34684444444444446,
      "grad_norm": 1.5060527324676514,
      "learning_rate": 3.2662222222222225e-05,
      "loss": 1.516,
      "step": 3902
    },
    {
      "epoch": 0.3469333333333333,
      "grad_norm": 1.9579240083694458,
      "learning_rate": 3.265777777777778e-05,
      "loss": 1.6798,
      "step": 3903
    },
    {
      "epoch": 0.34702222222222223,
      "grad_norm": 1.6659611463546753,
      "learning_rate": 3.2653333333333335e-05,
      "loss": 1.5784,
      "step": 3904
    },
    {
      "epoch": 0.3471111111111111,
      "grad_norm": 1.471601963043213,
      "learning_rate": 3.264888888888889e-05,
      "loss": 1.4109,
      "step": 3905
    },
    {
      "epoch": 0.3472,
      "grad_norm": 1.591937780380249,
      "learning_rate": 3.2644444444444444e-05,
      "loss": 1.6365,
      "step": 3906
    },
    {
      "epoch": 0.34728888888888887,
      "grad_norm": 1.8455628156661987,
      "learning_rate": 3.2640000000000006e-05,
      "loss": 1.4764,
      "step": 3907
    },
    {
      "epoch": 0.3473777777777778,
      "grad_norm": 1.7585216760635376,
      "learning_rate": 3.263555555555556e-05,
      "loss": 1.6255,
      "step": 3908
    },
    {
      "epoch": 0.34746666666666665,
      "grad_norm": 1.8569554090499878,
      "learning_rate": 3.2631111111111116e-05,
      "loss": 1.5986,
      "step": 3909
    },
    {
      "epoch": 0.34755555555555556,
      "grad_norm": 1.7546963691711426,
      "learning_rate": 3.2626666666666664e-05,
      "loss": 1.4862,
      "step": 3910
    },
    {
      "epoch": 0.3476444444444444,
      "grad_norm": 1.705376386642456,
      "learning_rate": 3.2622222222222225e-05,
      "loss": 1.4625,
      "step": 3911
    },
    {
      "epoch": 0.34773333333333334,
      "grad_norm": 1.5474141836166382,
      "learning_rate": 3.261777777777778e-05,
      "loss": 1.4823,
      "step": 3912
    },
    {
      "epoch": 0.3478222222222222,
      "grad_norm": 1.6780884265899658,
      "learning_rate": 3.2613333333333335e-05,
      "loss": 1.659,
      "step": 3913
    },
    {
      "epoch": 0.3479111111111111,
      "grad_norm": 1.5535392761230469,
      "learning_rate": 3.260888888888889e-05,
      "loss": 2.0225,
      "step": 3914
    },
    {
      "epoch": 0.348,
      "grad_norm": 1.5303770303726196,
      "learning_rate": 3.260444444444445e-05,
      "loss": 1.7255,
      "step": 3915
    },
    {
      "epoch": 0.3480888888888889,
      "grad_norm": 1.5472285747528076,
      "learning_rate": 3.26e-05,
      "loss": 1.6088,
      "step": 3916
    },
    {
      "epoch": 0.34817777777777775,
      "grad_norm": 1.688736081123352,
      "learning_rate": 3.2595555555555554e-05,
      "loss": 1.7101,
      "step": 3917
    },
    {
      "epoch": 0.34826666666666667,
      "grad_norm": 1.5109989643096924,
      "learning_rate": 3.259111111111111e-05,
      "loss": 1.6279,
      "step": 3918
    },
    {
      "epoch": 0.34835555555555553,
      "grad_norm": 1.6391263008117676,
      "learning_rate": 3.258666666666667e-05,
      "loss": 1.6557,
      "step": 3919
    },
    {
      "epoch": 0.34844444444444445,
      "grad_norm": 1.5254956483840942,
      "learning_rate": 3.2582222222222226e-05,
      "loss": 1.4957,
      "step": 3920
    },
    {
      "epoch": 0.3485333333333333,
      "grad_norm": 1.7190845012664795,
      "learning_rate": 3.257777777777778e-05,
      "loss": 1.7069,
      "step": 3921
    },
    {
      "epoch": 0.3486222222222222,
      "grad_norm": 1.6035853624343872,
      "learning_rate": 3.2573333333333335e-05,
      "loss": 1.572,
      "step": 3922
    },
    {
      "epoch": 0.34871111111111114,
      "grad_norm": 1.82954740524292,
      "learning_rate": 3.256888888888889e-05,
      "loss": 1.8115,
      "step": 3923
    },
    {
      "epoch": 0.3488,
      "grad_norm": 1.509109616279602,
      "learning_rate": 3.2564444444444445e-05,
      "loss": 1.5594,
      "step": 3924
    },
    {
      "epoch": 0.3488888888888889,
      "grad_norm": 1.8623981475830078,
      "learning_rate": 3.256e-05,
      "loss": 1.6032,
      "step": 3925
    },
    {
      "epoch": 0.3489777777777778,
      "grad_norm": 2.291801691055298,
      "learning_rate": 3.2555555555555555e-05,
      "loss": 1.576,
      "step": 3926
    },
    {
      "epoch": 0.3490666666666667,
      "grad_norm": 1.5776915550231934,
      "learning_rate": 3.255111111111111e-05,
      "loss": 1.5399,
      "step": 3927
    },
    {
      "epoch": 0.34915555555555555,
      "grad_norm": 1.8719345331192017,
      "learning_rate": 3.254666666666667e-05,
      "loss": 1.6676,
      "step": 3928
    },
    {
      "epoch": 0.34924444444444447,
      "grad_norm": 1.8756290674209595,
      "learning_rate": 3.2542222222222226e-05,
      "loss": 1.5732,
      "step": 3929
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 1.6452187299728394,
      "learning_rate": 3.253777777777778e-05,
      "loss": 1.7091,
      "step": 3930
    },
    {
      "epoch": 0.34942222222222225,
      "grad_norm": 1.628824234008789,
      "learning_rate": 3.253333333333333e-05,
      "loss": 1.7712,
      "step": 3931
    },
    {
      "epoch": 0.3495111111111111,
      "grad_norm": 2.090524196624756,
      "learning_rate": 3.252888888888889e-05,
      "loss": 1.7989,
      "step": 3932
    },
    {
      "epoch": 0.3496,
      "grad_norm": 1.5874214172363281,
      "learning_rate": 3.2524444444444446e-05,
      "loss": 1.6982,
      "step": 3933
    },
    {
      "epoch": 0.3496888888888889,
      "grad_norm": 2.2612619400024414,
      "learning_rate": 3.252e-05,
      "loss": 1.6648,
      "step": 3934
    },
    {
      "epoch": 0.3497777777777778,
      "grad_norm": 2.352376937866211,
      "learning_rate": 3.2515555555555555e-05,
      "loss": 1.9868,
      "step": 3935
    },
    {
      "epoch": 0.34986666666666666,
      "grad_norm": 1.5420037508010864,
      "learning_rate": 3.251111111111112e-05,
      "loss": 1.3996,
      "step": 3936
    },
    {
      "epoch": 0.3499555555555556,
      "grad_norm": 2.1943280696868896,
      "learning_rate": 3.250666666666667e-05,
      "loss": 1.8397,
      "step": 3937
    },
    {
      "epoch": 0.35004444444444444,
      "grad_norm": 1.9904897212982178,
      "learning_rate": 3.250222222222222e-05,
      "loss": 1.7656,
      "step": 3938
    },
    {
      "epoch": 0.35013333333333335,
      "grad_norm": 1.431817889213562,
      "learning_rate": 3.2497777777777775e-05,
      "loss": 1.5045,
      "step": 3939
    },
    {
      "epoch": 0.3502222222222222,
      "grad_norm": 1.8735212087631226,
      "learning_rate": 3.2493333333333336e-05,
      "loss": 1.667,
      "step": 3940
    },
    {
      "epoch": 0.35031111111111113,
      "grad_norm": 1.8659507036209106,
      "learning_rate": 3.248888888888889e-05,
      "loss": 1.6971,
      "step": 3941
    },
    {
      "epoch": 0.3504,
      "grad_norm": 1.75361168384552,
      "learning_rate": 3.2484444444444446e-05,
      "loss": 1.7863,
      "step": 3942
    },
    {
      "epoch": 0.3504888888888889,
      "grad_norm": 1.388063669204712,
      "learning_rate": 3.248e-05,
      "loss": 1.533,
      "step": 3943
    },
    {
      "epoch": 0.35057777777777777,
      "grad_norm": 1.7405682802200317,
      "learning_rate": 3.247555555555556e-05,
      "loss": 1.6831,
      "step": 3944
    },
    {
      "epoch": 0.3506666666666667,
      "grad_norm": 1.6267982721328735,
      "learning_rate": 3.247111111111111e-05,
      "loss": 1.621,
      "step": 3945
    },
    {
      "epoch": 0.35075555555555554,
      "grad_norm": 2.026522636413574,
      "learning_rate": 3.2466666666666665e-05,
      "loss": 1.4501,
      "step": 3946
    },
    {
      "epoch": 0.35084444444444446,
      "grad_norm": 1.8177804946899414,
      "learning_rate": 3.246222222222222e-05,
      "loss": 1.4748,
      "step": 3947
    },
    {
      "epoch": 0.3509333333333333,
      "grad_norm": 1.5787265300750732,
      "learning_rate": 3.245777777777778e-05,
      "loss": 1.6945,
      "step": 3948
    },
    {
      "epoch": 0.35102222222222224,
      "grad_norm": 1.7441545724868774,
      "learning_rate": 3.2453333333333337e-05,
      "loss": 1.5432,
      "step": 3949
    },
    {
      "epoch": 0.3511111111111111,
      "grad_norm": 1.6581412553787231,
      "learning_rate": 3.244888888888889e-05,
      "loss": 1.8341,
      "step": 3950
    },
    {
      "epoch": 0.3512,
      "grad_norm": 1.6014785766601562,
      "learning_rate": 3.2444444444444446e-05,
      "loss": 1.6579,
      "step": 3951
    },
    {
      "epoch": 0.3512888888888889,
      "grad_norm": 1.591162919998169,
      "learning_rate": 3.244e-05,
      "loss": 1.7252,
      "step": 3952
    },
    {
      "epoch": 0.3513777777777778,
      "grad_norm": 1.7333048582077026,
      "learning_rate": 3.2435555555555556e-05,
      "loss": 1.6094,
      "step": 3953
    },
    {
      "epoch": 0.35146666666666665,
      "grad_norm": 1.722786784172058,
      "learning_rate": 3.243111111111111e-05,
      "loss": 1.7062,
      "step": 3954
    },
    {
      "epoch": 0.35155555555555557,
      "grad_norm": 1.728367567062378,
      "learning_rate": 3.2426666666666666e-05,
      "loss": 1.7293,
      "step": 3955
    },
    {
      "epoch": 0.3516444444444444,
      "grad_norm": 1.6505059003829956,
      "learning_rate": 3.242222222222223e-05,
      "loss": 1.6727,
      "step": 3956
    },
    {
      "epoch": 0.35173333333333334,
      "grad_norm": 1.8478052616119385,
      "learning_rate": 3.241777777777778e-05,
      "loss": 1.8222,
      "step": 3957
    },
    {
      "epoch": 0.3518222222222222,
      "grad_norm": 1.5376604795455933,
      "learning_rate": 3.241333333333334e-05,
      "loss": 1.5895,
      "step": 3958
    },
    {
      "epoch": 0.3519111111111111,
      "grad_norm": 1.5235309600830078,
      "learning_rate": 3.240888888888889e-05,
      "loss": 1.6137,
      "step": 3959
    },
    {
      "epoch": 0.352,
      "grad_norm": 1.8048738241195679,
      "learning_rate": 3.240444444444445e-05,
      "loss": 1.7497,
      "step": 3960
    },
    {
      "epoch": 0.3520888888888889,
      "grad_norm": 1.541003942489624,
      "learning_rate": 3.24e-05,
      "loss": 1.503,
      "step": 3961
    },
    {
      "epoch": 0.35217777777777776,
      "grad_norm": 1.611236333847046,
      "learning_rate": 3.2395555555555556e-05,
      "loss": 1.3721,
      "step": 3962
    },
    {
      "epoch": 0.3522666666666667,
      "grad_norm": 1.8333933353424072,
      "learning_rate": 3.239111111111111e-05,
      "loss": 1.5017,
      "step": 3963
    },
    {
      "epoch": 0.35235555555555553,
      "grad_norm": 1.872542142868042,
      "learning_rate": 3.238666666666667e-05,
      "loss": 1.9226,
      "step": 3964
    },
    {
      "epoch": 0.35244444444444445,
      "grad_norm": 1.4999791383743286,
      "learning_rate": 3.238222222222223e-05,
      "loss": 1.6652,
      "step": 3965
    },
    {
      "epoch": 0.3525333333333333,
      "grad_norm": 1.5497325658798218,
      "learning_rate": 3.2377777777777776e-05,
      "loss": 1.6319,
      "step": 3966
    },
    {
      "epoch": 0.3526222222222222,
      "grad_norm": 1.387385368347168,
      "learning_rate": 3.237333333333333e-05,
      "loss": 1.4652,
      "step": 3967
    },
    {
      "epoch": 0.3527111111111111,
      "grad_norm": 1.8602572679519653,
      "learning_rate": 3.236888888888889e-05,
      "loss": 1.5266,
      "step": 3968
    },
    {
      "epoch": 0.3528,
      "grad_norm": 1.5767872333526611,
      "learning_rate": 3.236444444444445e-05,
      "loss": 1.6487,
      "step": 3969
    },
    {
      "epoch": 0.35288888888888886,
      "grad_norm": 1.7080345153808594,
      "learning_rate": 3.236e-05,
      "loss": 1.7062,
      "step": 3970
    },
    {
      "epoch": 0.3529777777777778,
      "grad_norm": 1.5635108947753906,
      "learning_rate": 3.235555555555556e-05,
      "loss": 1.5501,
      "step": 3971
    },
    {
      "epoch": 0.35306666666666664,
      "grad_norm": 1.681930661201477,
      "learning_rate": 3.235111111111112e-05,
      "loss": 1.6875,
      "step": 3972
    },
    {
      "epoch": 0.35315555555555556,
      "grad_norm": 1.791968584060669,
      "learning_rate": 3.2346666666666666e-05,
      "loss": 1.525,
      "step": 3973
    },
    {
      "epoch": 0.35324444444444447,
      "grad_norm": 1.6548936367034912,
      "learning_rate": 3.234222222222222e-05,
      "loss": 1.7441,
      "step": 3974
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 1.736573338508606,
      "learning_rate": 3.2337777777777776e-05,
      "loss": 1.6479,
      "step": 3975
    },
    {
      "epoch": 0.35342222222222225,
      "grad_norm": 1.5483049154281616,
      "learning_rate": 3.233333333333333e-05,
      "loss": 1.7603,
      "step": 3976
    },
    {
      "epoch": 0.3535111111111111,
      "grad_norm": 2.139690399169922,
      "learning_rate": 3.232888888888889e-05,
      "loss": 1.7994,
      "step": 3977
    },
    {
      "epoch": 0.3536,
      "grad_norm": 1.5732485055923462,
      "learning_rate": 3.232444444444445e-05,
      "loss": 1.4768,
      "step": 3978
    },
    {
      "epoch": 0.3536888888888889,
      "grad_norm": 1.5302820205688477,
      "learning_rate": 3.232e-05,
      "loss": 1.4154,
      "step": 3979
    },
    {
      "epoch": 0.3537777777777778,
      "grad_norm": 2.097886323928833,
      "learning_rate": 3.231555555555556e-05,
      "loss": 1.6367,
      "step": 3980
    },
    {
      "epoch": 0.35386666666666666,
      "grad_norm": 1.7188429832458496,
      "learning_rate": 3.231111111111111e-05,
      "loss": 1.6068,
      "step": 3981
    },
    {
      "epoch": 0.3539555555555556,
      "grad_norm": 2.2093167304992676,
      "learning_rate": 3.230666666666667e-05,
      "loss": 1.7549,
      "step": 3982
    },
    {
      "epoch": 0.35404444444444444,
      "grad_norm": 1.4634029865264893,
      "learning_rate": 3.230222222222222e-05,
      "loss": 1.5152,
      "step": 3983
    },
    {
      "epoch": 0.35413333333333336,
      "grad_norm": 1.6384660005569458,
      "learning_rate": 3.2297777777777776e-05,
      "loss": 1.6768,
      "step": 3984
    },
    {
      "epoch": 0.3542222222222222,
      "grad_norm": 1.7148464918136597,
      "learning_rate": 3.229333333333334e-05,
      "loss": 1.6052,
      "step": 3985
    },
    {
      "epoch": 0.35431111111111113,
      "grad_norm": 1.6433366537094116,
      "learning_rate": 3.228888888888889e-05,
      "loss": 1.3572,
      "step": 3986
    },
    {
      "epoch": 0.3544,
      "grad_norm": 1.670474648475647,
      "learning_rate": 3.228444444444445e-05,
      "loss": 1.5944,
      "step": 3987
    },
    {
      "epoch": 0.3544888888888889,
      "grad_norm": 1.616398811340332,
      "learning_rate": 3.2279999999999996e-05,
      "loss": 1.573,
      "step": 3988
    },
    {
      "epoch": 0.35457777777777777,
      "grad_norm": 1.6240594387054443,
      "learning_rate": 3.227555555555556e-05,
      "loss": 1.6108,
      "step": 3989
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 1.3191808462142944,
      "learning_rate": 3.227111111111111e-05,
      "loss": 1.5483,
      "step": 3990
    },
    {
      "epoch": 0.35475555555555555,
      "grad_norm": 1.5622756481170654,
      "learning_rate": 3.226666666666667e-05,
      "loss": 1.6321,
      "step": 3991
    },
    {
      "epoch": 0.35484444444444446,
      "grad_norm": 1.810895323753357,
      "learning_rate": 3.226222222222222e-05,
      "loss": 1.4426,
      "step": 3992
    },
    {
      "epoch": 0.3549333333333333,
      "grad_norm": 2.1013126373291016,
      "learning_rate": 3.2257777777777784e-05,
      "loss": 1.494,
      "step": 3993
    },
    {
      "epoch": 0.35502222222222224,
      "grad_norm": 1.6435774564743042,
      "learning_rate": 3.225333333333334e-05,
      "loss": 1.6244,
      "step": 3994
    },
    {
      "epoch": 0.3551111111111111,
      "grad_norm": 2.3444690704345703,
      "learning_rate": 3.2248888888888887e-05,
      "loss": 1.5508,
      "step": 3995
    },
    {
      "epoch": 0.3552,
      "grad_norm": 1.721527338027954,
      "learning_rate": 3.224444444444444e-05,
      "loss": 1.6429,
      "step": 3996
    },
    {
      "epoch": 0.3552888888888889,
      "grad_norm": 2.0905356407165527,
      "learning_rate": 3.224e-05,
      "loss": 1.6007,
      "step": 3997
    },
    {
      "epoch": 0.3553777777777778,
      "grad_norm": 1.5504125356674194,
      "learning_rate": 3.223555555555556e-05,
      "loss": 1.6142,
      "step": 3998
    },
    {
      "epoch": 0.35546666666666665,
      "grad_norm": 1.7426108121871948,
      "learning_rate": 3.223111111111111e-05,
      "loss": 1.6003,
      "step": 3999
    },
    {
      "epoch": 0.35555555555555557,
      "grad_norm": 2.2173240184783936,
      "learning_rate": 3.222666666666667e-05,
      "loss": 1.7346,
      "step": 4000
    },
    {
      "epoch": 0.35564444444444443,
      "grad_norm": 1.662128210067749,
      "learning_rate": 3.222222222222223e-05,
      "loss": 1.525,
      "step": 4001
    },
    {
      "epoch": 0.35573333333333335,
      "grad_norm": 2.183758020401001,
      "learning_rate": 3.221777777777778e-05,
      "loss": 1.5854,
      "step": 4002
    },
    {
      "epoch": 0.3558222222222222,
      "grad_norm": 1.518841028213501,
      "learning_rate": 3.221333333333333e-05,
      "loss": 1.515,
      "step": 4003
    },
    {
      "epoch": 0.3559111111111111,
      "grad_norm": 1.6858952045440674,
      "learning_rate": 3.220888888888889e-05,
      "loss": 1.6797,
      "step": 4004
    },
    {
      "epoch": 0.356,
      "grad_norm": 1.5896742343902588,
      "learning_rate": 3.220444444444445e-05,
      "loss": 1.504,
      "step": 4005
    },
    {
      "epoch": 0.3560888888888889,
      "grad_norm": 2.060675621032715,
      "learning_rate": 3.2200000000000003e-05,
      "loss": 1.7386,
      "step": 4006
    },
    {
      "epoch": 0.35617777777777776,
      "grad_norm": 1.4688042402267456,
      "learning_rate": 3.219555555555556e-05,
      "loss": 1.5391,
      "step": 4007
    },
    {
      "epoch": 0.3562666666666667,
      "grad_norm": 1.4781631231307983,
      "learning_rate": 3.219111111111111e-05,
      "loss": 1.7544,
      "step": 4008
    },
    {
      "epoch": 0.35635555555555554,
      "grad_norm": 1.639055848121643,
      "learning_rate": 3.218666666666667e-05,
      "loss": 1.3895,
      "step": 4009
    },
    {
      "epoch": 0.35644444444444445,
      "grad_norm": 1.4904744625091553,
      "learning_rate": 3.218222222222222e-05,
      "loss": 1.6247,
      "step": 4010
    },
    {
      "epoch": 0.3565333333333333,
      "grad_norm": 1.6237534284591675,
      "learning_rate": 3.217777777777778e-05,
      "loss": 1.6131,
      "step": 4011
    },
    {
      "epoch": 0.35662222222222223,
      "grad_norm": 1.8429083824157715,
      "learning_rate": 3.217333333333333e-05,
      "loss": 1.7004,
      "step": 4012
    },
    {
      "epoch": 0.3567111111111111,
      "grad_norm": 1.6111596822738647,
      "learning_rate": 3.2168888888888894e-05,
      "loss": 1.8234,
      "step": 4013
    },
    {
      "epoch": 0.3568,
      "grad_norm": 1.6816319227218628,
      "learning_rate": 3.216444444444445e-05,
      "loss": 1.687,
      "step": 4014
    },
    {
      "epoch": 0.35688888888888887,
      "grad_norm": 1.5601242780685425,
      "learning_rate": 3.2160000000000004e-05,
      "loss": 1.5613,
      "step": 4015
    },
    {
      "epoch": 0.3569777777777778,
      "grad_norm": 1.9048737287521362,
      "learning_rate": 3.215555555555556e-05,
      "loss": 1.7753,
      "step": 4016
    },
    {
      "epoch": 0.35706666666666664,
      "grad_norm": 1.9217249155044556,
      "learning_rate": 3.2151111111111113e-05,
      "loss": 1.7142,
      "step": 4017
    },
    {
      "epoch": 0.35715555555555556,
      "grad_norm": 1.576280951499939,
      "learning_rate": 3.214666666666667e-05,
      "loss": 1.779,
      "step": 4018
    },
    {
      "epoch": 0.3572444444444444,
      "grad_norm": 2.0863535404205322,
      "learning_rate": 3.214222222222222e-05,
      "loss": 1.8891,
      "step": 4019
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 1.543336033821106,
      "learning_rate": 3.213777777777778e-05,
      "loss": 1.4623,
      "step": 4020
    },
    {
      "epoch": 0.3574222222222222,
      "grad_norm": 2.4257023334503174,
      "learning_rate": 3.213333333333334e-05,
      "loss": 1.7266,
      "step": 4021
    },
    {
      "epoch": 0.3575111111111111,
      "grad_norm": 1.9079718589782715,
      "learning_rate": 3.2128888888888894e-05,
      "loss": 1.3646,
      "step": 4022
    },
    {
      "epoch": 0.3576,
      "grad_norm": 1.5301318168640137,
      "learning_rate": 3.212444444444444e-05,
      "loss": 1.6801,
      "step": 4023
    },
    {
      "epoch": 0.3576888888888889,
      "grad_norm": 1.705336570739746,
      "learning_rate": 3.212e-05,
      "loss": 1.6013,
      "step": 4024
    },
    {
      "epoch": 0.35777777777777775,
      "grad_norm": 1.7467554807662964,
      "learning_rate": 3.211555555555556e-05,
      "loss": 1.7831,
      "step": 4025
    },
    {
      "epoch": 0.35786666666666667,
      "grad_norm": 1.52223539352417,
      "learning_rate": 3.2111111111111114e-05,
      "loss": 1.7211,
      "step": 4026
    },
    {
      "epoch": 0.3579555555555556,
      "grad_norm": 1.5587337017059326,
      "learning_rate": 3.210666666666667e-05,
      "loss": 1.5765,
      "step": 4027
    },
    {
      "epoch": 0.35804444444444444,
      "grad_norm": 1.6318331956863403,
      "learning_rate": 3.2102222222222224e-05,
      "loss": 1.8824,
      "step": 4028
    },
    {
      "epoch": 0.35813333333333336,
      "grad_norm": 1.5616823434829712,
      "learning_rate": 3.209777777777778e-05,
      "loss": 1.6267,
      "step": 4029
    },
    {
      "epoch": 0.3582222222222222,
      "grad_norm": 1.4879103899002075,
      "learning_rate": 3.209333333333333e-05,
      "loss": 1.4957,
      "step": 4030
    },
    {
      "epoch": 0.35831111111111114,
      "grad_norm": 1.4182119369506836,
      "learning_rate": 3.208888888888889e-05,
      "loss": 1.4271,
      "step": 4031
    },
    {
      "epoch": 0.3584,
      "grad_norm": 1.4295125007629395,
      "learning_rate": 3.208444444444444e-05,
      "loss": 1.7772,
      "step": 4032
    },
    {
      "epoch": 0.3584888888888889,
      "grad_norm": 2.3216118812561035,
      "learning_rate": 3.208e-05,
      "loss": 1.7339,
      "step": 4033
    },
    {
      "epoch": 0.3585777777777778,
      "grad_norm": 1.5396976470947266,
      "learning_rate": 3.207555555555556e-05,
      "loss": 1.5773,
      "step": 4034
    },
    {
      "epoch": 0.3586666666666667,
      "grad_norm": 1.5204483270645142,
      "learning_rate": 3.2071111111111114e-05,
      "loss": 1.6814,
      "step": 4035
    },
    {
      "epoch": 0.35875555555555555,
      "grad_norm": 1.9200698137283325,
      "learning_rate": 3.206666666666667e-05,
      "loss": 1.7255,
      "step": 4036
    },
    {
      "epoch": 0.35884444444444447,
      "grad_norm": 1.6928478479385376,
      "learning_rate": 3.2062222222222224e-05,
      "loss": 1.5105,
      "step": 4037
    },
    {
      "epoch": 0.3589333333333333,
      "grad_norm": 1.6493860483169556,
      "learning_rate": 3.205777777777778e-05,
      "loss": 1.6267,
      "step": 4038
    },
    {
      "epoch": 0.35902222222222224,
      "grad_norm": 1.4240632057189941,
      "learning_rate": 3.2053333333333334e-05,
      "loss": 1.644,
      "step": 4039
    },
    {
      "epoch": 0.3591111111111111,
      "grad_norm": 1.7989190816879272,
      "learning_rate": 3.204888888888889e-05,
      "loss": 1.9238,
      "step": 4040
    },
    {
      "epoch": 0.3592,
      "grad_norm": 1.8253859281539917,
      "learning_rate": 3.204444444444444e-05,
      "loss": 1.546,
      "step": 4041
    },
    {
      "epoch": 0.3592888888888889,
      "grad_norm": 1.706987977027893,
      "learning_rate": 3.2040000000000005e-05,
      "loss": 1.3418,
      "step": 4042
    },
    {
      "epoch": 0.3593777777777778,
      "grad_norm": 1.6707940101623535,
      "learning_rate": 3.203555555555556e-05,
      "loss": 1.607,
      "step": 4043
    },
    {
      "epoch": 0.35946666666666666,
      "grad_norm": 1.7104885578155518,
      "learning_rate": 3.2031111111111115e-05,
      "loss": 1.7829,
      "step": 4044
    },
    {
      "epoch": 0.3595555555555556,
      "grad_norm": 1.7536834478378296,
      "learning_rate": 3.202666666666666e-05,
      "loss": 1.8335,
      "step": 4045
    },
    {
      "epoch": 0.35964444444444443,
      "grad_norm": 1.5869519710540771,
      "learning_rate": 3.2022222222222224e-05,
      "loss": 1.6508,
      "step": 4046
    },
    {
      "epoch": 0.35973333333333335,
      "grad_norm": 1.789811134338379,
      "learning_rate": 3.201777777777778e-05,
      "loss": 1.8433,
      "step": 4047
    },
    {
      "epoch": 0.3598222222222222,
      "grad_norm": 1.532496452331543,
      "learning_rate": 3.2013333333333334e-05,
      "loss": 1.6749,
      "step": 4048
    },
    {
      "epoch": 0.3599111111111111,
      "grad_norm": 1.4527509212493896,
      "learning_rate": 3.200888888888889e-05,
      "loss": 1.4739,
      "step": 4049
    },
    {
      "epoch": 0.36,
      "grad_norm": 2.124058723449707,
      "learning_rate": 3.200444444444445e-05,
      "loss": 1.5471,
      "step": 4050
    },
    {
      "epoch": 0.3600888888888889,
      "grad_norm": 1.5263373851776123,
      "learning_rate": 3.2000000000000005e-05,
      "loss": 1.5583,
      "step": 4051
    },
    {
      "epoch": 0.36017777777777776,
      "grad_norm": 1.7689541578292847,
      "learning_rate": 3.1995555555555553e-05,
      "loss": 1.6861,
      "step": 4052
    },
    {
      "epoch": 0.3602666666666667,
      "grad_norm": 1.5924699306488037,
      "learning_rate": 3.199111111111111e-05,
      "loss": 1.5397,
      "step": 4053
    },
    {
      "epoch": 0.36035555555555554,
      "grad_norm": 1.66165030002594,
      "learning_rate": 3.198666666666667e-05,
      "loss": 1.5739,
      "step": 4054
    },
    {
      "epoch": 0.36044444444444446,
      "grad_norm": 1.713919997215271,
      "learning_rate": 3.1982222222222225e-05,
      "loss": 1.4676,
      "step": 4055
    },
    {
      "epoch": 0.3605333333333333,
      "grad_norm": 2.0033226013183594,
      "learning_rate": 3.197777777777778e-05,
      "loss": 1.6836,
      "step": 4056
    },
    {
      "epoch": 0.36062222222222223,
      "grad_norm": 1.6133348941802979,
      "learning_rate": 3.1973333333333334e-05,
      "loss": 1.7395,
      "step": 4057
    },
    {
      "epoch": 0.3607111111111111,
      "grad_norm": 1.8093386888504028,
      "learning_rate": 3.1968888888888896e-05,
      "loss": 1.5486,
      "step": 4058
    },
    {
      "epoch": 0.3608,
      "grad_norm": 1.458505630493164,
      "learning_rate": 3.1964444444444444e-05,
      "loss": 1.6518,
      "step": 4059
    },
    {
      "epoch": 0.36088888888888887,
      "grad_norm": 1.6696665287017822,
      "learning_rate": 3.196e-05,
      "loss": 1.5358,
      "step": 4060
    },
    {
      "epoch": 0.3609777777777778,
      "grad_norm": 1.6144214868545532,
      "learning_rate": 3.1955555555555554e-05,
      "loss": 1.8421,
      "step": 4061
    },
    {
      "epoch": 0.36106666666666665,
      "grad_norm": 1.5611354112625122,
      "learning_rate": 3.1951111111111115e-05,
      "loss": 1.2817,
      "step": 4062
    },
    {
      "epoch": 0.36115555555555556,
      "grad_norm": 1.6775901317596436,
      "learning_rate": 3.194666666666667e-05,
      "loss": 1.6296,
      "step": 4063
    },
    {
      "epoch": 0.3612444444444444,
      "grad_norm": 1.7608439922332764,
      "learning_rate": 3.1942222222222225e-05,
      "loss": 1.6347,
      "step": 4064
    },
    {
      "epoch": 0.36133333333333334,
      "grad_norm": 1.876649260520935,
      "learning_rate": 3.193777777777778e-05,
      "loss": 1.6341,
      "step": 4065
    },
    {
      "epoch": 0.3614222222222222,
      "grad_norm": 1.5662859678268433,
      "learning_rate": 3.1933333333333335e-05,
      "loss": 1.5005,
      "step": 4066
    },
    {
      "epoch": 0.3615111111111111,
      "grad_norm": 1.5985689163208008,
      "learning_rate": 3.192888888888889e-05,
      "loss": 1.6965,
      "step": 4067
    },
    {
      "epoch": 0.3616,
      "grad_norm": 1.8066792488098145,
      "learning_rate": 3.1924444444444444e-05,
      "loss": 1.8975,
      "step": 4068
    },
    {
      "epoch": 0.3616888888888889,
      "grad_norm": 1.47652268409729,
      "learning_rate": 3.192e-05,
      "loss": 1.4216,
      "step": 4069
    },
    {
      "epoch": 0.36177777777777775,
      "grad_norm": 1.6014010906219482,
      "learning_rate": 3.191555555555556e-05,
      "loss": 1.4765,
      "step": 4070
    },
    {
      "epoch": 0.36186666666666667,
      "grad_norm": 1.7468669414520264,
      "learning_rate": 3.1911111111111116e-05,
      "loss": 1.7164,
      "step": 4071
    },
    {
      "epoch": 0.36195555555555553,
      "grad_norm": 2.125750780105591,
      "learning_rate": 3.190666666666667e-05,
      "loss": 1.7379,
      "step": 4072
    },
    {
      "epoch": 0.36204444444444445,
      "grad_norm": 1.5657204389572144,
      "learning_rate": 3.1902222222222225e-05,
      "loss": 1.5511,
      "step": 4073
    },
    {
      "epoch": 0.3621333333333333,
      "grad_norm": 1.538988709449768,
      "learning_rate": 3.189777777777778e-05,
      "loss": 1.4034,
      "step": 4074
    },
    {
      "epoch": 0.3622222222222222,
      "grad_norm": 1.470916509628296,
      "learning_rate": 3.1893333333333335e-05,
      "loss": 1.5902,
      "step": 4075
    },
    {
      "epoch": 0.3623111111111111,
      "grad_norm": 1.6899032592773438,
      "learning_rate": 3.188888888888889e-05,
      "loss": 1.61,
      "step": 4076
    },
    {
      "epoch": 0.3624,
      "grad_norm": 1.4106175899505615,
      "learning_rate": 3.1884444444444445e-05,
      "loss": 1.6314,
      "step": 4077
    },
    {
      "epoch": 0.3624888888888889,
      "grad_norm": 1.8859578371047974,
      "learning_rate": 3.188e-05,
      "loss": 1.5052,
      "step": 4078
    },
    {
      "epoch": 0.3625777777777778,
      "grad_norm": 1.6834580898284912,
      "learning_rate": 3.187555555555556e-05,
      "loss": 1.6044,
      "step": 4079
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 1.5565156936645508,
      "learning_rate": 3.187111111111111e-05,
      "loss": 1.3685,
      "step": 4080
    },
    {
      "epoch": 0.36275555555555555,
      "grad_norm": 2.4758169651031494,
      "learning_rate": 3.1866666666666664e-05,
      "loss": 1.7231,
      "step": 4081
    },
    {
      "epoch": 0.36284444444444447,
      "grad_norm": 1.8420315980911255,
      "learning_rate": 3.186222222222222e-05,
      "loss": 1.6148,
      "step": 4082
    },
    {
      "epoch": 0.36293333333333333,
      "grad_norm": 1.5206999778747559,
      "learning_rate": 3.185777777777778e-05,
      "loss": 1.7152,
      "step": 4083
    },
    {
      "epoch": 0.36302222222222225,
      "grad_norm": 1.5130754709243774,
      "learning_rate": 3.1853333333333336e-05,
      "loss": 1.5947,
      "step": 4084
    },
    {
      "epoch": 0.3631111111111111,
      "grad_norm": 1.498789668083191,
      "learning_rate": 3.184888888888889e-05,
      "loss": 1.643,
      "step": 4085
    },
    {
      "epoch": 0.3632,
      "grad_norm": 1.6453903913497925,
      "learning_rate": 3.1844444444444445e-05,
      "loss": 1.6708,
      "step": 4086
    },
    {
      "epoch": 0.3632888888888889,
      "grad_norm": 1.6345125436782837,
      "learning_rate": 3.184e-05,
      "loss": 1.5904,
      "step": 4087
    },
    {
      "epoch": 0.3633777777777778,
      "grad_norm": 1.605513334274292,
      "learning_rate": 3.1835555555555555e-05,
      "loss": 1.4741,
      "step": 4088
    },
    {
      "epoch": 0.36346666666666666,
      "grad_norm": 1.7955431938171387,
      "learning_rate": 3.183111111111111e-05,
      "loss": 1.7538,
      "step": 4089
    },
    {
      "epoch": 0.3635555555555556,
      "grad_norm": 2.3072409629821777,
      "learning_rate": 3.1826666666666665e-05,
      "loss": 1.878,
      "step": 4090
    },
    {
      "epoch": 0.36364444444444444,
      "grad_norm": 1.5266680717468262,
      "learning_rate": 3.1822222222222226e-05,
      "loss": 1.4884,
      "step": 4091
    },
    {
      "epoch": 0.36373333333333335,
      "grad_norm": 2.1929962635040283,
      "learning_rate": 3.181777777777778e-05,
      "loss": 1.9026,
      "step": 4092
    },
    {
      "epoch": 0.3638222222222222,
      "grad_norm": 1.4753340482711792,
      "learning_rate": 3.1813333333333336e-05,
      "loss": 1.6481,
      "step": 4093
    },
    {
      "epoch": 0.36391111111111113,
      "grad_norm": 1.8931937217712402,
      "learning_rate": 3.180888888888889e-05,
      "loss": 1.6737,
      "step": 4094
    },
    {
      "epoch": 0.364,
      "grad_norm": 2.2396183013916016,
      "learning_rate": 3.1804444444444446e-05,
      "loss": 1.6882,
      "step": 4095
    },
    {
      "epoch": 0.3640888888888889,
      "grad_norm": 2.249971389770508,
      "learning_rate": 3.18e-05,
      "loss": 1.8201,
      "step": 4096
    },
    {
      "epoch": 0.36417777777777777,
      "grad_norm": 1.8830927610397339,
      "learning_rate": 3.1795555555555555e-05,
      "loss": 1.6679,
      "step": 4097
    },
    {
      "epoch": 0.3642666666666667,
      "grad_norm": 1.5107301473617554,
      "learning_rate": 3.179111111111111e-05,
      "loss": 1.5926,
      "step": 4098
    },
    {
      "epoch": 0.36435555555555554,
      "grad_norm": 1.4400615692138672,
      "learning_rate": 3.178666666666667e-05,
      "loss": 1.6075,
      "step": 4099
    },
    {
      "epoch": 0.36444444444444446,
      "grad_norm": 2.0042004585266113,
      "learning_rate": 3.178222222222223e-05,
      "loss": 1.649,
      "step": 4100
    },
    {
      "epoch": 0.3645333333333333,
      "grad_norm": 1.7201915979385376,
      "learning_rate": 3.177777777777778e-05,
      "loss": 1.5918,
      "step": 4101
    },
    {
      "epoch": 0.36462222222222224,
      "grad_norm": 1.70443856716156,
      "learning_rate": 3.177333333333333e-05,
      "loss": 1.5775,
      "step": 4102
    },
    {
      "epoch": 0.3647111111111111,
      "grad_norm": 1.6317150592803955,
      "learning_rate": 3.176888888888889e-05,
      "loss": 1.7002,
      "step": 4103
    },
    {
      "epoch": 0.3648,
      "grad_norm": 1.6649423837661743,
      "learning_rate": 3.1764444444444446e-05,
      "loss": 1.7167,
      "step": 4104
    },
    {
      "epoch": 0.3648888888888889,
      "grad_norm": 1.9243214130401611,
      "learning_rate": 3.176e-05,
      "loss": 1.8095,
      "step": 4105
    },
    {
      "epoch": 0.3649777777777778,
      "grad_norm": 1.702644944190979,
      "learning_rate": 3.1755555555555556e-05,
      "loss": 1.5838,
      "step": 4106
    },
    {
      "epoch": 0.36506666666666665,
      "grad_norm": 1.5859575271606445,
      "learning_rate": 3.175111111111112e-05,
      "loss": 1.4024,
      "step": 4107
    },
    {
      "epoch": 0.36515555555555557,
      "grad_norm": 1.5038610696792603,
      "learning_rate": 3.174666666666667e-05,
      "loss": 1.6183,
      "step": 4108
    },
    {
      "epoch": 0.3652444444444444,
      "grad_norm": 1.4533069133758545,
      "learning_rate": 3.174222222222222e-05,
      "loss": 1.2826,
      "step": 4109
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 1.7592710256576538,
      "learning_rate": 3.1737777777777775e-05,
      "loss": 1.6034,
      "step": 4110
    },
    {
      "epoch": 0.3654222222222222,
      "grad_norm": 1.4292513132095337,
      "learning_rate": 3.173333333333334e-05,
      "loss": 1.3479,
      "step": 4111
    },
    {
      "epoch": 0.3655111111111111,
      "grad_norm": 1.659085750579834,
      "learning_rate": 3.172888888888889e-05,
      "loss": 1.6447,
      "step": 4112
    },
    {
      "epoch": 0.3656,
      "grad_norm": 1.8081927299499512,
      "learning_rate": 3.1724444444444446e-05,
      "loss": 1.7323,
      "step": 4113
    },
    {
      "epoch": 0.3656888888888889,
      "grad_norm": 1.6098668575286865,
      "learning_rate": 3.172e-05,
      "loss": 1.3298,
      "step": 4114
    },
    {
      "epoch": 0.36577777777777776,
      "grad_norm": 1.5543824434280396,
      "learning_rate": 3.1715555555555556e-05,
      "loss": 1.6822,
      "step": 4115
    },
    {
      "epoch": 0.3658666666666667,
      "grad_norm": 1.7006438970565796,
      "learning_rate": 3.171111111111111e-05,
      "loss": 1.5174,
      "step": 4116
    },
    {
      "epoch": 0.36595555555555553,
      "grad_norm": 1.5264233350753784,
      "learning_rate": 3.1706666666666666e-05,
      "loss": 1.5484,
      "step": 4117
    },
    {
      "epoch": 0.36604444444444445,
      "grad_norm": 1.7115718126296997,
      "learning_rate": 3.170222222222222e-05,
      "loss": 1.7272,
      "step": 4118
    },
    {
      "epoch": 0.3661333333333333,
      "grad_norm": 1.7358149290084839,
      "learning_rate": 3.169777777777778e-05,
      "loss": 1.6734,
      "step": 4119
    },
    {
      "epoch": 0.3662222222222222,
      "grad_norm": 2.2387397289276123,
      "learning_rate": 3.169333333333334e-05,
      "loss": 1.6655,
      "step": 4120
    },
    {
      "epoch": 0.3663111111111111,
      "grad_norm": 1.4993805885314941,
      "learning_rate": 3.168888888888889e-05,
      "loss": 1.6664,
      "step": 4121
    },
    {
      "epoch": 0.3664,
      "grad_norm": 1.6034570932388306,
      "learning_rate": 3.168444444444445e-05,
      "loss": 1.7516,
      "step": 4122
    },
    {
      "epoch": 0.36648888888888886,
      "grad_norm": 1.5051090717315674,
      "learning_rate": 3.168e-05,
      "loss": 1.6002,
      "step": 4123
    },
    {
      "epoch": 0.3665777777777778,
      "grad_norm": 2.102358818054199,
      "learning_rate": 3.1675555555555556e-05,
      "loss": 1.5513,
      "step": 4124
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 3.1308369636535645,
      "learning_rate": 3.167111111111111e-05,
      "loss": 1.7713,
      "step": 4125
    },
    {
      "epoch": 0.36675555555555556,
      "grad_norm": 1.577885627746582,
      "learning_rate": 3.1666666666666666e-05,
      "loss": 1.3084,
      "step": 4126
    },
    {
      "epoch": 0.3668444444444444,
      "grad_norm": 1.4074972867965698,
      "learning_rate": 3.166222222222223e-05,
      "loss": 1.3616,
      "step": 4127
    },
    {
      "epoch": 0.36693333333333333,
      "grad_norm": 1.6532864570617676,
      "learning_rate": 3.165777777777778e-05,
      "loss": 1.5658,
      "step": 4128
    },
    {
      "epoch": 0.36702222222222225,
      "grad_norm": 1.8676130771636963,
      "learning_rate": 3.165333333333334e-05,
      "loss": 1.683,
      "step": 4129
    },
    {
      "epoch": 0.3671111111111111,
      "grad_norm": 1.719431757926941,
      "learning_rate": 3.164888888888889e-05,
      "loss": 1.6302,
      "step": 4130
    },
    {
      "epoch": 0.3672,
      "grad_norm": 1.53057062625885,
      "learning_rate": 3.164444444444444e-05,
      "loss": 1.4476,
      "step": 4131
    },
    {
      "epoch": 0.3672888888888889,
      "grad_norm": 1.6216731071472168,
      "learning_rate": 3.164e-05,
      "loss": 1.6255,
      "step": 4132
    },
    {
      "epoch": 0.3673777777777778,
      "grad_norm": 1.5694477558135986,
      "learning_rate": 3.163555555555556e-05,
      "loss": 1.662,
      "step": 4133
    },
    {
      "epoch": 0.36746666666666666,
      "grad_norm": 2.056046724319458,
      "learning_rate": 3.163111111111111e-05,
      "loss": 1.8244,
      "step": 4134
    },
    {
      "epoch": 0.3675555555555556,
      "grad_norm": 2.0314998626708984,
      "learning_rate": 3.1626666666666667e-05,
      "loss": 1.7204,
      "step": 4135
    },
    {
      "epoch": 0.36764444444444444,
      "grad_norm": 1.4624882936477661,
      "learning_rate": 3.162222222222223e-05,
      "loss": 1.6171,
      "step": 4136
    },
    {
      "epoch": 0.36773333333333336,
      "grad_norm": 1.7346258163452148,
      "learning_rate": 3.1617777777777776e-05,
      "loss": 1.719,
      "step": 4137
    },
    {
      "epoch": 0.3678222222222222,
      "grad_norm": 1.706469178199768,
      "learning_rate": 3.161333333333333e-05,
      "loss": 1.7823,
      "step": 4138
    },
    {
      "epoch": 0.36791111111111113,
      "grad_norm": 1.9758914709091187,
      "learning_rate": 3.1608888888888886e-05,
      "loss": 1.7004,
      "step": 4139
    },
    {
      "epoch": 0.368,
      "grad_norm": 1.4521511793136597,
      "learning_rate": 3.160444444444445e-05,
      "loss": 1.4648,
      "step": 4140
    },
    {
      "epoch": 0.3680888888888889,
      "grad_norm": 1.4343117475509644,
      "learning_rate": 3.16e-05,
      "loss": 1.4157,
      "step": 4141
    },
    {
      "epoch": 0.36817777777777777,
      "grad_norm": 1.6801462173461914,
      "learning_rate": 3.159555555555556e-05,
      "loss": 1.5931,
      "step": 4142
    },
    {
      "epoch": 0.3682666666666667,
      "grad_norm": 1.4248487949371338,
      "learning_rate": 3.159111111111111e-05,
      "loss": 1.5892,
      "step": 4143
    },
    {
      "epoch": 0.36835555555555555,
      "grad_norm": 2.050814628601074,
      "learning_rate": 3.158666666666667e-05,
      "loss": 1.5613,
      "step": 4144
    },
    {
      "epoch": 0.36844444444444446,
      "grad_norm": 1.8161653280258179,
      "learning_rate": 3.158222222222222e-05,
      "loss": 1.6316,
      "step": 4145
    },
    {
      "epoch": 0.3685333333333333,
      "grad_norm": 1.6449946165084839,
      "learning_rate": 3.1577777777777777e-05,
      "loss": 1.4733,
      "step": 4146
    },
    {
      "epoch": 0.36862222222222224,
      "grad_norm": 1.5186644792556763,
      "learning_rate": 3.157333333333333e-05,
      "loss": 1.8181,
      "step": 4147
    },
    {
      "epoch": 0.3687111111111111,
      "grad_norm": 1.6691594123840332,
      "learning_rate": 3.156888888888889e-05,
      "loss": 1.4888,
      "step": 4148
    },
    {
      "epoch": 0.3688,
      "grad_norm": 1.4995061159133911,
      "learning_rate": 3.156444444444445e-05,
      "loss": 1.4243,
      "step": 4149
    },
    {
      "epoch": 0.3688888888888889,
      "grad_norm": 1.6883087158203125,
      "learning_rate": 3.156e-05,
      "loss": 1.7553,
      "step": 4150
    },
    {
      "epoch": 0.3689777777777778,
      "grad_norm": 1.4814318418502808,
      "learning_rate": 3.155555555555556e-05,
      "loss": 1.6834,
      "step": 4151
    },
    {
      "epoch": 0.36906666666666665,
      "grad_norm": 1.9370238780975342,
      "learning_rate": 3.155111111111111e-05,
      "loss": 1.9408,
      "step": 4152
    },
    {
      "epoch": 0.36915555555555557,
      "grad_norm": 1.6641038656234741,
      "learning_rate": 3.154666666666667e-05,
      "loss": 1.7303,
      "step": 4153
    },
    {
      "epoch": 0.36924444444444443,
      "grad_norm": 1.6168841123580933,
      "learning_rate": 3.154222222222222e-05,
      "loss": 1.72,
      "step": 4154
    },
    {
      "epoch": 0.36933333333333335,
      "grad_norm": 2.026407480239868,
      "learning_rate": 3.153777777777778e-05,
      "loss": 1.6977,
      "step": 4155
    },
    {
      "epoch": 0.3694222222222222,
      "grad_norm": 1.4663357734680176,
      "learning_rate": 3.153333333333334e-05,
      "loss": 1.6632,
      "step": 4156
    },
    {
      "epoch": 0.3695111111111111,
      "grad_norm": 1.5036262273788452,
      "learning_rate": 3.1528888888888893e-05,
      "loss": 1.7495,
      "step": 4157
    },
    {
      "epoch": 0.3696,
      "grad_norm": 1.9012937545776367,
      "learning_rate": 3.152444444444445e-05,
      "loss": 1.6458,
      "step": 4158
    },
    {
      "epoch": 0.3696888888888889,
      "grad_norm": 1.59634268283844,
      "learning_rate": 3.1519999999999996e-05,
      "loss": 1.4846,
      "step": 4159
    },
    {
      "epoch": 0.36977777777777776,
      "grad_norm": 1.4729938507080078,
      "learning_rate": 3.151555555555556e-05,
      "loss": 1.6134,
      "step": 4160
    },
    {
      "epoch": 0.3698666666666667,
      "grad_norm": 1.5072755813598633,
      "learning_rate": 3.151111111111111e-05,
      "loss": 1.6988,
      "step": 4161
    },
    {
      "epoch": 0.36995555555555554,
      "grad_norm": 1.6424598693847656,
      "learning_rate": 3.150666666666667e-05,
      "loss": 1.6935,
      "step": 4162
    },
    {
      "epoch": 0.37004444444444445,
      "grad_norm": 1.9865745306015015,
      "learning_rate": 3.150222222222222e-05,
      "loss": 1.6435,
      "step": 4163
    },
    {
      "epoch": 0.3701333333333333,
      "grad_norm": 1.5402073860168457,
      "learning_rate": 3.1497777777777784e-05,
      "loss": 1.7978,
      "step": 4164
    },
    {
      "epoch": 0.37022222222222223,
      "grad_norm": 1.9762214422225952,
      "learning_rate": 3.149333333333334e-05,
      "loss": 1.7992,
      "step": 4165
    },
    {
      "epoch": 0.3703111111111111,
      "grad_norm": 1.3970698118209839,
      "learning_rate": 3.148888888888889e-05,
      "loss": 1.3965,
      "step": 4166
    },
    {
      "epoch": 0.3704,
      "grad_norm": 1.7119842767715454,
      "learning_rate": 3.148444444444444e-05,
      "loss": 1.3179,
      "step": 4167
    },
    {
      "epoch": 0.37048888888888887,
      "grad_norm": 1.6393821239471436,
      "learning_rate": 3.1480000000000004e-05,
      "loss": 1.6561,
      "step": 4168
    },
    {
      "epoch": 0.3705777777777778,
      "grad_norm": 2.4418067932128906,
      "learning_rate": 3.147555555555556e-05,
      "loss": 1.8755,
      "step": 4169
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 1.5767557621002197,
      "learning_rate": 3.147111111111111e-05,
      "loss": 1.694,
      "step": 4170
    },
    {
      "epoch": 0.37075555555555556,
      "grad_norm": 2.2192108631134033,
      "learning_rate": 3.146666666666667e-05,
      "loss": 1.9755,
      "step": 4171
    },
    {
      "epoch": 0.3708444444444444,
      "grad_norm": 2.0201008319854736,
      "learning_rate": 3.146222222222222e-05,
      "loss": 1.6317,
      "step": 4172
    },
    {
      "epoch": 0.37093333333333334,
      "grad_norm": 1.6389217376708984,
      "learning_rate": 3.145777777777778e-05,
      "loss": 1.5047,
      "step": 4173
    },
    {
      "epoch": 0.3710222222222222,
      "grad_norm": 1.3690428733825684,
      "learning_rate": 3.145333333333333e-05,
      "loss": 1.4604,
      "step": 4174
    },
    {
      "epoch": 0.3711111111111111,
      "grad_norm": 1.4876784086227417,
      "learning_rate": 3.144888888888889e-05,
      "loss": 1.5091,
      "step": 4175
    },
    {
      "epoch": 0.3712,
      "grad_norm": 1.9502724409103394,
      "learning_rate": 3.144444444444445e-05,
      "loss": 1.7971,
      "step": 4176
    },
    {
      "epoch": 0.3712888888888889,
      "grad_norm": 1.6873445510864258,
      "learning_rate": 3.1440000000000004e-05,
      "loss": 1.7619,
      "step": 4177
    },
    {
      "epoch": 0.37137777777777775,
      "grad_norm": 1.6337523460388184,
      "learning_rate": 3.143555555555556e-05,
      "loss": 1.5331,
      "step": 4178
    },
    {
      "epoch": 0.37146666666666667,
      "grad_norm": 1.5297348499298096,
      "learning_rate": 3.1431111111111114e-05,
      "loss": 1.666,
      "step": 4179
    },
    {
      "epoch": 0.37155555555555553,
      "grad_norm": 1.8140215873718262,
      "learning_rate": 3.142666666666667e-05,
      "loss": 1.5192,
      "step": 4180
    },
    {
      "epoch": 0.37164444444444444,
      "grad_norm": 1.523436188697815,
      "learning_rate": 3.142222222222222e-05,
      "loss": 1.4107,
      "step": 4181
    },
    {
      "epoch": 0.37173333333333336,
      "grad_norm": 2.000175714492798,
      "learning_rate": 3.141777777777778e-05,
      "loss": 1.743,
      "step": 4182
    },
    {
      "epoch": 0.3718222222222222,
      "grad_norm": 1.5989735126495361,
      "learning_rate": 3.141333333333333e-05,
      "loss": 1.7612,
      "step": 4183
    },
    {
      "epoch": 0.37191111111111114,
      "grad_norm": 1.8557430505752563,
      "learning_rate": 3.140888888888889e-05,
      "loss": 1.6876,
      "step": 4184
    },
    {
      "epoch": 0.372,
      "grad_norm": 1.5583114624023438,
      "learning_rate": 3.140444444444445e-05,
      "loss": 1.4936,
      "step": 4185
    },
    {
      "epoch": 0.3720888888888889,
      "grad_norm": 1.598245620727539,
      "learning_rate": 3.1400000000000004e-05,
      "loss": 1.5519,
      "step": 4186
    },
    {
      "epoch": 0.3721777777777778,
      "grad_norm": 1.446038007736206,
      "learning_rate": 3.139555555555556e-05,
      "loss": 1.4792,
      "step": 4187
    },
    {
      "epoch": 0.3722666666666667,
      "grad_norm": 1.5400817394256592,
      "learning_rate": 3.139111111111111e-05,
      "loss": 1.7126,
      "step": 4188
    },
    {
      "epoch": 0.37235555555555555,
      "grad_norm": 1.5351355075836182,
      "learning_rate": 3.138666666666667e-05,
      "loss": 1.4722,
      "step": 4189
    },
    {
      "epoch": 0.37244444444444447,
      "grad_norm": 1.678178071975708,
      "learning_rate": 3.1382222222222224e-05,
      "loss": 1.7065,
      "step": 4190
    },
    {
      "epoch": 0.3725333333333333,
      "grad_norm": 1.3360422849655151,
      "learning_rate": 3.137777777777778e-05,
      "loss": 1.4767,
      "step": 4191
    },
    {
      "epoch": 0.37262222222222224,
      "grad_norm": 1.6772950887680054,
      "learning_rate": 3.137333333333333e-05,
      "loss": 1.525,
      "step": 4192
    },
    {
      "epoch": 0.3727111111111111,
      "grad_norm": 2.6468825340270996,
      "learning_rate": 3.1368888888888895e-05,
      "loss": 1.9907,
      "step": 4193
    },
    {
      "epoch": 0.3728,
      "grad_norm": 1.444753885269165,
      "learning_rate": 3.136444444444444e-05,
      "loss": 1.5729,
      "step": 4194
    },
    {
      "epoch": 0.3728888888888889,
      "grad_norm": 3.292022466659546,
      "learning_rate": 3.136e-05,
      "loss": 2.0791,
      "step": 4195
    },
    {
      "epoch": 0.3729777777777778,
      "grad_norm": 1.626192331314087,
      "learning_rate": 3.135555555555555e-05,
      "loss": 1.4905,
      "step": 4196
    },
    {
      "epoch": 0.37306666666666666,
      "grad_norm": 1.585323452949524,
      "learning_rate": 3.1351111111111114e-05,
      "loss": 1.7146,
      "step": 4197
    },
    {
      "epoch": 0.3731555555555556,
      "grad_norm": 1.8552324771881104,
      "learning_rate": 3.134666666666667e-05,
      "loss": 1.6411,
      "step": 4198
    },
    {
      "epoch": 0.37324444444444443,
      "grad_norm": 1.5521727800369263,
      "learning_rate": 3.1342222222222224e-05,
      "loss": 1.5548,
      "step": 4199
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 1.6191006898880005,
      "learning_rate": 3.133777777777778e-05,
      "loss": 1.6687,
      "step": 4200
    },
    {
      "epoch": 0.3734222222222222,
      "grad_norm": 1.4258877038955688,
      "learning_rate": 3.1333333333333334e-05,
      "loss": 1.5869,
      "step": 4201
    },
    {
      "epoch": 0.3735111111111111,
      "grad_norm": 1.795399785041809,
      "learning_rate": 3.132888888888889e-05,
      "loss": 1.6297,
      "step": 4202
    },
    {
      "epoch": 0.3736,
      "grad_norm": 1.4501100778579712,
      "learning_rate": 3.1324444444444443e-05,
      "loss": 1.6681,
      "step": 4203
    },
    {
      "epoch": 0.3736888888888889,
      "grad_norm": 1.745793342590332,
      "learning_rate": 3.132e-05,
      "loss": 1.7175,
      "step": 4204
    },
    {
      "epoch": 0.37377777777777776,
      "grad_norm": 1.487001895904541,
      "learning_rate": 3.131555555555556e-05,
      "loss": 1.669,
      "step": 4205
    },
    {
      "epoch": 0.3738666666666667,
      "grad_norm": 1.4191447496414185,
      "learning_rate": 3.1311111111111115e-05,
      "loss": 1.4924,
      "step": 4206
    },
    {
      "epoch": 0.37395555555555554,
      "grad_norm": 1.608431100845337,
      "learning_rate": 3.130666666666667e-05,
      "loss": 1.5119,
      "step": 4207
    },
    {
      "epoch": 0.37404444444444446,
      "grad_norm": 1.4627861976623535,
      "learning_rate": 3.1302222222222224e-05,
      "loss": 1.5664,
      "step": 4208
    },
    {
      "epoch": 0.3741333333333333,
      "grad_norm": 1.667251706123352,
      "learning_rate": 3.129777777777778e-05,
      "loss": 1.6105,
      "step": 4209
    },
    {
      "epoch": 0.37422222222222223,
      "grad_norm": 1.9511958360671997,
      "learning_rate": 3.1293333333333334e-05,
      "loss": 1.7372,
      "step": 4210
    },
    {
      "epoch": 0.3743111111111111,
      "grad_norm": 1.6549614667892456,
      "learning_rate": 3.128888888888889e-05,
      "loss": 1.7368,
      "step": 4211
    },
    {
      "epoch": 0.3744,
      "grad_norm": 1.4699069261550903,
      "learning_rate": 3.1284444444444444e-05,
      "loss": 1.6313,
      "step": 4212
    },
    {
      "epoch": 0.37448888888888887,
      "grad_norm": 1.733318567276001,
      "learning_rate": 3.1280000000000005e-05,
      "loss": 1.7209,
      "step": 4213
    },
    {
      "epoch": 0.3745777777777778,
      "grad_norm": 1.598910927772522,
      "learning_rate": 3.127555555555556e-05,
      "loss": 1.6252,
      "step": 4214
    },
    {
      "epoch": 0.37466666666666665,
      "grad_norm": 1.662838339805603,
      "learning_rate": 3.1271111111111115e-05,
      "loss": 1.8268,
      "step": 4215
    },
    {
      "epoch": 0.37475555555555556,
      "grad_norm": 1.7731854915618896,
      "learning_rate": 3.126666666666666e-05,
      "loss": 1.7532,
      "step": 4216
    },
    {
      "epoch": 0.3748444444444444,
      "grad_norm": 1.5285029411315918,
      "learning_rate": 3.1262222222222225e-05,
      "loss": 1.7475,
      "step": 4217
    },
    {
      "epoch": 0.37493333333333334,
      "grad_norm": 1.6288436651229858,
      "learning_rate": 3.125777777777778e-05,
      "loss": 1.4201,
      "step": 4218
    },
    {
      "epoch": 0.3750222222222222,
      "grad_norm": 1.4322092533111572,
      "learning_rate": 3.1253333333333335e-05,
      "loss": 1.4853,
      "step": 4219
    },
    {
      "epoch": 0.3751111111111111,
      "grad_norm": 1.7957990169525146,
      "learning_rate": 3.124888888888889e-05,
      "loss": 1.3587,
      "step": 4220
    },
    {
      "epoch": 0.3752,
      "grad_norm": 1.5164594650268555,
      "learning_rate": 3.124444444444445e-05,
      "loss": 1.3354,
      "step": 4221
    },
    {
      "epoch": 0.3752888888888889,
      "grad_norm": 1.6491501331329346,
      "learning_rate": 3.1240000000000006e-05,
      "loss": 1.4918,
      "step": 4222
    },
    {
      "epoch": 0.37537777777777775,
      "grad_norm": 1.5913233757019043,
      "learning_rate": 3.1235555555555554e-05,
      "loss": 1.6741,
      "step": 4223
    },
    {
      "epoch": 0.37546666666666667,
      "grad_norm": 1.4150259494781494,
      "learning_rate": 3.123111111111111e-05,
      "loss": 1.529,
      "step": 4224
    },
    {
      "epoch": 0.37555555555555553,
      "grad_norm": 1.5173999071121216,
      "learning_rate": 3.122666666666667e-05,
      "loss": 1.5018,
      "step": 4225
    },
    {
      "epoch": 0.37564444444444445,
      "grad_norm": 1.685502052307129,
      "learning_rate": 3.1222222222222225e-05,
      "loss": 1.6645,
      "step": 4226
    },
    {
      "epoch": 0.3757333333333333,
      "grad_norm": 1.6761058568954468,
      "learning_rate": 3.121777777777778e-05,
      "loss": 1.6494,
      "step": 4227
    },
    {
      "epoch": 0.3758222222222222,
      "grad_norm": 2.312554121017456,
      "learning_rate": 3.1213333333333335e-05,
      "loss": 1.8958,
      "step": 4228
    },
    {
      "epoch": 0.3759111111111111,
      "grad_norm": 1.7934309244155884,
      "learning_rate": 3.120888888888889e-05,
      "loss": 1.7248,
      "step": 4229
    },
    {
      "epoch": 0.376,
      "grad_norm": 1.4885060787200928,
      "learning_rate": 3.1204444444444445e-05,
      "loss": 1.4867,
      "step": 4230
    },
    {
      "epoch": 0.37608888888888886,
      "grad_norm": 1.8951833248138428,
      "learning_rate": 3.12e-05,
      "loss": 1.5737,
      "step": 4231
    },
    {
      "epoch": 0.3761777777777778,
      "grad_norm": 1.7696038484573364,
      "learning_rate": 3.1195555555555554e-05,
      "loss": 1.7935,
      "step": 4232
    },
    {
      "epoch": 0.3762666666666667,
      "grad_norm": 1.854394793510437,
      "learning_rate": 3.119111111111111e-05,
      "loss": 1.6851,
      "step": 4233
    },
    {
      "epoch": 0.37635555555555555,
      "grad_norm": 1.5186213254928589,
      "learning_rate": 3.118666666666667e-05,
      "loss": 1.5539,
      "step": 4234
    },
    {
      "epoch": 0.37644444444444447,
      "grad_norm": 1.4453022480010986,
      "learning_rate": 3.1182222222222226e-05,
      "loss": 1.3544,
      "step": 4235
    },
    {
      "epoch": 0.37653333333333333,
      "grad_norm": 1.84916353225708,
      "learning_rate": 3.117777777777778e-05,
      "loss": 1.8414,
      "step": 4236
    },
    {
      "epoch": 0.37662222222222225,
      "grad_norm": 1.8281160593032837,
      "learning_rate": 3.1173333333333335e-05,
      "loss": 1.774,
      "step": 4237
    },
    {
      "epoch": 0.3767111111111111,
      "grad_norm": 2.16444993019104,
      "learning_rate": 3.116888888888889e-05,
      "loss": 1.9172,
      "step": 4238
    },
    {
      "epoch": 0.3768,
      "grad_norm": 1.8834240436553955,
      "learning_rate": 3.1164444444444445e-05,
      "loss": 1.5533,
      "step": 4239
    },
    {
      "epoch": 0.3768888888888889,
      "grad_norm": 1.502494215965271,
      "learning_rate": 3.116e-05,
      "loss": 1.4984,
      "step": 4240
    },
    {
      "epoch": 0.3769777777777778,
      "grad_norm": 1.6861810684204102,
      "learning_rate": 3.1155555555555555e-05,
      "loss": 1.4649,
      "step": 4241
    },
    {
      "epoch": 0.37706666666666666,
      "grad_norm": 1.6982166767120361,
      "learning_rate": 3.1151111111111116e-05,
      "loss": 1.8014,
      "step": 4242
    },
    {
      "epoch": 0.3771555555555556,
      "grad_norm": 1.745585322380066,
      "learning_rate": 3.114666666666667e-05,
      "loss": 1.9272,
      "step": 4243
    },
    {
      "epoch": 0.37724444444444444,
      "grad_norm": 1.6293376684188843,
      "learning_rate": 3.1142222222222226e-05,
      "loss": 1.9063,
      "step": 4244
    },
    {
      "epoch": 0.37733333333333335,
      "grad_norm": 1.449393391609192,
      "learning_rate": 3.1137777777777774e-05,
      "loss": 1.5459,
      "step": 4245
    },
    {
      "epoch": 0.3774222222222222,
      "grad_norm": 1.4428002834320068,
      "learning_rate": 3.1133333333333336e-05,
      "loss": 1.6151,
      "step": 4246
    },
    {
      "epoch": 0.37751111111111113,
      "grad_norm": 1.6881383657455444,
      "learning_rate": 3.112888888888889e-05,
      "loss": 1.3713,
      "step": 4247
    },
    {
      "epoch": 0.3776,
      "grad_norm": 1.631785273551941,
      "learning_rate": 3.1124444444444445e-05,
      "loss": 1.7562,
      "step": 4248
    },
    {
      "epoch": 0.3776888888888889,
      "grad_norm": 1.7546557188034058,
      "learning_rate": 3.112e-05,
      "loss": 1.6592,
      "step": 4249
    },
    {
      "epoch": 0.37777777777777777,
      "grad_norm": 1.4929404258728027,
      "learning_rate": 3.111555555555556e-05,
      "loss": 1.4888,
      "step": 4250
    },
    {
      "epoch": 0.3778666666666667,
      "grad_norm": 1.7815825939178467,
      "learning_rate": 3.111111111111111e-05,
      "loss": 1.6545,
      "step": 4251
    },
    {
      "epoch": 0.37795555555555554,
      "grad_norm": 1.6772687435150146,
      "learning_rate": 3.1106666666666665e-05,
      "loss": 1.7246,
      "step": 4252
    },
    {
      "epoch": 0.37804444444444446,
      "grad_norm": 1.6330140829086304,
      "learning_rate": 3.110222222222222e-05,
      "loss": 1.5907,
      "step": 4253
    },
    {
      "epoch": 0.3781333333333333,
      "grad_norm": 1.5784363746643066,
      "learning_rate": 3.109777777777778e-05,
      "loss": 1.7766,
      "step": 4254
    },
    {
      "epoch": 0.37822222222222224,
      "grad_norm": 1.5518263578414917,
      "learning_rate": 3.1093333333333336e-05,
      "loss": 1.656,
      "step": 4255
    },
    {
      "epoch": 0.3783111111111111,
      "grad_norm": 1.5723321437835693,
      "learning_rate": 3.108888888888889e-05,
      "loss": 1.6526,
      "step": 4256
    },
    {
      "epoch": 0.3784,
      "grad_norm": 1.5678472518920898,
      "learning_rate": 3.1084444444444446e-05,
      "loss": 1.5751,
      "step": 4257
    },
    {
      "epoch": 0.3784888888888889,
      "grad_norm": 1.8799690008163452,
      "learning_rate": 3.108e-05,
      "loss": 1.6137,
      "step": 4258
    },
    {
      "epoch": 0.3785777777777778,
      "grad_norm": 1.6888829469680786,
      "learning_rate": 3.1075555555555555e-05,
      "loss": 1.5003,
      "step": 4259
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 1.5466136932373047,
      "learning_rate": 3.107111111111111e-05,
      "loss": 1.4124,
      "step": 4260
    },
    {
      "epoch": 0.37875555555555557,
      "grad_norm": 2.03732967376709,
      "learning_rate": 3.1066666666666665e-05,
      "loss": 1.7833,
      "step": 4261
    },
    {
      "epoch": 0.37884444444444443,
      "grad_norm": 1.6827841997146606,
      "learning_rate": 3.106222222222223e-05,
      "loss": 1.6676,
      "step": 4262
    },
    {
      "epoch": 0.37893333333333334,
      "grad_norm": 1.7573732137680054,
      "learning_rate": 3.105777777777778e-05,
      "loss": 1.5936,
      "step": 4263
    },
    {
      "epoch": 0.3790222222222222,
      "grad_norm": 1.7392561435699463,
      "learning_rate": 3.1053333333333336e-05,
      "loss": 1.5945,
      "step": 4264
    },
    {
      "epoch": 0.3791111111111111,
      "grad_norm": 1.6762505769729614,
      "learning_rate": 3.104888888888889e-05,
      "loss": 1.7346,
      "step": 4265
    },
    {
      "epoch": 0.3792,
      "grad_norm": 1.5405579805374146,
      "learning_rate": 3.1044444444444446e-05,
      "loss": 1.7874,
      "step": 4266
    },
    {
      "epoch": 0.3792888888888889,
      "grad_norm": 1.5897595882415771,
      "learning_rate": 3.104e-05,
      "loss": 1.3894,
      "step": 4267
    },
    {
      "epoch": 0.37937777777777776,
      "grad_norm": 1.6288920640945435,
      "learning_rate": 3.1035555555555556e-05,
      "loss": 1.7245,
      "step": 4268
    },
    {
      "epoch": 0.3794666666666667,
      "grad_norm": 1.48024582862854,
      "learning_rate": 3.103111111111111e-05,
      "loss": 1.5716,
      "step": 4269
    },
    {
      "epoch": 0.37955555555555553,
      "grad_norm": 1.4263869524002075,
      "learning_rate": 3.102666666666667e-05,
      "loss": 1.5166,
      "step": 4270
    },
    {
      "epoch": 0.37964444444444445,
      "grad_norm": 1.7882559299468994,
      "learning_rate": 3.102222222222223e-05,
      "loss": 1.7177,
      "step": 4271
    },
    {
      "epoch": 0.3797333333333333,
      "grad_norm": 1.8373719453811646,
      "learning_rate": 3.101777777777778e-05,
      "loss": 1.8403,
      "step": 4272
    },
    {
      "epoch": 0.3798222222222222,
      "grad_norm": 1.730699896812439,
      "learning_rate": 3.101333333333333e-05,
      "loss": 1.6528,
      "step": 4273
    },
    {
      "epoch": 0.3799111111111111,
      "grad_norm": 1.666281819343567,
      "learning_rate": 3.100888888888889e-05,
      "loss": 1.474,
      "step": 4274
    },
    {
      "epoch": 0.38,
      "grad_norm": 1.8106379508972168,
      "learning_rate": 3.1004444444444447e-05,
      "loss": 1.6422,
      "step": 4275
    },
    {
      "epoch": 0.38008888888888887,
      "grad_norm": 1.6401543617248535,
      "learning_rate": 3.1e-05,
      "loss": 1.594,
      "step": 4276
    },
    {
      "epoch": 0.3801777777777778,
      "grad_norm": 1.5691132545471191,
      "learning_rate": 3.0995555555555556e-05,
      "loss": 1.7282,
      "step": 4277
    },
    {
      "epoch": 0.38026666666666664,
      "grad_norm": 1.5815485715866089,
      "learning_rate": 3.099111111111112e-05,
      "loss": 1.5945,
      "step": 4278
    },
    {
      "epoch": 0.38035555555555556,
      "grad_norm": 1.5179228782653809,
      "learning_rate": 3.098666666666667e-05,
      "loss": 1.4917,
      "step": 4279
    },
    {
      "epoch": 0.3804444444444444,
      "grad_norm": 1.895358681678772,
      "learning_rate": 3.098222222222222e-05,
      "loss": 1.6907,
      "step": 4280
    },
    {
      "epoch": 0.38053333333333333,
      "grad_norm": 1.5605491399765015,
      "learning_rate": 3.0977777777777776e-05,
      "loss": 1.5477,
      "step": 4281
    },
    {
      "epoch": 0.3806222222222222,
      "grad_norm": 1.6707793474197388,
      "learning_rate": 3.097333333333334e-05,
      "loss": 1.601,
      "step": 4282
    },
    {
      "epoch": 0.3807111111111111,
      "grad_norm": 1.8560985326766968,
      "learning_rate": 3.096888888888889e-05,
      "loss": 1.6955,
      "step": 4283
    },
    {
      "epoch": 0.3808,
      "grad_norm": 1.9936891794204712,
      "learning_rate": 3.096444444444445e-05,
      "loss": 1.6365,
      "step": 4284
    },
    {
      "epoch": 0.3808888888888889,
      "grad_norm": 1.517765760421753,
      "learning_rate": 3.096e-05,
      "loss": 1.6464,
      "step": 4285
    },
    {
      "epoch": 0.3809777777777778,
      "grad_norm": 1.5754257440567017,
      "learning_rate": 3.0955555555555557e-05,
      "loss": 1.617,
      "step": 4286
    },
    {
      "epoch": 0.38106666666666666,
      "grad_norm": 1.6873061656951904,
      "learning_rate": 3.095111111111111e-05,
      "loss": 1.5066,
      "step": 4287
    },
    {
      "epoch": 0.3811555555555556,
      "grad_norm": 1.607239842414856,
      "learning_rate": 3.0946666666666666e-05,
      "loss": 1.6833,
      "step": 4288
    },
    {
      "epoch": 0.38124444444444444,
      "grad_norm": 1.3806688785552979,
      "learning_rate": 3.094222222222222e-05,
      "loss": 1.4521,
      "step": 4289
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 1.6263501644134521,
      "learning_rate": 3.0937777777777776e-05,
      "loss": 1.5959,
      "step": 4290
    },
    {
      "epoch": 0.3814222222222222,
      "grad_norm": 1.3544275760650635,
      "learning_rate": 3.093333333333334e-05,
      "loss": 1.4846,
      "step": 4291
    },
    {
      "epoch": 0.38151111111111113,
      "grad_norm": 1.4508423805236816,
      "learning_rate": 3.092888888888889e-05,
      "loss": 1.5523,
      "step": 4292
    },
    {
      "epoch": 0.3816,
      "grad_norm": 2.044201374053955,
      "learning_rate": 3.092444444444445e-05,
      "loss": 1.9326,
      "step": 4293
    },
    {
      "epoch": 0.3816888888888889,
      "grad_norm": 1.7908868789672852,
      "learning_rate": 3.092e-05,
      "loss": 1.664,
      "step": 4294
    },
    {
      "epoch": 0.38177777777777777,
      "grad_norm": 1.844422459602356,
      "learning_rate": 3.091555555555556e-05,
      "loss": 1.5785,
      "step": 4295
    },
    {
      "epoch": 0.3818666666666667,
      "grad_norm": 1.6828134059906006,
      "learning_rate": 3.091111111111111e-05,
      "loss": 1.6615,
      "step": 4296
    },
    {
      "epoch": 0.38195555555555555,
      "grad_norm": 1.625290870666504,
      "learning_rate": 3.090666666666667e-05,
      "loss": 1.6452,
      "step": 4297
    },
    {
      "epoch": 0.38204444444444446,
      "grad_norm": 1.8652915954589844,
      "learning_rate": 3.090222222222222e-05,
      "loss": 1.5228,
      "step": 4298
    },
    {
      "epoch": 0.3821333333333333,
      "grad_norm": 1.6487208604812622,
      "learning_rate": 3.089777777777778e-05,
      "loss": 1.4956,
      "step": 4299
    },
    {
      "epoch": 0.38222222222222224,
      "grad_norm": 1.5019330978393555,
      "learning_rate": 3.089333333333334e-05,
      "loss": 1.6043,
      "step": 4300
    },
    {
      "epoch": 0.3823111111111111,
      "grad_norm": 1.6865596771240234,
      "learning_rate": 3.088888888888889e-05,
      "loss": 1.518,
      "step": 4301
    },
    {
      "epoch": 0.3824,
      "grad_norm": 1.7191423177719116,
      "learning_rate": 3.088444444444444e-05,
      "loss": 1.523,
      "step": 4302
    },
    {
      "epoch": 0.3824888888888889,
      "grad_norm": 1.5221672058105469,
      "learning_rate": 3.088e-05,
      "loss": 1.585,
      "step": 4303
    },
    {
      "epoch": 0.3825777777777778,
      "grad_norm": 1.8898035287857056,
      "learning_rate": 3.087555555555556e-05,
      "loss": 1.7434,
      "step": 4304
    },
    {
      "epoch": 0.38266666666666665,
      "grad_norm": 1.6956262588500977,
      "learning_rate": 3.087111111111111e-05,
      "loss": 1.5642,
      "step": 4305
    },
    {
      "epoch": 0.38275555555555557,
      "grad_norm": 1.9390846490859985,
      "learning_rate": 3.086666666666667e-05,
      "loss": 1.5559,
      "step": 4306
    },
    {
      "epoch": 0.38284444444444443,
      "grad_norm": 2.0339181423187256,
      "learning_rate": 3.086222222222223e-05,
      "loss": 1.7291,
      "step": 4307
    },
    {
      "epoch": 0.38293333333333335,
      "grad_norm": 1.4533473253250122,
      "learning_rate": 3.085777777777778e-05,
      "loss": 1.6576,
      "step": 4308
    },
    {
      "epoch": 0.3830222222222222,
      "grad_norm": 1.2951229810714722,
      "learning_rate": 3.085333333333333e-05,
      "loss": 1.568,
      "step": 4309
    },
    {
      "epoch": 0.3831111111111111,
      "grad_norm": 1.9352771043777466,
      "learning_rate": 3.0848888888888886e-05,
      "loss": 1.6648,
      "step": 4310
    },
    {
      "epoch": 0.3832,
      "grad_norm": 1.5657103061676025,
      "learning_rate": 3.084444444444445e-05,
      "loss": 1.7292,
      "step": 4311
    },
    {
      "epoch": 0.3832888888888889,
      "grad_norm": 1.8544000387191772,
      "learning_rate": 3.084e-05,
      "loss": 1.5496,
      "step": 4312
    },
    {
      "epoch": 0.38337777777777776,
      "grad_norm": 1.6236544847488403,
      "learning_rate": 3.083555555555556e-05,
      "loss": 1.6807,
      "step": 4313
    },
    {
      "epoch": 0.3834666666666667,
      "grad_norm": 1.770033597946167,
      "learning_rate": 3.083111111111111e-05,
      "loss": 1.4939,
      "step": 4314
    },
    {
      "epoch": 0.38355555555555554,
      "grad_norm": 1.5138216018676758,
      "learning_rate": 3.082666666666667e-05,
      "loss": 1.7658,
      "step": 4315
    },
    {
      "epoch": 0.38364444444444445,
      "grad_norm": 1.5394893884658813,
      "learning_rate": 3.082222222222222e-05,
      "loss": 1.7345,
      "step": 4316
    },
    {
      "epoch": 0.3837333333333333,
      "grad_norm": 1.529664397239685,
      "learning_rate": 3.081777777777778e-05,
      "loss": 1.5385,
      "step": 4317
    },
    {
      "epoch": 0.38382222222222223,
      "grad_norm": 1.7694823741912842,
      "learning_rate": 3.081333333333333e-05,
      "loss": 1.8413,
      "step": 4318
    },
    {
      "epoch": 0.3839111111111111,
      "grad_norm": 1.9659783840179443,
      "learning_rate": 3.0808888888888894e-05,
      "loss": 1.7787,
      "step": 4319
    },
    {
      "epoch": 0.384,
      "grad_norm": 1.4957528114318848,
      "learning_rate": 3.080444444444445e-05,
      "loss": 1.4959,
      "step": 4320
    },
    {
      "epoch": 0.38408888888888887,
      "grad_norm": 1.9482907056808472,
      "learning_rate": 3.08e-05,
      "loss": 1.7094,
      "step": 4321
    },
    {
      "epoch": 0.3841777777777778,
      "grad_norm": 2.1088504791259766,
      "learning_rate": 3.079555555555556e-05,
      "loss": 1.856,
      "step": 4322
    },
    {
      "epoch": 0.38426666666666665,
      "grad_norm": 1.9839574098587036,
      "learning_rate": 3.079111111111111e-05,
      "loss": 1.781,
      "step": 4323
    },
    {
      "epoch": 0.38435555555555556,
      "grad_norm": 1.6061921119689941,
      "learning_rate": 3.078666666666667e-05,
      "loss": 1.7502,
      "step": 4324
    },
    {
      "epoch": 0.3844444444444444,
      "grad_norm": 1.6731804609298706,
      "learning_rate": 3.078222222222222e-05,
      "loss": 1.7855,
      "step": 4325
    },
    {
      "epoch": 0.38453333333333334,
      "grad_norm": 1.537352442741394,
      "learning_rate": 3.077777777777778e-05,
      "loss": 1.6682,
      "step": 4326
    },
    {
      "epoch": 0.3846222222222222,
      "grad_norm": 1.609837532043457,
      "learning_rate": 3.077333333333334e-05,
      "loss": 1.7295,
      "step": 4327
    },
    {
      "epoch": 0.3847111111111111,
      "grad_norm": 1.799908995628357,
      "learning_rate": 3.0768888888888894e-05,
      "loss": 1.7915,
      "step": 4328
    },
    {
      "epoch": 0.3848,
      "grad_norm": 1.766022801399231,
      "learning_rate": 3.076444444444445e-05,
      "loss": 1.4106,
      "step": 4329
    },
    {
      "epoch": 0.3848888888888889,
      "grad_norm": 2.2363977432250977,
      "learning_rate": 3.076e-05,
      "loss": 1.9515,
      "step": 4330
    },
    {
      "epoch": 0.38497777777777775,
      "grad_norm": 1.484657883644104,
      "learning_rate": 3.075555555555556e-05,
      "loss": 1.8976,
      "step": 4331
    },
    {
      "epoch": 0.38506666666666667,
      "grad_norm": 1.555646300315857,
      "learning_rate": 3.075111111111111e-05,
      "loss": 1.7952,
      "step": 4332
    },
    {
      "epoch": 0.38515555555555553,
      "grad_norm": 1.6491889953613281,
      "learning_rate": 3.074666666666667e-05,
      "loss": 1.6639,
      "step": 4333
    },
    {
      "epoch": 0.38524444444444444,
      "grad_norm": 1.6857740879058838,
      "learning_rate": 3.074222222222222e-05,
      "loss": 1.5247,
      "step": 4334
    },
    {
      "epoch": 0.38533333333333336,
      "grad_norm": 1.743148684501648,
      "learning_rate": 3.0737777777777785e-05,
      "loss": 1.7831,
      "step": 4335
    },
    {
      "epoch": 0.3854222222222222,
      "grad_norm": 1.7817697525024414,
      "learning_rate": 3.073333333333334e-05,
      "loss": 1.6953,
      "step": 4336
    },
    {
      "epoch": 0.38551111111111114,
      "grad_norm": 1.5749738216400146,
      "learning_rate": 3.072888888888889e-05,
      "loss": 1.5801,
      "step": 4337
    },
    {
      "epoch": 0.3856,
      "grad_norm": 1.5178008079528809,
      "learning_rate": 3.072444444444444e-05,
      "loss": 1.4968,
      "step": 4338
    },
    {
      "epoch": 0.3856888888888889,
      "grad_norm": 1.4144384860992432,
      "learning_rate": 3.072e-05,
      "loss": 1.5717,
      "step": 4339
    },
    {
      "epoch": 0.3857777777777778,
      "grad_norm": 1.6413629055023193,
      "learning_rate": 3.071555555555556e-05,
      "loss": 1.5997,
      "step": 4340
    },
    {
      "epoch": 0.3858666666666667,
      "grad_norm": 1.497359275817871,
      "learning_rate": 3.0711111111111114e-05,
      "loss": 1.6902,
      "step": 4341
    },
    {
      "epoch": 0.38595555555555555,
      "grad_norm": 2.0036673545837402,
      "learning_rate": 3.070666666666667e-05,
      "loss": 1.6801,
      "step": 4342
    },
    {
      "epoch": 0.38604444444444447,
      "grad_norm": 1.5981521606445312,
      "learning_rate": 3.0702222222222223e-05,
      "loss": 1.5461,
      "step": 4343
    },
    {
      "epoch": 0.38613333333333333,
      "grad_norm": 1.5974434614181519,
      "learning_rate": 3.069777777777778e-05,
      "loss": 1.6451,
      "step": 4344
    },
    {
      "epoch": 0.38622222222222224,
      "grad_norm": 1.9408020973205566,
      "learning_rate": 3.069333333333333e-05,
      "loss": 1.8479,
      "step": 4345
    },
    {
      "epoch": 0.3863111111111111,
      "grad_norm": 1.610336422920227,
      "learning_rate": 3.068888888888889e-05,
      "loss": 1.4669,
      "step": 4346
    },
    {
      "epoch": 0.3864,
      "grad_norm": 2.205474853515625,
      "learning_rate": 3.068444444444444e-05,
      "loss": 1.6462,
      "step": 4347
    },
    {
      "epoch": 0.3864888888888889,
      "grad_norm": 1.5896072387695312,
      "learning_rate": 3.0680000000000004e-05,
      "loss": 1.5344,
      "step": 4348
    },
    {
      "epoch": 0.3865777777777778,
      "grad_norm": 1.4963407516479492,
      "learning_rate": 3.067555555555556e-05,
      "loss": 1.5496,
      "step": 4349
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 1.4992769956588745,
      "learning_rate": 3.0671111111111114e-05,
      "loss": 1.4017,
      "step": 4350
    },
    {
      "epoch": 0.3867555555555556,
      "grad_norm": 1.5628787279129028,
      "learning_rate": 3.066666666666667e-05,
      "loss": 1.6498,
      "step": 4351
    },
    {
      "epoch": 0.38684444444444444,
      "grad_norm": 1.4573674201965332,
      "learning_rate": 3.0662222222222224e-05,
      "loss": 1.5001,
      "step": 4352
    },
    {
      "epoch": 0.38693333333333335,
      "grad_norm": 1.9950891733169556,
      "learning_rate": 3.065777777777778e-05,
      "loss": 1.7335,
      "step": 4353
    },
    {
      "epoch": 0.3870222222222222,
      "grad_norm": 2.07749080657959,
      "learning_rate": 3.0653333333333333e-05,
      "loss": 1.6779,
      "step": 4354
    },
    {
      "epoch": 0.38711111111111113,
      "grad_norm": 1.7261632680892944,
      "learning_rate": 3.064888888888889e-05,
      "loss": 1.7092,
      "step": 4355
    },
    {
      "epoch": 0.3872,
      "grad_norm": 1.8057887554168701,
      "learning_rate": 3.064444444444445e-05,
      "loss": 1.6452,
      "step": 4356
    },
    {
      "epoch": 0.3872888888888889,
      "grad_norm": 1.7894679307937622,
      "learning_rate": 3.0640000000000005e-05,
      "loss": 1.5336,
      "step": 4357
    },
    {
      "epoch": 0.38737777777777777,
      "grad_norm": 1.5067386627197266,
      "learning_rate": 3.063555555555555e-05,
      "loss": 1.3097,
      "step": 4358
    },
    {
      "epoch": 0.3874666666666667,
      "grad_norm": 1.62553071975708,
      "learning_rate": 3.063111111111111e-05,
      "loss": 1.8673,
      "step": 4359
    },
    {
      "epoch": 0.38755555555555554,
      "grad_norm": 1.5622252225875854,
      "learning_rate": 3.062666666666667e-05,
      "loss": 1.4587,
      "step": 4360
    },
    {
      "epoch": 0.38764444444444446,
      "grad_norm": 2.2215890884399414,
      "learning_rate": 3.0622222222222224e-05,
      "loss": 1.6928,
      "step": 4361
    },
    {
      "epoch": 0.3877333333333333,
      "grad_norm": 1.662661075592041,
      "learning_rate": 3.061777777777778e-05,
      "loss": 1.7579,
      "step": 4362
    },
    {
      "epoch": 0.38782222222222223,
      "grad_norm": 2.341970682144165,
      "learning_rate": 3.0613333333333334e-05,
      "loss": 1.9444,
      "step": 4363
    },
    {
      "epoch": 0.3879111111111111,
      "grad_norm": 1.8365150690078735,
      "learning_rate": 3.0608888888888895e-05,
      "loss": 1.5154,
      "step": 4364
    },
    {
      "epoch": 0.388,
      "grad_norm": 1.92668879032135,
      "learning_rate": 3.0604444444444444e-05,
      "loss": 1.671,
      "step": 4365
    },
    {
      "epoch": 0.38808888888888887,
      "grad_norm": 1.3903725147247314,
      "learning_rate": 3.06e-05,
      "loss": 1.4372,
      "step": 4366
    },
    {
      "epoch": 0.3881777777777778,
      "grad_norm": 1.5508421659469604,
      "learning_rate": 3.059555555555555e-05,
      "loss": 1.7126,
      "step": 4367
    },
    {
      "epoch": 0.38826666666666665,
      "grad_norm": 1.3687803745269775,
      "learning_rate": 3.0591111111111115e-05,
      "loss": 1.4348,
      "step": 4368
    },
    {
      "epoch": 0.38835555555555556,
      "grad_norm": 1.4429091215133667,
      "learning_rate": 3.058666666666667e-05,
      "loss": 1.531,
      "step": 4369
    },
    {
      "epoch": 0.3884444444444444,
      "grad_norm": 2.2261581420898438,
      "learning_rate": 3.0582222222222225e-05,
      "loss": 1.5444,
      "step": 4370
    },
    {
      "epoch": 0.38853333333333334,
      "grad_norm": 1.8674719333648682,
      "learning_rate": 3.057777777777778e-05,
      "loss": 1.8756,
      "step": 4371
    },
    {
      "epoch": 0.3886222222222222,
      "grad_norm": 1.4375697374343872,
      "learning_rate": 3.0573333333333334e-05,
      "loss": 1.3696,
      "step": 4372
    },
    {
      "epoch": 0.3887111111111111,
      "grad_norm": 1.6377030611038208,
      "learning_rate": 3.056888888888889e-05,
      "loss": 1.7628,
      "step": 4373
    },
    {
      "epoch": 0.3888,
      "grad_norm": 1.4517942667007446,
      "learning_rate": 3.0564444444444444e-05,
      "loss": 1.3278,
      "step": 4374
    },
    {
      "epoch": 0.3888888888888889,
      "grad_norm": 1.7771830558776855,
      "learning_rate": 3.056e-05,
      "loss": 1.7976,
      "step": 4375
    },
    {
      "epoch": 0.38897777777777776,
      "grad_norm": 1.6292085647583008,
      "learning_rate": 3.055555555555556e-05,
      "loss": 1.4172,
      "step": 4376
    },
    {
      "epoch": 0.38906666666666667,
      "grad_norm": 2.1363511085510254,
      "learning_rate": 3.0551111111111115e-05,
      "loss": 1.5939,
      "step": 4377
    },
    {
      "epoch": 0.38915555555555553,
      "grad_norm": 2.8816404342651367,
      "learning_rate": 3.054666666666667e-05,
      "loss": 2.0736,
      "step": 4378
    },
    {
      "epoch": 0.38924444444444445,
      "grad_norm": 1.828283429145813,
      "learning_rate": 3.0542222222222225e-05,
      "loss": 1.6631,
      "step": 4379
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 1.6030409336090088,
      "learning_rate": 3.053777777777778e-05,
      "loss": 1.6045,
      "step": 4380
    },
    {
      "epoch": 0.3894222222222222,
      "grad_norm": 2.053128719329834,
      "learning_rate": 3.0533333333333335e-05,
      "loss": 1.7447,
      "step": 4381
    },
    {
      "epoch": 0.3895111111111111,
      "grad_norm": 1.8068764209747314,
      "learning_rate": 3.052888888888889e-05,
      "loss": 1.545,
      "step": 4382
    },
    {
      "epoch": 0.3896,
      "grad_norm": 1.482677698135376,
      "learning_rate": 3.0524444444444444e-05,
      "loss": 1.7066,
      "step": 4383
    },
    {
      "epoch": 0.38968888888888886,
      "grad_norm": 2.0680179595947266,
      "learning_rate": 3.0520000000000006e-05,
      "loss": 1.6696,
      "step": 4384
    },
    {
      "epoch": 0.3897777777777778,
      "grad_norm": 1.564595103263855,
      "learning_rate": 3.0515555555555557e-05,
      "loss": 1.491,
      "step": 4385
    },
    {
      "epoch": 0.38986666666666664,
      "grad_norm": 1.4359755516052246,
      "learning_rate": 3.0511111111111112e-05,
      "loss": 1.431,
      "step": 4386
    },
    {
      "epoch": 0.38995555555555556,
      "grad_norm": 1.6339914798736572,
      "learning_rate": 3.0506666666666667e-05,
      "loss": 1.623,
      "step": 4387
    },
    {
      "epoch": 0.39004444444444447,
      "grad_norm": 1.6836260557174683,
      "learning_rate": 3.0502222222222222e-05,
      "loss": 1.7273,
      "step": 4388
    },
    {
      "epoch": 0.39013333333333333,
      "grad_norm": 1.9001260995864868,
      "learning_rate": 3.049777777777778e-05,
      "loss": 1.7072,
      "step": 4389
    },
    {
      "epoch": 0.39022222222222225,
      "grad_norm": 1.5300213098526,
      "learning_rate": 3.0493333333333335e-05,
      "loss": 1.7632,
      "step": 4390
    },
    {
      "epoch": 0.3903111111111111,
      "grad_norm": 1.9679147005081177,
      "learning_rate": 3.048888888888889e-05,
      "loss": 1.5829,
      "step": 4391
    },
    {
      "epoch": 0.3904,
      "grad_norm": 1.6734769344329834,
      "learning_rate": 3.0484444444444445e-05,
      "loss": 1.69,
      "step": 4392
    },
    {
      "epoch": 0.3904888888888889,
      "grad_norm": 1.3843634128570557,
      "learning_rate": 3.0480000000000003e-05,
      "loss": 1.4309,
      "step": 4393
    },
    {
      "epoch": 0.3905777777777778,
      "grad_norm": 1.9606082439422607,
      "learning_rate": 3.0475555555555558e-05,
      "loss": 1.5165,
      "step": 4394
    },
    {
      "epoch": 0.39066666666666666,
      "grad_norm": 1.9541267156600952,
      "learning_rate": 3.0471111111111113e-05,
      "loss": 1.6763,
      "step": 4395
    },
    {
      "epoch": 0.3907555555555556,
      "grad_norm": 1.856462836265564,
      "learning_rate": 3.0466666666666664e-05,
      "loss": 1.5989,
      "step": 4396
    },
    {
      "epoch": 0.39084444444444444,
      "grad_norm": 1.9727845191955566,
      "learning_rate": 3.0462222222222226e-05,
      "loss": 1.6796,
      "step": 4397
    },
    {
      "epoch": 0.39093333333333335,
      "grad_norm": 1.6221386194229126,
      "learning_rate": 3.045777777777778e-05,
      "loss": 1.3882,
      "step": 4398
    },
    {
      "epoch": 0.3910222222222222,
      "grad_norm": 1.745989203453064,
      "learning_rate": 3.0453333333333335e-05,
      "loss": 1.7693,
      "step": 4399
    },
    {
      "epoch": 0.39111111111111113,
      "grad_norm": 1.8557379245758057,
      "learning_rate": 3.0448888888888887e-05,
      "loss": 1.6677,
      "step": 4400
    },
    {
      "epoch": 0.3912,
      "grad_norm": 2.1460070610046387,
      "learning_rate": 3.044444444444445e-05,
      "loss": 1.88,
      "step": 4401
    },
    {
      "epoch": 0.3912888888888889,
      "grad_norm": 1.6621239185333252,
      "learning_rate": 3.0440000000000003e-05,
      "loss": 1.7752,
      "step": 4402
    },
    {
      "epoch": 0.39137777777777777,
      "grad_norm": 1.508970022201538,
      "learning_rate": 3.0435555555555555e-05,
      "loss": 1.4552,
      "step": 4403
    },
    {
      "epoch": 0.3914666666666667,
      "grad_norm": 1.5668762922286987,
      "learning_rate": 3.043111111111111e-05,
      "loss": 1.4486,
      "step": 4404
    },
    {
      "epoch": 0.39155555555555555,
      "grad_norm": 1.4604980945587158,
      "learning_rate": 3.042666666666667e-05,
      "loss": 1.3002,
      "step": 4405
    },
    {
      "epoch": 0.39164444444444446,
      "grad_norm": 1.7088525295257568,
      "learning_rate": 3.0422222222222223e-05,
      "loss": 1.5763,
      "step": 4406
    },
    {
      "epoch": 0.3917333333333333,
      "grad_norm": 1.7290418148040771,
      "learning_rate": 3.0417777777777778e-05,
      "loss": 1.6716,
      "step": 4407
    },
    {
      "epoch": 0.39182222222222224,
      "grad_norm": 1.3434183597564697,
      "learning_rate": 3.0413333333333332e-05,
      "loss": 1.4784,
      "step": 4408
    },
    {
      "epoch": 0.3919111111111111,
      "grad_norm": 1.602696418762207,
      "learning_rate": 3.040888888888889e-05,
      "loss": 1.6314,
      "step": 4409
    },
    {
      "epoch": 0.392,
      "grad_norm": 2.1112911701202393,
      "learning_rate": 3.0404444444444445e-05,
      "loss": 1.8331,
      "step": 4410
    },
    {
      "epoch": 0.3920888888888889,
      "grad_norm": 1.8410320281982422,
      "learning_rate": 3.04e-05,
      "loss": 1.4356,
      "step": 4411
    },
    {
      "epoch": 0.3921777777777778,
      "grad_norm": 1.814069390296936,
      "learning_rate": 3.0395555555555555e-05,
      "loss": 1.6751,
      "step": 4412
    },
    {
      "epoch": 0.39226666666666665,
      "grad_norm": 1.6170198917388916,
      "learning_rate": 3.0391111111111113e-05,
      "loss": 1.7184,
      "step": 4413
    },
    {
      "epoch": 0.39235555555555557,
      "grad_norm": 2.1454334259033203,
      "learning_rate": 3.0386666666666668e-05,
      "loss": 1.7474,
      "step": 4414
    },
    {
      "epoch": 0.39244444444444443,
      "grad_norm": 1.4994418621063232,
      "learning_rate": 3.0382222222222223e-05,
      "loss": 1.5912,
      "step": 4415
    },
    {
      "epoch": 0.39253333333333335,
      "grad_norm": 1.5795456171035767,
      "learning_rate": 3.0377777777777778e-05,
      "loss": 1.6118,
      "step": 4416
    },
    {
      "epoch": 0.3926222222222222,
      "grad_norm": 1.5021320581436157,
      "learning_rate": 3.0373333333333336e-05,
      "loss": 1.559,
      "step": 4417
    },
    {
      "epoch": 0.3927111111111111,
      "grad_norm": 1.436907172203064,
      "learning_rate": 3.036888888888889e-05,
      "loss": 1.3923,
      "step": 4418
    },
    {
      "epoch": 0.3928,
      "grad_norm": 1.5963771343231201,
      "learning_rate": 3.0364444444444446e-05,
      "loss": 1.7103,
      "step": 4419
    },
    {
      "epoch": 0.3928888888888889,
      "grad_norm": 1.5695090293884277,
      "learning_rate": 3.036e-05,
      "loss": 1.6892,
      "step": 4420
    },
    {
      "epoch": 0.39297777777777776,
      "grad_norm": 1.6375223398208618,
      "learning_rate": 3.035555555555556e-05,
      "loss": 1.6952,
      "step": 4421
    },
    {
      "epoch": 0.3930666666666667,
      "grad_norm": 1.5792595148086548,
      "learning_rate": 3.0351111111111114e-05,
      "loss": 1.5216,
      "step": 4422
    },
    {
      "epoch": 0.39315555555555554,
      "grad_norm": 1.630401849746704,
      "learning_rate": 3.034666666666667e-05,
      "loss": 1.5117,
      "step": 4423
    },
    {
      "epoch": 0.39324444444444445,
      "grad_norm": 1.3301235437393188,
      "learning_rate": 3.0342222222222223e-05,
      "loss": 1.3839,
      "step": 4424
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 1.8664491176605225,
      "learning_rate": 3.0337777777777782e-05,
      "loss": 1.6202,
      "step": 4425
    },
    {
      "epoch": 0.39342222222222223,
      "grad_norm": 1.7052826881408691,
      "learning_rate": 3.0333333333333337e-05,
      "loss": 1.7531,
      "step": 4426
    },
    {
      "epoch": 0.3935111111111111,
      "grad_norm": 1.6094777584075928,
      "learning_rate": 3.032888888888889e-05,
      "loss": 1.5127,
      "step": 4427
    },
    {
      "epoch": 0.3936,
      "grad_norm": 1.6021342277526855,
      "learning_rate": 3.0324444444444443e-05,
      "loss": 1.57,
      "step": 4428
    },
    {
      "epoch": 0.39368888888888887,
      "grad_norm": 2.3001813888549805,
      "learning_rate": 3.0320000000000004e-05,
      "loss": 1.6562,
      "step": 4429
    },
    {
      "epoch": 0.3937777777777778,
      "grad_norm": 1.7124372720718384,
      "learning_rate": 3.031555555555556e-05,
      "loss": 1.6214,
      "step": 4430
    },
    {
      "epoch": 0.39386666666666664,
      "grad_norm": 1.431288719177246,
      "learning_rate": 3.031111111111111e-05,
      "loss": 1.4865,
      "step": 4431
    },
    {
      "epoch": 0.39395555555555556,
      "grad_norm": 1.6827757358551025,
      "learning_rate": 3.0306666666666666e-05,
      "loss": 1.4469,
      "step": 4432
    },
    {
      "epoch": 0.3940444444444444,
      "grad_norm": 1.720206379890442,
      "learning_rate": 3.0302222222222227e-05,
      "loss": 1.541,
      "step": 4433
    },
    {
      "epoch": 0.39413333333333334,
      "grad_norm": 1.4072188138961792,
      "learning_rate": 3.0297777777777782e-05,
      "loss": 1.6612,
      "step": 4434
    },
    {
      "epoch": 0.3942222222222222,
      "grad_norm": 1.9704513549804688,
      "learning_rate": 3.0293333333333334e-05,
      "loss": 1.7919,
      "step": 4435
    },
    {
      "epoch": 0.3943111111111111,
      "grad_norm": 1.7578359842300415,
      "learning_rate": 3.028888888888889e-05,
      "loss": 1.7518,
      "step": 4436
    },
    {
      "epoch": 0.3944,
      "grad_norm": 1.516213059425354,
      "learning_rate": 3.028444444444445e-05,
      "loss": 1.4855,
      "step": 4437
    },
    {
      "epoch": 0.3944888888888889,
      "grad_norm": 1.6009767055511475,
      "learning_rate": 3.028e-05,
      "loss": 1.7342,
      "step": 4438
    },
    {
      "epoch": 0.3945777777777778,
      "grad_norm": 1.6858946084976196,
      "learning_rate": 3.0275555555555556e-05,
      "loss": 1.4818,
      "step": 4439
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 1.3953988552093506,
      "learning_rate": 3.027111111111111e-05,
      "loss": 1.5224,
      "step": 4440
    },
    {
      "epoch": 0.3947555555555556,
      "grad_norm": 1.5166795253753662,
      "learning_rate": 3.0266666666666666e-05,
      "loss": 1.7843,
      "step": 4441
    },
    {
      "epoch": 0.39484444444444444,
      "grad_norm": 1.4288285970687866,
      "learning_rate": 3.0262222222222224e-05,
      "loss": 1.3164,
      "step": 4442
    },
    {
      "epoch": 0.39493333333333336,
      "grad_norm": 1.6024236679077148,
      "learning_rate": 3.025777777777778e-05,
      "loss": 1.7816,
      "step": 4443
    },
    {
      "epoch": 0.3950222222222222,
      "grad_norm": 1.7504929304122925,
      "learning_rate": 3.0253333333333334e-05,
      "loss": 1.7875,
      "step": 4444
    },
    {
      "epoch": 0.39511111111111114,
      "grad_norm": 1.501589298248291,
      "learning_rate": 3.024888888888889e-05,
      "loss": 1.2431,
      "step": 4445
    },
    {
      "epoch": 0.3952,
      "grad_norm": 1.531038761138916,
      "learning_rate": 3.0244444444444447e-05,
      "loss": 1.6258,
      "step": 4446
    },
    {
      "epoch": 0.3952888888888889,
      "grad_norm": 1.6311181783676147,
      "learning_rate": 3.0240000000000002e-05,
      "loss": 1.5333,
      "step": 4447
    },
    {
      "epoch": 0.3953777777777778,
      "grad_norm": 1.8503764867782593,
      "learning_rate": 3.0235555555555557e-05,
      "loss": 1.6563,
      "step": 4448
    },
    {
      "epoch": 0.3954666666666667,
      "grad_norm": 1.8700003623962402,
      "learning_rate": 3.023111111111111e-05,
      "loss": 1.7919,
      "step": 4449
    },
    {
      "epoch": 0.39555555555555555,
      "grad_norm": 1.7303385734558105,
      "learning_rate": 3.022666666666667e-05,
      "loss": 1.3683,
      "step": 4450
    },
    {
      "epoch": 0.39564444444444447,
      "grad_norm": 2.5328421592712402,
      "learning_rate": 3.0222222222222225e-05,
      "loss": 1.8603,
      "step": 4451
    },
    {
      "epoch": 0.3957333333333333,
      "grad_norm": 2.3740856647491455,
      "learning_rate": 3.021777777777778e-05,
      "loss": 1.7318,
      "step": 4452
    },
    {
      "epoch": 0.39582222222222224,
      "grad_norm": 1.4255380630493164,
      "learning_rate": 3.021333333333333e-05,
      "loss": 1.7284,
      "step": 4453
    },
    {
      "epoch": 0.3959111111111111,
      "grad_norm": 1.5430988073349,
      "learning_rate": 3.0208888888888893e-05,
      "loss": 1.73,
      "step": 4454
    },
    {
      "epoch": 0.396,
      "grad_norm": 1.6947143077850342,
      "learning_rate": 3.0204444444444447e-05,
      "loss": 1.7072,
      "step": 4455
    },
    {
      "epoch": 0.3960888888888889,
      "grad_norm": 1.8036667108535767,
      "learning_rate": 3.02e-05,
      "loss": 1.7944,
      "step": 4456
    },
    {
      "epoch": 0.3961777777777778,
      "grad_norm": 1.7288792133331299,
      "learning_rate": 3.0195555555555554e-05,
      "loss": 1.6461,
      "step": 4457
    },
    {
      "epoch": 0.39626666666666666,
      "grad_norm": 2.1460938453674316,
      "learning_rate": 3.0191111111111115e-05,
      "loss": 1.8706,
      "step": 4458
    },
    {
      "epoch": 0.39635555555555557,
      "grad_norm": 1.8742365837097168,
      "learning_rate": 3.018666666666667e-05,
      "loss": 1.603,
      "step": 4459
    },
    {
      "epoch": 0.39644444444444443,
      "grad_norm": 1.639668345451355,
      "learning_rate": 3.018222222222222e-05,
      "loss": 1.6032,
      "step": 4460
    },
    {
      "epoch": 0.39653333333333335,
      "grad_norm": 1.6099475622177124,
      "learning_rate": 3.0177777777777776e-05,
      "loss": 1.6962,
      "step": 4461
    },
    {
      "epoch": 0.3966222222222222,
      "grad_norm": 1.4515177011489868,
      "learning_rate": 3.0173333333333338e-05,
      "loss": 1.555,
      "step": 4462
    },
    {
      "epoch": 0.3967111111111111,
      "grad_norm": 1.6749427318572998,
      "learning_rate": 3.016888888888889e-05,
      "loss": 1.8243,
      "step": 4463
    },
    {
      "epoch": 0.3968,
      "grad_norm": 1.5287995338439941,
      "learning_rate": 3.0164444444444444e-05,
      "loss": 1.5541,
      "step": 4464
    },
    {
      "epoch": 0.3968888888888889,
      "grad_norm": 1.5245534181594849,
      "learning_rate": 3.016e-05,
      "loss": 1.4728,
      "step": 4465
    },
    {
      "epoch": 0.39697777777777776,
      "grad_norm": 1.6801525354385376,
      "learning_rate": 3.0155555555555557e-05,
      "loss": 1.611,
      "step": 4466
    },
    {
      "epoch": 0.3970666666666667,
      "grad_norm": 1.6711121797561646,
      "learning_rate": 3.0151111111111112e-05,
      "loss": 1.5936,
      "step": 4467
    },
    {
      "epoch": 0.39715555555555554,
      "grad_norm": 1.9050811529159546,
      "learning_rate": 3.0146666666666667e-05,
      "loss": 1.982,
      "step": 4468
    },
    {
      "epoch": 0.39724444444444446,
      "grad_norm": 1.6268242597579956,
      "learning_rate": 3.0142222222222222e-05,
      "loss": 1.5796,
      "step": 4469
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 2.1555914878845215,
      "learning_rate": 3.013777777777778e-05,
      "loss": 1.624,
      "step": 4470
    },
    {
      "epoch": 0.39742222222222223,
      "grad_norm": 1.7754194736480713,
      "learning_rate": 3.0133333333333335e-05,
      "loss": 1.6344,
      "step": 4471
    },
    {
      "epoch": 0.3975111111111111,
      "grad_norm": 1.4111369848251343,
      "learning_rate": 3.012888888888889e-05,
      "loss": 1.5109,
      "step": 4472
    },
    {
      "epoch": 0.3976,
      "grad_norm": 1.5587717294692993,
      "learning_rate": 3.0124444444444445e-05,
      "loss": 1.7097,
      "step": 4473
    },
    {
      "epoch": 0.39768888888888887,
      "grad_norm": 1.4774456024169922,
      "learning_rate": 3.0120000000000003e-05,
      "loss": 1.6832,
      "step": 4474
    },
    {
      "epoch": 0.3977777777777778,
      "grad_norm": 1.5610390901565552,
      "learning_rate": 3.0115555555555558e-05,
      "loss": 1.6558,
      "step": 4475
    },
    {
      "epoch": 0.39786666666666665,
      "grad_norm": 1.7285069227218628,
      "learning_rate": 3.0111111111111113e-05,
      "loss": 1.482,
      "step": 4476
    },
    {
      "epoch": 0.39795555555555556,
      "grad_norm": 1.60599946975708,
      "learning_rate": 3.0106666666666668e-05,
      "loss": 1.7012,
      "step": 4477
    },
    {
      "epoch": 0.3980444444444444,
      "grad_norm": 1.7734103202819824,
      "learning_rate": 3.0102222222222226e-05,
      "loss": 1.5762,
      "step": 4478
    },
    {
      "epoch": 0.39813333333333334,
      "grad_norm": 1.5253968238830566,
      "learning_rate": 3.009777777777778e-05,
      "loss": 1.4958,
      "step": 4479
    },
    {
      "epoch": 0.3982222222222222,
      "grad_norm": 1.8201674222946167,
      "learning_rate": 3.0093333333333335e-05,
      "loss": 1.7847,
      "step": 4480
    },
    {
      "epoch": 0.3983111111111111,
      "grad_norm": 1.9404619932174683,
      "learning_rate": 3.008888888888889e-05,
      "loss": 1.8126,
      "step": 4481
    },
    {
      "epoch": 0.3984,
      "grad_norm": 1.714858055114746,
      "learning_rate": 3.008444444444445e-05,
      "loss": 1.494,
      "step": 4482
    },
    {
      "epoch": 0.3984888888888889,
      "grad_norm": 1.8613781929016113,
      "learning_rate": 3.0080000000000003e-05,
      "loss": 1.9509,
      "step": 4483
    },
    {
      "epoch": 0.39857777777777775,
      "grad_norm": 1.4175397157669067,
      "learning_rate": 3.0075555555555558e-05,
      "loss": 1.539,
      "step": 4484
    },
    {
      "epoch": 0.39866666666666667,
      "grad_norm": 1.4949660301208496,
      "learning_rate": 3.007111111111111e-05,
      "loss": 1.5311,
      "step": 4485
    },
    {
      "epoch": 0.39875555555555553,
      "grad_norm": 1.5746625661849976,
      "learning_rate": 3.006666666666667e-05,
      "loss": 1.4904,
      "step": 4486
    },
    {
      "epoch": 0.39884444444444445,
      "grad_norm": 1.9711809158325195,
      "learning_rate": 3.0062222222222226e-05,
      "loss": 1.84,
      "step": 4487
    },
    {
      "epoch": 0.3989333333333333,
      "grad_norm": 1.6005020141601562,
      "learning_rate": 3.0057777777777778e-05,
      "loss": 1.4028,
      "step": 4488
    },
    {
      "epoch": 0.3990222222222222,
      "grad_norm": 1.5874111652374268,
      "learning_rate": 3.0053333333333332e-05,
      "loss": 1.6299,
      "step": 4489
    },
    {
      "epoch": 0.39911111111111114,
      "grad_norm": 1.4648295640945435,
      "learning_rate": 3.0048888888888894e-05,
      "loss": 1.7031,
      "step": 4490
    },
    {
      "epoch": 0.3992,
      "grad_norm": 1.7240747213363647,
      "learning_rate": 3.004444444444445e-05,
      "loss": 1.4994,
      "step": 4491
    },
    {
      "epoch": 0.3992888888888889,
      "grad_norm": 1.8043931722640991,
      "learning_rate": 3.004e-05,
      "loss": 1.6216,
      "step": 4492
    },
    {
      "epoch": 0.3993777777777778,
      "grad_norm": 1.6726151704788208,
      "learning_rate": 3.0035555555555555e-05,
      "loss": 1.7219,
      "step": 4493
    },
    {
      "epoch": 0.3994666666666667,
      "grad_norm": 1.7537000179290771,
      "learning_rate": 3.003111111111111e-05,
      "loss": 1.4748,
      "step": 4494
    },
    {
      "epoch": 0.39955555555555555,
      "grad_norm": 1.5546056032180786,
      "learning_rate": 3.0026666666666668e-05,
      "loss": 1.5936,
      "step": 4495
    },
    {
      "epoch": 0.39964444444444447,
      "grad_norm": 1.634987711906433,
      "learning_rate": 3.0022222222222223e-05,
      "loss": 1.4964,
      "step": 4496
    },
    {
      "epoch": 0.39973333333333333,
      "grad_norm": 1.434213638305664,
      "learning_rate": 3.0017777777777778e-05,
      "loss": 1.6559,
      "step": 4497
    },
    {
      "epoch": 0.39982222222222225,
      "grad_norm": 1.5913463830947876,
      "learning_rate": 3.0013333333333333e-05,
      "loss": 1.5813,
      "step": 4498
    },
    {
      "epoch": 0.3999111111111111,
      "grad_norm": 2.034588575363159,
      "learning_rate": 3.000888888888889e-05,
      "loss": 1.7577,
      "step": 4499
    },
    {
      "epoch": 0.4,
      "grad_norm": 1.5639655590057373,
      "learning_rate": 3.0004444444444446e-05,
      "loss": 1.6768,
      "step": 4500
    },
    {
      "epoch": 0.4000888888888889,
      "grad_norm": 1.7459192276000977,
      "learning_rate": 3e-05,
      "loss": 1.5214,
      "step": 4501
    },
    {
      "epoch": 0.4001777777777778,
      "grad_norm": 1.8441072702407837,
      "learning_rate": 2.9995555555555556e-05,
      "loss": 1.5033,
      "step": 4502
    },
    {
      "epoch": 0.40026666666666666,
      "grad_norm": 1.6437816619873047,
      "learning_rate": 2.9991111111111114e-05,
      "loss": 1.5401,
      "step": 4503
    },
    {
      "epoch": 0.4003555555555556,
      "grad_norm": 1.5812689065933228,
      "learning_rate": 2.998666666666667e-05,
      "loss": 1.8002,
      "step": 4504
    },
    {
      "epoch": 0.40044444444444444,
      "grad_norm": 1.497309684753418,
      "learning_rate": 2.9982222222222224e-05,
      "loss": 1.6796,
      "step": 4505
    },
    {
      "epoch": 0.40053333333333335,
      "grad_norm": 1.5556474924087524,
      "learning_rate": 2.997777777777778e-05,
      "loss": 1.5287,
      "step": 4506
    },
    {
      "epoch": 0.4006222222222222,
      "grad_norm": 1.5367467403411865,
      "learning_rate": 2.9973333333333337e-05,
      "loss": 1.2415,
      "step": 4507
    },
    {
      "epoch": 0.40071111111111113,
      "grad_norm": 2.103160858154297,
      "learning_rate": 2.996888888888889e-05,
      "loss": 1.7802,
      "step": 4508
    },
    {
      "epoch": 0.4008,
      "grad_norm": 1.8129899501800537,
      "learning_rate": 2.9964444444444446e-05,
      "loss": 1.5608,
      "step": 4509
    },
    {
      "epoch": 0.4008888888888889,
      "grad_norm": 1.5245693922042847,
      "learning_rate": 2.9959999999999998e-05,
      "loss": 1.6815,
      "step": 4510
    },
    {
      "epoch": 0.40097777777777777,
      "grad_norm": 1.6595914363861084,
      "learning_rate": 2.995555555555556e-05,
      "loss": 1.6613,
      "step": 4511
    },
    {
      "epoch": 0.4010666666666667,
      "grad_norm": 1.842578411102295,
      "learning_rate": 2.9951111111111114e-05,
      "loss": 1.7315,
      "step": 4512
    },
    {
      "epoch": 0.40115555555555554,
      "grad_norm": 1.8147315979003906,
      "learning_rate": 2.9946666666666666e-05,
      "loss": 1.6082,
      "step": 4513
    },
    {
      "epoch": 0.40124444444444446,
      "grad_norm": 1.6570912599563599,
      "learning_rate": 2.994222222222222e-05,
      "loss": 1.479,
      "step": 4514
    },
    {
      "epoch": 0.4013333333333333,
      "grad_norm": 1.676793098449707,
      "learning_rate": 2.9937777777777782e-05,
      "loss": 1.7773,
      "step": 4515
    },
    {
      "epoch": 0.40142222222222224,
      "grad_norm": 2.3349084854125977,
      "learning_rate": 2.9933333333333337e-05,
      "loss": 1.572,
      "step": 4516
    },
    {
      "epoch": 0.4015111111111111,
      "grad_norm": 1.6030313968658447,
      "learning_rate": 2.992888888888889e-05,
      "loss": 1.5754,
      "step": 4517
    },
    {
      "epoch": 0.4016,
      "grad_norm": 1.6580932140350342,
      "learning_rate": 2.9924444444444443e-05,
      "loss": 1.669,
      "step": 4518
    },
    {
      "epoch": 0.4016888888888889,
      "grad_norm": 1.4814475774765015,
      "learning_rate": 2.9920000000000005e-05,
      "loss": 1.4256,
      "step": 4519
    },
    {
      "epoch": 0.4017777777777778,
      "grad_norm": 1.5809595584869385,
      "learning_rate": 2.9915555555555556e-05,
      "loss": 1.4608,
      "step": 4520
    },
    {
      "epoch": 0.40186666666666665,
      "grad_norm": 1.3098305463790894,
      "learning_rate": 2.991111111111111e-05,
      "loss": 1.4353,
      "step": 4521
    },
    {
      "epoch": 0.40195555555555557,
      "grad_norm": 2.3429207801818848,
      "learning_rate": 2.9906666666666666e-05,
      "loss": 1.6709,
      "step": 4522
    },
    {
      "epoch": 0.4020444444444444,
      "grad_norm": 1.6051554679870605,
      "learning_rate": 2.9902222222222224e-05,
      "loss": 1.8979,
      "step": 4523
    },
    {
      "epoch": 0.40213333333333334,
      "grad_norm": 1.9284396171569824,
      "learning_rate": 2.989777777777778e-05,
      "loss": 1.6636,
      "step": 4524
    },
    {
      "epoch": 0.4022222222222222,
      "grad_norm": 1.5701282024383545,
      "learning_rate": 2.9893333333333334e-05,
      "loss": 1.4956,
      "step": 4525
    },
    {
      "epoch": 0.4023111111111111,
      "grad_norm": 1.7188465595245361,
      "learning_rate": 2.988888888888889e-05,
      "loss": 1.5454,
      "step": 4526
    },
    {
      "epoch": 0.4024,
      "grad_norm": 1.840350866317749,
      "learning_rate": 2.9884444444444447e-05,
      "loss": 1.7441,
      "step": 4527
    },
    {
      "epoch": 0.4024888888888889,
      "grad_norm": 1.5563770532608032,
      "learning_rate": 2.9880000000000002e-05,
      "loss": 1.6305,
      "step": 4528
    },
    {
      "epoch": 0.40257777777777776,
      "grad_norm": 1.7229586839675903,
      "learning_rate": 2.9875555555555557e-05,
      "loss": 1.6775,
      "step": 4529
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 1.7314766645431519,
      "learning_rate": 2.987111111111111e-05,
      "loss": 1.6019,
      "step": 4530
    },
    {
      "epoch": 0.40275555555555553,
      "grad_norm": 1.4408369064331055,
      "learning_rate": 2.986666666666667e-05,
      "loss": 1.4856,
      "step": 4531
    },
    {
      "epoch": 0.40284444444444445,
      "grad_norm": 1.6456767320632935,
      "learning_rate": 2.9862222222222225e-05,
      "loss": 1.5353,
      "step": 4532
    },
    {
      "epoch": 0.4029333333333333,
      "grad_norm": 1.7654483318328857,
      "learning_rate": 2.985777777777778e-05,
      "loss": 1.5729,
      "step": 4533
    },
    {
      "epoch": 0.4030222222222222,
      "grad_norm": 1.533700704574585,
      "learning_rate": 2.9853333333333334e-05,
      "loss": 1.5146,
      "step": 4534
    },
    {
      "epoch": 0.4031111111111111,
      "grad_norm": 1.9821569919586182,
      "learning_rate": 2.9848888888888893e-05,
      "loss": 1.3984,
      "step": 4535
    },
    {
      "epoch": 0.4032,
      "grad_norm": 1.3936477899551392,
      "learning_rate": 2.9844444444444447e-05,
      "loss": 1.4018,
      "step": 4536
    },
    {
      "epoch": 0.40328888888888886,
      "grad_norm": 1.820439338684082,
      "learning_rate": 2.9840000000000002e-05,
      "loss": 1.7539,
      "step": 4537
    },
    {
      "epoch": 0.4033777777777778,
      "grad_norm": 1.6066020727157593,
      "learning_rate": 2.9835555555555557e-05,
      "loss": 1.5834,
      "step": 4538
    },
    {
      "epoch": 0.40346666666666664,
      "grad_norm": 1.482823371887207,
      "learning_rate": 2.9831111111111115e-05,
      "loss": 1.4144,
      "step": 4539
    },
    {
      "epoch": 0.40355555555555556,
      "grad_norm": 1.6852715015411377,
      "learning_rate": 2.982666666666667e-05,
      "loss": 1.452,
      "step": 4540
    },
    {
      "epoch": 0.4036444444444444,
      "grad_norm": 1.4193388223648071,
      "learning_rate": 2.9822222222222225e-05,
      "loss": 1.5994,
      "step": 4541
    },
    {
      "epoch": 0.40373333333333333,
      "grad_norm": 1.3829102516174316,
      "learning_rate": 2.9817777777777777e-05,
      "loss": 1.5915,
      "step": 4542
    },
    {
      "epoch": 0.40382222222222225,
      "grad_norm": 1.4303929805755615,
      "learning_rate": 2.981333333333333e-05,
      "loss": 1.6394,
      "step": 4543
    },
    {
      "epoch": 0.4039111111111111,
      "grad_norm": 1.9859026670455933,
      "learning_rate": 2.9808888888888893e-05,
      "loss": 1.5074,
      "step": 4544
    },
    {
      "epoch": 0.404,
      "grad_norm": 1.3808649778366089,
      "learning_rate": 2.9804444444444444e-05,
      "loss": 1.4722,
      "step": 4545
    },
    {
      "epoch": 0.4040888888888889,
      "grad_norm": 1.5306838750839233,
      "learning_rate": 2.98e-05,
      "loss": 1.7444,
      "step": 4546
    },
    {
      "epoch": 0.4041777777777778,
      "grad_norm": 1.4123265743255615,
      "learning_rate": 2.9795555555555554e-05,
      "loss": 1.643,
      "step": 4547
    },
    {
      "epoch": 0.40426666666666666,
      "grad_norm": 2.492872714996338,
      "learning_rate": 2.9791111111111116e-05,
      "loss": 1.5812,
      "step": 4548
    },
    {
      "epoch": 0.4043555555555556,
      "grad_norm": 1.714213252067566,
      "learning_rate": 2.9786666666666667e-05,
      "loss": 1.6668,
      "step": 4549
    },
    {
      "epoch": 0.40444444444444444,
      "grad_norm": 1.4707918167114258,
      "learning_rate": 2.9782222222222222e-05,
      "loss": 1.3606,
      "step": 4550
    },
    {
      "epoch": 0.40453333333333336,
      "grad_norm": 1.9031184911727905,
      "learning_rate": 2.9777777777777777e-05,
      "loss": 1.8892,
      "step": 4551
    },
    {
      "epoch": 0.4046222222222222,
      "grad_norm": 1.660677433013916,
      "learning_rate": 2.9773333333333335e-05,
      "loss": 1.6951,
      "step": 4552
    },
    {
      "epoch": 0.40471111111111113,
      "grad_norm": 1.5700029134750366,
      "learning_rate": 2.976888888888889e-05,
      "loss": 1.3981,
      "step": 4553
    },
    {
      "epoch": 0.4048,
      "grad_norm": 1.7875665426254272,
      "learning_rate": 2.9764444444444445e-05,
      "loss": 1.5404,
      "step": 4554
    },
    {
      "epoch": 0.4048888888888889,
      "grad_norm": 1.9515681266784668,
      "learning_rate": 2.976e-05,
      "loss": 1.7696,
      "step": 4555
    },
    {
      "epoch": 0.40497777777777777,
      "grad_norm": 1.7592662572860718,
      "learning_rate": 2.9755555555555558e-05,
      "loss": 1.3626,
      "step": 4556
    },
    {
      "epoch": 0.4050666666666667,
      "grad_norm": 1.4484511613845825,
      "learning_rate": 2.9751111111111113e-05,
      "loss": 1.6905,
      "step": 4557
    },
    {
      "epoch": 0.40515555555555555,
      "grad_norm": 1.5979435443878174,
      "learning_rate": 2.9746666666666668e-05,
      "loss": 1.5291,
      "step": 4558
    },
    {
      "epoch": 0.40524444444444446,
      "grad_norm": 1.4968106746673584,
      "learning_rate": 2.9742222222222222e-05,
      "loss": 1.6791,
      "step": 4559
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 1.7455158233642578,
      "learning_rate": 2.973777777777778e-05,
      "loss": 1.3637,
      "step": 4560
    },
    {
      "epoch": 0.40542222222222224,
      "grad_norm": 1.7307102680206299,
      "learning_rate": 2.9733333333333336e-05,
      "loss": 1.7081,
      "step": 4561
    },
    {
      "epoch": 0.4055111111111111,
      "grad_norm": 1.5121371746063232,
      "learning_rate": 2.972888888888889e-05,
      "loss": 1.4969,
      "step": 4562
    },
    {
      "epoch": 0.4056,
      "grad_norm": 1.4308582544326782,
      "learning_rate": 2.9724444444444445e-05,
      "loss": 1.616,
      "step": 4563
    },
    {
      "epoch": 0.4056888888888889,
      "grad_norm": 1.6039469242095947,
      "learning_rate": 2.9720000000000003e-05,
      "loss": 1.614,
      "step": 4564
    },
    {
      "epoch": 0.4057777777777778,
      "grad_norm": 1.9210909605026245,
      "learning_rate": 2.9715555555555558e-05,
      "loss": 1.6099,
      "step": 4565
    },
    {
      "epoch": 0.40586666666666665,
      "grad_norm": 1.8806062936782837,
      "learning_rate": 2.9711111111111113e-05,
      "loss": 1.7792,
      "step": 4566
    },
    {
      "epoch": 0.40595555555555557,
      "grad_norm": 1.5661625862121582,
      "learning_rate": 2.9706666666666665e-05,
      "loss": 1.4596,
      "step": 4567
    },
    {
      "epoch": 0.40604444444444443,
      "grad_norm": 1.9139162302017212,
      "learning_rate": 2.9702222222222226e-05,
      "loss": 1.6068,
      "step": 4568
    },
    {
      "epoch": 0.40613333333333335,
      "grad_norm": 1.7902265787124634,
      "learning_rate": 2.969777777777778e-05,
      "loss": 1.6389,
      "step": 4569
    },
    {
      "epoch": 0.4062222222222222,
      "grad_norm": 1.844624400138855,
      "learning_rate": 2.9693333333333333e-05,
      "loss": 1.6469,
      "step": 4570
    },
    {
      "epoch": 0.4063111111111111,
      "grad_norm": 1.627712607383728,
      "learning_rate": 2.9688888888888887e-05,
      "loss": 1.8715,
      "step": 4571
    },
    {
      "epoch": 0.4064,
      "grad_norm": 1.6314935684204102,
      "learning_rate": 2.968444444444445e-05,
      "loss": 1.8031,
      "step": 4572
    },
    {
      "epoch": 0.4064888888888889,
      "grad_norm": 1.534055471420288,
      "learning_rate": 2.9680000000000004e-05,
      "loss": 1.6684,
      "step": 4573
    },
    {
      "epoch": 0.40657777777777776,
      "grad_norm": 2.032181739807129,
      "learning_rate": 2.9675555555555555e-05,
      "loss": 1.4685,
      "step": 4574
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 1.58440363407135,
      "learning_rate": 2.967111111111111e-05,
      "loss": 1.5666,
      "step": 4575
    },
    {
      "epoch": 0.40675555555555554,
      "grad_norm": 1.6249650716781616,
      "learning_rate": 2.9666666666666672e-05,
      "loss": 1.5803,
      "step": 4576
    },
    {
      "epoch": 0.40684444444444445,
      "grad_norm": 1.5781222581863403,
      "learning_rate": 2.9662222222222223e-05,
      "loss": 1.6412,
      "step": 4577
    },
    {
      "epoch": 0.4069333333333333,
      "grad_norm": 1.4194072484970093,
      "learning_rate": 2.9657777777777778e-05,
      "loss": 1.6627,
      "step": 4578
    },
    {
      "epoch": 0.40702222222222223,
      "grad_norm": 2.217914342880249,
      "learning_rate": 2.9653333333333333e-05,
      "loss": 1.7077,
      "step": 4579
    },
    {
      "epoch": 0.4071111111111111,
      "grad_norm": 1.5012084245681763,
      "learning_rate": 2.964888888888889e-05,
      "loss": 1.5576,
      "step": 4580
    },
    {
      "epoch": 0.4072,
      "grad_norm": 1.5908029079437256,
      "learning_rate": 2.9644444444444446e-05,
      "loss": 1.3861,
      "step": 4581
    },
    {
      "epoch": 0.40728888888888887,
      "grad_norm": 1.6039303541183472,
      "learning_rate": 2.964e-05,
      "loss": 1.592,
      "step": 4582
    },
    {
      "epoch": 0.4073777777777778,
      "grad_norm": 1.5999529361724854,
      "learning_rate": 2.9635555555555556e-05,
      "loss": 1.637,
      "step": 4583
    },
    {
      "epoch": 0.40746666666666664,
      "grad_norm": 1.597520112991333,
      "learning_rate": 2.9631111111111114e-05,
      "loss": 1.4788,
      "step": 4584
    },
    {
      "epoch": 0.40755555555555556,
      "grad_norm": 1.6082286834716797,
      "learning_rate": 2.962666666666667e-05,
      "loss": 1.4518,
      "step": 4585
    },
    {
      "epoch": 0.4076444444444444,
      "grad_norm": 1.869057536125183,
      "learning_rate": 2.9622222222222224e-05,
      "loss": 1.5088,
      "step": 4586
    },
    {
      "epoch": 0.40773333333333334,
      "grad_norm": 1.5127226114273071,
      "learning_rate": 2.961777777777778e-05,
      "loss": 1.3857,
      "step": 4587
    },
    {
      "epoch": 0.4078222222222222,
      "grad_norm": 1.7442604303359985,
      "learning_rate": 2.9613333333333337e-05,
      "loss": 1.8164,
      "step": 4588
    },
    {
      "epoch": 0.4079111111111111,
      "grad_norm": 1.4042465686798096,
      "learning_rate": 2.960888888888889e-05,
      "loss": 1.4535,
      "step": 4589
    },
    {
      "epoch": 0.408,
      "grad_norm": 1.5521061420440674,
      "learning_rate": 2.9604444444444446e-05,
      "loss": 1.4354,
      "step": 4590
    },
    {
      "epoch": 0.4080888888888889,
      "grad_norm": 1.4342604875564575,
      "learning_rate": 2.96e-05,
      "loss": 1.4444,
      "step": 4591
    },
    {
      "epoch": 0.40817777777777775,
      "grad_norm": 1.591262936592102,
      "learning_rate": 2.959555555555556e-05,
      "loss": 1.4059,
      "step": 4592
    },
    {
      "epoch": 0.40826666666666667,
      "grad_norm": 1.6135663986206055,
      "learning_rate": 2.9591111111111114e-05,
      "loss": 1.42,
      "step": 4593
    },
    {
      "epoch": 0.4083555555555556,
      "grad_norm": 1.8836289644241333,
      "learning_rate": 2.958666666666667e-05,
      "loss": 1.3311,
      "step": 4594
    },
    {
      "epoch": 0.40844444444444444,
      "grad_norm": 1.8378748893737793,
      "learning_rate": 2.9582222222222224e-05,
      "loss": 1.4871,
      "step": 4595
    },
    {
      "epoch": 0.40853333333333336,
      "grad_norm": 1.9111685752868652,
      "learning_rate": 2.9577777777777775e-05,
      "loss": 1.5199,
      "step": 4596
    },
    {
      "epoch": 0.4086222222222222,
      "grad_norm": 1.6955872774124146,
      "learning_rate": 2.9573333333333337e-05,
      "loss": 1.6352,
      "step": 4597
    },
    {
      "epoch": 0.40871111111111114,
      "grad_norm": 1.4688764810562134,
      "learning_rate": 2.9568888888888892e-05,
      "loss": 1.6247,
      "step": 4598
    },
    {
      "epoch": 0.4088,
      "grad_norm": 1.6365325450897217,
      "learning_rate": 2.9564444444444443e-05,
      "loss": 1.773,
      "step": 4599
    },
    {
      "epoch": 0.4088888888888889,
      "grad_norm": 1.907458782196045,
      "learning_rate": 2.9559999999999998e-05,
      "loss": 1.8354,
      "step": 4600
    },
    {
      "epoch": 0.4089777777777778,
      "grad_norm": 1.538060188293457,
      "learning_rate": 2.955555555555556e-05,
      "loss": 1.4866,
      "step": 4601
    },
    {
      "epoch": 0.4090666666666667,
      "grad_norm": 1.6313709020614624,
      "learning_rate": 2.955111111111111e-05,
      "loss": 1.6537,
      "step": 4602
    },
    {
      "epoch": 0.40915555555555555,
      "grad_norm": 1.741530418395996,
      "learning_rate": 2.9546666666666666e-05,
      "loss": 1.8857,
      "step": 4603
    },
    {
      "epoch": 0.40924444444444447,
      "grad_norm": 1.7087596654891968,
      "learning_rate": 2.954222222222222e-05,
      "loss": 1.4934,
      "step": 4604
    },
    {
      "epoch": 0.4093333333333333,
      "grad_norm": 1.7065469026565552,
      "learning_rate": 2.953777777777778e-05,
      "loss": 1.6489,
      "step": 4605
    },
    {
      "epoch": 0.40942222222222224,
      "grad_norm": 1.6255714893341064,
      "learning_rate": 2.9533333333333334e-05,
      "loss": 1.5495,
      "step": 4606
    },
    {
      "epoch": 0.4095111111111111,
      "grad_norm": 1.4888923168182373,
      "learning_rate": 2.952888888888889e-05,
      "loss": 1.5729,
      "step": 4607
    },
    {
      "epoch": 0.4096,
      "grad_norm": 1.5815259218215942,
      "learning_rate": 2.9524444444444444e-05,
      "loss": 1.6855,
      "step": 4608
    },
    {
      "epoch": 0.4096888888888889,
      "grad_norm": 1.4183682203292847,
      "learning_rate": 2.9520000000000002e-05,
      "loss": 1.6511,
      "step": 4609
    },
    {
      "epoch": 0.4097777777777778,
      "grad_norm": 1.741109013557434,
      "learning_rate": 2.9515555555555557e-05,
      "loss": 1.4661,
      "step": 4610
    },
    {
      "epoch": 0.40986666666666666,
      "grad_norm": 1.6433202028274536,
      "learning_rate": 2.951111111111111e-05,
      "loss": 1.7087,
      "step": 4611
    },
    {
      "epoch": 0.4099555555555556,
      "grad_norm": 1.578269124031067,
      "learning_rate": 2.9506666666666667e-05,
      "loss": 1.3794,
      "step": 4612
    },
    {
      "epoch": 0.41004444444444443,
      "grad_norm": 1.678053379058838,
      "learning_rate": 2.9502222222222225e-05,
      "loss": 1.5495,
      "step": 4613
    },
    {
      "epoch": 0.41013333333333335,
      "grad_norm": 1.5696035623550415,
      "learning_rate": 2.949777777777778e-05,
      "loss": 1.5845,
      "step": 4614
    },
    {
      "epoch": 0.4102222222222222,
      "grad_norm": 1.6819806098937988,
      "learning_rate": 2.9493333333333334e-05,
      "loss": 1.5476,
      "step": 4615
    },
    {
      "epoch": 0.4103111111111111,
      "grad_norm": 1.6658021211624146,
      "learning_rate": 2.948888888888889e-05,
      "loss": 1.7957,
      "step": 4616
    },
    {
      "epoch": 0.4104,
      "grad_norm": 1.4896290302276611,
      "learning_rate": 2.9484444444444448e-05,
      "loss": 1.5199,
      "step": 4617
    },
    {
      "epoch": 0.4104888888888889,
      "grad_norm": 1.923608660697937,
      "learning_rate": 2.9480000000000002e-05,
      "loss": 1.8094,
      "step": 4618
    },
    {
      "epoch": 0.41057777777777776,
      "grad_norm": 1.6616092920303345,
      "learning_rate": 2.9475555555555557e-05,
      "loss": 1.4618,
      "step": 4619
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 1.5705612897872925,
      "learning_rate": 2.9471111111111112e-05,
      "loss": 1.5354,
      "step": 4620
    },
    {
      "epoch": 0.41075555555555554,
      "grad_norm": 2.1150615215301514,
      "learning_rate": 2.946666666666667e-05,
      "loss": 1.8359,
      "step": 4621
    },
    {
      "epoch": 0.41084444444444446,
      "grad_norm": 1.7318377494812012,
      "learning_rate": 2.9462222222222225e-05,
      "loss": 1.4286,
      "step": 4622
    },
    {
      "epoch": 0.4109333333333333,
      "grad_norm": 2.3132522106170654,
      "learning_rate": 2.945777777777778e-05,
      "loss": 1.6686,
      "step": 4623
    },
    {
      "epoch": 0.41102222222222223,
      "grad_norm": 1.618114948272705,
      "learning_rate": 2.945333333333333e-05,
      "loss": 1.9381,
      "step": 4624
    },
    {
      "epoch": 0.4111111111111111,
      "grad_norm": 1.5548863410949707,
      "learning_rate": 2.9448888888888893e-05,
      "loss": 1.5013,
      "step": 4625
    },
    {
      "epoch": 0.4112,
      "grad_norm": 1.777864694595337,
      "learning_rate": 2.9444444444444448e-05,
      "loss": 1.6176,
      "step": 4626
    },
    {
      "epoch": 0.41128888888888887,
      "grad_norm": 1.602587103843689,
      "learning_rate": 2.944e-05,
      "loss": 1.6388,
      "step": 4627
    },
    {
      "epoch": 0.4113777777777778,
      "grad_norm": 1.4742438793182373,
      "learning_rate": 2.9435555555555554e-05,
      "loss": 1.4518,
      "step": 4628
    },
    {
      "epoch": 0.41146666666666665,
      "grad_norm": 1.8579422235488892,
      "learning_rate": 2.9431111111111116e-05,
      "loss": 1.7942,
      "step": 4629
    },
    {
      "epoch": 0.41155555555555556,
      "grad_norm": 1.5392576456069946,
      "learning_rate": 2.942666666666667e-05,
      "loss": 1.7289,
      "step": 4630
    },
    {
      "epoch": 0.4116444444444444,
      "grad_norm": 1.627044916152954,
      "learning_rate": 2.9422222222222222e-05,
      "loss": 1.6521,
      "step": 4631
    },
    {
      "epoch": 0.41173333333333334,
      "grad_norm": 1.771596074104309,
      "learning_rate": 2.9417777777777777e-05,
      "loss": 1.7919,
      "step": 4632
    },
    {
      "epoch": 0.4118222222222222,
      "grad_norm": 1.7825201749801636,
      "learning_rate": 2.941333333333334e-05,
      "loss": 1.6442,
      "step": 4633
    },
    {
      "epoch": 0.4119111111111111,
      "grad_norm": 1.9103546142578125,
      "learning_rate": 2.940888888888889e-05,
      "loss": 1.6749,
      "step": 4634
    },
    {
      "epoch": 0.412,
      "grad_norm": 1.5351791381835938,
      "learning_rate": 2.9404444444444445e-05,
      "loss": 1.6755,
      "step": 4635
    },
    {
      "epoch": 0.4120888888888889,
      "grad_norm": 1.558297038078308,
      "learning_rate": 2.94e-05,
      "loss": 1.5484,
      "step": 4636
    },
    {
      "epoch": 0.41217777777777775,
      "grad_norm": 1.6733561754226685,
      "learning_rate": 2.9395555555555558e-05,
      "loss": 1.5357,
      "step": 4637
    },
    {
      "epoch": 0.41226666666666667,
      "grad_norm": 1.368600845336914,
      "learning_rate": 2.9391111111111113e-05,
      "loss": 1.469,
      "step": 4638
    },
    {
      "epoch": 0.41235555555555553,
      "grad_norm": 1.6517436504364014,
      "learning_rate": 2.9386666666666668e-05,
      "loss": 1.7472,
      "step": 4639
    },
    {
      "epoch": 0.41244444444444445,
      "grad_norm": 1.7314343452453613,
      "learning_rate": 2.9382222222222222e-05,
      "loss": 1.4637,
      "step": 4640
    },
    {
      "epoch": 0.4125333333333333,
      "grad_norm": 1.8312627077102661,
      "learning_rate": 2.937777777777778e-05,
      "loss": 1.6216,
      "step": 4641
    },
    {
      "epoch": 0.4126222222222222,
      "grad_norm": 1.513970136642456,
      "learning_rate": 2.9373333333333336e-05,
      "loss": 1.4089,
      "step": 4642
    },
    {
      "epoch": 0.4127111111111111,
      "grad_norm": 1.9870346784591675,
      "learning_rate": 2.936888888888889e-05,
      "loss": 1.5874,
      "step": 4643
    },
    {
      "epoch": 0.4128,
      "grad_norm": 1.4690197706222534,
      "learning_rate": 2.9364444444444445e-05,
      "loss": 1.4895,
      "step": 4644
    },
    {
      "epoch": 0.4128888888888889,
      "grad_norm": 1.6090788841247559,
      "learning_rate": 2.9360000000000003e-05,
      "loss": 1.6239,
      "step": 4645
    },
    {
      "epoch": 0.4129777777777778,
      "grad_norm": 1.6154253482818604,
      "learning_rate": 2.935555555555556e-05,
      "loss": 1.6129,
      "step": 4646
    },
    {
      "epoch": 0.4130666666666667,
      "grad_norm": 1.7674078941345215,
      "learning_rate": 2.9351111111111113e-05,
      "loss": 1.6538,
      "step": 4647
    },
    {
      "epoch": 0.41315555555555555,
      "grad_norm": 1.6979199647903442,
      "learning_rate": 2.9346666666666668e-05,
      "loss": 1.5825,
      "step": 4648
    },
    {
      "epoch": 0.41324444444444447,
      "grad_norm": 2.0144431591033936,
      "learning_rate": 2.934222222222222e-05,
      "loss": 1.5693,
      "step": 4649
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 1.6953688859939575,
      "learning_rate": 2.933777777777778e-05,
      "loss": 1.7326,
      "step": 4650
    },
    {
      "epoch": 0.41342222222222225,
      "grad_norm": 1.8858839273452759,
      "learning_rate": 2.9333333333333336e-05,
      "loss": 1.7396,
      "step": 4651
    },
    {
      "epoch": 0.4135111111111111,
      "grad_norm": 1.7340222597122192,
      "learning_rate": 2.9328888888888887e-05,
      "loss": 1.7811,
      "step": 4652
    },
    {
      "epoch": 0.4136,
      "grad_norm": 1.3346278667449951,
      "learning_rate": 2.9324444444444442e-05,
      "loss": 1.2835,
      "step": 4653
    },
    {
      "epoch": 0.4136888888888889,
      "grad_norm": 1.4759913682937622,
      "learning_rate": 2.9320000000000004e-05,
      "loss": 1.7146,
      "step": 4654
    },
    {
      "epoch": 0.4137777777777778,
      "grad_norm": 1.4994027614593506,
      "learning_rate": 2.931555555555556e-05,
      "loss": 1.2826,
      "step": 4655
    },
    {
      "epoch": 0.41386666666666666,
      "grad_norm": 1.8723362684249878,
      "learning_rate": 2.931111111111111e-05,
      "loss": 1.735,
      "step": 4656
    },
    {
      "epoch": 0.4139555555555556,
      "grad_norm": 1.6194608211517334,
      "learning_rate": 2.9306666666666665e-05,
      "loss": 1.5006,
      "step": 4657
    },
    {
      "epoch": 0.41404444444444444,
      "grad_norm": 1.5889796018600464,
      "learning_rate": 2.9302222222222227e-05,
      "loss": 1.2633,
      "step": 4658
    },
    {
      "epoch": 0.41413333333333335,
      "grad_norm": 1.615813970565796,
      "learning_rate": 2.9297777777777778e-05,
      "loss": 1.591,
      "step": 4659
    },
    {
      "epoch": 0.4142222222222222,
      "grad_norm": 1.3972758054733276,
      "learning_rate": 2.9293333333333333e-05,
      "loss": 1.4135,
      "step": 4660
    },
    {
      "epoch": 0.41431111111111113,
      "grad_norm": 1.721332311630249,
      "learning_rate": 2.9288888888888888e-05,
      "loss": 1.83,
      "step": 4661
    },
    {
      "epoch": 0.4144,
      "grad_norm": 1.5402225255966187,
      "learning_rate": 2.9284444444444446e-05,
      "loss": 1.6977,
      "step": 4662
    },
    {
      "epoch": 0.4144888888888889,
      "grad_norm": 1.6523277759552002,
      "learning_rate": 2.928e-05,
      "loss": 1.5483,
      "step": 4663
    },
    {
      "epoch": 0.41457777777777777,
      "grad_norm": 1.600724220275879,
      "learning_rate": 2.9275555555555556e-05,
      "loss": 1.6243,
      "step": 4664
    },
    {
      "epoch": 0.4146666666666667,
      "grad_norm": 1.4882804155349731,
      "learning_rate": 2.927111111111111e-05,
      "loss": 1.6831,
      "step": 4665
    },
    {
      "epoch": 0.41475555555555554,
      "grad_norm": 1.7462385892868042,
      "learning_rate": 2.926666666666667e-05,
      "loss": 1.6371,
      "step": 4666
    },
    {
      "epoch": 0.41484444444444446,
      "grad_norm": 1.6192412376403809,
      "learning_rate": 2.9262222222222224e-05,
      "loss": 1.5009,
      "step": 4667
    },
    {
      "epoch": 0.4149333333333333,
      "grad_norm": 1.5273218154907227,
      "learning_rate": 2.925777777777778e-05,
      "loss": 1.4606,
      "step": 4668
    },
    {
      "epoch": 0.41502222222222224,
      "grad_norm": 1.615253210067749,
      "learning_rate": 2.9253333333333333e-05,
      "loss": 1.6061,
      "step": 4669
    },
    {
      "epoch": 0.4151111111111111,
      "grad_norm": 1.784345030784607,
      "learning_rate": 2.924888888888889e-05,
      "loss": 1.4449,
      "step": 4670
    },
    {
      "epoch": 0.4152,
      "grad_norm": 1.7577152252197266,
      "learning_rate": 2.9244444444444446e-05,
      "loss": 1.8055,
      "step": 4671
    },
    {
      "epoch": 0.4152888888888889,
      "grad_norm": 1.4329456090927124,
      "learning_rate": 2.924e-05,
      "loss": 1.4845,
      "step": 4672
    },
    {
      "epoch": 0.4153777777777778,
      "grad_norm": 1.490556001663208,
      "learning_rate": 2.9235555555555556e-05,
      "loss": 1.6385,
      "step": 4673
    },
    {
      "epoch": 0.41546666666666665,
      "grad_norm": 1.6379852294921875,
      "learning_rate": 2.9231111111111114e-05,
      "loss": 1.5461,
      "step": 4674
    },
    {
      "epoch": 0.41555555555555557,
      "grad_norm": 1.5980913639068604,
      "learning_rate": 2.922666666666667e-05,
      "loss": 1.4898,
      "step": 4675
    },
    {
      "epoch": 0.4156444444444444,
      "grad_norm": 1.7069199085235596,
      "learning_rate": 2.9222222222222224e-05,
      "loss": 1.7373,
      "step": 4676
    },
    {
      "epoch": 0.41573333333333334,
      "grad_norm": 1.696559190750122,
      "learning_rate": 2.921777777777778e-05,
      "loss": 1.883,
      "step": 4677
    },
    {
      "epoch": 0.4158222222222222,
      "grad_norm": 1.6485475301742554,
      "learning_rate": 2.9213333333333337e-05,
      "loss": 1.7468,
      "step": 4678
    },
    {
      "epoch": 0.4159111111111111,
      "grad_norm": 1.6445409059524536,
      "learning_rate": 2.9208888888888892e-05,
      "loss": 1.5183,
      "step": 4679
    },
    {
      "epoch": 0.416,
      "grad_norm": 1.546708583831787,
      "learning_rate": 2.9204444444444447e-05,
      "loss": 1.57,
      "step": 4680
    },
    {
      "epoch": 0.4160888888888889,
      "grad_norm": 1.4729233980178833,
      "learning_rate": 2.9199999999999998e-05,
      "loss": 1.5366,
      "step": 4681
    },
    {
      "epoch": 0.41617777777777776,
      "grad_norm": 1.971709966659546,
      "learning_rate": 2.919555555555556e-05,
      "loss": 1.6238,
      "step": 4682
    },
    {
      "epoch": 0.4162666666666667,
      "grad_norm": 1.7573180198669434,
      "learning_rate": 2.9191111111111115e-05,
      "loss": 1.5577,
      "step": 4683
    },
    {
      "epoch": 0.41635555555555553,
      "grad_norm": 1.6510802507400513,
      "learning_rate": 2.9186666666666666e-05,
      "loss": 1.7508,
      "step": 4684
    },
    {
      "epoch": 0.41644444444444445,
      "grad_norm": 1.7214970588684082,
      "learning_rate": 2.918222222222222e-05,
      "loss": 1.7,
      "step": 4685
    },
    {
      "epoch": 0.4165333333333333,
      "grad_norm": 1.52767813205719,
      "learning_rate": 2.9177777777777783e-05,
      "loss": 1.3225,
      "step": 4686
    },
    {
      "epoch": 0.4166222222222222,
      "grad_norm": 1.4405369758605957,
      "learning_rate": 2.9173333333333337e-05,
      "loss": 1.4564,
      "step": 4687
    },
    {
      "epoch": 0.4167111111111111,
      "grad_norm": 1.52213454246521,
      "learning_rate": 2.916888888888889e-05,
      "loss": 1.3506,
      "step": 4688
    },
    {
      "epoch": 0.4168,
      "grad_norm": 1.7437890768051147,
      "learning_rate": 2.9164444444444444e-05,
      "loss": 1.7889,
      "step": 4689
    },
    {
      "epoch": 0.41688888888888886,
      "grad_norm": 1.645622968673706,
      "learning_rate": 2.9160000000000005e-05,
      "loss": 1.7014,
      "step": 4690
    },
    {
      "epoch": 0.4169777777777778,
      "grad_norm": 2.3425846099853516,
      "learning_rate": 2.9155555555555557e-05,
      "loss": 1.6989,
      "step": 4691
    },
    {
      "epoch": 0.41706666666666664,
      "grad_norm": 1.8168445825576782,
      "learning_rate": 2.9151111111111112e-05,
      "loss": 1.5126,
      "step": 4692
    },
    {
      "epoch": 0.41715555555555556,
      "grad_norm": 2.020541191101074,
      "learning_rate": 2.9146666666666667e-05,
      "loss": 1.7782,
      "step": 4693
    },
    {
      "epoch": 0.4172444444444444,
      "grad_norm": 2.3176486492156982,
      "learning_rate": 2.9142222222222225e-05,
      "loss": 1.7,
      "step": 4694
    },
    {
      "epoch": 0.41733333333333333,
      "grad_norm": 1.747471809387207,
      "learning_rate": 2.913777777777778e-05,
      "loss": 1.3703,
      "step": 4695
    },
    {
      "epoch": 0.4174222222222222,
      "grad_norm": 1.4881953001022339,
      "learning_rate": 2.9133333333333334e-05,
      "loss": 1.7401,
      "step": 4696
    },
    {
      "epoch": 0.4175111111111111,
      "grad_norm": 1.9785648584365845,
      "learning_rate": 2.912888888888889e-05,
      "loss": 1.6962,
      "step": 4697
    },
    {
      "epoch": 0.4176,
      "grad_norm": 1.5426052808761597,
      "learning_rate": 2.9124444444444444e-05,
      "loss": 1.7277,
      "step": 4698
    },
    {
      "epoch": 0.4176888888888889,
      "grad_norm": 1.4909921884536743,
      "learning_rate": 2.9120000000000002e-05,
      "loss": 1.3525,
      "step": 4699
    },
    {
      "epoch": 0.4177777777777778,
      "grad_norm": 1.676140308380127,
      "learning_rate": 2.9115555555555557e-05,
      "loss": 1.6716,
      "step": 4700
    },
    {
      "epoch": 0.41786666666666666,
      "grad_norm": 1.8990108966827393,
      "learning_rate": 2.9111111111111112e-05,
      "loss": 1.5343,
      "step": 4701
    },
    {
      "epoch": 0.4179555555555556,
      "grad_norm": 1.4919626712799072,
      "learning_rate": 2.9106666666666667e-05,
      "loss": 1.6074,
      "step": 4702
    },
    {
      "epoch": 0.41804444444444444,
      "grad_norm": 1.511165976524353,
      "learning_rate": 2.9102222222222225e-05,
      "loss": 1.7028,
      "step": 4703
    },
    {
      "epoch": 0.41813333333333336,
      "grad_norm": 1.6235336065292358,
      "learning_rate": 2.909777777777778e-05,
      "loss": 1.8063,
      "step": 4704
    },
    {
      "epoch": 0.4182222222222222,
      "grad_norm": 1.8528802394866943,
      "learning_rate": 2.9093333333333335e-05,
      "loss": 1.8508,
      "step": 4705
    },
    {
      "epoch": 0.41831111111111113,
      "grad_norm": 1.752903699874878,
      "learning_rate": 2.9088888888888886e-05,
      "loss": 1.8252,
      "step": 4706
    },
    {
      "epoch": 0.4184,
      "grad_norm": 1.64010488986969,
      "learning_rate": 2.9084444444444448e-05,
      "loss": 1.8059,
      "step": 4707
    },
    {
      "epoch": 0.4184888888888889,
      "grad_norm": 1.527903437614441,
      "learning_rate": 2.9080000000000003e-05,
      "loss": 1.6041,
      "step": 4708
    },
    {
      "epoch": 0.41857777777777777,
      "grad_norm": 1.653618335723877,
      "learning_rate": 2.9075555555555554e-05,
      "loss": 1.573,
      "step": 4709
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 1.5308408737182617,
      "learning_rate": 2.907111111111111e-05,
      "loss": 1.6867,
      "step": 4710
    },
    {
      "epoch": 0.41875555555555555,
      "grad_norm": 1.550392746925354,
      "learning_rate": 2.906666666666667e-05,
      "loss": 1.6231,
      "step": 4711
    },
    {
      "epoch": 0.41884444444444446,
      "grad_norm": 1.3254916667938232,
      "learning_rate": 2.9062222222222226e-05,
      "loss": 1.3313,
      "step": 4712
    },
    {
      "epoch": 0.4189333333333333,
      "grad_norm": 2.0710225105285645,
      "learning_rate": 2.9057777777777777e-05,
      "loss": 1.6983,
      "step": 4713
    },
    {
      "epoch": 0.41902222222222224,
      "grad_norm": 1.4345393180847168,
      "learning_rate": 2.9053333333333332e-05,
      "loss": 1.5853,
      "step": 4714
    },
    {
      "epoch": 0.4191111111111111,
      "grad_norm": 1.5577170848846436,
      "learning_rate": 2.9048888888888893e-05,
      "loss": 1.7949,
      "step": 4715
    },
    {
      "epoch": 0.4192,
      "grad_norm": 1.694460153579712,
      "learning_rate": 2.9044444444444445e-05,
      "loss": 1.5709,
      "step": 4716
    },
    {
      "epoch": 0.4192888888888889,
      "grad_norm": 1.6626286506652832,
      "learning_rate": 2.904e-05,
      "loss": 1.723,
      "step": 4717
    },
    {
      "epoch": 0.4193777777777778,
      "grad_norm": 1.3903881311416626,
      "learning_rate": 2.9035555555555555e-05,
      "loss": 1.3707,
      "step": 4718
    },
    {
      "epoch": 0.41946666666666665,
      "grad_norm": 1.525953769683838,
      "learning_rate": 2.9031111111111113e-05,
      "loss": 1.5506,
      "step": 4719
    },
    {
      "epoch": 0.41955555555555557,
      "grad_norm": 1.5493364334106445,
      "learning_rate": 2.9026666666666668e-05,
      "loss": 1.4363,
      "step": 4720
    },
    {
      "epoch": 0.41964444444444443,
      "grad_norm": 1.9646083116531372,
      "learning_rate": 2.9022222222222223e-05,
      "loss": 1.9738,
      "step": 4721
    },
    {
      "epoch": 0.41973333333333335,
      "grad_norm": 1.466790795326233,
      "learning_rate": 2.9017777777777777e-05,
      "loss": 1.4839,
      "step": 4722
    },
    {
      "epoch": 0.4198222222222222,
      "grad_norm": 1.5288680791854858,
      "learning_rate": 2.9013333333333336e-05,
      "loss": 1.6349,
      "step": 4723
    },
    {
      "epoch": 0.4199111111111111,
      "grad_norm": 1.7493512630462646,
      "learning_rate": 2.900888888888889e-05,
      "loss": 1.5339,
      "step": 4724
    },
    {
      "epoch": 0.42,
      "grad_norm": 1.6415318250656128,
      "learning_rate": 2.9004444444444445e-05,
      "loss": 1.5079,
      "step": 4725
    },
    {
      "epoch": 0.4200888888888889,
      "grad_norm": 1.3619418144226074,
      "learning_rate": 2.9e-05,
      "loss": 1.3525,
      "step": 4726
    },
    {
      "epoch": 0.42017777777777776,
      "grad_norm": 2.072061538696289,
      "learning_rate": 2.899555555555556e-05,
      "loss": 1.6671,
      "step": 4727
    },
    {
      "epoch": 0.4202666666666667,
      "grad_norm": 1.7301396131515503,
      "learning_rate": 2.8991111111111113e-05,
      "loss": 1.793,
      "step": 4728
    },
    {
      "epoch": 0.42035555555555554,
      "grad_norm": 2.1640186309814453,
      "learning_rate": 2.8986666666666668e-05,
      "loss": 1.6158,
      "step": 4729
    },
    {
      "epoch": 0.42044444444444445,
      "grad_norm": 1.5572545528411865,
      "learning_rate": 2.8982222222222223e-05,
      "loss": 1.4546,
      "step": 4730
    },
    {
      "epoch": 0.4205333333333333,
      "grad_norm": 1.387059211730957,
      "learning_rate": 2.897777777777778e-05,
      "loss": 1.4696,
      "step": 4731
    },
    {
      "epoch": 0.42062222222222223,
      "grad_norm": 1.6689236164093018,
      "learning_rate": 2.8973333333333336e-05,
      "loss": 1.4485,
      "step": 4732
    },
    {
      "epoch": 0.4207111111111111,
      "grad_norm": 1.6134085655212402,
      "learning_rate": 2.896888888888889e-05,
      "loss": 1.4371,
      "step": 4733
    },
    {
      "epoch": 0.4208,
      "grad_norm": 1.6467766761779785,
      "learning_rate": 2.8964444444444446e-05,
      "loss": 1.4948,
      "step": 4734
    },
    {
      "epoch": 0.42088888888888887,
      "grad_norm": 2.0208873748779297,
      "learning_rate": 2.8960000000000004e-05,
      "loss": 1.6739,
      "step": 4735
    },
    {
      "epoch": 0.4209777777777778,
      "grad_norm": 1.7358845472335815,
      "learning_rate": 2.895555555555556e-05,
      "loss": 1.6562,
      "step": 4736
    },
    {
      "epoch": 0.42106666666666664,
      "grad_norm": 1.879569172859192,
      "learning_rate": 2.8951111111111114e-05,
      "loss": 1.4729,
      "step": 4737
    },
    {
      "epoch": 0.42115555555555556,
      "grad_norm": 1.5585260391235352,
      "learning_rate": 2.8946666666666665e-05,
      "loss": 1.6994,
      "step": 4738
    },
    {
      "epoch": 0.4212444444444444,
      "grad_norm": 1.8638712167739868,
      "learning_rate": 2.8942222222222227e-05,
      "loss": 1.6629,
      "step": 4739
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 1.5316640138626099,
      "learning_rate": 2.893777777777778e-05,
      "loss": 1.6668,
      "step": 4740
    },
    {
      "epoch": 0.4214222222222222,
      "grad_norm": 2.150125741958618,
      "learning_rate": 2.8933333333333333e-05,
      "loss": 1.766,
      "step": 4741
    },
    {
      "epoch": 0.4215111111111111,
      "grad_norm": 2.1995797157287598,
      "learning_rate": 2.8928888888888888e-05,
      "loss": 1.5499,
      "step": 4742
    },
    {
      "epoch": 0.4216,
      "grad_norm": 1.4989423751831055,
      "learning_rate": 2.892444444444445e-05,
      "loss": 1.3818,
      "step": 4743
    },
    {
      "epoch": 0.4216888888888889,
      "grad_norm": 1.7385884523391724,
      "learning_rate": 2.8920000000000004e-05,
      "loss": 1.7247,
      "step": 4744
    },
    {
      "epoch": 0.42177777777777775,
      "grad_norm": 1.9461023807525635,
      "learning_rate": 2.8915555555555556e-05,
      "loss": 1.8091,
      "step": 4745
    },
    {
      "epoch": 0.42186666666666667,
      "grad_norm": 1.467299461364746,
      "learning_rate": 2.891111111111111e-05,
      "loss": 1.6107,
      "step": 4746
    },
    {
      "epoch": 0.42195555555555553,
      "grad_norm": 1.578536868095398,
      "learning_rate": 2.8906666666666672e-05,
      "loss": 1.5536,
      "step": 4747
    },
    {
      "epoch": 0.42204444444444444,
      "grad_norm": 1.4869067668914795,
      "learning_rate": 2.8902222222222224e-05,
      "loss": 1.4069,
      "step": 4748
    },
    {
      "epoch": 0.42213333333333336,
      "grad_norm": 1.4947295188903809,
      "learning_rate": 2.889777777777778e-05,
      "loss": 1.4939,
      "step": 4749
    },
    {
      "epoch": 0.4222222222222222,
      "grad_norm": 1.8663856983184814,
      "learning_rate": 2.8893333333333333e-05,
      "loss": 1.5722,
      "step": 4750
    },
    {
      "epoch": 0.42231111111111114,
      "grad_norm": 1.7147696018218994,
      "learning_rate": 2.8888888888888888e-05,
      "loss": 1.6992,
      "step": 4751
    },
    {
      "epoch": 0.4224,
      "grad_norm": 1.514731764793396,
      "learning_rate": 2.8884444444444446e-05,
      "loss": 1.7328,
      "step": 4752
    },
    {
      "epoch": 0.4224888888888889,
      "grad_norm": 1.3335800170898438,
      "learning_rate": 2.888e-05,
      "loss": 1.4932,
      "step": 4753
    },
    {
      "epoch": 0.4225777777777778,
      "grad_norm": 1.5971611738204956,
      "learning_rate": 2.8875555555555556e-05,
      "loss": 1.6566,
      "step": 4754
    },
    {
      "epoch": 0.4226666666666667,
      "grad_norm": 1.6073963642120361,
      "learning_rate": 2.887111111111111e-05,
      "loss": 1.5166,
      "step": 4755
    },
    {
      "epoch": 0.42275555555555555,
      "grad_norm": 1.8820831775665283,
      "learning_rate": 2.886666666666667e-05,
      "loss": 1.7535,
      "step": 4756
    },
    {
      "epoch": 0.42284444444444447,
      "grad_norm": 1.4971433877944946,
      "learning_rate": 2.8862222222222224e-05,
      "loss": 1.5086,
      "step": 4757
    },
    {
      "epoch": 0.42293333333333333,
      "grad_norm": 1.6282607316970825,
      "learning_rate": 2.885777777777778e-05,
      "loss": 1.619,
      "step": 4758
    },
    {
      "epoch": 0.42302222222222224,
      "grad_norm": 1.4973907470703125,
      "learning_rate": 2.8853333333333334e-05,
      "loss": 1.5297,
      "step": 4759
    },
    {
      "epoch": 0.4231111111111111,
      "grad_norm": 1.5565928220748901,
      "learning_rate": 2.8848888888888892e-05,
      "loss": 1.4923,
      "step": 4760
    },
    {
      "epoch": 0.4232,
      "grad_norm": 1.410368800163269,
      "learning_rate": 2.8844444444444447e-05,
      "loss": 1.6568,
      "step": 4761
    },
    {
      "epoch": 0.4232888888888889,
      "grad_norm": 1.5997523069381714,
      "learning_rate": 2.8840000000000002e-05,
      "loss": 1.6805,
      "step": 4762
    },
    {
      "epoch": 0.4233777777777778,
      "grad_norm": 1.6029611825942993,
      "learning_rate": 2.8835555555555553e-05,
      "loss": 1.6278,
      "step": 4763
    },
    {
      "epoch": 0.42346666666666666,
      "grad_norm": 1.6658042669296265,
      "learning_rate": 2.8831111111111115e-05,
      "loss": 1.5713,
      "step": 4764
    },
    {
      "epoch": 0.4235555555555556,
      "grad_norm": 1.7953412532806396,
      "learning_rate": 2.882666666666667e-05,
      "loss": 1.8944,
      "step": 4765
    },
    {
      "epoch": 0.42364444444444443,
      "grad_norm": 1.7369033098220825,
      "learning_rate": 2.882222222222222e-05,
      "loss": 1.7228,
      "step": 4766
    },
    {
      "epoch": 0.42373333333333335,
      "grad_norm": 1.7560319900512695,
      "learning_rate": 2.8817777777777776e-05,
      "loss": 1.6825,
      "step": 4767
    },
    {
      "epoch": 0.4238222222222222,
      "grad_norm": 1.8150136470794678,
      "learning_rate": 2.8813333333333338e-05,
      "loss": 1.6941,
      "step": 4768
    },
    {
      "epoch": 0.4239111111111111,
      "grad_norm": 1.394399642944336,
      "learning_rate": 2.8808888888888892e-05,
      "loss": 1.6583,
      "step": 4769
    },
    {
      "epoch": 0.424,
      "grad_norm": 1.751024603843689,
      "learning_rate": 2.8804444444444444e-05,
      "loss": 1.5634,
      "step": 4770
    },
    {
      "epoch": 0.4240888888888889,
      "grad_norm": 1.6150720119476318,
      "learning_rate": 2.88e-05,
      "loss": 1.8515,
      "step": 4771
    },
    {
      "epoch": 0.42417777777777776,
      "grad_norm": 1.828245997428894,
      "learning_rate": 2.879555555555556e-05,
      "loss": 1.4604,
      "step": 4772
    },
    {
      "epoch": 0.4242666666666667,
      "grad_norm": 1.717883825302124,
      "learning_rate": 2.8791111111111112e-05,
      "loss": 1.7378,
      "step": 4773
    },
    {
      "epoch": 0.42435555555555554,
      "grad_norm": 1.6014959812164307,
      "learning_rate": 2.8786666666666667e-05,
      "loss": 1.702,
      "step": 4774
    },
    {
      "epoch": 0.42444444444444446,
      "grad_norm": 1.5398259162902832,
      "learning_rate": 2.878222222222222e-05,
      "loss": 1.356,
      "step": 4775
    },
    {
      "epoch": 0.4245333333333333,
      "grad_norm": 1.766052007675171,
      "learning_rate": 2.877777777777778e-05,
      "loss": 1.5403,
      "step": 4776
    },
    {
      "epoch": 0.42462222222222223,
      "grad_norm": 1.8694238662719727,
      "learning_rate": 2.8773333333333335e-05,
      "loss": 1.5871,
      "step": 4777
    },
    {
      "epoch": 0.4247111111111111,
      "grad_norm": 1.917364478111267,
      "learning_rate": 2.876888888888889e-05,
      "loss": 1.7577,
      "step": 4778
    },
    {
      "epoch": 0.4248,
      "grad_norm": 1.513046383857727,
      "learning_rate": 2.8764444444444444e-05,
      "loss": 1.5391,
      "step": 4779
    },
    {
      "epoch": 0.42488888888888887,
      "grad_norm": 1.7131730318069458,
      "learning_rate": 2.8760000000000002e-05,
      "loss": 1.7415,
      "step": 4780
    },
    {
      "epoch": 0.4249777777777778,
      "grad_norm": 1.4620720148086548,
      "learning_rate": 2.8755555555555557e-05,
      "loss": 1.5656,
      "step": 4781
    },
    {
      "epoch": 0.42506666666666665,
      "grad_norm": 1.5003057718276978,
      "learning_rate": 2.8751111111111112e-05,
      "loss": 1.6298,
      "step": 4782
    },
    {
      "epoch": 0.42515555555555556,
      "grad_norm": 1.7801673412322998,
      "learning_rate": 2.8746666666666667e-05,
      "loss": 1.4717,
      "step": 4783
    },
    {
      "epoch": 0.4252444444444444,
      "grad_norm": 1.668226957321167,
      "learning_rate": 2.8742222222222225e-05,
      "loss": 1.6474,
      "step": 4784
    },
    {
      "epoch": 0.42533333333333334,
      "grad_norm": 1.6121901273727417,
      "learning_rate": 2.873777777777778e-05,
      "loss": 1.4597,
      "step": 4785
    },
    {
      "epoch": 0.4254222222222222,
      "grad_norm": 2.0235180854797363,
      "learning_rate": 2.8733333333333335e-05,
      "loss": 1.8575,
      "step": 4786
    },
    {
      "epoch": 0.4255111111111111,
      "grad_norm": 1.8679548501968384,
      "learning_rate": 2.872888888888889e-05,
      "loss": 1.2155,
      "step": 4787
    },
    {
      "epoch": 0.4256,
      "grad_norm": 1.7112910747528076,
      "learning_rate": 2.8724444444444448e-05,
      "loss": 1.4863,
      "step": 4788
    },
    {
      "epoch": 0.4256888888888889,
      "grad_norm": 1.618654727935791,
      "learning_rate": 2.8720000000000003e-05,
      "loss": 1.5479,
      "step": 4789
    },
    {
      "epoch": 0.42577777777777776,
      "grad_norm": 1.57101309299469,
      "learning_rate": 2.8715555555555558e-05,
      "loss": 1.8882,
      "step": 4790
    },
    {
      "epoch": 0.42586666666666667,
      "grad_norm": 6.673178672790527,
      "learning_rate": 2.8711111111111113e-05,
      "loss": 1.7598,
      "step": 4791
    },
    {
      "epoch": 0.42595555555555553,
      "grad_norm": 1.872654914855957,
      "learning_rate": 2.870666666666667e-05,
      "loss": 1.6829,
      "step": 4792
    },
    {
      "epoch": 0.42604444444444445,
      "grad_norm": 1.8302526473999023,
      "learning_rate": 2.8702222222222226e-05,
      "loss": 1.6437,
      "step": 4793
    },
    {
      "epoch": 0.4261333333333333,
      "grad_norm": 1.689609408378601,
      "learning_rate": 2.869777777777778e-05,
      "loss": 1.5969,
      "step": 4794
    },
    {
      "epoch": 0.4262222222222222,
      "grad_norm": 1.4826674461364746,
      "learning_rate": 2.8693333333333332e-05,
      "loss": 1.3974,
      "step": 4795
    },
    {
      "epoch": 0.4263111111111111,
      "grad_norm": 1.53318452835083,
      "learning_rate": 2.8688888888888894e-05,
      "loss": 1.4915,
      "step": 4796
    },
    {
      "epoch": 0.4264,
      "grad_norm": 2.172064781188965,
      "learning_rate": 2.868444444444445e-05,
      "loss": 1.506,
      "step": 4797
    },
    {
      "epoch": 0.42648888888888886,
      "grad_norm": 1.7050118446350098,
      "learning_rate": 2.868e-05,
      "loss": 1.8635,
      "step": 4798
    },
    {
      "epoch": 0.4265777777777778,
      "grad_norm": 1.747523546218872,
      "learning_rate": 2.8675555555555555e-05,
      "loss": 1.6765,
      "step": 4799
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 1.5209031105041504,
      "learning_rate": 2.8671111111111116e-05,
      "loss": 1.571,
      "step": 4800
    },
    {
      "epoch": 0.42675555555555555,
      "grad_norm": 1.7153422832489014,
      "learning_rate": 2.8666666666666668e-05,
      "loss": 1.5703,
      "step": 4801
    },
    {
      "epoch": 0.42684444444444447,
      "grad_norm": 1.8704291582107544,
      "learning_rate": 2.8662222222222223e-05,
      "loss": 2.0593,
      "step": 4802
    },
    {
      "epoch": 0.42693333333333333,
      "grad_norm": 1.935627818107605,
      "learning_rate": 2.8657777777777777e-05,
      "loss": 1.3773,
      "step": 4803
    },
    {
      "epoch": 0.42702222222222225,
      "grad_norm": 1.8534811735153198,
      "learning_rate": 2.8653333333333332e-05,
      "loss": 1.9943,
      "step": 4804
    },
    {
      "epoch": 0.4271111111111111,
      "grad_norm": 1.933007001876831,
      "learning_rate": 2.864888888888889e-05,
      "loss": 2.1224,
      "step": 4805
    },
    {
      "epoch": 0.4272,
      "grad_norm": 1.7312220335006714,
      "learning_rate": 2.8644444444444445e-05,
      "loss": 1.5455,
      "step": 4806
    },
    {
      "epoch": 0.4272888888888889,
      "grad_norm": 1.5860505104064941,
      "learning_rate": 2.864e-05,
      "loss": 1.629,
      "step": 4807
    },
    {
      "epoch": 0.4273777777777778,
      "grad_norm": 1.4706171751022339,
      "learning_rate": 2.8635555555555555e-05,
      "loss": 1.495,
      "step": 4808
    },
    {
      "epoch": 0.42746666666666666,
      "grad_norm": 1.3770891427993774,
      "learning_rate": 2.8631111111111113e-05,
      "loss": 1.3297,
      "step": 4809
    },
    {
      "epoch": 0.4275555555555556,
      "grad_norm": 1.779585599899292,
      "learning_rate": 2.8626666666666668e-05,
      "loss": 1.7,
      "step": 4810
    },
    {
      "epoch": 0.42764444444444444,
      "grad_norm": 1.685879111289978,
      "learning_rate": 2.8622222222222223e-05,
      "loss": 1.8282,
      "step": 4811
    },
    {
      "epoch": 0.42773333333333335,
      "grad_norm": 1.6584080457687378,
      "learning_rate": 2.8617777777777778e-05,
      "loss": 1.7897,
      "step": 4812
    },
    {
      "epoch": 0.4278222222222222,
      "grad_norm": 1.7720836400985718,
      "learning_rate": 2.8613333333333336e-05,
      "loss": 1.5566,
      "step": 4813
    },
    {
      "epoch": 0.42791111111111113,
      "grad_norm": 2.292119264602661,
      "learning_rate": 2.860888888888889e-05,
      "loss": 1.5626,
      "step": 4814
    },
    {
      "epoch": 0.428,
      "grad_norm": 1.425306797027588,
      "learning_rate": 2.8604444444444446e-05,
      "loss": 1.5214,
      "step": 4815
    },
    {
      "epoch": 0.4280888888888889,
      "grad_norm": 1.4260234832763672,
      "learning_rate": 2.86e-05,
      "loss": 1.6015,
      "step": 4816
    },
    {
      "epoch": 0.42817777777777777,
      "grad_norm": 1.5288904905319214,
      "learning_rate": 2.859555555555556e-05,
      "loss": 1.5384,
      "step": 4817
    },
    {
      "epoch": 0.4282666666666667,
      "grad_norm": 1.5946588516235352,
      "learning_rate": 2.8591111111111114e-05,
      "loss": 1.7735,
      "step": 4818
    },
    {
      "epoch": 0.42835555555555554,
      "grad_norm": 1.483640193939209,
      "learning_rate": 2.858666666666667e-05,
      "loss": 1.6345,
      "step": 4819
    },
    {
      "epoch": 0.42844444444444446,
      "grad_norm": 1.6136516332626343,
      "learning_rate": 2.858222222222222e-05,
      "loss": 1.4318,
      "step": 4820
    },
    {
      "epoch": 0.4285333333333333,
      "grad_norm": 1.9638310670852661,
      "learning_rate": 2.857777777777778e-05,
      "loss": 1.703,
      "step": 4821
    },
    {
      "epoch": 0.42862222222222224,
      "grad_norm": 1.7364213466644287,
      "learning_rate": 2.8573333333333336e-05,
      "loss": 1.5534,
      "step": 4822
    },
    {
      "epoch": 0.4287111111111111,
      "grad_norm": 1.6016194820404053,
      "learning_rate": 2.8568888888888888e-05,
      "loss": 1.7573,
      "step": 4823
    },
    {
      "epoch": 0.4288,
      "grad_norm": 1.719001293182373,
      "learning_rate": 2.8564444444444443e-05,
      "loss": 1.6777,
      "step": 4824
    },
    {
      "epoch": 0.4288888888888889,
      "grad_norm": 1.3209524154663086,
      "learning_rate": 2.8560000000000004e-05,
      "loss": 1.5008,
      "step": 4825
    },
    {
      "epoch": 0.4289777777777778,
      "grad_norm": 1.4733080863952637,
      "learning_rate": 2.855555555555556e-05,
      "loss": 1.5763,
      "step": 4826
    },
    {
      "epoch": 0.42906666666666665,
      "grad_norm": 1.5369505882263184,
      "learning_rate": 2.855111111111111e-05,
      "loss": 1.5845,
      "step": 4827
    },
    {
      "epoch": 0.42915555555555557,
      "grad_norm": 1.732651710510254,
      "learning_rate": 2.8546666666666666e-05,
      "loss": 1.5903,
      "step": 4828
    },
    {
      "epoch": 0.42924444444444443,
      "grad_norm": 1.5882556438446045,
      "learning_rate": 2.8542222222222227e-05,
      "loss": 1.5298,
      "step": 4829
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 1.7915163040161133,
      "learning_rate": 2.853777777777778e-05,
      "loss": 1.7511,
      "step": 4830
    },
    {
      "epoch": 0.4294222222222222,
      "grad_norm": 1.3988693952560425,
      "learning_rate": 2.8533333333333333e-05,
      "loss": 1.6071,
      "step": 4831
    },
    {
      "epoch": 0.4295111111111111,
      "grad_norm": 1.5153948068618774,
      "learning_rate": 2.8528888888888888e-05,
      "loss": 1.6193,
      "step": 4832
    },
    {
      "epoch": 0.4296,
      "grad_norm": 1.4265800714492798,
      "learning_rate": 2.8524444444444447e-05,
      "loss": 1.752,
      "step": 4833
    },
    {
      "epoch": 0.4296888888888889,
      "grad_norm": 1.8813623189926147,
      "learning_rate": 2.852e-05,
      "loss": 1.7167,
      "step": 4834
    },
    {
      "epoch": 0.42977777777777776,
      "grad_norm": 1.6956167221069336,
      "learning_rate": 2.8515555555555556e-05,
      "loss": 1.4657,
      "step": 4835
    },
    {
      "epoch": 0.4298666666666667,
      "grad_norm": 2.18131160736084,
      "learning_rate": 2.851111111111111e-05,
      "loss": 1.6863,
      "step": 4836
    },
    {
      "epoch": 0.42995555555555554,
      "grad_norm": 1.7059112787246704,
      "learning_rate": 2.850666666666667e-05,
      "loss": 1.8609,
      "step": 4837
    },
    {
      "epoch": 0.43004444444444445,
      "grad_norm": 1.9753949642181396,
      "learning_rate": 2.8502222222222224e-05,
      "loss": 1.7809,
      "step": 4838
    },
    {
      "epoch": 0.4301333333333333,
      "grad_norm": 1.6430575847625732,
      "learning_rate": 2.849777777777778e-05,
      "loss": 1.6721,
      "step": 4839
    },
    {
      "epoch": 0.43022222222222223,
      "grad_norm": 1.9176504611968994,
      "learning_rate": 2.8493333333333334e-05,
      "loss": 1.761,
      "step": 4840
    },
    {
      "epoch": 0.4303111111111111,
      "grad_norm": 1.4468194246292114,
      "learning_rate": 2.8488888888888892e-05,
      "loss": 1.4336,
      "step": 4841
    },
    {
      "epoch": 0.4304,
      "grad_norm": 1.5917518138885498,
      "learning_rate": 2.8484444444444447e-05,
      "loss": 1.4993,
      "step": 4842
    },
    {
      "epoch": 0.43048888888888887,
      "grad_norm": 1.8492639064788818,
      "learning_rate": 2.8480000000000002e-05,
      "loss": 1.8584,
      "step": 4843
    },
    {
      "epoch": 0.4305777777777778,
      "grad_norm": 1.5945955514907837,
      "learning_rate": 2.8475555555555557e-05,
      "loss": 1.6281,
      "step": 4844
    },
    {
      "epoch": 0.43066666666666664,
      "grad_norm": 1.6854116916656494,
      "learning_rate": 2.8471111111111115e-05,
      "loss": 1.6117,
      "step": 4845
    },
    {
      "epoch": 0.43075555555555556,
      "grad_norm": 1.809515118598938,
      "learning_rate": 2.846666666666667e-05,
      "loss": 1.7002,
      "step": 4846
    },
    {
      "epoch": 0.4308444444444444,
      "grad_norm": 1.8200980424880981,
      "learning_rate": 2.8462222222222225e-05,
      "loss": 1.7165,
      "step": 4847
    },
    {
      "epoch": 0.43093333333333333,
      "grad_norm": 1.735914707183838,
      "learning_rate": 2.8457777777777776e-05,
      "loss": 1.4087,
      "step": 4848
    },
    {
      "epoch": 0.4310222222222222,
      "grad_norm": 1.7907227277755737,
      "learning_rate": 2.8453333333333338e-05,
      "loss": 1.3975,
      "step": 4849
    },
    {
      "epoch": 0.4311111111111111,
      "grad_norm": 1.767142653465271,
      "learning_rate": 2.8448888888888892e-05,
      "loss": 1.5786,
      "step": 4850
    },
    {
      "epoch": 0.4312,
      "grad_norm": 2.0108046531677246,
      "learning_rate": 2.8444444444444447e-05,
      "loss": 1.5718,
      "step": 4851
    },
    {
      "epoch": 0.4312888888888889,
      "grad_norm": 1.6838369369506836,
      "learning_rate": 2.844e-05,
      "loss": 1.7046,
      "step": 4852
    },
    {
      "epoch": 0.4313777777777778,
      "grad_norm": 2.084669828414917,
      "learning_rate": 2.8435555555555554e-05,
      "loss": 1.7368,
      "step": 4853
    },
    {
      "epoch": 0.43146666666666667,
      "grad_norm": 1.6390719413757324,
      "learning_rate": 2.8431111111111115e-05,
      "loss": 1.7809,
      "step": 4854
    },
    {
      "epoch": 0.4315555555555556,
      "grad_norm": 1.7329094409942627,
      "learning_rate": 2.8426666666666667e-05,
      "loss": 1.5329,
      "step": 4855
    },
    {
      "epoch": 0.43164444444444444,
      "grad_norm": 2.0402681827545166,
      "learning_rate": 2.842222222222222e-05,
      "loss": 1.5626,
      "step": 4856
    },
    {
      "epoch": 0.43173333333333336,
      "grad_norm": 1.7280793190002441,
      "learning_rate": 2.8417777777777776e-05,
      "loss": 1.4949,
      "step": 4857
    },
    {
      "epoch": 0.4318222222222222,
      "grad_norm": 1.5750179290771484,
      "learning_rate": 2.8413333333333335e-05,
      "loss": 1.4407,
      "step": 4858
    },
    {
      "epoch": 0.43191111111111113,
      "grad_norm": 1.7458508014678955,
      "learning_rate": 2.840888888888889e-05,
      "loss": 1.8028,
      "step": 4859
    },
    {
      "epoch": 0.432,
      "grad_norm": 1.7679940462112427,
      "learning_rate": 2.8404444444444444e-05,
      "loss": 1.4536,
      "step": 4860
    },
    {
      "epoch": 0.4320888888888889,
      "grad_norm": 1.6417405605316162,
      "learning_rate": 2.84e-05,
      "loss": 1.7697,
      "step": 4861
    },
    {
      "epoch": 0.43217777777777777,
      "grad_norm": 1.9343276023864746,
      "learning_rate": 2.8395555555555557e-05,
      "loss": 1.4626,
      "step": 4862
    },
    {
      "epoch": 0.4322666666666667,
      "grad_norm": 1.9541478157043457,
      "learning_rate": 2.8391111111111112e-05,
      "loss": 1.4556,
      "step": 4863
    },
    {
      "epoch": 0.43235555555555555,
      "grad_norm": 1.3566101789474487,
      "learning_rate": 2.8386666666666667e-05,
      "loss": 1.3532,
      "step": 4864
    },
    {
      "epoch": 0.43244444444444446,
      "grad_norm": 1.782374620437622,
      "learning_rate": 2.8382222222222222e-05,
      "loss": 1.5737,
      "step": 4865
    },
    {
      "epoch": 0.4325333333333333,
      "grad_norm": 1.687025547027588,
      "learning_rate": 2.837777777777778e-05,
      "loss": 1.492,
      "step": 4866
    },
    {
      "epoch": 0.43262222222222224,
      "grad_norm": 1.5905709266662598,
      "learning_rate": 2.8373333333333335e-05,
      "loss": 1.628,
      "step": 4867
    },
    {
      "epoch": 0.4327111111111111,
      "grad_norm": 1.4630566835403442,
      "learning_rate": 2.836888888888889e-05,
      "loss": 1.4872,
      "step": 4868
    },
    {
      "epoch": 0.4328,
      "grad_norm": 2.3599696159362793,
      "learning_rate": 2.8364444444444445e-05,
      "loss": 2.0428,
      "step": 4869
    },
    {
      "epoch": 0.4328888888888889,
      "grad_norm": 1.5084558725357056,
      "learning_rate": 2.8360000000000003e-05,
      "loss": 1.4983,
      "step": 4870
    },
    {
      "epoch": 0.4329777777777778,
      "grad_norm": 2.0854086875915527,
      "learning_rate": 2.8355555555555558e-05,
      "loss": 1.6799,
      "step": 4871
    },
    {
      "epoch": 0.43306666666666666,
      "grad_norm": 1.5566532611846924,
      "learning_rate": 2.8351111111111113e-05,
      "loss": 1.4889,
      "step": 4872
    },
    {
      "epoch": 0.43315555555555557,
      "grad_norm": 1.4222925901412964,
      "learning_rate": 2.8346666666666667e-05,
      "loss": 1.6427,
      "step": 4873
    },
    {
      "epoch": 0.43324444444444443,
      "grad_norm": 1.6502022743225098,
      "learning_rate": 2.8342222222222226e-05,
      "loss": 1.5954,
      "step": 4874
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 1.5781861543655396,
      "learning_rate": 2.833777777777778e-05,
      "loss": 1.5778,
      "step": 4875
    },
    {
      "epoch": 0.4334222222222222,
      "grad_norm": 1.8016271591186523,
      "learning_rate": 2.8333333333333335e-05,
      "loss": 1.3172,
      "step": 4876
    },
    {
      "epoch": 0.4335111111111111,
      "grad_norm": 1.9204062223434448,
      "learning_rate": 2.8328888888888887e-05,
      "loss": 1.6444,
      "step": 4877
    },
    {
      "epoch": 0.4336,
      "grad_norm": 1.6501694917678833,
      "learning_rate": 2.832444444444445e-05,
      "loss": 1.357,
      "step": 4878
    },
    {
      "epoch": 0.4336888888888889,
      "grad_norm": 2.471207857131958,
      "learning_rate": 2.8320000000000003e-05,
      "loss": 1.704,
      "step": 4879
    },
    {
      "epoch": 0.43377777777777776,
      "grad_norm": 2.3077774047851562,
      "learning_rate": 2.8315555555555555e-05,
      "loss": 1.6364,
      "step": 4880
    },
    {
      "epoch": 0.4338666666666667,
      "grad_norm": 1.4816029071807861,
      "learning_rate": 2.831111111111111e-05,
      "loss": 1.4976,
      "step": 4881
    },
    {
      "epoch": 0.43395555555555554,
      "grad_norm": 1.8112343549728394,
      "learning_rate": 2.830666666666667e-05,
      "loss": 1.5669,
      "step": 4882
    },
    {
      "epoch": 0.43404444444444445,
      "grad_norm": 1.6908094882965088,
      "learning_rate": 2.8302222222222226e-05,
      "loss": 1.6412,
      "step": 4883
    },
    {
      "epoch": 0.4341333333333333,
      "grad_norm": 1.8460369110107422,
      "learning_rate": 2.8297777777777778e-05,
      "loss": 1.606,
      "step": 4884
    },
    {
      "epoch": 0.43422222222222223,
      "grad_norm": 1.6660996675491333,
      "learning_rate": 2.8293333333333332e-05,
      "loss": 1.6512,
      "step": 4885
    },
    {
      "epoch": 0.4343111111111111,
      "grad_norm": 1.6354838609695435,
      "learning_rate": 2.8288888888888894e-05,
      "loss": 1.2997,
      "step": 4886
    },
    {
      "epoch": 0.4344,
      "grad_norm": 1.396498680114746,
      "learning_rate": 2.8284444444444445e-05,
      "loss": 1.3919,
      "step": 4887
    },
    {
      "epoch": 0.43448888888888887,
      "grad_norm": 1.7977787256240845,
      "learning_rate": 2.828e-05,
      "loss": 1.6896,
      "step": 4888
    },
    {
      "epoch": 0.4345777777777778,
      "grad_norm": 2.168531894683838,
      "learning_rate": 2.8275555555555555e-05,
      "loss": 1.7437,
      "step": 4889
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 1.7049037218093872,
      "learning_rate": 2.8271111111111113e-05,
      "loss": 1.6753,
      "step": 4890
    },
    {
      "epoch": 0.43475555555555556,
      "grad_norm": 1.566555142402649,
      "learning_rate": 2.8266666666666668e-05,
      "loss": 1.3932,
      "step": 4891
    },
    {
      "epoch": 0.4348444444444444,
      "grad_norm": 1.5415924787521362,
      "learning_rate": 2.8262222222222223e-05,
      "loss": 1.7449,
      "step": 4892
    },
    {
      "epoch": 0.43493333333333334,
      "grad_norm": 1.7738003730773926,
      "learning_rate": 2.8257777777777778e-05,
      "loss": 1.4658,
      "step": 4893
    },
    {
      "epoch": 0.4350222222222222,
      "grad_norm": 1.7616263628005981,
      "learning_rate": 2.8253333333333336e-05,
      "loss": 1.6916,
      "step": 4894
    },
    {
      "epoch": 0.4351111111111111,
      "grad_norm": 1.5284907817840576,
      "learning_rate": 2.824888888888889e-05,
      "loss": 1.6755,
      "step": 4895
    },
    {
      "epoch": 0.4352,
      "grad_norm": 1.9713215827941895,
      "learning_rate": 2.8244444444444446e-05,
      "loss": 1.7192,
      "step": 4896
    },
    {
      "epoch": 0.4352888888888889,
      "grad_norm": 1.8465420007705688,
      "learning_rate": 2.824e-05,
      "loss": 1.7493,
      "step": 4897
    },
    {
      "epoch": 0.43537777777777775,
      "grad_norm": 1.4685885906219482,
      "learning_rate": 2.823555555555556e-05,
      "loss": 1.6245,
      "step": 4898
    },
    {
      "epoch": 0.43546666666666667,
      "grad_norm": 1.5803639888763428,
      "learning_rate": 2.8231111111111114e-05,
      "loss": 1.5082,
      "step": 4899
    },
    {
      "epoch": 0.43555555555555553,
      "grad_norm": 2.131890058517456,
      "learning_rate": 2.822666666666667e-05,
      "loss": 1.9878,
      "step": 4900
    },
    {
      "epoch": 0.43564444444444445,
      "grad_norm": 1.406996250152588,
      "learning_rate": 2.8222222222222223e-05,
      "loss": 1.5556,
      "step": 4901
    },
    {
      "epoch": 0.4357333333333333,
      "grad_norm": 2.0663657188415527,
      "learning_rate": 2.821777777777778e-05,
      "loss": 1.7036,
      "step": 4902
    },
    {
      "epoch": 0.4358222222222222,
      "grad_norm": 1.5196410417556763,
      "learning_rate": 2.8213333333333337e-05,
      "loss": 1.664,
      "step": 4903
    },
    {
      "epoch": 0.43591111111111114,
      "grad_norm": 1.3329135179519653,
      "learning_rate": 2.820888888888889e-05,
      "loss": 1.4825,
      "step": 4904
    },
    {
      "epoch": 0.436,
      "grad_norm": 1.6055984497070312,
      "learning_rate": 2.8204444444444443e-05,
      "loss": 1.4486,
      "step": 4905
    },
    {
      "epoch": 0.4360888888888889,
      "grad_norm": 1.550993800163269,
      "learning_rate": 2.8199999999999998e-05,
      "loss": 1.4925,
      "step": 4906
    },
    {
      "epoch": 0.4361777777777778,
      "grad_norm": 1.7831788063049316,
      "learning_rate": 2.819555555555556e-05,
      "loss": 1.6563,
      "step": 4907
    },
    {
      "epoch": 0.4362666666666667,
      "grad_norm": 1.6719310283660889,
      "learning_rate": 2.8191111111111114e-05,
      "loss": 1.5573,
      "step": 4908
    },
    {
      "epoch": 0.43635555555555555,
      "grad_norm": 1.7481434345245361,
      "learning_rate": 2.8186666666666666e-05,
      "loss": 1.5971,
      "step": 4909
    },
    {
      "epoch": 0.43644444444444447,
      "grad_norm": 1.6045970916748047,
      "learning_rate": 2.818222222222222e-05,
      "loss": 1.6083,
      "step": 4910
    },
    {
      "epoch": 0.43653333333333333,
      "grad_norm": 1.7210450172424316,
      "learning_rate": 2.8177777777777782e-05,
      "loss": 1.8068,
      "step": 4911
    },
    {
      "epoch": 0.43662222222222224,
      "grad_norm": 1.6749764680862427,
      "learning_rate": 2.8173333333333334e-05,
      "loss": 1.5919,
      "step": 4912
    },
    {
      "epoch": 0.4367111111111111,
      "grad_norm": 1.5070195198059082,
      "learning_rate": 2.816888888888889e-05,
      "loss": 1.673,
      "step": 4913
    },
    {
      "epoch": 0.4368,
      "grad_norm": 1.5561788082122803,
      "learning_rate": 2.8164444444444443e-05,
      "loss": 1.6315,
      "step": 4914
    },
    {
      "epoch": 0.4368888888888889,
      "grad_norm": 1.6637835502624512,
      "learning_rate": 2.816e-05,
      "loss": 1.5059,
      "step": 4915
    },
    {
      "epoch": 0.4369777777777778,
      "grad_norm": 1.3923611640930176,
      "learning_rate": 2.8155555555555556e-05,
      "loss": 1.5818,
      "step": 4916
    },
    {
      "epoch": 0.43706666666666666,
      "grad_norm": 1.6093980073928833,
      "learning_rate": 2.815111111111111e-05,
      "loss": 1.2536,
      "step": 4917
    },
    {
      "epoch": 0.4371555555555556,
      "grad_norm": 1.4673231840133667,
      "learning_rate": 2.8146666666666666e-05,
      "loss": 1.6868,
      "step": 4918
    },
    {
      "epoch": 0.43724444444444444,
      "grad_norm": 1.7290664911270142,
      "learning_rate": 2.8142222222222224e-05,
      "loss": 1.5793,
      "step": 4919
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 1.499077558517456,
      "learning_rate": 2.813777777777778e-05,
      "loss": 1.6897,
      "step": 4920
    },
    {
      "epoch": 0.4374222222222222,
      "grad_norm": 1.6733609437942505,
      "learning_rate": 2.8133333333333334e-05,
      "loss": 1.6083,
      "step": 4921
    },
    {
      "epoch": 0.43751111111111113,
      "grad_norm": 1.4795268774032593,
      "learning_rate": 2.812888888888889e-05,
      "loss": 1.3528,
      "step": 4922
    },
    {
      "epoch": 0.4376,
      "grad_norm": 1.9498522281646729,
      "learning_rate": 2.8124444444444447e-05,
      "loss": 1.8032,
      "step": 4923
    },
    {
      "epoch": 0.4376888888888889,
      "grad_norm": 1.4519604444503784,
      "learning_rate": 2.8120000000000002e-05,
      "loss": 1.6166,
      "step": 4924
    },
    {
      "epoch": 0.43777777777777777,
      "grad_norm": 2.0521767139434814,
      "learning_rate": 2.8115555555555557e-05,
      "loss": 1.7918,
      "step": 4925
    },
    {
      "epoch": 0.4378666666666667,
      "grad_norm": 1.585057258605957,
      "learning_rate": 2.811111111111111e-05,
      "loss": 1.5401,
      "step": 4926
    },
    {
      "epoch": 0.43795555555555554,
      "grad_norm": 1.7569034099578857,
      "learning_rate": 2.810666666666667e-05,
      "loss": 1.4374,
      "step": 4927
    },
    {
      "epoch": 0.43804444444444446,
      "grad_norm": 1.5118145942687988,
      "learning_rate": 2.8102222222222225e-05,
      "loss": 1.3521,
      "step": 4928
    },
    {
      "epoch": 0.4381333333333333,
      "grad_norm": 1.3461934328079224,
      "learning_rate": 2.809777777777778e-05,
      "loss": 1.3411,
      "step": 4929
    },
    {
      "epoch": 0.43822222222222224,
      "grad_norm": 1.9819037914276123,
      "learning_rate": 2.8093333333333334e-05,
      "loss": 1.8541,
      "step": 4930
    },
    {
      "epoch": 0.4383111111111111,
      "grad_norm": 1.3039294481277466,
      "learning_rate": 2.8088888888888893e-05,
      "loss": 1.394,
      "step": 4931
    },
    {
      "epoch": 0.4384,
      "grad_norm": 1.5504262447357178,
      "learning_rate": 2.8084444444444447e-05,
      "loss": 1.4095,
      "step": 4932
    },
    {
      "epoch": 0.4384888888888889,
      "grad_norm": 1.666341781616211,
      "learning_rate": 2.8080000000000002e-05,
      "loss": 1.5558,
      "step": 4933
    },
    {
      "epoch": 0.4385777777777778,
      "grad_norm": 1.4841675758361816,
      "learning_rate": 2.8075555555555554e-05,
      "loss": 1.694,
      "step": 4934
    },
    {
      "epoch": 0.43866666666666665,
      "grad_norm": 1.481587290763855,
      "learning_rate": 2.8071111111111115e-05,
      "loss": 1.462,
      "step": 4935
    },
    {
      "epoch": 0.43875555555555557,
      "grad_norm": 1.8036953210830688,
      "learning_rate": 2.806666666666667e-05,
      "loss": 1.7357,
      "step": 4936
    },
    {
      "epoch": 0.4388444444444444,
      "grad_norm": 2.0270397663116455,
      "learning_rate": 2.806222222222222e-05,
      "loss": 1.7722,
      "step": 4937
    },
    {
      "epoch": 0.43893333333333334,
      "grad_norm": 1.4607068300247192,
      "learning_rate": 2.8057777777777776e-05,
      "loss": 1.5508,
      "step": 4938
    },
    {
      "epoch": 0.4390222222222222,
      "grad_norm": 1.8494073152542114,
      "learning_rate": 2.8053333333333338e-05,
      "loss": 1.6058,
      "step": 4939
    },
    {
      "epoch": 0.4391111111111111,
      "grad_norm": 1.6441757678985596,
      "learning_rate": 2.8048888888888893e-05,
      "loss": 1.4663,
      "step": 4940
    },
    {
      "epoch": 0.4392,
      "grad_norm": 1.6134045124053955,
      "learning_rate": 2.8044444444444444e-05,
      "loss": 1.6436,
      "step": 4941
    },
    {
      "epoch": 0.4392888888888889,
      "grad_norm": 1.9472144842147827,
      "learning_rate": 2.804e-05,
      "loss": 1.6949,
      "step": 4942
    },
    {
      "epoch": 0.43937777777777776,
      "grad_norm": 2.0839436054229736,
      "learning_rate": 2.803555555555556e-05,
      "loss": 1.5472,
      "step": 4943
    },
    {
      "epoch": 0.43946666666666667,
      "grad_norm": 1.4220889806747437,
      "learning_rate": 2.8031111111111112e-05,
      "loss": 1.496,
      "step": 4944
    },
    {
      "epoch": 0.43955555555555553,
      "grad_norm": 1.5294158458709717,
      "learning_rate": 2.8026666666666667e-05,
      "loss": 1.8389,
      "step": 4945
    },
    {
      "epoch": 0.43964444444444445,
      "grad_norm": 1.4799604415893555,
      "learning_rate": 2.8022222222222222e-05,
      "loss": 1.4877,
      "step": 4946
    },
    {
      "epoch": 0.4397333333333333,
      "grad_norm": 1.6735087633132935,
      "learning_rate": 2.801777777777778e-05,
      "loss": 1.7525,
      "step": 4947
    },
    {
      "epoch": 0.4398222222222222,
      "grad_norm": 1.4204713106155396,
      "learning_rate": 2.8013333333333335e-05,
      "loss": 1.7432,
      "step": 4948
    },
    {
      "epoch": 0.4399111111111111,
      "grad_norm": 1.6628583669662476,
      "learning_rate": 2.800888888888889e-05,
      "loss": 1.7773,
      "step": 4949
    },
    {
      "epoch": 0.44,
      "grad_norm": 1.5492056608200073,
      "learning_rate": 2.8004444444444445e-05,
      "loss": 1.7606,
      "step": 4950
    },
    {
      "epoch": 0.44008888888888886,
      "grad_norm": 1.681162714958191,
      "learning_rate": 2.8000000000000003e-05,
      "loss": 1.4771,
      "step": 4951
    },
    {
      "epoch": 0.4401777777777778,
      "grad_norm": 1.966714859008789,
      "learning_rate": 2.7995555555555558e-05,
      "loss": 1.5698,
      "step": 4952
    },
    {
      "epoch": 0.44026666666666664,
      "grad_norm": 1.5051298141479492,
      "learning_rate": 2.7991111111111113e-05,
      "loss": 1.4793,
      "step": 4953
    },
    {
      "epoch": 0.44035555555555556,
      "grad_norm": 1.4308090209960938,
      "learning_rate": 2.7986666666666668e-05,
      "loss": 1.2454,
      "step": 4954
    },
    {
      "epoch": 0.44044444444444447,
      "grad_norm": 2.354196786880493,
      "learning_rate": 2.7982222222222226e-05,
      "loss": 1.5812,
      "step": 4955
    },
    {
      "epoch": 0.44053333333333333,
      "grad_norm": 1.503953218460083,
      "learning_rate": 2.797777777777778e-05,
      "loss": 1.3858,
      "step": 4956
    },
    {
      "epoch": 0.44062222222222225,
      "grad_norm": 1.5755161046981812,
      "learning_rate": 2.7973333333333335e-05,
      "loss": 1.5144,
      "step": 4957
    },
    {
      "epoch": 0.4407111111111111,
      "grad_norm": 1.4745829105377197,
      "learning_rate": 2.796888888888889e-05,
      "loss": 1.3806,
      "step": 4958
    },
    {
      "epoch": 0.4408,
      "grad_norm": 1.6811788082122803,
      "learning_rate": 2.7964444444444442e-05,
      "loss": 1.5739,
      "step": 4959
    },
    {
      "epoch": 0.4408888888888889,
      "grad_norm": 1.7630003690719604,
      "learning_rate": 2.7960000000000003e-05,
      "loss": 1.6458,
      "step": 4960
    },
    {
      "epoch": 0.4409777777777778,
      "grad_norm": 1.3987410068511963,
      "learning_rate": 2.7955555555555558e-05,
      "loss": 1.6215,
      "step": 4961
    },
    {
      "epoch": 0.44106666666666666,
      "grad_norm": 1.4837039709091187,
      "learning_rate": 2.795111111111111e-05,
      "loss": 1.6693,
      "step": 4962
    },
    {
      "epoch": 0.4411555555555556,
      "grad_norm": 2.7462501525878906,
      "learning_rate": 2.7946666666666664e-05,
      "loss": 1.4714,
      "step": 4963
    },
    {
      "epoch": 0.44124444444444444,
      "grad_norm": 1.5336074829101562,
      "learning_rate": 2.7942222222222226e-05,
      "loss": 1.6436,
      "step": 4964
    },
    {
      "epoch": 0.44133333333333336,
      "grad_norm": 1.5765838623046875,
      "learning_rate": 2.793777777777778e-05,
      "loss": 1.6703,
      "step": 4965
    },
    {
      "epoch": 0.4414222222222222,
      "grad_norm": 1.6871715784072876,
      "learning_rate": 2.7933333333333332e-05,
      "loss": 1.7071,
      "step": 4966
    },
    {
      "epoch": 0.44151111111111113,
      "grad_norm": 1.6427191495895386,
      "learning_rate": 2.7928888888888887e-05,
      "loss": 1.8507,
      "step": 4967
    },
    {
      "epoch": 0.4416,
      "grad_norm": 1.7091370820999146,
      "learning_rate": 2.792444444444445e-05,
      "loss": 1.4158,
      "step": 4968
    },
    {
      "epoch": 0.4416888888888889,
      "grad_norm": 1.6000018119812012,
      "learning_rate": 2.792e-05,
      "loss": 1.6317,
      "step": 4969
    },
    {
      "epoch": 0.44177777777777777,
      "grad_norm": 1.7103749513626099,
      "learning_rate": 2.7915555555555555e-05,
      "loss": 1.7842,
      "step": 4970
    },
    {
      "epoch": 0.4418666666666667,
      "grad_norm": 1.400550127029419,
      "learning_rate": 2.791111111111111e-05,
      "loss": 1.3671,
      "step": 4971
    },
    {
      "epoch": 0.44195555555555555,
      "grad_norm": 1.8198093175888062,
      "learning_rate": 2.7906666666666668e-05,
      "loss": 1.6828,
      "step": 4972
    },
    {
      "epoch": 0.44204444444444446,
      "grad_norm": 2.3170244693756104,
      "learning_rate": 2.7902222222222223e-05,
      "loss": 1.8481,
      "step": 4973
    },
    {
      "epoch": 0.4421333333333333,
      "grad_norm": 1.6452428102493286,
      "learning_rate": 2.7897777777777778e-05,
      "loss": 1.5775,
      "step": 4974
    },
    {
      "epoch": 0.44222222222222224,
      "grad_norm": 1.8345435857772827,
      "learning_rate": 2.7893333333333333e-05,
      "loss": 1.5298,
      "step": 4975
    },
    {
      "epoch": 0.4423111111111111,
      "grad_norm": 1.5661205053329468,
      "learning_rate": 2.788888888888889e-05,
      "loss": 1.532,
      "step": 4976
    },
    {
      "epoch": 0.4424,
      "grad_norm": 1.8846492767333984,
      "learning_rate": 2.7884444444444446e-05,
      "loss": 1.6056,
      "step": 4977
    },
    {
      "epoch": 0.4424888888888889,
      "grad_norm": 1.5635699033737183,
      "learning_rate": 2.788e-05,
      "loss": 1.7151,
      "step": 4978
    },
    {
      "epoch": 0.4425777777777778,
      "grad_norm": 1.3594940900802612,
      "learning_rate": 2.7875555555555556e-05,
      "loss": 1.4437,
      "step": 4979
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 1.6033706665039062,
      "learning_rate": 2.7871111111111114e-05,
      "loss": 1.6689,
      "step": 4980
    },
    {
      "epoch": 0.44275555555555557,
      "grad_norm": 1.5445529222488403,
      "learning_rate": 2.786666666666667e-05,
      "loss": 1.6061,
      "step": 4981
    },
    {
      "epoch": 0.44284444444444443,
      "grad_norm": 1.9409685134887695,
      "learning_rate": 2.7862222222222223e-05,
      "loss": 1.7476,
      "step": 4982
    },
    {
      "epoch": 0.44293333333333335,
      "grad_norm": 1.8526597023010254,
      "learning_rate": 2.785777777777778e-05,
      "loss": 1.6066,
      "step": 4983
    },
    {
      "epoch": 0.4430222222222222,
      "grad_norm": 1.55483078956604,
      "learning_rate": 2.7853333333333337e-05,
      "loss": 1.5542,
      "step": 4984
    },
    {
      "epoch": 0.4431111111111111,
      "grad_norm": 1.5823112726211548,
      "learning_rate": 2.784888888888889e-05,
      "loss": 1.4991,
      "step": 4985
    },
    {
      "epoch": 0.4432,
      "grad_norm": 1.6970057487487793,
      "learning_rate": 2.7844444444444446e-05,
      "loss": 1.8988,
      "step": 4986
    },
    {
      "epoch": 0.4432888888888889,
      "grad_norm": 1.632272481918335,
      "learning_rate": 2.7839999999999998e-05,
      "loss": 1.4743,
      "step": 4987
    },
    {
      "epoch": 0.44337777777777776,
      "grad_norm": 1.633908987045288,
      "learning_rate": 2.783555555555556e-05,
      "loss": 1.8631,
      "step": 4988
    },
    {
      "epoch": 0.4434666666666667,
      "grad_norm": 1.7285815477371216,
      "learning_rate": 2.7831111111111114e-05,
      "loss": 1.7313,
      "step": 4989
    },
    {
      "epoch": 0.44355555555555554,
      "grad_norm": 1.544670820236206,
      "learning_rate": 2.782666666666667e-05,
      "loss": 1.7692,
      "step": 4990
    },
    {
      "epoch": 0.44364444444444445,
      "grad_norm": 1.8902491331100464,
      "learning_rate": 2.782222222222222e-05,
      "loss": 1.6242,
      "step": 4991
    },
    {
      "epoch": 0.4437333333333333,
      "grad_norm": 1.6094239950180054,
      "learning_rate": 2.7817777777777782e-05,
      "loss": 1.5653,
      "step": 4992
    },
    {
      "epoch": 0.44382222222222223,
      "grad_norm": 1.6091523170471191,
      "learning_rate": 2.7813333333333337e-05,
      "loss": 1.5419,
      "step": 4993
    },
    {
      "epoch": 0.4439111111111111,
      "grad_norm": 1.3060259819030762,
      "learning_rate": 2.780888888888889e-05,
      "loss": 1.4082,
      "step": 4994
    },
    {
      "epoch": 0.444,
      "grad_norm": 1.439150094985962,
      "learning_rate": 2.7804444444444443e-05,
      "loss": 1.4697,
      "step": 4995
    },
    {
      "epoch": 0.44408888888888887,
      "grad_norm": 1.7055110931396484,
      "learning_rate": 2.7800000000000005e-05,
      "loss": 1.6835,
      "step": 4996
    },
    {
      "epoch": 0.4441777777777778,
      "grad_norm": 1.4315423965454102,
      "learning_rate": 2.7795555555555556e-05,
      "loss": 1.4979,
      "step": 4997
    },
    {
      "epoch": 0.44426666666666664,
      "grad_norm": 2.0598762035369873,
      "learning_rate": 2.779111111111111e-05,
      "loss": 1.7515,
      "step": 4998
    },
    {
      "epoch": 0.44435555555555556,
      "grad_norm": 1.9908701181411743,
      "learning_rate": 2.7786666666666666e-05,
      "loss": 1.6603,
      "step": 4999
    },
    {
      "epoch": 0.4444444444444444,
      "grad_norm": 1.7958180904388428,
      "learning_rate": 2.7782222222222228e-05,
      "loss": 1.5298,
      "step": 5000
    },
    {
      "epoch": 0.44453333333333334,
      "grad_norm": 1.5134931802749634,
      "learning_rate": 2.777777777777778e-05,
      "loss": 1.6887,
      "step": 5001
    },
    {
      "epoch": 0.4446222222222222,
      "grad_norm": 1.5039525032043457,
      "learning_rate": 2.7773333333333334e-05,
      "loss": 1.758,
      "step": 5002
    },
    {
      "epoch": 0.4447111111111111,
      "grad_norm": 1.510402798652649,
      "learning_rate": 2.776888888888889e-05,
      "loss": 1.4146,
      "step": 5003
    },
    {
      "epoch": 0.4448,
      "grad_norm": 1.6397457122802734,
      "learning_rate": 2.7764444444444447e-05,
      "loss": 1.5032,
      "step": 5004
    },
    {
      "epoch": 0.4448888888888889,
      "grad_norm": 1.5099841356277466,
      "learning_rate": 2.7760000000000002e-05,
      "loss": 1.5739,
      "step": 5005
    },
    {
      "epoch": 0.4449777777777778,
      "grad_norm": 1.4416471719741821,
      "learning_rate": 2.7755555555555557e-05,
      "loss": 1.7111,
      "step": 5006
    },
    {
      "epoch": 0.44506666666666667,
      "grad_norm": 1.553233027458191,
      "learning_rate": 2.775111111111111e-05,
      "loss": 1.6773,
      "step": 5007
    },
    {
      "epoch": 0.4451555555555556,
      "grad_norm": 1.4869389533996582,
      "learning_rate": 2.7746666666666666e-05,
      "loss": 1.526,
      "step": 5008
    },
    {
      "epoch": 0.44524444444444444,
      "grad_norm": 2.1534764766693115,
      "learning_rate": 2.7742222222222225e-05,
      "loss": 1.5673,
      "step": 5009
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 1.3096837997436523,
      "learning_rate": 2.773777777777778e-05,
      "loss": 1.546,
      "step": 5010
    },
    {
      "epoch": 0.4454222222222222,
      "grad_norm": 2.207439661026001,
      "learning_rate": 2.7733333333333334e-05,
      "loss": 1.7748,
      "step": 5011
    },
    {
      "epoch": 0.44551111111111114,
      "grad_norm": 1.5663418769836426,
      "learning_rate": 2.772888888888889e-05,
      "loss": 1.6171,
      "step": 5012
    },
    {
      "epoch": 0.4456,
      "grad_norm": 1.970968246459961,
      "learning_rate": 2.7724444444444447e-05,
      "loss": 1.5576,
      "step": 5013
    },
    {
      "epoch": 0.4456888888888889,
      "grad_norm": 1.5114233493804932,
      "learning_rate": 2.7720000000000002e-05,
      "loss": 1.4639,
      "step": 5014
    },
    {
      "epoch": 0.4457777777777778,
      "grad_norm": 1.5195316076278687,
      "learning_rate": 2.7715555555555557e-05,
      "loss": 1.4112,
      "step": 5015
    },
    {
      "epoch": 0.4458666666666667,
      "grad_norm": 1.4420238733291626,
      "learning_rate": 2.771111111111111e-05,
      "loss": 1.624,
      "step": 5016
    },
    {
      "epoch": 0.44595555555555555,
      "grad_norm": 1.4825406074523926,
      "learning_rate": 2.770666666666667e-05,
      "loss": 1.5504,
      "step": 5017
    },
    {
      "epoch": 0.44604444444444447,
      "grad_norm": 1.6354018449783325,
      "learning_rate": 2.7702222222222225e-05,
      "loss": 1.8236,
      "step": 5018
    },
    {
      "epoch": 0.4461333333333333,
      "grad_norm": 1.663601279258728,
      "learning_rate": 2.7697777777777776e-05,
      "loss": 1.5378,
      "step": 5019
    },
    {
      "epoch": 0.44622222222222224,
      "grad_norm": 1.5606074333190918,
      "learning_rate": 2.769333333333333e-05,
      "loss": 1.4455,
      "step": 5020
    },
    {
      "epoch": 0.4463111111111111,
      "grad_norm": 1.5707192420959473,
      "learning_rate": 2.7688888888888893e-05,
      "loss": 1.5621,
      "step": 5021
    },
    {
      "epoch": 0.4464,
      "grad_norm": 1.5493271350860596,
      "learning_rate": 2.7684444444444448e-05,
      "loss": 1.4438,
      "step": 5022
    },
    {
      "epoch": 0.4464888888888889,
      "grad_norm": 1.5131244659423828,
      "learning_rate": 2.768e-05,
      "loss": 1.5884,
      "step": 5023
    },
    {
      "epoch": 0.4465777777777778,
      "grad_norm": 1.4966012239456177,
      "learning_rate": 2.7675555555555554e-05,
      "loss": 1.7126,
      "step": 5024
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 1.7696270942687988,
      "learning_rate": 2.7671111111111116e-05,
      "loss": 1.5447,
      "step": 5025
    },
    {
      "epoch": 0.4467555555555556,
      "grad_norm": 1.8152772188186646,
      "learning_rate": 2.7666666666666667e-05,
      "loss": 1.3225,
      "step": 5026
    },
    {
      "epoch": 0.44684444444444443,
      "grad_norm": 3.1702001094818115,
      "learning_rate": 2.7662222222222222e-05,
      "loss": 1.7359,
      "step": 5027
    },
    {
      "epoch": 0.44693333333333335,
      "grad_norm": 1.7775872945785522,
      "learning_rate": 2.7657777777777777e-05,
      "loss": 1.7243,
      "step": 5028
    },
    {
      "epoch": 0.4470222222222222,
      "grad_norm": 1.5383888483047485,
      "learning_rate": 2.7653333333333335e-05,
      "loss": 1.6853,
      "step": 5029
    },
    {
      "epoch": 0.4471111111111111,
      "grad_norm": 1.4237061738967896,
      "learning_rate": 2.764888888888889e-05,
      "loss": 1.2871,
      "step": 5030
    },
    {
      "epoch": 0.4472,
      "grad_norm": 1.7969611883163452,
      "learning_rate": 2.7644444444444445e-05,
      "loss": 1.6865,
      "step": 5031
    },
    {
      "epoch": 0.4472888888888889,
      "grad_norm": 1.4395153522491455,
      "learning_rate": 2.764e-05,
      "loss": 1.4725,
      "step": 5032
    },
    {
      "epoch": 0.44737777777777776,
      "grad_norm": 1.7022970914840698,
      "learning_rate": 2.7635555555555558e-05,
      "loss": 1.4746,
      "step": 5033
    },
    {
      "epoch": 0.4474666666666667,
      "grad_norm": 1.8343852758407593,
      "learning_rate": 2.7631111111111113e-05,
      "loss": 1.8415,
      "step": 5034
    },
    {
      "epoch": 0.44755555555555554,
      "grad_norm": 1.7869443893432617,
      "learning_rate": 2.7626666666666668e-05,
      "loss": 1.5425,
      "step": 5035
    },
    {
      "epoch": 0.44764444444444446,
      "grad_norm": 1.4330865144729614,
      "learning_rate": 2.7622222222222222e-05,
      "loss": 1.4607,
      "step": 5036
    },
    {
      "epoch": 0.4477333333333333,
      "grad_norm": 1.8211148977279663,
      "learning_rate": 2.761777777777778e-05,
      "loss": 1.5817,
      "step": 5037
    },
    {
      "epoch": 0.44782222222222223,
      "grad_norm": 1.4895672798156738,
      "learning_rate": 2.7613333333333335e-05,
      "loss": 1.5138,
      "step": 5038
    },
    {
      "epoch": 0.4479111111111111,
      "grad_norm": 1.5515527725219727,
      "learning_rate": 2.760888888888889e-05,
      "loss": 1.6048,
      "step": 5039
    },
    {
      "epoch": 0.448,
      "grad_norm": 2.0031638145446777,
      "learning_rate": 2.7604444444444445e-05,
      "loss": 1.7444,
      "step": 5040
    },
    {
      "epoch": 0.44808888888888887,
      "grad_norm": 1.9172520637512207,
      "learning_rate": 2.7600000000000003e-05,
      "loss": 1.7677,
      "step": 5041
    },
    {
      "epoch": 0.4481777777777778,
      "grad_norm": 1.7801843881607056,
      "learning_rate": 2.7595555555555558e-05,
      "loss": 1.6993,
      "step": 5042
    },
    {
      "epoch": 0.44826666666666665,
      "grad_norm": 1.605463981628418,
      "learning_rate": 2.7591111111111113e-05,
      "loss": 1.481,
      "step": 5043
    },
    {
      "epoch": 0.44835555555555556,
      "grad_norm": 1.4612561464309692,
      "learning_rate": 2.7586666666666665e-05,
      "loss": 1.5256,
      "step": 5044
    },
    {
      "epoch": 0.4484444444444444,
      "grad_norm": 1.7207324504852295,
      "learning_rate": 2.7582222222222226e-05,
      "loss": 1.8063,
      "step": 5045
    },
    {
      "epoch": 0.44853333333333334,
      "grad_norm": 1.6247680187225342,
      "learning_rate": 2.757777777777778e-05,
      "loss": 1.5694,
      "step": 5046
    },
    {
      "epoch": 0.4486222222222222,
      "grad_norm": 1.5252364873886108,
      "learning_rate": 2.7573333333333336e-05,
      "loss": 1.5526,
      "step": 5047
    },
    {
      "epoch": 0.4487111111111111,
      "grad_norm": 1.4786001443862915,
      "learning_rate": 2.7568888888888887e-05,
      "loss": 1.4337,
      "step": 5048
    },
    {
      "epoch": 0.4488,
      "grad_norm": 1.8433449268341064,
      "learning_rate": 2.756444444444445e-05,
      "loss": 1.6641,
      "step": 5049
    },
    {
      "epoch": 0.4488888888888889,
      "grad_norm": 1.5336426496505737,
      "learning_rate": 2.7560000000000004e-05,
      "loss": 1.5933,
      "step": 5050
    },
    {
      "epoch": 0.44897777777777775,
      "grad_norm": 1.638725757598877,
      "learning_rate": 2.7555555555555555e-05,
      "loss": 1.6417,
      "step": 5051
    },
    {
      "epoch": 0.44906666666666667,
      "grad_norm": 1.604038953781128,
      "learning_rate": 2.755111111111111e-05,
      "loss": 1.4504,
      "step": 5052
    },
    {
      "epoch": 0.44915555555555553,
      "grad_norm": 1.507951021194458,
      "learning_rate": 2.7546666666666672e-05,
      "loss": 1.4465,
      "step": 5053
    },
    {
      "epoch": 0.44924444444444445,
      "grad_norm": 1.7834378480911255,
      "learning_rate": 2.7542222222222223e-05,
      "loss": 1.6898,
      "step": 5054
    },
    {
      "epoch": 0.4493333333333333,
      "grad_norm": 2.8083102703094482,
      "learning_rate": 2.7537777777777778e-05,
      "loss": 2.0631,
      "step": 5055
    },
    {
      "epoch": 0.4494222222222222,
      "grad_norm": 1.756283164024353,
      "learning_rate": 2.7533333333333333e-05,
      "loss": 1.5661,
      "step": 5056
    },
    {
      "epoch": 0.4495111111111111,
      "grad_norm": 1.4309519529342651,
      "learning_rate": 2.7528888888888894e-05,
      "loss": 1.6048,
      "step": 5057
    },
    {
      "epoch": 0.4496,
      "grad_norm": 3.348557472229004,
      "learning_rate": 2.7524444444444446e-05,
      "loss": 1.8276,
      "step": 5058
    },
    {
      "epoch": 0.4496888888888889,
      "grad_norm": 1.573578119277954,
      "learning_rate": 2.752e-05,
      "loss": 1.7309,
      "step": 5059
    },
    {
      "epoch": 0.4497777777777778,
      "grad_norm": 1.4488672018051147,
      "learning_rate": 2.7515555555555556e-05,
      "loss": 1.5883,
      "step": 5060
    },
    {
      "epoch": 0.4498666666666667,
      "grad_norm": 1.5002448558807373,
      "learning_rate": 2.751111111111111e-05,
      "loss": 1.5576,
      "step": 5061
    },
    {
      "epoch": 0.44995555555555555,
      "grad_norm": 1.488681435585022,
      "learning_rate": 2.750666666666667e-05,
      "loss": 1.5532,
      "step": 5062
    },
    {
      "epoch": 0.45004444444444447,
      "grad_norm": 1.4638547897338867,
      "learning_rate": 2.7502222222222224e-05,
      "loss": 1.3661,
      "step": 5063
    },
    {
      "epoch": 0.45013333333333333,
      "grad_norm": 1.5884062051773071,
      "learning_rate": 2.749777777777778e-05,
      "loss": 1.7575,
      "step": 5064
    },
    {
      "epoch": 0.45022222222222225,
      "grad_norm": 1.8571802377700806,
      "learning_rate": 2.7493333333333333e-05,
      "loss": 1.7195,
      "step": 5065
    },
    {
      "epoch": 0.4503111111111111,
      "grad_norm": 1.5028939247131348,
      "learning_rate": 2.748888888888889e-05,
      "loss": 1.3496,
      "step": 5066
    },
    {
      "epoch": 0.4504,
      "grad_norm": 1.4862569570541382,
      "learning_rate": 2.7484444444444446e-05,
      "loss": 1.6147,
      "step": 5067
    },
    {
      "epoch": 0.4504888888888889,
      "grad_norm": 1.5992913246154785,
      "learning_rate": 2.748e-05,
      "loss": 1.6592,
      "step": 5068
    },
    {
      "epoch": 0.4505777777777778,
      "grad_norm": 2.5317223072052,
      "learning_rate": 2.7475555555555556e-05,
      "loss": 1.7471,
      "step": 5069
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 1.3029290437698364,
      "learning_rate": 2.7471111111111114e-05,
      "loss": 1.3865,
      "step": 5070
    },
    {
      "epoch": 0.4507555555555556,
      "grad_norm": 1.957471251487732,
      "learning_rate": 2.746666666666667e-05,
      "loss": 1.4567,
      "step": 5071
    },
    {
      "epoch": 0.45084444444444444,
      "grad_norm": 1.481641173362732,
      "learning_rate": 2.7462222222222224e-05,
      "loss": 1.5452,
      "step": 5072
    },
    {
      "epoch": 0.45093333333333335,
      "grad_norm": 1.4153777360916138,
      "learning_rate": 2.7457777777777775e-05,
      "loss": 1.784,
      "step": 5073
    },
    {
      "epoch": 0.4510222222222222,
      "grad_norm": 1.7283583879470825,
      "learning_rate": 2.7453333333333337e-05,
      "loss": 1.593,
      "step": 5074
    },
    {
      "epoch": 0.45111111111111113,
      "grad_norm": 1.6100038290023804,
      "learning_rate": 2.7448888888888892e-05,
      "loss": 1.5796,
      "step": 5075
    },
    {
      "epoch": 0.4512,
      "grad_norm": 1.46711003780365,
      "learning_rate": 2.7444444444444443e-05,
      "loss": 1.5043,
      "step": 5076
    },
    {
      "epoch": 0.4512888888888889,
      "grad_norm": 2.368485689163208,
      "learning_rate": 2.7439999999999998e-05,
      "loss": 1.6992,
      "step": 5077
    },
    {
      "epoch": 0.45137777777777777,
      "grad_norm": 1.6540578603744507,
      "learning_rate": 2.743555555555556e-05,
      "loss": 1.5601,
      "step": 5078
    },
    {
      "epoch": 0.4514666666666667,
      "grad_norm": 1.4768755435943604,
      "learning_rate": 2.7431111111111115e-05,
      "loss": 1.5775,
      "step": 5079
    },
    {
      "epoch": 0.45155555555555554,
      "grad_norm": 1.7113137245178223,
      "learning_rate": 2.7426666666666666e-05,
      "loss": 1.728,
      "step": 5080
    },
    {
      "epoch": 0.45164444444444446,
      "grad_norm": 1.580989956855774,
      "learning_rate": 2.742222222222222e-05,
      "loss": 1.7409,
      "step": 5081
    },
    {
      "epoch": 0.4517333333333333,
      "grad_norm": 2.1554667949676514,
      "learning_rate": 2.7417777777777783e-05,
      "loss": 1.5878,
      "step": 5082
    },
    {
      "epoch": 0.45182222222222224,
      "grad_norm": 1.9711651802062988,
      "learning_rate": 2.7413333333333334e-05,
      "loss": 1.4615,
      "step": 5083
    },
    {
      "epoch": 0.4519111111111111,
      "grad_norm": 1.9633513689041138,
      "learning_rate": 2.740888888888889e-05,
      "loss": 1.4345,
      "step": 5084
    },
    {
      "epoch": 0.452,
      "grad_norm": 2.3180816173553467,
      "learning_rate": 2.7404444444444444e-05,
      "loss": 1.8677,
      "step": 5085
    },
    {
      "epoch": 0.4520888888888889,
      "grad_norm": 1.500258445739746,
      "learning_rate": 2.7400000000000002e-05,
      "loss": 1.5117,
      "step": 5086
    },
    {
      "epoch": 0.4521777777777778,
      "grad_norm": 1.669796347618103,
      "learning_rate": 2.7395555555555557e-05,
      "loss": 1.8053,
      "step": 5087
    },
    {
      "epoch": 0.45226666666666665,
      "grad_norm": 1.4716123342514038,
      "learning_rate": 2.739111111111111e-05,
      "loss": 1.4833,
      "step": 5088
    },
    {
      "epoch": 0.45235555555555557,
      "grad_norm": 1.6022220849990845,
      "learning_rate": 2.7386666666666666e-05,
      "loss": 1.8243,
      "step": 5089
    },
    {
      "epoch": 0.4524444444444444,
      "grad_norm": 1.913974404335022,
      "learning_rate": 2.7382222222222225e-05,
      "loss": 1.6061,
      "step": 5090
    },
    {
      "epoch": 0.45253333333333334,
      "grad_norm": 1.678041696548462,
      "learning_rate": 2.737777777777778e-05,
      "loss": 1.5085,
      "step": 5091
    },
    {
      "epoch": 0.4526222222222222,
      "grad_norm": 1.9256058931350708,
      "learning_rate": 2.7373333333333334e-05,
      "loss": 1.5026,
      "step": 5092
    },
    {
      "epoch": 0.4527111111111111,
      "grad_norm": 2.2253246307373047,
      "learning_rate": 2.736888888888889e-05,
      "loss": 1.6395,
      "step": 5093
    },
    {
      "epoch": 0.4528,
      "grad_norm": 1.6897608041763306,
      "learning_rate": 2.7364444444444447e-05,
      "loss": 1.7838,
      "step": 5094
    },
    {
      "epoch": 0.4528888888888889,
      "grad_norm": 2.314972400665283,
      "learning_rate": 2.7360000000000002e-05,
      "loss": 1.6171,
      "step": 5095
    },
    {
      "epoch": 0.45297777777777776,
      "grad_norm": 1.5885037183761597,
      "learning_rate": 2.7355555555555557e-05,
      "loss": 1.4364,
      "step": 5096
    },
    {
      "epoch": 0.4530666666666667,
      "grad_norm": 1.6146690845489502,
      "learning_rate": 2.7351111111111112e-05,
      "loss": 1.7276,
      "step": 5097
    },
    {
      "epoch": 0.45315555555555553,
      "grad_norm": 1.7264080047607422,
      "learning_rate": 2.734666666666667e-05,
      "loss": 1.6297,
      "step": 5098
    },
    {
      "epoch": 0.45324444444444445,
      "grad_norm": 1.5934098958969116,
      "learning_rate": 2.7342222222222225e-05,
      "loss": 1.4792,
      "step": 5099
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.543436050415039,
      "learning_rate": 2.733777777777778e-05,
      "loss": 1.544,
      "step": 5100
    },
    {
      "epoch": 0.4534222222222222,
      "grad_norm": 1.5274099111557007,
      "learning_rate": 2.733333333333333e-05,
      "loss": 1.7881,
      "step": 5101
    },
    {
      "epoch": 0.4535111111111111,
      "grad_norm": 2.0538182258605957,
      "learning_rate": 2.7328888888888893e-05,
      "loss": 1.8564,
      "step": 5102
    },
    {
      "epoch": 0.4536,
      "grad_norm": 1.5922404527664185,
      "learning_rate": 2.7324444444444448e-05,
      "loss": 1.5876,
      "step": 5103
    },
    {
      "epoch": 0.45368888888888886,
      "grad_norm": 2.4161376953125,
      "learning_rate": 2.7320000000000003e-05,
      "loss": 1.7721,
      "step": 5104
    },
    {
      "epoch": 0.4537777777777778,
      "grad_norm": 1.565672755241394,
      "learning_rate": 2.7315555555555554e-05,
      "loss": 1.7292,
      "step": 5105
    },
    {
      "epoch": 0.45386666666666664,
      "grad_norm": 1.965983271598816,
      "learning_rate": 2.7311111111111116e-05,
      "loss": 1.6404,
      "step": 5106
    },
    {
      "epoch": 0.45395555555555556,
      "grad_norm": 1.4775534868240356,
      "learning_rate": 2.730666666666667e-05,
      "loss": 1.7542,
      "step": 5107
    },
    {
      "epoch": 0.4540444444444444,
      "grad_norm": 1.8172566890716553,
      "learning_rate": 2.7302222222222222e-05,
      "loss": 1.6659,
      "step": 5108
    },
    {
      "epoch": 0.45413333333333333,
      "grad_norm": 1.5563039779663086,
      "learning_rate": 2.7297777777777777e-05,
      "loss": 1.6907,
      "step": 5109
    },
    {
      "epoch": 0.45422222222222225,
      "grad_norm": 1.4794758558273315,
      "learning_rate": 2.7293333333333332e-05,
      "loss": 1.6396,
      "step": 5110
    },
    {
      "epoch": 0.4543111111111111,
      "grad_norm": 1.520530104637146,
      "learning_rate": 2.728888888888889e-05,
      "loss": 1.7309,
      "step": 5111
    },
    {
      "epoch": 0.4544,
      "grad_norm": 2.1868298053741455,
      "learning_rate": 2.7284444444444445e-05,
      "loss": 1.8361,
      "step": 5112
    },
    {
      "epoch": 0.4544888888888889,
      "grad_norm": 1.5135643482208252,
      "learning_rate": 2.728e-05,
      "loss": 1.6065,
      "step": 5113
    },
    {
      "epoch": 0.4545777777777778,
      "grad_norm": 1.2949867248535156,
      "learning_rate": 2.7275555555555555e-05,
      "loss": 1.4824,
      "step": 5114
    },
    {
      "epoch": 0.45466666666666666,
      "grad_norm": 1.4076871871948242,
      "learning_rate": 2.7271111111111113e-05,
      "loss": 1.5559,
      "step": 5115
    },
    {
      "epoch": 0.4547555555555556,
      "grad_norm": 1.5216186046600342,
      "learning_rate": 2.7266666666666668e-05,
      "loss": 1.7003,
      "step": 5116
    },
    {
      "epoch": 0.45484444444444444,
      "grad_norm": 1.600341796875,
      "learning_rate": 2.7262222222222222e-05,
      "loss": 1.6781,
      "step": 5117
    },
    {
      "epoch": 0.45493333333333336,
      "grad_norm": 1.5807631015777588,
      "learning_rate": 2.7257777777777777e-05,
      "loss": 1.5792,
      "step": 5118
    },
    {
      "epoch": 0.4550222222222222,
      "grad_norm": 1.5680296421051025,
      "learning_rate": 2.7253333333333336e-05,
      "loss": 1.5344,
      "step": 5119
    },
    {
      "epoch": 0.45511111111111113,
      "grad_norm": 1.545417070388794,
      "learning_rate": 2.724888888888889e-05,
      "loss": 1.7003,
      "step": 5120
    },
    {
      "epoch": 0.4552,
      "grad_norm": 1.8070710897445679,
      "learning_rate": 2.7244444444444445e-05,
      "loss": 1.5103,
      "step": 5121
    },
    {
      "epoch": 0.4552888888888889,
      "grad_norm": 1.5455962419509888,
      "learning_rate": 2.724e-05,
      "loss": 1.5293,
      "step": 5122
    },
    {
      "epoch": 0.45537777777777777,
      "grad_norm": 2.4110894203186035,
      "learning_rate": 2.723555555555556e-05,
      "loss": 1.6674,
      "step": 5123
    },
    {
      "epoch": 0.4554666666666667,
      "grad_norm": 1.4036321640014648,
      "learning_rate": 2.7231111111111113e-05,
      "loss": 1.6401,
      "step": 5124
    },
    {
      "epoch": 0.45555555555555555,
      "grad_norm": 1.4698117971420288,
      "learning_rate": 2.7226666666666668e-05,
      "loss": 1.5139,
      "step": 5125
    },
    {
      "epoch": 0.45564444444444446,
      "grad_norm": 1.6456667184829712,
      "learning_rate": 2.7222222222222223e-05,
      "loss": 1.6061,
      "step": 5126
    },
    {
      "epoch": 0.4557333333333333,
      "grad_norm": 1.4983819723129272,
      "learning_rate": 2.721777777777778e-05,
      "loss": 1.6975,
      "step": 5127
    },
    {
      "epoch": 0.45582222222222224,
      "grad_norm": 1.6111053228378296,
      "learning_rate": 2.7213333333333336e-05,
      "loss": 1.668,
      "step": 5128
    },
    {
      "epoch": 0.4559111111111111,
      "grad_norm": 1.8362762928009033,
      "learning_rate": 2.720888888888889e-05,
      "loss": 1.5955,
      "step": 5129
    },
    {
      "epoch": 0.456,
      "grad_norm": 1.4063901901245117,
      "learning_rate": 2.7204444444444442e-05,
      "loss": 1.3261,
      "step": 5130
    },
    {
      "epoch": 0.4560888888888889,
      "grad_norm": 1.7348562479019165,
      "learning_rate": 2.7200000000000004e-05,
      "loss": 1.6614,
      "step": 5131
    },
    {
      "epoch": 0.4561777777777778,
      "grad_norm": 1.4415864944458008,
      "learning_rate": 2.719555555555556e-05,
      "loss": 1.6712,
      "step": 5132
    },
    {
      "epoch": 0.45626666666666665,
      "grad_norm": 1.5087803602218628,
      "learning_rate": 2.719111111111111e-05,
      "loss": 1.7682,
      "step": 5133
    },
    {
      "epoch": 0.45635555555555557,
      "grad_norm": 1.6755629777908325,
      "learning_rate": 2.7186666666666665e-05,
      "loss": 1.6928,
      "step": 5134
    },
    {
      "epoch": 0.45644444444444443,
      "grad_norm": 1.677384853363037,
      "learning_rate": 2.7182222222222227e-05,
      "loss": 1.6892,
      "step": 5135
    },
    {
      "epoch": 0.45653333333333335,
      "grad_norm": 1.879032015800476,
      "learning_rate": 2.717777777777778e-05,
      "loss": 1.6393,
      "step": 5136
    },
    {
      "epoch": 0.4566222222222222,
      "grad_norm": 1.9204132556915283,
      "learning_rate": 2.7173333333333333e-05,
      "loss": 1.6622,
      "step": 5137
    },
    {
      "epoch": 0.4567111111111111,
      "grad_norm": 1.5625053644180298,
      "learning_rate": 2.7168888888888888e-05,
      "loss": 1.6942,
      "step": 5138
    },
    {
      "epoch": 0.4568,
      "grad_norm": 1.4925602674484253,
      "learning_rate": 2.716444444444445e-05,
      "loss": 1.5203,
      "step": 5139
    },
    {
      "epoch": 0.4568888888888889,
      "grad_norm": 1.64340078830719,
      "learning_rate": 2.716e-05,
      "loss": 1.7079,
      "step": 5140
    },
    {
      "epoch": 0.45697777777777776,
      "grad_norm": 1.5945006608963013,
      "learning_rate": 2.7155555555555556e-05,
      "loss": 1.409,
      "step": 5141
    },
    {
      "epoch": 0.4570666666666667,
      "grad_norm": 1.451367735862732,
      "learning_rate": 2.715111111111111e-05,
      "loss": 1.5197,
      "step": 5142
    },
    {
      "epoch": 0.45715555555555554,
      "grad_norm": 1.5541677474975586,
      "learning_rate": 2.714666666666667e-05,
      "loss": 1.4834,
      "step": 5143
    },
    {
      "epoch": 0.45724444444444445,
      "grad_norm": 1.5437086820602417,
      "learning_rate": 2.7142222222222224e-05,
      "loss": 1.6142,
      "step": 5144
    },
    {
      "epoch": 0.4573333333333333,
      "grad_norm": 1.666507601737976,
      "learning_rate": 2.713777777777778e-05,
      "loss": 1.8113,
      "step": 5145
    },
    {
      "epoch": 0.45742222222222223,
      "grad_norm": 1.606003999710083,
      "learning_rate": 2.7133333333333333e-05,
      "loss": 1.634,
      "step": 5146
    },
    {
      "epoch": 0.4575111111111111,
      "grad_norm": 1.7314419746398926,
      "learning_rate": 2.712888888888889e-05,
      "loss": 1.7295,
      "step": 5147
    },
    {
      "epoch": 0.4576,
      "grad_norm": 1.4935145378112793,
      "learning_rate": 2.7124444444444446e-05,
      "loss": 1.5442,
      "step": 5148
    },
    {
      "epoch": 0.45768888888888887,
      "grad_norm": 1.6512032747268677,
      "learning_rate": 2.712e-05,
      "loss": 1.6781,
      "step": 5149
    },
    {
      "epoch": 0.4577777777777778,
      "grad_norm": 1.433402180671692,
      "learning_rate": 2.7115555555555556e-05,
      "loss": 1.3853,
      "step": 5150
    },
    {
      "epoch": 0.45786666666666664,
      "grad_norm": 1.4580957889556885,
      "learning_rate": 2.7111111111111114e-05,
      "loss": 1.6524,
      "step": 5151
    },
    {
      "epoch": 0.45795555555555556,
      "grad_norm": 1.8541263341903687,
      "learning_rate": 2.710666666666667e-05,
      "loss": 1.4809,
      "step": 5152
    },
    {
      "epoch": 0.4580444444444444,
      "grad_norm": 1.6752402782440186,
      "learning_rate": 2.7102222222222224e-05,
      "loss": 1.547,
      "step": 5153
    },
    {
      "epoch": 0.45813333333333334,
      "grad_norm": 2.0541040897369385,
      "learning_rate": 2.709777777777778e-05,
      "loss": 1.9663,
      "step": 5154
    },
    {
      "epoch": 0.4582222222222222,
      "grad_norm": 1.8458973169326782,
      "learning_rate": 2.7093333333333337e-05,
      "loss": 1.6427,
      "step": 5155
    },
    {
      "epoch": 0.4583111111111111,
      "grad_norm": 1.5689448118209839,
      "learning_rate": 2.7088888888888892e-05,
      "loss": 1.6224,
      "step": 5156
    },
    {
      "epoch": 0.4584,
      "grad_norm": 1.538235068321228,
      "learning_rate": 2.7084444444444447e-05,
      "loss": 1.6582,
      "step": 5157
    },
    {
      "epoch": 0.4584888888888889,
      "grad_norm": 2.301755428314209,
      "learning_rate": 2.7079999999999998e-05,
      "loss": 1.6905,
      "step": 5158
    },
    {
      "epoch": 0.45857777777777775,
      "grad_norm": 1.5473462343215942,
      "learning_rate": 2.707555555555556e-05,
      "loss": 1.6129,
      "step": 5159
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 1.6719715595245361,
      "learning_rate": 2.7071111111111115e-05,
      "loss": 1.6441,
      "step": 5160
    },
    {
      "epoch": 0.4587555555555556,
      "grad_norm": 1.591011881828308,
      "learning_rate": 2.706666666666667e-05,
      "loss": 1.5369,
      "step": 5161
    },
    {
      "epoch": 0.45884444444444444,
      "grad_norm": 1.9600427150726318,
      "learning_rate": 2.706222222222222e-05,
      "loss": 1.6291,
      "step": 5162
    },
    {
      "epoch": 0.45893333333333336,
      "grad_norm": 1.9626308679580688,
      "learning_rate": 2.7057777777777776e-05,
      "loss": 1.7248,
      "step": 5163
    },
    {
      "epoch": 0.4590222222222222,
      "grad_norm": 1.7324004173278809,
      "learning_rate": 2.7053333333333337e-05,
      "loss": 1.5074,
      "step": 5164
    },
    {
      "epoch": 0.45911111111111114,
      "grad_norm": 1.5532068014144897,
      "learning_rate": 2.704888888888889e-05,
      "loss": 1.2841,
      "step": 5165
    },
    {
      "epoch": 0.4592,
      "grad_norm": 1.6533125638961792,
      "learning_rate": 2.7044444444444444e-05,
      "loss": 1.776,
      "step": 5166
    },
    {
      "epoch": 0.4592888888888889,
      "grad_norm": 1.4903953075408936,
      "learning_rate": 2.704e-05,
      "loss": 1.6041,
      "step": 5167
    },
    {
      "epoch": 0.4593777777777778,
      "grad_norm": 1.984304428100586,
      "learning_rate": 2.7035555555555557e-05,
      "loss": 1.6628,
      "step": 5168
    },
    {
      "epoch": 0.4594666666666667,
      "grad_norm": 1.9954357147216797,
      "learning_rate": 2.703111111111111e-05,
      "loss": 1.5012,
      "step": 5169
    },
    {
      "epoch": 0.45955555555555555,
      "grad_norm": 1.41817045211792,
      "learning_rate": 2.7026666666666667e-05,
      "loss": 1.5719,
      "step": 5170
    },
    {
      "epoch": 0.45964444444444447,
      "grad_norm": 1.416796088218689,
      "learning_rate": 2.702222222222222e-05,
      "loss": 1.532,
      "step": 5171
    },
    {
      "epoch": 0.4597333333333333,
      "grad_norm": 1.6036878824234009,
      "learning_rate": 2.701777777777778e-05,
      "loss": 1.4433,
      "step": 5172
    },
    {
      "epoch": 0.45982222222222224,
      "grad_norm": 1.4754576683044434,
      "learning_rate": 2.7013333333333334e-05,
      "loss": 1.7352,
      "step": 5173
    },
    {
      "epoch": 0.4599111111111111,
      "grad_norm": 1.5152710676193237,
      "learning_rate": 2.700888888888889e-05,
      "loss": 1.4916,
      "step": 5174
    },
    {
      "epoch": 0.46,
      "grad_norm": 1.641068696975708,
      "learning_rate": 2.7004444444444444e-05,
      "loss": 1.6875,
      "step": 5175
    },
    {
      "epoch": 0.4600888888888889,
      "grad_norm": 1.4236195087432861,
      "learning_rate": 2.7000000000000002e-05,
      "loss": 1.3559,
      "step": 5176
    },
    {
      "epoch": 0.4601777777777778,
      "grad_norm": 1.6399718523025513,
      "learning_rate": 2.6995555555555557e-05,
      "loss": 1.486,
      "step": 5177
    },
    {
      "epoch": 0.46026666666666666,
      "grad_norm": 1.6820664405822754,
      "learning_rate": 2.6991111111111112e-05,
      "loss": 1.5964,
      "step": 5178
    },
    {
      "epoch": 0.4603555555555556,
      "grad_norm": 2.0718560218811035,
      "learning_rate": 2.6986666666666667e-05,
      "loss": 1.9205,
      "step": 5179
    },
    {
      "epoch": 0.46044444444444443,
      "grad_norm": 1.3995853662490845,
      "learning_rate": 2.6982222222222225e-05,
      "loss": 1.5256,
      "step": 5180
    },
    {
      "epoch": 0.46053333333333335,
      "grad_norm": 1.6591682434082031,
      "learning_rate": 2.697777777777778e-05,
      "loss": 1.5338,
      "step": 5181
    },
    {
      "epoch": 0.4606222222222222,
      "grad_norm": 1.4962337017059326,
      "learning_rate": 2.6973333333333335e-05,
      "loss": 1.5606,
      "step": 5182
    },
    {
      "epoch": 0.4607111111111111,
      "grad_norm": 1.8115066289901733,
      "learning_rate": 2.6968888888888886e-05,
      "loss": 1.5336,
      "step": 5183
    },
    {
      "epoch": 0.4608,
      "grad_norm": 1.84732985496521,
      "learning_rate": 2.6964444444444448e-05,
      "loss": 1.5459,
      "step": 5184
    },
    {
      "epoch": 0.4608888888888889,
      "grad_norm": 1.962988257408142,
      "learning_rate": 2.6960000000000003e-05,
      "loss": 1.6729,
      "step": 5185
    },
    {
      "epoch": 0.46097777777777776,
      "grad_norm": 2.2590577602386475,
      "learning_rate": 2.6955555555555558e-05,
      "loss": 2.0036,
      "step": 5186
    },
    {
      "epoch": 0.4610666666666667,
      "grad_norm": 1.6521393060684204,
      "learning_rate": 2.695111111111111e-05,
      "loss": 1.6364,
      "step": 5187
    },
    {
      "epoch": 0.46115555555555554,
      "grad_norm": 1.4335980415344238,
      "learning_rate": 2.694666666666667e-05,
      "loss": 1.5626,
      "step": 5188
    },
    {
      "epoch": 0.46124444444444446,
      "grad_norm": 1.5382319688796997,
      "learning_rate": 2.6942222222222226e-05,
      "loss": 1.6561,
      "step": 5189
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 1.9607986211776733,
      "learning_rate": 2.6937777777777777e-05,
      "loss": 1.6211,
      "step": 5190
    },
    {
      "epoch": 0.46142222222222223,
      "grad_norm": 1.4430965185165405,
      "learning_rate": 2.6933333333333332e-05,
      "loss": 1.7038,
      "step": 5191
    },
    {
      "epoch": 0.4615111111111111,
      "grad_norm": 1.4807802438735962,
      "learning_rate": 2.6928888888888893e-05,
      "loss": 1.6501,
      "step": 5192
    },
    {
      "epoch": 0.4616,
      "grad_norm": 1.556185007095337,
      "learning_rate": 2.6924444444444445e-05,
      "loss": 1.3661,
      "step": 5193
    },
    {
      "epoch": 0.46168888888888887,
      "grad_norm": 1.6418315172195435,
      "learning_rate": 2.692e-05,
      "loss": 1.5902,
      "step": 5194
    },
    {
      "epoch": 0.4617777777777778,
      "grad_norm": 2.1593141555786133,
      "learning_rate": 2.6915555555555555e-05,
      "loss": 1.8528,
      "step": 5195
    },
    {
      "epoch": 0.46186666666666665,
      "grad_norm": 1.6064997911453247,
      "learning_rate": 2.6911111111111116e-05,
      "loss": 1.4319,
      "step": 5196
    },
    {
      "epoch": 0.46195555555555556,
      "grad_norm": 1.9253146648406982,
      "learning_rate": 2.6906666666666668e-05,
      "loss": 1.6826,
      "step": 5197
    },
    {
      "epoch": 0.4620444444444444,
      "grad_norm": 2.399951457977295,
      "learning_rate": 2.6902222222222223e-05,
      "loss": 1.4847,
      "step": 5198
    },
    {
      "epoch": 0.46213333333333334,
      "grad_norm": 1.7510093450546265,
      "learning_rate": 2.6897777777777777e-05,
      "loss": 1.6306,
      "step": 5199
    },
    {
      "epoch": 0.4622222222222222,
      "grad_norm": 1.761305570602417,
      "learning_rate": 2.6893333333333336e-05,
      "loss": 1.401,
      "step": 5200
    },
    {
      "epoch": 0.4623111111111111,
      "grad_norm": 1.5727571249008179,
      "learning_rate": 2.688888888888889e-05,
      "loss": 1.5211,
      "step": 5201
    },
    {
      "epoch": 0.4624,
      "grad_norm": 1.3195924758911133,
      "learning_rate": 2.6884444444444445e-05,
      "loss": 1.5203,
      "step": 5202
    },
    {
      "epoch": 0.4624888888888889,
      "grad_norm": 1.7153247594833374,
      "learning_rate": 2.688e-05,
      "loss": 1.7893,
      "step": 5203
    },
    {
      "epoch": 0.46257777777777775,
      "grad_norm": 1.502269983291626,
      "learning_rate": 2.687555555555556e-05,
      "loss": 1.4753,
      "step": 5204
    },
    {
      "epoch": 0.46266666666666667,
      "grad_norm": 1.6808655261993408,
      "learning_rate": 2.6871111111111113e-05,
      "loss": 1.6537,
      "step": 5205
    },
    {
      "epoch": 0.46275555555555553,
      "grad_norm": 1.3464592695236206,
      "learning_rate": 2.6866666666666668e-05,
      "loss": 1.4833,
      "step": 5206
    },
    {
      "epoch": 0.46284444444444445,
      "grad_norm": 2.138404607772827,
      "learning_rate": 2.6862222222222223e-05,
      "loss": 1.6039,
      "step": 5207
    },
    {
      "epoch": 0.4629333333333333,
      "grad_norm": 1.5055811405181885,
      "learning_rate": 2.685777777777778e-05,
      "loss": 1.6395,
      "step": 5208
    },
    {
      "epoch": 0.4630222222222222,
      "grad_norm": 1.7095485925674438,
      "learning_rate": 2.6853333333333336e-05,
      "loss": 1.5917,
      "step": 5209
    },
    {
      "epoch": 0.4631111111111111,
      "grad_norm": 1.5513036251068115,
      "learning_rate": 2.684888888888889e-05,
      "loss": 1.5345,
      "step": 5210
    },
    {
      "epoch": 0.4632,
      "grad_norm": 1.8151286840438843,
      "learning_rate": 2.6844444444444446e-05,
      "loss": 1.6146,
      "step": 5211
    },
    {
      "epoch": 0.46328888888888886,
      "grad_norm": 1.6276360750198364,
      "learning_rate": 2.6840000000000004e-05,
      "loss": 1.452,
      "step": 5212
    },
    {
      "epoch": 0.4633777777777778,
      "grad_norm": 1.5430777072906494,
      "learning_rate": 2.683555555555556e-05,
      "loss": 1.5886,
      "step": 5213
    },
    {
      "epoch": 0.4634666666666667,
      "grad_norm": 1.5210716724395752,
      "learning_rate": 2.6831111111111114e-05,
      "loss": 1.4046,
      "step": 5214
    },
    {
      "epoch": 0.46355555555555555,
      "grad_norm": 1.7390156984329224,
      "learning_rate": 2.6826666666666665e-05,
      "loss": 1.6475,
      "step": 5215
    },
    {
      "epoch": 0.46364444444444447,
      "grad_norm": 2.48612904548645,
      "learning_rate": 2.682222222222222e-05,
      "loss": 1.7272,
      "step": 5216
    },
    {
      "epoch": 0.46373333333333333,
      "grad_norm": 1.3954999446868896,
      "learning_rate": 2.681777777777778e-05,
      "loss": 1.5664,
      "step": 5217
    },
    {
      "epoch": 0.46382222222222225,
      "grad_norm": 1.6198720932006836,
      "learning_rate": 2.6813333333333336e-05,
      "loss": 1.7018,
      "step": 5218
    },
    {
      "epoch": 0.4639111111111111,
      "grad_norm": 1.6610692739486694,
      "learning_rate": 2.6808888888888888e-05,
      "loss": 1.5802,
      "step": 5219
    },
    {
      "epoch": 0.464,
      "grad_norm": 1.5263376235961914,
      "learning_rate": 2.6804444444444443e-05,
      "loss": 1.6807,
      "step": 5220
    },
    {
      "epoch": 0.4640888888888889,
      "grad_norm": 2.64809513092041,
      "learning_rate": 2.6800000000000004e-05,
      "loss": 1.6774,
      "step": 5221
    },
    {
      "epoch": 0.4641777777777778,
      "grad_norm": 1.8811379671096802,
      "learning_rate": 2.6795555555555556e-05,
      "loss": 1.5981,
      "step": 5222
    },
    {
      "epoch": 0.46426666666666666,
      "grad_norm": 2.029498815536499,
      "learning_rate": 2.679111111111111e-05,
      "loss": 1.7304,
      "step": 5223
    },
    {
      "epoch": 0.4643555555555556,
      "grad_norm": 1.5435906648635864,
      "learning_rate": 2.6786666666666665e-05,
      "loss": 1.567,
      "step": 5224
    },
    {
      "epoch": 0.46444444444444444,
      "grad_norm": 1.7425899505615234,
      "learning_rate": 2.6782222222222224e-05,
      "loss": 1.6829,
      "step": 5225
    },
    {
      "epoch": 0.46453333333333335,
      "grad_norm": 1.7039035558700562,
      "learning_rate": 2.677777777777778e-05,
      "loss": 1.5592,
      "step": 5226
    },
    {
      "epoch": 0.4646222222222222,
      "grad_norm": 1.4912289381027222,
      "learning_rate": 2.6773333333333333e-05,
      "loss": 1.4902,
      "step": 5227
    },
    {
      "epoch": 0.46471111111111113,
      "grad_norm": 1.5163346529006958,
      "learning_rate": 2.6768888888888888e-05,
      "loss": 1.7106,
      "step": 5228
    },
    {
      "epoch": 0.4648,
      "grad_norm": 1.3830080032348633,
      "learning_rate": 2.6764444444444446e-05,
      "loss": 1.5568,
      "step": 5229
    },
    {
      "epoch": 0.4648888888888889,
      "grad_norm": 1.6250801086425781,
      "learning_rate": 2.676e-05,
      "loss": 1.5439,
      "step": 5230
    },
    {
      "epoch": 0.46497777777777777,
      "grad_norm": 1.5445618629455566,
      "learning_rate": 2.6755555555555556e-05,
      "loss": 1.5339,
      "step": 5231
    },
    {
      "epoch": 0.4650666666666667,
      "grad_norm": 1.6014364957809448,
      "learning_rate": 2.675111111111111e-05,
      "loss": 1.6433,
      "step": 5232
    },
    {
      "epoch": 0.46515555555555554,
      "grad_norm": 1.321624994277954,
      "learning_rate": 2.674666666666667e-05,
      "loss": 1.5017,
      "step": 5233
    },
    {
      "epoch": 0.46524444444444446,
      "grad_norm": 1.4144634008407593,
      "learning_rate": 2.6742222222222224e-05,
      "loss": 1.6641,
      "step": 5234
    },
    {
      "epoch": 0.4653333333333333,
      "grad_norm": 1.7922661304473877,
      "learning_rate": 2.673777777777778e-05,
      "loss": 1.675,
      "step": 5235
    },
    {
      "epoch": 0.46542222222222224,
      "grad_norm": 1.6928125619888306,
      "learning_rate": 2.6733333333333334e-05,
      "loss": 1.6063,
      "step": 5236
    },
    {
      "epoch": 0.4655111111111111,
      "grad_norm": 1.7093127965927124,
      "learning_rate": 2.6728888888888892e-05,
      "loss": 1.832,
      "step": 5237
    },
    {
      "epoch": 0.4656,
      "grad_norm": 1.5477596521377563,
      "learning_rate": 2.6724444444444447e-05,
      "loss": 1.5384,
      "step": 5238
    },
    {
      "epoch": 0.4656888888888889,
      "grad_norm": 1.516082763671875,
      "learning_rate": 2.672e-05,
      "loss": 1.6223,
      "step": 5239
    },
    {
      "epoch": 0.4657777777777778,
      "grad_norm": 1.5091696977615356,
      "learning_rate": 2.6715555555555553e-05,
      "loss": 1.4805,
      "step": 5240
    },
    {
      "epoch": 0.46586666666666665,
      "grad_norm": 1.4786452054977417,
      "learning_rate": 2.6711111111111115e-05,
      "loss": 1.4024,
      "step": 5241
    },
    {
      "epoch": 0.46595555555555557,
      "grad_norm": 1.6795024871826172,
      "learning_rate": 2.670666666666667e-05,
      "loss": 1.5249,
      "step": 5242
    },
    {
      "epoch": 0.46604444444444443,
      "grad_norm": 1.3076437711715698,
      "learning_rate": 2.6702222222222224e-05,
      "loss": 1.3177,
      "step": 5243
    },
    {
      "epoch": 0.46613333333333334,
      "grad_norm": 1.4446314573287964,
      "learning_rate": 2.6697777777777776e-05,
      "loss": 1.4908,
      "step": 5244
    },
    {
      "epoch": 0.4662222222222222,
      "grad_norm": 1.6193748712539673,
      "learning_rate": 2.6693333333333338e-05,
      "loss": 1.4309,
      "step": 5245
    },
    {
      "epoch": 0.4663111111111111,
      "grad_norm": 1.568184733390808,
      "learning_rate": 2.6688888888888892e-05,
      "loss": 1.5914,
      "step": 5246
    },
    {
      "epoch": 0.4664,
      "grad_norm": 1.7110058069229126,
      "learning_rate": 2.6684444444444444e-05,
      "loss": 1.6447,
      "step": 5247
    },
    {
      "epoch": 0.4664888888888889,
      "grad_norm": 1.7691078186035156,
      "learning_rate": 2.668e-05,
      "loss": 1.6557,
      "step": 5248
    },
    {
      "epoch": 0.46657777777777776,
      "grad_norm": 1.4214718341827393,
      "learning_rate": 2.667555555555556e-05,
      "loss": 1.5094,
      "step": 5249
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 1.5902236700057983,
      "learning_rate": 2.6671111111111112e-05,
      "loss": 1.6314,
      "step": 5250
    },
    {
      "epoch": 0.46675555555555553,
      "grad_norm": 2.068143367767334,
      "learning_rate": 2.6666666666666667e-05,
      "loss": 1.6346,
      "step": 5251
    },
    {
      "epoch": 0.46684444444444445,
      "grad_norm": 2.014556646347046,
      "learning_rate": 2.666222222222222e-05,
      "loss": 1.5485,
      "step": 5252
    },
    {
      "epoch": 0.4669333333333333,
      "grad_norm": 1.467644214630127,
      "learning_rate": 2.6657777777777783e-05,
      "loss": 1.3281,
      "step": 5253
    },
    {
      "epoch": 0.4670222222222222,
      "grad_norm": 1.4353364706039429,
      "learning_rate": 2.6653333333333335e-05,
      "loss": 1.6282,
      "step": 5254
    },
    {
      "epoch": 0.4671111111111111,
      "grad_norm": 1.6005563735961914,
      "learning_rate": 2.664888888888889e-05,
      "loss": 1.7555,
      "step": 5255
    },
    {
      "epoch": 0.4672,
      "grad_norm": 1.8776609897613525,
      "learning_rate": 2.6644444444444444e-05,
      "loss": 1.7314,
      "step": 5256
    },
    {
      "epoch": 0.46728888888888886,
      "grad_norm": 1.3863886594772339,
      "learning_rate": 2.6640000000000002e-05,
      "loss": 1.4153,
      "step": 5257
    },
    {
      "epoch": 0.4673777777777778,
      "grad_norm": 1.968957543373108,
      "learning_rate": 2.6635555555555557e-05,
      "loss": 1.7044,
      "step": 5258
    },
    {
      "epoch": 0.46746666666666664,
      "grad_norm": 1.4613977670669556,
      "learning_rate": 2.6631111111111112e-05,
      "loss": 1.6866,
      "step": 5259
    },
    {
      "epoch": 0.46755555555555556,
      "grad_norm": 1.7677583694458008,
      "learning_rate": 2.6626666666666667e-05,
      "loss": 1.5551,
      "step": 5260
    },
    {
      "epoch": 0.4676444444444444,
      "grad_norm": 1.5058101415634155,
      "learning_rate": 2.6622222222222225e-05,
      "loss": 1.5928,
      "step": 5261
    },
    {
      "epoch": 0.46773333333333333,
      "grad_norm": 1.4234700202941895,
      "learning_rate": 2.661777777777778e-05,
      "loss": 1.5026,
      "step": 5262
    },
    {
      "epoch": 0.4678222222222222,
      "grad_norm": 1.6871634721755981,
      "learning_rate": 2.6613333333333335e-05,
      "loss": 1.6992,
      "step": 5263
    },
    {
      "epoch": 0.4679111111111111,
      "grad_norm": 1.6295127868652344,
      "learning_rate": 2.660888888888889e-05,
      "loss": 1.7676,
      "step": 5264
    },
    {
      "epoch": 0.468,
      "grad_norm": 1.7078453302383423,
      "learning_rate": 2.6604444444444445e-05,
      "loss": 1.3419,
      "step": 5265
    },
    {
      "epoch": 0.4680888888888889,
      "grad_norm": 1.5460972785949707,
      "learning_rate": 2.6600000000000003e-05,
      "loss": 1.5283,
      "step": 5266
    },
    {
      "epoch": 0.4681777777777778,
      "grad_norm": 1.5793142318725586,
      "learning_rate": 2.6595555555555558e-05,
      "loss": 1.586,
      "step": 5267
    },
    {
      "epoch": 0.46826666666666666,
      "grad_norm": 1.5522065162658691,
      "learning_rate": 2.6591111111111113e-05,
      "loss": 1.5925,
      "step": 5268
    },
    {
      "epoch": 0.4683555555555556,
      "grad_norm": 1.7109512090682983,
      "learning_rate": 2.6586666666666664e-05,
      "loss": 1.6981,
      "step": 5269
    },
    {
      "epoch": 0.46844444444444444,
      "grad_norm": 1.4094531536102295,
      "learning_rate": 2.6582222222222226e-05,
      "loss": 1.5789,
      "step": 5270
    },
    {
      "epoch": 0.46853333333333336,
      "grad_norm": 1.8813354969024658,
      "learning_rate": 2.657777777777778e-05,
      "loss": 1.5516,
      "step": 5271
    },
    {
      "epoch": 0.4686222222222222,
      "grad_norm": 1.5719298124313354,
      "learning_rate": 2.6573333333333332e-05,
      "loss": 1.563,
      "step": 5272
    },
    {
      "epoch": 0.46871111111111113,
      "grad_norm": 1.7423733472824097,
      "learning_rate": 2.6568888888888887e-05,
      "loss": 1.9622,
      "step": 5273
    },
    {
      "epoch": 0.4688,
      "grad_norm": 1.535894513130188,
      "learning_rate": 2.656444444444445e-05,
      "loss": 1.6932,
      "step": 5274
    },
    {
      "epoch": 0.4688888888888889,
      "grad_norm": 2.514328718185425,
      "learning_rate": 2.6560000000000003e-05,
      "loss": 1.8491,
      "step": 5275
    },
    {
      "epoch": 0.46897777777777777,
      "grad_norm": 1.7778183221817017,
      "learning_rate": 2.6555555555555555e-05,
      "loss": 1.5569,
      "step": 5276
    },
    {
      "epoch": 0.4690666666666667,
      "grad_norm": 1.596627950668335,
      "learning_rate": 2.655111111111111e-05,
      "loss": 1.4054,
      "step": 5277
    },
    {
      "epoch": 0.46915555555555555,
      "grad_norm": 1.6015323400497437,
      "learning_rate": 2.654666666666667e-05,
      "loss": 1.5602,
      "step": 5278
    },
    {
      "epoch": 0.46924444444444446,
      "grad_norm": 1.3948336839675903,
      "learning_rate": 2.6542222222222223e-05,
      "loss": 1.5584,
      "step": 5279
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 1.616731882095337,
      "learning_rate": 2.6537777777777777e-05,
      "loss": 1.689,
      "step": 5280
    },
    {
      "epoch": 0.46942222222222224,
      "grad_norm": 1.5034748315811157,
      "learning_rate": 2.6533333333333332e-05,
      "loss": 1.5936,
      "step": 5281
    },
    {
      "epoch": 0.4695111111111111,
      "grad_norm": 2.2081494331359863,
      "learning_rate": 2.652888888888889e-05,
      "loss": 1.5059,
      "step": 5282
    },
    {
      "epoch": 0.4696,
      "grad_norm": 1.6674164533615112,
      "learning_rate": 2.6524444444444445e-05,
      "loss": 1.6207,
      "step": 5283
    },
    {
      "epoch": 0.4696888888888889,
      "grad_norm": 1.5869905948638916,
      "learning_rate": 2.652e-05,
      "loss": 1.3959,
      "step": 5284
    },
    {
      "epoch": 0.4697777777777778,
      "grad_norm": 1.8145395517349243,
      "learning_rate": 2.6515555555555555e-05,
      "loss": 1.5758,
      "step": 5285
    },
    {
      "epoch": 0.46986666666666665,
      "grad_norm": 1.518112063407898,
      "learning_rate": 2.6511111111111113e-05,
      "loss": 1.4903,
      "step": 5286
    },
    {
      "epoch": 0.46995555555555557,
      "grad_norm": 1.5148613452911377,
      "learning_rate": 2.6506666666666668e-05,
      "loss": 1.6483,
      "step": 5287
    },
    {
      "epoch": 0.47004444444444443,
      "grad_norm": 1.7955772876739502,
      "learning_rate": 2.6502222222222223e-05,
      "loss": 1.6569,
      "step": 5288
    },
    {
      "epoch": 0.47013333333333335,
      "grad_norm": 2.01576566696167,
      "learning_rate": 2.6497777777777778e-05,
      "loss": 1.6625,
      "step": 5289
    },
    {
      "epoch": 0.4702222222222222,
      "grad_norm": 1.596465826034546,
      "learning_rate": 2.6493333333333336e-05,
      "loss": 1.4222,
      "step": 5290
    },
    {
      "epoch": 0.4703111111111111,
      "grad_norm": 1.5482585430145264,
      "learning_rate": 2.648888888888889e-05,
      "loss": 1.7114,
      "step": 5291
    },
    {
      "epoch": 0.4704,
      "grad_norm": 1.5392969846725464,
      "learning_rate": 2.6484444444444446e-05,
      "loss": 1.4168,
      "step": 5292
    },
    {
      "epoch": 0.4704888888888889,
      "grad_norm": 1.716822624206543,
      "learning_rate": 2.648e-05,
      "loss": 1.6295,
      "step": 5293
    },
    {
      "epoch": 0.47057777777777776,
      "grad_norm": 1.6768059730529785,
      "learning_rate": 2.647555555555556e-05,
      "loss": 1.5844,
      "step": 5294
    },
    {
      "epoch": 0.4706666666666667,
      "grad_norm": 1.857014536857605,
      "learning_rate": 2.6471111111111114e-05,
      "loss": 1.741,
      "step": 5295
    },
    {
      "epoch": 0.47075555555555554,
      "grad_norm": 1.9793555736541748,
      "learning_rate": 2.646666666666667e-05,
      "loss": 1.647,
      "step": 5296
    },
    {
      "epoch": 0.47084444444444445,
      "grad_norm": 1.5383641719818115,
      "learning_rate": 2.646222222222222e-05,
      "loss": 1.4131,
      "step": 5297
    },
    {
      "epoch": 0.4709333333333333,
      "grad_norm": 1.5493230819702148,
      "learning_rate": 2.645777777777778e-05,
      "loss": 1.6729,
      "step": 5298
    },
    {
      "epoch": 0.47102222222222223,
      "grad_norm": 1.3594036102294922,
      "learning_rate": 2.6453333333333336e-05,
      "loss": 1.4567,
      "step": 5299
    },
    {
      "epoch": 0.4711111111111111,
      "grad_norm": 1.6325124502182007,
      "learning_rate": 2.644888888888889e-05,
      "loss": 1.6548,
      "step": 5300
    },
    {
      "epoch": 0.4712,
      "grad_norm": 1.386246919631958,
      "learning_rate": 2.6444444444444443e-05,
      "loss": 1.488,
      "step": 5301
    },
    {
      "epoch": 0.47128888888888887,
      "grad_norm": 1.7220906019210815,
      "learning_rate": 2.6440000000000004e-05,
      "loss": 1.7956,
      "step": 5302
    },
    {
      "epoch": 0.4713777777777778,
      "grad_norm": 1.653588891029358,
      "learning_rate": 2.643555555555556e-05,
      "loss": 1.6855,
      "step": 5303
    },
    {
      "epoch": 0.47146666666666665,
      "grad_norm": 1.530720829963684,
      "learning_rate": 2.643111111111111e-05,
      "loss": 1.6246,
      "step": 5304
    },
    {
      "epoch": 0.47155555555555556,
      "grad_norm": 1.6666760444641113,
      "learning_rate": 2.6426666666666665e-05,
      "loss": 1.7641,
      "step": 5305
    },
    {
      "epoch": 0.4716444444444444,
      "grad_norm": 1.5848959684371948,
      "learning_rate": 2.6422222222222227e-05,
      "loss": 1.4159,
      "step": 5306
    },
    {
      "epoch": 0.47173333333333334,
      "grad_norm": 1.5912796258926392,
      "learning_rate": 2.641777777777778e-05,
      "loss": 1.5005,
      "step": 5307
    },
    {
      "epoch": 0.4718222222222222,
      "grad_norm": 1.6456658840179443,
      "learning_rate": 2.6413333333333333e-05,
      "loss": 1.7893,
      "step": 5308
    },
    {
      "epoch": 0.4719111111111111,
      "grad_norm": 1.683180570602417,
      "learning_rate": 2.6408888888888888e-05,
      "loss": 1.7325,
      "step": 5309
    },
    {
      "epoch": 0.472,
      "grad_norm": 1.448106050491333,
      "learning_rate": 2.640444444444445e-05,
      "loss": 1.3738,
      "step": 5310
    },
    {
      "epoch": 0.4720888888888889,
      "grad_norm": 1.7733149528503418,
      "learning_rate": 2.64e-05,
      "loss": 1.6815,
      "step": 5311
    },
    {
      "epoch": 0.47217777777777775,
      "grad_norm": 1.4062968492507935,
      "learning_rate": 2.6395555555555556e-05,
      "loss": 1.5843,
      "step": 5312
    },
    {
      "epoch": 0.47226666666666667,
      "grad_norm": 1.6516852378845215,
      "learning_rate": 2.639111111111111e-05,
      "loss": 1.6463,
      "step": 5313
    },
    {
      "epoch": 0.47235555555555553,
      "grad_norm": 1.5403820276260376,
      "learning_rate": 2.638666666666667e-05,
      "loss": 1.2919,
      "step": 5314
    },
    {
      "epoch": 0.47244444444444444,
      "grad_norm": 1.6243956089019775,
      "learning_rate": 2.6382222222222224e-05,
      "loss": 1.8026,
      "step": 5315
    },
    {
      "epoch": 0.47253333333333336,
      "grad_norm": 1.5764473676681519,
      "learning_rate": 2.637777777777778e-05,
      "loss": 1.5799,
      "step": 5316
    },
    {
      "epoch": 0.4726222222222222,
      "grad_norm": 1.6494460105895996,
      "learning_rate": 2.6373333333333334e-05,
      "loss": 1.7036,
      "step": 5317
    },
    {
      "epoch": 0.47271111111111114,
      "grad_norm": 1.450283169746399,
      "learning_rate": 2.636888888888889e-05,
      "loss": 1.4611,
      "step": 5318
    },
    {
      "epoch": 0.4728,
      "grad_norm": 1.5930076837539673,
      "learning_rate": 2.6364444444444447e-05,
      "loss": 1.6718,
      "step": 5319
    },
    {
      "epoch": 0.4728888888888889,
      "grad_norm": 1.5595593452453613,
      "learning_rate": 2.6360000000000002e-05,
      "loss": 1.7875,
      "step": 5320
    },
    {
      "epoch": 0.4729777777777778,
      "grad_norm": 1.5610649585723877,
      "learning_rate": 2.6355555555555557e-05,
      "loss": 1.4386,
      "step": 5321
    },
    {
      "epoch": 0.4730666666666667,
      "grad_norm": 1.5209349393844604,
      "learning_rate": 2.635111111111111e-05,
      "loss": 1.6445,
      "step": 5322
    },
    {
      "epoch": 0.47315555555555555,
      "grad_norm": 1.496016502380371,
      "learning_rate": 2.634666666666667e-05,
      "loss": 1.5349,
      "step": 5323
    },
    {
      "epoch": 0.47324444444444447,
      "grad_norm": 2.1468844413757324,
      "learning_rate": 2.6342222222222224e-05,
      "loss": 1.6286,
      "step": 5324
    },
    {
      "epoch": 0.47333333333333333,
      "grad_norm": 1.497983694076538,
      "learning_rate": 2.633777777777778e-05,
      "loss": 1.6717,
      "step": 5325
    },
    {
      "epoch": 0.47342222222222224,
      "grad_norm": 1.40195631980896,
      "learning_rate": 2.633333333333333e-05,
      "loss": 1.3367,
      "step": 5326
    },
    {
      "epoch": 0.4735111111111111,
      "grad_norm": 1.6802271604537964,
      "learning_rate": 2.6328888888888892e-05,
      "loss": 1.7768,
      "step": 5327
    },
    {
      "epoch": 0.4736,
      "grad_norm": 1.678282380104065,
      "learning_rate": 2.6324444444444447e-05,
      "loss": 1.6988,
      "step": 5328
    },
    {
      "epoch": 0.4736888888888889,
      "grad_norm": 1.8319392204284668,
      "learning_rate": 2.632e-05,
      "loss": 1.8572,
      "step": 5329
    },
    {
      "epoch": 0.4737777777777778,
      "grad_norm": 2.405409812927246,
      "learning_rate": 2.6315555555555554e-05,
      "loss": 1.6396,
      "step": 5330
    },
    {
      "epoch": 0.47386666666666666,
      "grad_norm": 1.5954530239105225,
      "learning_rate": 2.6311111111111115e-05,
      "loss": 1.5235,
      "step": 5331
    },
    {
      "epoch": 0.4739555555555556,
      "grad_norm": 1.5223898887634277,
      "learning_rate": 2.630666666666667e-05,
      "loss": 1.5597,
      "step": 5332
    },
    {
      "epoch": 0.47404444444444443,
      "grad_norm": 1.500954508781433,
      "learning_rate": 2.630222222222222e-05,
      "loss": 1.4666,
      "step": 5333
    },
    {
      "epoch": 0.47413333333333335,
      "grad_norm": 1.6912657022476196,
      "learning_rate": 2.6297777777777776e-05,
      "loss": 1.4986,
      "step": 5334
    },
    {
      "epoch": 0.4742222222222222,
      "grad_norm": 1.393060326576233,
      "learning_rate": 2.6293333333333338e-05,
      "loss": 1.6163,
      "step": 5335
    },
    {
      "epoch": 0.47431111111111113,
      "grad_norm": 1.3617877960205078,
      "learning_rate": 2.628888888888889e-05,
      "loss": 1.4846,
      "step": 5336
    },
    {
      "epoch": 0.4744,
      "grad_norm": 1.3510605096817017,
      "learning_rate": 2.6284444444444444e-05,
      "loss": 1.4763,
      "step": 5337
    },
    {
      "epoch": 0.4744888888888889,
      "grad_norm": 1.6111633777618408,
      "learning_rate": 2.628e-05,
      "loss": 1.3374,
      "step": 5338
    },
    {
      "epoch": 0.47457777777777777,
      "grad_norm": 1.535431146621704,
      "learning_rate": 2.6275555555555557e-05,
      "loss": 1.618,
      "step": 5339
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 1.7786660194396973,
      "learning_rate": 2.6271111111111112e-05,
      "loss": 1.5661,
      "step": 5340
    },
    {
      "epoch": 0.47475555555555554,
      "grad_norm": 1.5394917726516724,
      "learning_rate": 2.6266666666666667e-05,
      "loss": 1.4882,
      "step": 5341
    },
    {
      "epoch": 0.47484444444444446,
      "grad_norm": 1.3766964673995972,
      "learning_rate": 2.6262222222222222e-05,
      "loss": 1.4798,
      "step": 5342
    },
    {
      "epoch": 0.4749333333333333,
      "grad_norm": 1.680342197418213,
      "learning_rate": 2.625777777777778e-05,
      "loss": 1.708,
      "step": 5343
    },
    {
      "epoch": 0.47502222222222223,
      "grad_norm": 1.817037582397461,
      "learning_rate": 2.6253333333333335e-05,
      "loss": 1.9361,
      "step": 5344
    },
    {
      "epoch": 0.4751111111111111,
      "grad_norm": 2.0985071659088135,
      "learning_rate": 2.624888888888889e-05,
      "loss": 1.6744,
      "step": 5345
    },
    {
      "epoch": 0.4752,
      "grad_norm": 1.6230360269546509,
      "learning_rate": 2.6244444444444445e-05,
      "loss": 1.399,
      "step": 5346
    },
    {
      "epoch": 0.47528888888888887,
      "grad_norm": 1.2958983182907104,
      "learning_rate": 2.6240000000000003e-05,
      "loss": 1.3392,
      "step": 5347
    },
    {
      "epoch": 0.4753777777777778,
      "grad_norm": 1.6643617153167725,
      "learning_rate": 2.6235555555555558e-05,
      "loss": 1.6516,
      "step": 5348
    },
    {
      "epoch": 0.47546666666666665,
      "grad_norm": 1.8879144191741943,
      "learning_rate": 2.6231111111111113e-05,
      "loss": 1.7849,
      "step": 5349
    },
    {
      "epoch": 0.47555555555555556,
      "grad_norm": 2.186112880706787,
      "learning_rate": 2.6226666666666667e-05,
      "loss": 1.777,
      "step": 5350
    },
    {
      "epoch": 0.4756444444444444,
      "grad_norm": 1.442768931388855,
      "learning_rate": 2.6222222222222226e-05,
      "loss": 1.6533,
      "step": 5351
    },
    {
      "epoch": 0.47573333333333334,
      "grad_norm": 1.9619742631912231,
      "learning_rate": 2.621777777777778e-05,
      "loss": 1.7059,
      "step": 5352
    },
    {
      "epoch": 0.4758222222222222,
      "grad_norm": 1.5308738946914673,
      "learning_rate": 2.6213333333333335e-05,
      "loss": 1.5389,
      "step": 5353
    },
    {
      "epoch": 0.4759111111111111,
      "grad_norm": 1.7304755449295044,
      "learning_rate": 2.6208888888888887e-05,
      "loss": 1.5391,
      "step": 5354
    },
    {
      "epoch": 0.476,
      "grad_norm": 1.48660147190094,
      "learning_rate": 2.620444444444445e-05,
      "loss": 1.5583,
      "step": 5355
    },
    {
      "epoch": 0.4760888888888889,
      "grad_norm": 1.5123838186264038,
      "learning_rate": 2.6200000000000003e-05,
      "loss": 1.5852,
      "step": 5356
    },
    {
      "epoch": 0.47617777777777776,
      "grad_norm": 1.3767775297164917,
      "learning_rate": 2.6195555555555558e-05,
      "loss": 1.5529,
      "step": 5357
    },
    {
      "epoch": 0.47626666666666667,
      "grad_norm": 1.6287617683410645,
      "learning_rate": 2.619111111111111e-05,
      "loss": 1.5265,
      "step": 5358
    },
    {
      "epoch": 0.47635555555555553,
      "grad_norm": 1.2826426029205322,
      "learning_rate": 2.618666666666667e-05,
      "loss": 1.495,
      "step": 5359
    },
    {
      "epoch": 0.47644444444444445,
      "grad_norm": 1.880470871925354,
      "learning_rate": 2.6182222222222226e-05,
      "loss": 1.4564,
      "step": 5360
    },
    {
      "epoch": 0.4765333333333333,
      "grad_norm": 1.5654094219207764,
      "learning_rate": 2.6177777777777777e-05,
      "loss": 1.5752,
      "step": 5361
    },
    {
      "epoch": 0.4766222222222222,
      "grad_norm": 1.5288058519363403,
      "learning_rate": 2.6173333333333332e-05,
      "loss": 1.6664,
      "step": 5362
    },
    {
      "epoch": 0.4767111111111111,
      "grad_norm": 1.7093591690063477,
      "learning_rate": 2.6168888888888894e-05,
      "loss": 1.6686,
      "step": 5363
    },
    {
      "epoch": 0.4768,
      "grad_norm": 1.592636227607727,
      "learning_rate": 2.6164444444444445e-05,
      "loss": 1.6511,
      "step": 5364
    },
    {
      "epoch": 0.47688888888888886,
      "grad_norm": 1.771572470664978,
      "learning_rate": 2.616e-05,
      "loss": 1.539,
      "step": 5365
    },
    {
      "epoch": 0.4769777777777778,
      "grad_norm": 1.8303749561309814,
      "learning_rate": 2.6155555555555555e-05,
      "loss": 1.7353,
      "step": 5366
    },
    {
      "epoch": 0.4770666666666667,
      "grad_norm": 1.618396520614624,
      "learning_rate": 2.6151111111111117e-05,
      "loss": 1.5415,
      "step": 5367
    },
    {
      "epoch": 0.47715555555555556,
      "grad_norm": 2.0157241821289062,
      "learning_rate": 2.6146666666666668e-05,
      "loss": 1.6343,
      "step": 5368
    },
    {
      "epoch": 0.47724444444444447,
      "grad_norm": 1.715092658996582,
      "learning_rate": 2.6142222222222223e-05,
      "loss": 1.7503,
      "step": 5369
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 1.6105583906173706,
      "learning_rate": 2.6137777777777778e-05,
      "loss": 1.4746,
      "step": 5370
    },
    {
      "epoch": 0.47742222222222225,
      "grad_norm": 1.395249843597412,
      "learning_rate": 2.6133333333333333e-05,
      "loss": 1.8777,
      "step": 5371
    },
    {
      "epoch": 0.4775111111111111,
      "grad_norm": 1.5094177722930908,
      "learning_rate": 2.612888888888889e-05,
      "loss": 1.4822,
      "step": 5372
    },
    {
      "epoch": 0.4776,
      "grad_norm": 1.6162445545196533,
      "learning_rate": 2.6124444444444446e-05,
      "loss": 1.6796,
      "step": 5373
    },
    {
      "epoch": 0.4776888888888889,
      "grad_norm": 1.8355662822723389,
      "learning_rate": 2.612e-05,
      "loss": 1.4974,
      "step": 5374
    },
    {
      "epoch": 0.4777777777777778,
      "grad_norm": 1.6246694326400757,
      "learning_rate": 2.6115555555555555e-05,
      "loss": 1.4527,
      "step": 5375
    },
    {
      "epoch": 0.47786666666666666,
      "grad_norm": 1.4987307786941528,
      "learning_rate": 2.6111111111111114e-05,
      "loss": 1.6553,
      "step": 5376
    },
    {
      "epoch": 0.4779555555555556,
      "grad_norm": 2.6587307453155518,
      "learning_rate": 2.610666666666667e-05,
      "loss": 1.6326,
      "step": 5377
    },
    {
      "epoch": 0.47804444444444444,
      "grad_norm": 1.5606001615524292,
      "learning_rate": 2.6102222222222223e-05,
      "loss": 1.6944,
      "step": 5378
    },
    {
      "epoch": 0.47813333333333335,
      "grad_norm": 2.457994222640991,
      "learning_rate": 2.6097777777777775e-05,
      "loss": 1.92,
      "step": 5379
    },
    {
      "epoch": 0.4782222222222222,
      "grad_norm": 1.8027886152267456,
      "learning_rate": 2.6093333333333336e-05,
      "loss": 1.713,
      "step": 5380
    },
    {
      "epoch": 0.47831111111111113,
      "grad_norm": 1.6736983060836792,
      "learning_rate": 2.608888888888889e-05,
      "loss": 1.5242,
      "step": 5381
    },
    {
      "epoch": 0.4784,
      "grad_norm": 2.113447904586792,
      "learning_rate": 2.6084444444444446e-05,
      "loss": 1.6351,
      "step": 5382
    },
    {
      "epoch": 0.4784888888888889,
      "grad_norm": 1.6909494400024414,
      "learning_rate": 2.6079999999999998e-05,
      "loss": 1.5417,
      "step": 5383
    },
    {
      "epoch": 0.47857777777777777,
      "grad_norm": 1.6552268266677856,
      "learning_rate": 2.607555555555556e-05,
      "loss": 1.731,
      "step": 5384
    },
    {
      "epoch": 0.4786666666666667,
      "grad_norm": 1.912941813468933,
      "learning_rate": 2.6071111111111114e-05,
      "loss": 1.8165,
      "step": 5385
    },
    {
      "epoch": 0.47875555555555555,
      "grad_norm": 1.5034579038619995,
      "learning_rate": 2.6066666666666666e-05,
      "loss": 1.6498,
      "step": 5386
    },
    {
      "epoch": 0.47884444444444446,
      "grad_norm": 1.5778225660324097,
      "learning_rate": 2.606222222222222e-05,
      "loss": 1.6508,
      "step": 5387
    },
    {
      "epoch": 0.4789333333333333,
      "grad_norm": 1.538311243057251,
      "learning_rate": 2.6057777777777782e-05,
      "loss": 1.3286,
      "step": 5388
    },
    {
      "epoch": 0.47902222222222224,
      "grad_norm": 1.8484032154083252,
      "learning_rate": 2.6053333333333333e-05,
      "loss": 1.6594,
      "step": 5389
    },
    {
      "epoch": 0.4791111111111111,
      "grad_norm": 1.4177017211914062,
      "learning_rate": 2.604888888888889e-05,
      "loss": 1.6509,
      "step": 5390
    },
    {
      "epoch": 0.4792,
      "grad_norm": 1.6771243810653687,
      "learning_rate": 2.6044444444444443e-05,
      "loss": 1.5914,
      "step": 5391
    },
    {
      "epoch": 0.4792888888888889,
      "grad_norm": 1.6939899921417236,
      "learning_rate": 2.6040000000000005e-05,
      "loss": 1.521,
      "step": 5392
    },
    {
      "epoch": 0.4793777777777778,
      "grad_norm": 1.527234673500061,
      "learning_rate": 2.6035555555555556e-05,
      "loss": 1.73,
      "step": 5393
    },
    {
      "epoch": 0.47946666666666665,
      "grad_norm": 1.489397406578064,
      "learning_rate": 2.603111111111111e-05,
      "loss": 1.635,
      "step": 5394
    },
    {
      "epoch": 0.47955555555555557,
      "grad_norm": 1.5372916460037231,
      "learning_rate": 2.6026666666666666e-05,
      "loss": 1.7358,
      "step": 5395
    },
    {
      "epoch": 0.47964444444444443,
      "grad_norm": 1.598381519317627,
      "learning_rate": 2.6022222222222224e-05,
      "loss": 1.3962,
      "step": 5396
    },
    {
      "epoch": 0.47973333333333334,
      "grad_norm": 1.6094485521316528,
      "learning_rate": 2.601777777777778e-05,
      "loss": 1.7838,
      "step": 5397
    },
    {
      "epoch": 0.4798222222222222,
      "grad_norm": 1.545863151550293,
      "learning_rate": 2.6013333333333334e-05,
      "loss": 1.8259,
      "step": 5398
    },
    {
      "epoch": 0.4799111111111111,
      "grad_norm": 1.5930427312850952,
      "learning_rate": 2.600888888888889e-05,
      "loss": 1.5738,
      "step": 5399
    },
    {
      "epoch": 0.48,
      "grad_norm": 1.4876290559768677,
      "learning_rate": 2.6004444444444447e-05,
      "loss": 1.67,
      "step": 5400
    },
    {
      "epoch": 0.4800888888888889,
      "grad_norm": 1.936513066291809,
      "learning_rate": 2.6000000000000002e-05,
      "loss": 1.6247,
      "step": 5401
    },
    {
      "epoch": 0.48017777777777776,
      "grad_norm": 1.437072992324829,
      "learning_rate": 2.5995555555555557e-05,
      "loss": 1.6842,
      "step": 5402
    },
    {
      "epoch": 0.4802666666666667,
      "grad_norm": 1.4702248573303223,
      "learning_rate": 2.599111111111111e-05,
      "loss": 1.3362,
      "step": 5403
    },
    {
      "epoch": 0.48035555555555554,
      "grad_norm": 1.5136477947235107,
      "learning_rate": 2.598666666666667e-05,
      "loss": 1.4579,
      "step": 5404
    },
    {
      "epoch": 0.48044444444444445,
      "grad_norm": 1.5395183563232422,
      "learning_rate": 2.5982222222222225e-05,
      "loss": 1.6801,
      "step": 5405
    },
    {
      "epoch": 0.4805333333333333,
      "grad_norm": 1.857897400856018,
      "learning_rate": 2.597777777777778e-05,
      "loss": 1.561,
      "step": 5406
    },
    {
      "epoch": 0.48062222222222223,
      "grad_norm": 1.6427631378173828,
      "learning_rate": 2.5973333333333334e-05,
      "loss": 1.6222,
      "step": 5407
    },
    {
      "epoch": 0.4807111111111111,
      "grad_norm": 1.520634412765503,
      "learning_rate": 2.5968888888888892e-05,
      "loss": 1.6,
      "step": 5408
    },
    {
      "epoch": 0.4808,
      "grad_norm": 1.458294153213501,
      "learning_rate": 2.5964444444444447e-05,
      "loss": 1.2245,
      "step": 5409
    },
    {
      "epoch": 0.48088888888888887,
      "grad_norm": 1.4558759927749634,
      "learning_rate": 2.5960000000000002e-05,
      "loss": 1.3364,
      "step": 5410
    },
    {
      "epoch": 0.4809777777777778,
      "grad_norm": 1.7764784097671509,
      "learning_rate": 2.5955555555555554e-05,
      "loss": 1.6902,
      "step": 5411
    },
    {
      "epoch": 0.48106666666666664,
      "grad_norm": 1.8274720907211304,
      "learning_rate": 2.5951111111111115e-05,
      "loss": 1.6558,
      "step": 5412
    },
    {
      "epoch": 0.48115555555555556,
      "grad_norm": 1.49794340133667,
      "learning_rate": 2.594666666666667e-05,
      "loss": 1.5367,
      "step": 5413
    },
    {
      "epoch": 0.4812444444444444,
      "grad_norm": 1.3980846405029297,
      "learning_rate": 2.5942222222222225e-05,
      "loss": 1.4754,
      "step": 5414
    },
    {
      "epoch": 0.48133333333333334,
      "grad_norm": 1.3323004245758057,
      "learning_rate": 2.5937777777777776e-05,
      "loss": 1.472,
      "step": 5415
    },
    {
      "epoch": 0.4814222222222222,
      "grad_norm": 1.513502836227417,
      "learning_rate": 2.5933333333333338e-05,
      "loss": 1.5949,
      "step": 5416
    },
    {
      "epoch": 0.4815111111111111,
      "grad_norm": 1.9911490678787231,
      "learning_rate": 2.5928888888888893e-05,
      "loss": 1.7271,
      "step": 5417
    },
    {
      "epoch": 0.4816,
      "grad_norm": 1.5831183195114136,
      "learning_rate": 2.5924444444444444e-05,
      "loss": 1.6297,
      "step": 5418
    },
    {
      "epoch": 0.4816888888888889,
      "grad_norm": 1.790122151374817,
      "learning_rate": 2.592e-05,
      "loss": 1.8614,
      "step": 5419
    },
    {
      "epoch": 0.4817777777777778,
      "grad_norm": 1.74283766746521,
      "learning_rate": 2.5915555555555554e-05,
      "loss": 1.807,
      "step": 5420
    },
    {
      "epoch": 0.48186666666666667,
      "grad_norm": 1.5415276288986206,
      "learning_rate": 2.5911111111111112e-05,
      "loss": 1.7189,
      "step": 5421
    },
    {
      "epoch": 0.4819555555555556,
      "grad_norm": 1.645249366760254,
      "learning_rate": 2.5906666666666667e-05,
      "loss": 1.6667,
      "step": 5422
    },
    {
      "epoch": 0.48204444444444444,
      "grad_norm": 1.439932107925415,
      "learning_rate": 2.5902222222222222e-05,
      "loss": 1.6689,
      "step": 5423
    },
    {
      "epoch": 0.48213333333333336,
      "grad_norm": 1.3635993003845215,
      "learning_rate": 2.5897777777777777e-05,
      "loss": 1.4979,
      "step": 5424
    },
    {
      "epoch": 0.4822222222222222,
      "grad_norm": 1.773646593093872,
      "learning_rate": 2.5893333333333335e-05,
      "loss": 1.5559,
      "step": 5425
    },
    {
      "epoch": 0.48231111111111113,
      "grad_norm": 1.6768012046813965,
      "learning_rate": 2.588888888888889e-05,
      "loss": 1.4832,
      "step": 5426
    },
    {
      "epoch": 0.4824,
      "grad_norm": 1.6021783351898193,
      "learning_rate": 2.5884444444444445e-05,
      "loss": 1.7247,
      "step": 5427
    },
    {
      "epoch": 0.4824888888888889,
      "grad_norm": 1.6608532667160034,
      "learning_rate": 2.588e-05,
      "loss": 1.7081,
      "step": 5428
    },
    {
      "epoch": 0.48257777777777777,
      "grad_norm": 1.6314057111740112,
      "learning_rate": 2.5875555555555558e-05,
      "loss": 1.739,
      "step": 5429
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 1.8536715507507324,
      "learning_rate": 2.5871111111111113e-05,
      "loss": 1.5836,
      "step": 5430
    },
    {
      "epoch": 0.48275555555555555,
      "grad_norm": 1.9588619470596313,
      "learning_rate": 2.5866666666666667e-05,
      "loss": 1.4587,
      "step": 5431
    },
    {
      "epoch": 0.48284444444444446,
      "grad_norm": 1.3411716222763062,
      "learning_rate": 2.5862222222222222e-05,
      "loss": 1.6954,
      "step": 5432
    },
    {
      "epoch": 0.4829333333333333,
      "grad_norm": 1.4343594312667847,
      "learning_rate": 2.585777777777778e-05,
      "loss": 1.5897,
      "step": 5433
    },
    {
      "epoch": 0.48302222222222224,
      "grad_norm": 1.4729000329971313,
      "learning_rate": 2.5853333333333335e-05,
      "loss": 1.6725,
      "step": 5434
    },
    {
      "epoch": 0.4831111111111111,
      "grad_norm": 1.3969757556915283,
      "learning_rate": 2.584888888888889e-05,
      "loss": 1.6794,
      "step": 5435
    },
    {
      "epoch": 0.4832,
      "grad_norm": 1.5539973974227905,
      "learning_rate": 2.5844444444444442e-05,
      "loss": 1.5243,
      "step": 5436
    },
    {
      "epoch": 0.4832888888888889,
      "grad_norm": 1.4879631996154785,
      "learning_rate": 2.5840000000000003e-05,
      "loss": 1.4623,
      "step": 5437
    },
    {
      "epoch": 0.4833777777777778,
      "grad_norm": 1.4140820503234863,
      "learning_rate": 2.5835555555555558e-05,
      "loss": 1.5016,
      "step": 5438
    },
    {
      "epoch": 0.48346666666666666,
      "grad_norm": 1.6422759294509888,
      "learning_rate": 2.5831111111111113e-05,
      "loss": 1.4856,
      "step": 5439
    },
    {
      "epoch": 0.48355555555555557,
      "grad_norm": 1.9449065923690796,
      "learning_rate": 2.5826666666666664e-05,
      "loss": 1.5309,
      "step": 5440
    },
    {
      "epoch": 0.48364444444444443,
      "grad_norm": 1.5596835613250732,
      "learning_rate": 2.5822222222222226e-05,
      "loss": 1.6417,
      "step": 5441
    },
    {
      "epoch": 0.48373333333333335,
      "grad_norm": 1.6234108209609985,
      "learning_rate": 2.581777777777778e-05,
      "loss": 1.6613,
      "step": 5442
    },
    {
      "epoch": 0.4838222222222222,
      "grad_norm": 2.1132102012634277,
      "learning_rate": 2.5813333333333332e-05,
      "loss": 1.6302,
      "step": 5443
    },
    {
      "epoch": 0.4839111111111111,
      "grad_norm": 1.6159260272979736,
      "learning_rate": 2.5808888888888887e-05,
      "loss": 1.5554,
      "step": 5444
    },
    {
      "epoch": 0.484,
      "grad_norm": 1.6219295263290405,
      "learning_rate": 2.580444444444445e-05,
      "loss": 1.4936,
      "step": 5445
    },
    {
      "epoch": 0.4840888888888889,
      "grad_norm": 1.5803546905517578,
      "learning_rate": 2.58e-05,
      "loss": 1.5751,
      "step": 5446
    },
    {
      "epoch": 0.48417777777777776,
      "grad_norm": 1.3461151123046875,
      "learning_rate": 2.5795555555555555e-05,
      "loss": 1.3937,
      "step": 5447
    },
    {
      "epoch": 0.4842666666666667,
      "grad_norm": 1.6607314348220825,
      "learning_rate": 2.579111111111111e-05,
      "loss": 1.9676,
      "step": 5448
    },
    {
      "epoch": 0.48435555555555554,
      "grad_norm": 1.9507066011428833,
      "learning_rate": 2.578666666666667e-05,
      "loss": 1.6974,
      "step": 5449
    },
    {
      "epoch": 0.48444444444444446,
      "grad_norm": 1.5903079509735107,
      "learning_rate": 2.5782222222222223e-05,
      "loss": 1.5893,
      "step": 5450
    },
    {
      "epoch": 0.4845333333333333,
      "grad_norm": 2.695915699005127,
      "learning_rate": 2.5777777777777778e-05,
      "loss": 1.5715,
      "step": 5451
    },
    {
      "epoch": 0.48462222222222223,
      "grad_norm": 2.338642120361328,
      "learning_rate": 2.5773333333333333e-05,
      "loss": 1.7238,
      "step": 5452
    },
    {
      "epoch": 0.4847111111111111,
      "grad_norm": 1.5587799549102783,
      "learning_rate": 2.576888888888889e-05,
      "loss": 1.7119,
      "step": 5453
    },
    {
      "epoch": 0.4848,
      "grad_norm": 2.2331485748291016,
      "learning_rate": 2.5764444444444446e-05,
      "loss": 1.6266,
      "step": 5454
    },
    {
      "epoch": 0.48488888888888887,
      "grad_norm": 1.5095590353012085,
      "learning_rate": 2.576e-05,
      "loss": 1.5858,
      "step": 5455
    },
    {
      "epoch": 0.4849777777777778,
      "grad_norm": 1.6841952800750732,
      "learning_rate": 2.5755555555555556e-05,
      "loss": 1.5555,
      "step": 5456
    },
    {
      "epoch": 0.48506666666666665,
      "grad_norm": 3.0379703044891357,
      "learning_rate": 2.5751111111111114e-05,
      "loss": 1.7363,
      "step": 5457
    },
    {
      "epoch": 0.48515555555555556,
      "grad_norm": 1.4719358682632446,
      "learning_rate": 2.574666666666667e-05,
      "loss": 1.5726,
      "step": 5458
    },
    {
      "epoch": 0.4852444444444444,
      "grad_norm": 1.9304630756378174,
      "learning_rate": 2.5742222222222223e-05,
      "loss": 1.643,
      "step": 5459
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 1.5701512098312378,
      "learning_rate": 2.573777777777778e-05,
      "loss": 1.7435,
      "step": 5460
    },
    {
      "epoch": 0.4854222222222222,
      "grad_norm": 1.748561978340149,
      "learning_rate": 2.5733333333333337e-05,
      "loss": 1.7399,
      "step": 5461
    },
    {
      "epoch": 0.4855111111111111,
      "grad_norm": 1.5838335752487183,
      "learning_rate": 2.572888888888889e-05,
      "loss": 1.7011,
      "step": 5462
    },
    {
      "epoch": 0.4856,
      "grad_norm": 1.925060749053955,
      "learning_rate": 2.5724444444444446e-05,
      "loss": 1.7239,
      "step": 5463
    },
    {
      "epoch": 0.4856888888888889,
      "grad_norm": 1.470123052597046,
      "learning_rate": 2.572e-05,
      "loss": 1.597,
      "step": 5464
    },
    {
      "epoch": 0.48577777777777775,
      "grad_norm": 1.879895567893982,
      "learning_rate": 2.571555555555556e-05,
      "loss": 1.6563,
      "step": 5465
    },
    {
      "epoch": 0.48586666666666667,
      "grad_norm": 1.7627735137939453,
      "learning_rate": 2.5711111111111114e-05,
      "loss": 1.5737,
      "step": 5466
    },
    {
      "epoch": 0.48595555555555553,
      "grad_norm": 1.5698477029800415,
      "learning_rate": 2.570666666666667e-05,
      "loss": 1.7021,
      "step": 5467
    },
    {
      "epoch": 0.48604444444444445,
      "grad_norm": 1.5490820407867432,
      "learning_rate": 2.570222222222222e-05,
      "loss": 1.5731,
      "step": 5468
    },
    {
      "epoch": 0.4861333333333333,
      "grad_norm": 1.3888866901397705,
      "learning_rate": 2.5697777777777782e-05,
      "loss": 1.5633,
      "step": 5469
    },
    {
      "epoch": 0.4862222222222222,
      "grad_norm": 1.6449294090270996,
      "learning_rate": 2.5693333333333337e-05,
      "loss": 1.4147,
      "step": 5470
    },
    {
      "epoch": 0.48631111111111114,
      "grad_norm": 1.5925543308258057,
      "learning_rate": 2.5688888888888892e-05,
      "loss": 1.6023,
      "step": 5471
    },
    {
      "epoch": 0.4864,
      "grad_norm": 1.4504820108413696,
      "learning_rate": 2.5684444444444443e-05,
      "loss": 1.5228,
      "step": 5472
    },
    {
      "epoch": 0.4864888888888889,
      "grad_norm": 1.848157525062561,
      "learning_rate": 2.5679999999999998e-05,
      "loss": 1.4798,
      "step": 5473
    },
    {
      "epoch": 0.4865777777777778,
      "grad_norm": 1.6078026294708252,
      "learning_rate": 2.567555555555556e-05,
      "loss": 1.7085,
      "step": 5474
    },
    {
      "epoch": 0.4866666666666667,
      "grad_norm": 1.6700215339660645,
      "learning_rate": 2.567111111111111e-05,
      "loss": 1.5727,
      "step": 5475
    },
    {
      "epoch": 0.48675555555555555,
      "grad_norm": 1.592018961906433,
      "learning_rate": 2.5666666666666666e-05,
      "loss": 1.5693,
      "step": 5476
    },
    {
      "epoch": 0.48684444444444447,
      "grad_norm": 1.64068603515625,
      "learning_rate": 2.566222222222222e-05,
      "loss": 1.6891,
      "step": 5477
    },
    {
      "epoch": 0.48693333333333333,
      "grad_norm": 1.4885584115982056,
      "learning_rate": 2.565777777777778e-05,
      "loss": 1.5509,
      "step": 5478
    },
    {
      "epoch": 0.48702222222222225,
      "grad_norm": 1.6315447092056274,
      "learning_rate": 2.5653333333333334e-05,
      "loss": 1.4611,
      "step": 5479
    },
    {
      "epoch": 0.4871111111111111,
      "grad_norm": 1.5267233848571777,
      "learning_rate": 2.564888888888889e-05,
      "loss": 1.573,
      "step": 5480
    },
    {
      "epoch": 0.4872,
      "grad_norm": 1.6773227453231812,
      "learning_rate": 2.5644444444444444e-05,
      "loss": 1.6381,
      "step": 5481
    },
    {
      "epoch": 0.4872888888888889,
      "grad_norm": 1.5705617666244507,
      "learning_rate": 2.5640000000000002e-05,
      "loss": 1.8454,
      "step": 5482
    },
    {
      "epoch": 0.4873777777777778,
      "grad_norm": 1.5086873769760132,
      "learning_rate": 2.5635555555555557e-05,
      "loss": 1.4892,
      "step": 5483
    },
    {
      "epoch": 0.48746666666666666,
      "grad_norm": 1.8421097993850708,
      "learning_rate": 2.563111111111111e-05,
      "loss": 1.702,
      "step": 5484
    },
    {
      "epoch": 0.4875555555555556,
      "grad_norm": 1.3349403142929077,
      "learning_rate": 2.5626666666666666e-05,
      "loss": 1.379,
      "step": 5485
    },
    {
      "epoch": 0.48764444444444444,
      "grad_norm": 2.2281289100646973,
      "learning_rate": 2.5622222222222225e-05,
      "loss": 1.6661,
      "step": 5486
    },
    {
      "epoch": 0.48773333333333335,
      "grad_norm": 1.9317772388458252,
      "learning_rate": 2.561777777777778e-05,
      "loss": 1.4964,
      "step": 5487
    },
    {
      "epoch": 0.4878222222222222,
      "grad_norm": 1.5599578619003296,
      "learning_rate": 2.5613333333333334e-05,
      "loss": 1.5765,
      "step": 5488
    },
    {
      "epoch": 0.48791111111111113,
      "grad_norm": 1.5359888076782227,
      "learning_rate": 2.560888888888889e-05,
      "loss": 1.5803,
      "step": 5489
    },
    {
      "epoch": 0.488,
      "grad_norm": 1.5457072257995605,
      "learning_rate": 2.5604444444444447e-05,
      "loss": 1.3196,
      "step": 5490
    },
    {
      "epoch": 0.4880888888888889,
      "grad_norm": 1.8355566263198853,
      "learning_rate": 2.5600000000000002e-05,
      "loss": 1.7185,
      "step": 5491
    },
    {
      "epoch": 0.48817777777777777,
      "grad_norm": 1.9112005233764648,
      "learning_rate": 2.5595555555555557e-05,
      "loss": 1.6754,
      "step": 5492
    },
    {
      "epoch": 0.4882666666666667,
      "grad_norm": 1.7260857820510864,
      "learning_rate": 2.559111111111111e-05,
      "loss": 1.7626,
      "step": 5493
    },
    {
      "epoch": 0.48835555555555554,
      "grad_norm": 1.5478588342666626,
      "learning_rate": 2.558666666666667e-05,
      "loss": 1.6229,
      "step": 5494
    },
    {
      "epoch": 0.48844444444444446,
      "grad_norm": 1.867777705192566,
      "learning_rate": 2.5582222222222225e-05,
      "loss": 1.8223,
      "step": 5495
    },
    {
      "epoch": 0.4885333333333333,
      "grad_norm": 1.596641182899475,
      "learning_rate": 2.557777777777778e-05,
      "loss": 1.486,
      "step": 5496
    },
    {
      "epoch": 0.48862222222222224,
      "grad_norm": 1.957545518875122,
      "learning_rate": 2.557333333333333e-05,
      "loss": 1.9052,
      "step": 5497
    },
    {
      "epoch": 0.4887111111111111,
      "grad_norm": 1.8238897323608398,
      "learning_rate": 2.5568888888888893e-05,
      "loss": 1.5208,
      "step": 5498
    },
    {
      "epoch": 0.4888,
      "grad_norm": 1.6708202362060547,
      "learning_rate": 2.5564444444444448e-05,
      "loss": 1.5298,
      "step": 5499
    },
    {
      "epoch": 0.4888888888888889,
      "grad_norm": 2.7094027996063232,
      "learning_rate": 2.556e-05,
      "loss": 1.8286,
      "step": 5500
    },
    {
      "epoch": 0.4889777777777778,
      "grad_norm": 1.5502609014511108,
      "learning_rate": 2.5555555555555554e-05,
      "loss": 1.2313,
      "step": 5501
    },
    {
      "epoch": 0.48906666666666665,
      "grad_norm": 1.476807951927185,
      "learning_rate": 2.5551111111111116e-05,
      "loss": 1.5481,
      "step": 5502
    },
    {
      "epoch": 0.48915555555555557,
      "grad_norm": 1.736417293548584,
      "learning_rate": 2.5546666666666667e-05,
      "loss": 1.8082,
      "step": 5503
    },
    {
      "epoch": 0.4892444444444444,
      "grad_norm": 1.5458554029464722,
      "learning_rate": 2.5542222222222222e-05,
      "loss": 1.5153,
      "step": 5504
    },
    {
      "epoch": 0.48933333333333334,
      "grad_norm": 1.9020216464996338,
      "learning_rate": 2.5537777777777777e-05,
      "loss": 1.7821,
      "step": 5505
    },
    {
      "epoch": 0.4894222222222222,
      "grad_norm": 1.7825725078582764,
      "learning_rate": 2.553333333333334e-05,
      "loss": 1.4902,
      "step": 5506
    },
    {
      "epoch": 0.4895111111111111,
      "grad_norm": 1.8582792282104492,
      "learning_rate": 2.552888888888889e-05,
      "loss": 1.5795,
      "step": 5507
    },
    {
      "epoch": 0.4896,
      "grad_norm": 1.4663925170898438,
      "learning_rate": 2.5524444444444445e-05,
      "loss": 1.3454,
      "step": 5508
    },
    {
      "epoch": 0.4896888888888889,
      "grad_norm": 1.5859107971191406,
      "learning_rate": 2.552e-05,
      "loss": 1.4869,
      "step": 5509
    },
    {
      "epoch": 0.48977777777777776,
      "grad_norm": 1.966469407081604,
      "learning_rate": 2.5515555555555558e-05,
      "loss": 1.5731,
      "step": 5510
    },
    {
      "epoch": 0.4898666666666667,
      "grad_norm": 1.7654502391815186,
      "learning_rate": 2.5511111111111113e-05,
      "loss": 1.457,
      "step": 5511
    },
    {
      "epoch": 0.48995555555555553,
      "grad_norm": 2.608464241027832,
      "learning_rate": 2.5506666666666668e-05,
      "loss": 1.8339,
      "step": 5512
    },
    {
      "epoch": 0.49004444444444445,
      "grad_norm": 1.6478627920150757,
      "learning_rate": 2.5502222222222222e-05,
      "loss": 1.894,
      "step": 5513
    },
    {
      "epoch": 0.4901333333333333,
      "grad_norm": 1.5259612798690796,
      "learning_rate": 2.549777777777778e-05,
      "loss": 1.4772,
      "step": 5514
    },
    {
      "epoch": 0.4902222222222222,
      "grad_norm": 1.6516703367233276,
      "learning_rate": 2.5493333333333335e-05,
      "loss": 1.5718,
      "step": 5515
    },
    {
      "epoch": 0.4903111111111111,
      "grad_norm": 1.690237045288086,
      "learning_rate": 2.548888888888889e-05,
      "loss": 1.4124,
      "step": 5516
    },
    {
      "epoch": 0.4904,
      "grad_norm": 2.40156888961792,
      "learning_rate": 2.5484444444444445e-05,
      "loss": 1.6945,
      "step": 5517
    },
    {
      "epoch": 0.49048888888888886,
      "grad_norm": 1.4217315912246704,
      "learning_rate": 2.5480000000000003e-05,
      "loss": 1.5749,
      "step": 5518
    },
    {
      "epoch": 0.4905777777777778,
      "grad_norm": 1.8710864782333374,
      "learning_rate": 2.5475555555555558e-05,
      "loss": 1.6936,
      "step": 5519
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 1.8952277898788452,
      "learning_rate": 2.5471111111111113e-05,
      "loss": 1.6957,
      "step": 5520
    },
    {
      "epoch": 0.49075555555555556,
      "grad_norm": 1.7850018739700317,
      "learning_rate": 2.5466666666666668e-05,
      "loss": 1.5822,
      "step": 5521
    },
    {
      "epoch": 0.49084444444444447,
      "grad_norm": 1.6276476383209229,
      "learning_rate": 2.5462222222222226e-05,
      "loss": 1.5713,
      "step": 5522
    },
    {
      "epoch": 0.49093333333333333,
      "grad_norm": 1.875580072402954,
      "learning_rate": 2.545777777777778e-05,
      "loss": 1.6601,
      "step": 5523
    },
    {
      "epoch": 0.49102222222222225,
      "grad_norm": 1.5554567575454712,
      "learning_rate": 2.5453333333333336e-05,
      "loss": 1.4327,
      "step": 5524
    },
    {
      "epoch": 0.4911111111111111,
      "grad_norm": 1.5140552520751953,
      "learning_rate": 2.5448888888888887e-05,
      "loss": 1.6046,
      "step": 5525
    },
    {
      "epoch": 0.4912,
      "grad_norm": 1.49787437915802,
      "learning_rate": 2.5444444444444442e-05,
      "loss": 1.5348,
      "step": 5526
    },
    {
      "epoch": 0.4912888888888889,
      "grad_norm": 1.9232006072998047,
      "learning_rate": 2.5440000000000004e-05,
      "loss": 1.9108,
      "step": 5527
    },
    {
      "epoch": 0.4913777777777778,
      "grad_norm": 1.7772705554962158,
      "learning_rate": 2.543555555555556e-05,
      "loss": 1.7343,
      "step": 5528
    },
    {
      "epoch": 0.49146666666666666,
      "grad_norm": 1.833394169807434,
      "learning_rate": 2.543111111111111e-05,
      "loss": 1.8812,
      "step": 5529
    },
    {
      "epoch": 0.4915555555555556,
      "grad_norm": 1.567516565322876,
      "learning_rate": 2.5426666666666665e-05,
      "loss": 1.5793,
      "step": 5530
    },
    {
      "epoch": 0.49164444444444444,
      "grad_norm": 1.6701701879501343,
      "learning_rate": 2.5422222222222227e-05,
      "loss": 1.8709,
      "step": 5531
    },
    {
      "epoch": 0.49173333333333336,
      "grad_norm": 2.287402868270874,
      "learning_rate": 2.5417777777777778e-05,
      "loss": 1.7821,
      "step": 5532
    },
    {
      "epoch": 0.4918222222222222,
      "grad_norm": 1.6237969398498535,
      "learning_rate": 2.5413333333333333e-05,
      "loss": 1.5535,
      "step": 5533
    },
    {
      "epoch": 0.49191111111111113,
      "grad_norm": 1.698703408241272,
      "learning_rate": 2.5408888888888888e-05,
      "loss": 1.5258,
      "step": 5534
    },
    {
      "epoch": 0.492,
      "grad_norm": 1.4499034881591797,
      "learning_rate": 2.5404444444444446e-05,
      "loss": 1.6826,
      "step": 5535
    },
    {
      "epoch": 0.4920888888888889,
      "grad_norm": 2.2665443420410156,
      "learning_rate": 2.54e-05,
      "loss": 1.5014,
      "step": 5536
    },
    {
      "epoch": 0.49217777777777777,
      "grad_norm": 1.7939372062683105,
      "learning_rate": 2.5395555555555556e-05,
      "loss": 1.6684,
      "step": 5537
    },
    {
      "epoch": 0.4922666666666667,
      "grad_norm": 1.8862402439117432,
      "learning_rate": 2.539111111111111e-05,
      "loss": 1.7049,
      "step": 5538
    },
    {
      "epoch": 0.49235555555555555,
      "grad_norm": 1.8043406009674072,
      "learning_rate": 2.538666666666667e-05,
      "loss": 1.6134,
      "step": 5539
    },
    {
      "epoch": 0.49244444444444446,
      "grad_norm": 1.6994898319244385,
      "learning_rate": 2.5382222222222224e-05,
      "loss": 1.5565,
      "step": 5540
    },
    {
      "epoch": 0.4925333333333333,
      "grad_norm": 1.5400227308273315,
      "learning_rate": 2.537777777777778e-05,
      "loss": 1.7247,
      "step": 5541
    },
    {
      "epoch": 0.49262222222222224,
      "grad_norm": 1.9237029552459717,
      "learning_rate": 2.5373333333333333e-05,
      "loss": 1.6496,
      "step": 5542
    },
    {
      "epoch": 0.4927111111111111,
      "grad_norm": 1.9565917253494263,
      "learning_rate": 2.536888888888889e-05,
      "loss": 1.6099,
      "step": 5543
    },
    {
      "epoch": 0.4928,
      "grad_norm": 1.435333251953125,
      "learning_rate": 2.5364444444444446e-05,
      "loss": 1.5183,
      "step": 5544
    },
    {
      "epoch": 0.4928888888888889,
      "grad_norm": 1.6029597520828247,
      "learning_rate": 2.536e-05,
      "loss": 1.7751,
      "step": 5545
    },
    {
      "epoch": 0.4929777777777778,
      "grad_norm": 1.8038990497589111,
      "learning_rate": 2.5355555555555556e-05,
      "loss": 1.8381,
      "step": 5546
    },
    {
      "epoch": 0.49306666666666665,
      "grad_norm": 1.8421564102172852,
      "learning_rate": 2.5351111111111114e-05,
      "loss": 1.8048,
      "step": 5547
    },
    {
      "epoch": 0.49315555555555557,
      "grad_norm": 1.539506435394287,
      "learning_rate": 2.534666666666667e-05,
      "loss": 1.5674,
      "step": 5548
    },
    {
      "epoch": 0.49324444444444443,
      "grad_norm": 1.5052839517593384,
      "learning_rate": 2.5342222222222224e-05,
      "loss": 1.6469,
      "step": 5549
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 1.8224470615386963,
      "learning_rate": 2.5337777777777775e-05,
      "loss": 1.5155,
      "step": 5550
    },
    {
      "epoch": 0.4934222222222222,
      "grad_norm": 1.591630220413208,
      "learning_rate": 2.5333333333333337e-05,
      "loss": 1.689,
      "step": 5551
    },
    {
      "epoch": 0.4935111111111111,
      "grad_norm": 1.9859031438827515,
      "learning_rate": 2.5328888888888892e-05,
      "loss": 1.8889,
      "step": 5552
    },
    {
      "epoch": 0.4936,
      "grad_norm": 1.485008716583252,
      "learning_rate": 2.5324444444444447e-05,
      "loss": 1.6599,
      "step": 5553
    },
    {
      "epoch": 0.4936888888888889,
      "grad_norm": 1.5870811939239502,
      "learning_rate": 2.5319999999999998e-05,
      "loss": 1.515,
      "step": 5554
    },
    {
      "epoch": 0.49377777777777776,
      "grad_norm": 1.618735909461975,
      "learning_rate": 2.531555555555556e-05,
      "loss": 1.5153,
      "step": 5555
    },
    {
      "epoch": 0.4938666666666667,
      "grad_norm": 1.590442419052124,
      "learning_rate": 2.5311111111111115e-05,
      "loss": 1.8281,
      "step": 5556
    },
    {
      "epoch": 0.49395555555555554,
      "grad_norm": 1.6052448749542236,
      "learning_rate": 2.5306666666666666e-05,
      "loss": 1.6579,
      "step": 5557
    },
    {
      "epoch": 0.49404444444444445,
      "grad_norm": 1.4688299894332886,
      "learning_rate": 2.530222222222222e-05,
      "loss": 1.3521,
      "step": 5558
    },
    {
      "epoch": 0.4941333333333333,
      "grad_norm": 1.5633667707443237,
      "learning_rate": 2.5297777777777783e-05,
      "loss": 1.5837,
      "step": 5559
    },
    {
      "epoch": 0.49422222222222223,
      "grad_norm": 1.3561875820159912,
      "learning_rate": 2.5293333333333334e-05,
      "loss": 1.5985,
      "step": 5560
    },
    {
      "epoch": 0.4943111111111111,
      "grad_norm": 1.4974576234817505,
      "learning_rate": 2.528888888888889e-05,
      "loss": 1.8069,
      "step": 5561
    },
    {
      "epoch": 0.4944,
      "grad_norm": 1.6830971240997314,
      "learning_rate": 2.5284444444444444e-05,
      "loss": 1.6507,
      "step": 5562
    },
    {
      "epoch": 0.49448888888888887,
      "grad_norm": 2.6614959239959717,
      "learning_rate": 2.5280000000000005e-05,
      "loss": 1.7104,
      "step": 5563
    },
    {
      "epoch": 0.4945777777777778,
      "grad_norm": 1.547922134399414,
      "learning_rate": 2.5275555555555557e-05,
      "loss": 1.5076,
      "step": 5564
    },
    {
      "epoch": 0.49466666666666664,
      "grad_norm": 1.5091955661773682,
      "learning_rate": 2.527111111111111e-05,
      "loss": 1.6043,
      "step": 5565
    },
    {
      "epoch": 0.49475555555555556,
      "grad_norm": 1.3993351459503174,
      "learning_rate": 2.5266666666666666e-05,
      "loss": 1.6474,
      "step": 5566
    },
    {
      "epoch": 0.4948444444444444,
      "grad_norm": 1.6860861778259277,
      "learning_rate": 2.5262222222222225e-05,
      "loss": 1.7279,
      "step": 5567
    },
    {
      "epoch": 0.49493333333333334,
      "grad_norm": 1.738023281097412,
      "learning_rate": 2.525777777777778e-05,
      "loss": 1.6716,
      "step": 5568
    },
    {
      "epoch": 0.4950222222222222,
      "grad_norm": 1.6047040224075317,
      "learning_rate": 2.5253333333333334e-05,
      "loss": 1.6673,
      "step": 5569
    },
    {
      "epoch": 0.4951111111111111,
      "grad_norm": 1.6616785526275635,
      "learning_rate": 2.524888888888889e-05,
      "loss": 1.7009,
      "step": 5570
    },
    {
      "epoch": 0.4952,
      "grad_norm": 1.536120891571045,
      "learning_rate": 2.5244444444444447e-05,
      "loss": 1.4729,
      "step": 5571
    },
    {
      "epoch": 0.4952888888888889,
      "grad_norm": 1.5261569023132324,
      "learning_rate": 2.5240000000000002e-05,
      "loss": 1.5311,
      "step": 5572
    },
    {
      "epoch": 0.49537777777777775,
      "grad_norm": 1.4679471254348755,
      "learning_rate": 2.5235555555555557e-05,
      "loss": 1.2762,
      "step": 5573
    },
    {
      "epoch": 0.49546666666666667,
      "grad_norm": 2.1146974563598633,
      "learning_rate": 2.5231111111111112e-05,
      "loss": 1.6568,
      "step": 5574
    },
    {
      "epoch": 0.4955555555555556,
      "grad_norm": 1.9722096920013428,
      "learning_rate": 2.5226666666666663e-05,
      "loss": 1.7325,
      "step": 5575
    },
    {
      "epoch": 0.49564444444444444,
      "grad_norm": 1.6460753679275513,
      "learning_rate": 2.5222222222222225e-05,
      "loss": 1.6415,
      "step": 5576
    },
    {
      "epoch": 0.49573333333333336,
      "grad_norm": 1.5921183824539185,
      "learning_rate": 2.521777777777778e-05,
      "loss": 1.5661,
      "step": 5577
    },
    {
      "epoch": 0.4958222222222222,
      "grad_norm": 1.5101890563964844,
      "learning_rate": 2.5213333333333335e-05,
      "loss": 1.6278,
      "step": 5578
    },
    {
      "epoch": 0.49591111111111114,
      "grad_norm": 2.0790483951568604,
      "learning_rate": 2.5208888888888886e-05,
      "loss": 1.7718,
      "step": 5579
    },
    {
      "epoch": 0.496,
      "grad_norm": 1.5237658023834229,
      "learning_rate": 2.5204444444444448e-05,
      "loss": 1.4716,
      "step": 5580
    },
    {
      "epoch": 0.4960888888888889,
      "grad_norm": 1.7992818355560303,
      "learning_rate": 2.5200000000000003e-05,
      "loss": 1.5228,
      "step": 5581
    },
    {
      "epoch": 0.4961777777777778,
      "grad_norm": 1.4879992008209229,
      "learning_rate": 2.5195555555555554e-05,
      "loss": 1.6511,
      "step": 5582
    },
    {
      "epoch": 0.4962666666666667,
      "grad_norm": 1.8982917070388794,
      "learning_rate": 2.519111111111111e-05,
      "loss": 1.6211,
      "step": 5583
    },
    {
      "epoch": 0.49635555555555555,
      "grad_norm": 1.3837065696716309,
      "learning_rate": 2.518666666666667e-05,
      "loss": 1.3732,
      "step": 5584
    },
    {
      "epoch": 0.49644444444444447,
      "grad_norm": 1.7678827047348022,
      "learning_rate": 2.5182222222222222e-05,
      "loss": 1.4686,
      "step": 5585
    },
    {
      "epoch": 0.4965333333333333,
      "grad_norm": 1.7097868919372559,
      "learning_rate": 2.5177777777777777e-05,
      "loss": 1.6322,
      "step": 5586
    },
    {
      "epoch": 0.49662222222222224,
      "grad_norm": 1.4035571813583374,
      "learning_rate": 2.5173333333333332e-05,
      "loss": 1.4512,
      "step": 5587
    },
    {
      "epoch": 0.4967111111111111,
      "grad_norm": 1.787036418914795,
      "learning_rate": 2.5168888888888893e-05,
      "loss": 1.5984,
      "step": 5588
    },
    {
      "epoch": 0.4968,
      "grad_norm": 1.8110568523406982,
      "learning_rate": 2.5164444444444445e-05,
      "loss": 1.6823,
      "step": 5589
    },
    {
      "epoch": 0.4968888888888889,
      "grad_norm": 1.4953793287277222,
      "learning_rate": 2.516e-05,
      "loss": 1.5278,
      "step": 5590
    },
    {
      "epoch": 0.4969777777777778,
      "grad_norm": 1.6966995000839233,
      "learning_rate": 2.5155555555555555e-05,
      "loss": 1.5505,
      "step": 5591
    },
    {
      "epoch": 0.49706666666666666,
      "grad_norm": 1.5173907279968262,
      "learning_rate": 2.5151111111111113e-05,
      "loss": 1.5876,
      "step": 5592
    },
    {
      "epoch": 0.4971555555555556,
      "grad_norm": 1.6607123613357544,
      "learning_rate": 2.5146666666666668e-05,
      "loss": 1.4711,
      "step": 5593
    },
    {
      "epoch": 0.49724444444444443,
      "grad_norm": 1.4355292320251465,
      "learning_rate": 2.5142222222222222e-05,
      "loss": 1.4678,
      "step": 5594
    },
    {
      "epoch": 0.49733333333333335,
      "grad_norm": 2.5027661323547363,
      "learning_rate": 2.5137777777777777e-05,
      "loss": 1.7006,
      "step": 5595
    },
    {
      "epoch": 0.4974222222222222,
      "grad_norm": 1.7489871978759766,
      "learning_rate": 2.5133333333333336e-05,
      "loss": 1.6056,
      "step": 5596
    },
    {
      "epoch": 0.4975111111111111,
      "grad_norm": 1.5941866636276245,
      "learning_rate": 2.512888888888889e-05,
      "loss": 1.4229,
      "step": 5597
    },
    {
      "epoch": 0.4976,
      "grad_norm": 1.757366418838501,
      "learning_rate": 2.5124444444444445e-05,
      "loss": 1.6131,
      "step": 5598
    },
    {
      "epoch": 0.4976888888888889,
      "grad_norm": 1.5222651958465576,
      "learning_rate": 2.512e-05,
      "loss": 1.5212,
      "step": 5599
    },
    {
      "epoch": 0.49777777777777776,
      "grad_norm": 1.737383246421814,
      "learning_rate": 2.5115555555555558e-05,
      "loss": 1.6169,
      "step": 5600
    },
    {
      "epoch": 0.4978666666666667,
      "grad_norm": 1.5705071687698364,
      "learning_rate": 2.5111111111111113e-05,
      "loss": 1.6808,
      "step": 5601
    },
    {
      "epoch": 0.49795555555555554,
      "grad_norm": 1.4937362670898438,
      "learning_rate": 2.5106666666666668e-05,
      "loss": 1.6464,
      "step": 5602
    },
    {
      "epoch": 0.49804444444444446,
      "grad_norm": 1.584036946296692,
      "learning_rate": 2.5102222222222223e-05,
      "loss": 1.5832,
      "step": 5603
    },
    {
      "epoch": 0.4981333333333333,
      "grad_norm": 1.6839056015014648,
      "learning_rate": 2.509777777777778e-05,
      "loss": 1.5737,
      "step": 5604
    },
    {
      "epoch": 0.49822222222222223,
      "grad_norm": 1.6121095418930054,
      "learning_rate": 2.5093333333333336e-05,
      "loss": 1.6138,
      "step": 5605
    },
    {
      "epoch": 0.4983111111111111,
      "grad_norm": 1.3466055393218994,
      "learning_rate": 2.508888888888889e-05,
      "loss": 1.6023,
      "step": 5606
    },
    {
      "epoch": 0.4984,
      "grad_norm": 2.018885612487793,
      "learning_rate": 2.5084444444444442e-05,
      "loss": 1.6907,
      "step": 5607
    },
    {
      "epoch": 0.49848888888888887,
      "grad_norm": 1.419337272644043,
      "learning_rate": 2.5080000000000004e-05,
      "loss": 1.7354,
      "step": 5608
    },
    {
      "epoch": 0.4985777777777778,
      "grad_norm": 1.6081690788269043,
      "learning_rate": 2.507555555555556e-05,
      "loss": 1.5039,
      "step": 5609
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 1.5544389486312866,
      "learning_rate": 2.5071111111111114e-05,
      "loss": 1.5359,
      "step": 5610
    },
    {
      "epoch": 0.49875555555555556,
      "grad_norm": 1.4566665887832642,
      "learning_rate": 2.5066666666666665e-05,
      "loss": 1.6011,
      "step": 5611
    },
    {
      "epoch": 0.4988444444444444,
      "grad_norm": 1.4276248216629028,
      "learning_rate": 2.5062222222222227e-05,
      "loss": 1.5016,
      "step": 5612
    },
    {
      "epoch": 0.49893333333333334,
      "grad_norm": 2.123286247253418,
      "learning_rate": 2.505777777777778e-05,
      "loss": 1.7754,
      "step": 5613
    },
    {
      "epoch": 0.4990222222222222,
      "grad_norm": 1.4912753105163574,
      "learning_rate": 2.5053333333333333e-05,
      "loss": 1.7419,
      "step": 5614
    },
    {
      "epoch": 0.4991111111111111,
      "grad_norm": 1.443936824798584,
      "learning_rate": 2.5048888888888888e-05,
      "loss": 1.403,
      "step": 5615
    },
    {
      "epoch": 0.4992,
      "grad_norm": 1.5771052837371826,
      "learning_rate": 2.504444444444445e-05,
      "loss": 1.6848,
      "step": 5616
    },
    {
      "epoch": 0.4992888888888889,
      "grad_norm": 1.669040322303772,
      "learning_rate": 2.504e-05,
      "loss": 1.6747,
      "step": 5617
    },
    {
      "epoch": 0.49937777777777775,
      "grad_norm": 1.6251198053359985,
      "learning_rate": 2.5035555555555556e-05,
      "loss": 1.5665,
      "step": 5618
    },
    {
      "epoch": 0.49946666666666667,
      "grad_norm": 1.3918116092681885,
      "learning_rate": 2.503111111111111e-05,
      "loss": 1.4207,
      "step": 5619
    },
    {
      "epoch": 0.49955555555555553,
      "grad_norm": 1.4312382936477661,
      "learning_rate": 2.5026666666666672e-05,
      "loss": 1.5282,
      "step": 5620
    },
    {
      "epoch": 0.49964444444444445,
      "grad_norm": 1.5546609163284302,
      "learning_rate": 2.5022222222222224e-05,
      "loss": 1.4854,
      "step": 5621
    },
    {
      "epoch": 0.4997333333333333,
      "grad_norm": 1.6691431999206543,
      "learning_rate": 2.501777777777778e-05,
      "loss": 1.4832,
      "step": 5622
    },
    {
      "epoch": 0.4998222222222222,
      "grad_norm": 1.7465201616287231,
      "learning_rate": 2.5013333333333333e-05,
      "loss": 1.5667,
      "step": 5623
    },
    {
      "epoch": 0.4999111111111111,
      "grad_norm": 1.6296857595443726,
      "learning_rate": 2.500888888888889e-05,
      "loss": 1.7593,
      "step": 5624
    },
    {
      "epoch": 0.5,
      "grad_norm": 1.8302578926086426,
      "learning_rate": 2.5004444444444446e-05,
      "loss": 1.4736,
      "step": 5625
    },
    {
      "epoch": 0.5000888888888889,
      "grad_norm": 1.4709551334381104,
      "learning_rate": 2.5e-05,
      "loss": 1.6359,
      "step": 5626
    },
    {
      "epoch": 0.5001777777777778,
      "grad_norm": 1.686832070350647,
      "learning_rate": 2.4995555555555556e-05,
      "loss": 1.665,
      "step": 5627
    },
    {
      "epoch": 0.5002666666666666,
      "grad_norm": 1.6017214059829712,
      "learning_rate": 2.499111111111111e-05,
      "loss": 1.5758,
      "step": 5628
    },
    {
      "epoch": 0.5003555555555556,
      "grad_norm": 1.6530327796936035,
      "learning_rate": 2.4986666666666666e-05,
      "loss": 1.6803,
      "step": 5629
    },
    {
      "epoch": 0.5004444444444445,
      "grad_norm": 1.583647608757019,
      "learning_rate": 2.4982222222222224e-05,
      "loss": 1.3518,
      "step": 5630
    },
    {
      "epoch": 0.5005333333333334,
      "grad_norm": 1.632728934288025,
      "learning_rate": 2.497777777777778e-05,
      "loss": 1.7431,
      "step": 5631
    },
    {
      "epoch": 0.5006222222222222,
      "grad_norm": 1.4817003011703491,
      "learning_rate": 2.4973333333333334e-05,
      "loss": 1.5733,
      "step": 5632
    },
    {
      "epoch": 0.5007111111111111,
      "grad_norm": 1.9335018396377563,
      "learning_rate": 2.496888888888889e-05,
      "loss": 1.5101,
      "step": 5633
    },
    {
      "epoch": 0.5008,
      "grad_norm": 2.0013132095336914,
      "learning_rate": 2.4964444444444447e-05,
      "loss": 1.7148,
      "step": 5634
    },
    {
      "epoch": 0.5008888888888889,
      "grad_norm": 1.3317477703094482,
      "learning_rate": 2.496e-05,
      "loss": 1.2432,
      "step": 5635
    },
    {
      "epoch": 0.5009777777777777,
      "grad_norm": 1.7147390842437744,
      "learning_rate": 2.4955555555555556e-05,
      "loss": 1.5232,
      "step": 5636
    },
    {
      "epoch": 0.5010666666666667,
      "grad_norm": 1.5223814249038696,
      "learning_rate": 2.495111111111111e-05,
      "loss": 1.6017,
      "step": 5637
    },
    {
      "epoch": 0.5011555555555556,
      "grad_norm": 1.4961373805999756,
      "learning_rate": 2.494666666666667e-05,
      "loss": 1.6644,
      "step": 5638
    },
    {
      "epoch": 0.5012444444444445,
      "grad_norm": 2.438943862915039,
      "learning_rate": 2.494222222222222e-05,
      "loss": 1.5946,
      "step": 5639
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 1.8350948095321655,
      "learning_rate": 2.493777777777778e-05,
      "loss": 1.3617,
      "step": 5640
    },
    {
      "epoch": 0.5014222222222222,
      "grad_norm": 1.9978283643722534,
      "learning_rate": 2.4933333333333334e-05,
      "loss": 1.9627,
      "step": 5641
    },
    {
      "epoch": 0.5015111111111111,
      "grad_norm": 1.886856198310852,
      "learning_rate": 2.492888888888889e-05,
      "loss": 1.6765,
      "step": 5642
    },
    {
      "epoch": 0.5016,
      "grad_norm": 1.4007364511489868,
      "learning_rate": 2.4924444444444444e-05,
      "loss": 1.5634,
      "step": 5643
    },
    {
      "epoch": 0.5016888888888889,
      "grad_norm": 1.5697625875473022,
      "learning_rate": 2.4920000000000002e-05,
      "loss": 1.5985,
      "step": 5644
    },
    {
      "epoch": 0.5017777777777778,
      "grad_norm": 2.3273112773895264,
      "learning_rate": 2.4915555555555557e-05,
      "loss": 1.8348,
      "step": 5645
    },
    {
      "epoch": 0.5018666666666667,
      "grad_norm": 1.5343480110168457,
      "learning_rate": 2.491111111111111e-05,
      "loss": 1.6263,
      "step": 5646
    },
    {
      "epoch": 0.5019555555555556,
      "grad_norm": 1.6248517036437988,
      "learning_rate": 2.4906666666666666e-05,
      "loss": 1.6886,
      "step": 5647
    },
    {
      "epoch": 0.5020444444444444,
      "grad_norm": 1.4512015581130981,
      "learning_rate": 2.4902222222222225e-05,
      "loss": 1.6962,
      "step": 5648
    },
    {
      "epoch": 0.5021333333333333,
      "grad_norm": 1.867141604423523,
      "learning_rate": 2.489777777777778e-05,
      "loss": 1.5345,
      "step": 5649
    },
    {
      "epoch": 0.5022222222222222,
      "grad_norm": 1.518457293510437,
      "learning_rate": 2.4893333333333334e-05,
      "loss": 1.666,
      "step": 5650
    },
    {
      "epoch": 0.5023111111111112,
      "grad_norm": 1.6552749872207642,
      "learning_rate": 2.488888888888889e-05,
      "loss": 1.4902,
      "step": 5651
    },
    {
      "epoch": 0.5024,
      "grad_norm": 1.4949939250946045,
      "learning_rate": 2.4884444444444448e-05,
      "loss": 1.5607,
      "step": 5652
    },
    {
      "epoch": 0.5024888888888889,
      "grad_norm": 1.4057713747024536,
      "learning_rate": 2.488e-05,
      "loss": 1.4641,
      "step": 5653
    },
    {
      "epoch": 0.5025777777777778,
      "grad_norm": 1.524499535560608,
      "learning_rate": 2.4875555555555557e-05,
      "loss": 1.4973,
      "step": 5654
    },
    {
      "epoch": 0.5026666666666667,
      "grad_norm": 1.8028171062469482,
      "learning_rate": 2.4871111111111112e-05,
      "loss": 1.4183,
      "step": 5655
    },
    {
      "epoch": 0.5027555555555555,
      "grad_norm": 1.5059078931808472,
      "learning_rate": 2.486666666666667e-05,
      "loss": 1.7324,
      "step": 5656
    },
    {
      "epoch": 0.5028444444444444,
      "grad_norm": 1.5254738330841064,
      "learning_rate": 2.4862222222222222e-05,
      "loss": 1.446,
      "step": 5657
    },
    {
      "epoch": 0.5029333333333333,
      "grad_norm": 1.5283676385879517,
      "learning_rate": 2.485777777777778e-05,
      "loss": 1.8683,
      "step": 5658
    },
    {
      "epoch": 0.5030222222222223,
      "grad_norm": 1.444767713546753,
      "learning_rate": 2.4853333333333335e-05,
      "loss": 1.5446,
      "step": 5659
    },
    {
      "epoch": 0.5031111111111111,
      "grad_norm": 1.4386450052261353,
      "learning_rate": 2.484888888888889e-05,
      "loss": 1.5259,
      "step": 5660
    },
    {
      "epoch": 0.5032,
      "grad_norm": 1.6544052362442017,
      "learning_rate": 2.4844444444444444e-05,
      "loss": 1.6877,
      "step": 5661
    },
    {
      "epoch": 0.5032888888888889,
      "grad_norm": 1.682693362236023,
      "learning_rate": 2.4840000000000003e-05,
      "loss": 1.5366,
      "step": 5662
    },
    {
      "epoch": 0.5033777777777778,
      "grad_norm": 1.8572883605957031,
      "learning_rate": 2.4835555555555558e-05,
      "loss": 1.6709,
      "step": 5663
    },
    {
      "epoch": 0.5034666666666666,
      "grad_norm": 1.4215575456619263,
      "learning_rate": 2.4831111111111112e-05,
      "loss": 1.4147,
      "step": 5664
    },
    {
      "epoch": 0.5035555555555555,
      "grad_norm": 1.7694766521453857,
      "learning_rate": 2.4826666666666667e-05,
      "loss": 1.5713,
      "step": 5665
    },
    {
      "epoch": 0.5036444444444445,
      "grad_norm": 1.4494380950927734,
      "learning_rate": 2.4822222222222225e-05,
      "loss": 1.5988,
      "step": 5666
    },
    {
      "epoch": 0.5037333333333334,
      "grad_norm": 1.4803919792175293,
      "learning_rate": 2.481777777777778e-05,
      "loss": 1.6284,
      "step": 5667
    },
    {
      "epoch": 0.5038222222222222,
      "grad_norm": 1.6773762702941895,
      "learning_rate": 2.4813333333333335e-05,
      "loss": 1.4809,
      "step": 5668
    },
    {
      "epoch": 0.5039111111111111,
      "grad_norm": 2.745835542678833,
      "learning_rate": 2.480888888888889e-05,
      "loss": 1.658,
      "step": 5669
    },
    {
      "epoch": 0.504,
      "grad_norm": 1.6613378524780273,
      "learning_rate": 2.4804444444444448e-05,
      "loss": 1.567,
      "step": 5670
    },
    {
      "epoch": 0.5040888888888889,
      "grad_norm": 1.434542179107666,
      "learning_rate": 2.48e-05,
      "loss": 1.6536,
      "step": 5671
    },
    {
      "epoch": 0.5041777777777777,
      "grad_norm": 1.4864522218704224,
      "learning_rate": 2.4795555555555558e-05,
      "loss": 1.5452,
      "step": 5672
    },
    {
      "epoch": 0.5042666666666666,
      "grad_norm": 1.5283235311508179,
      "learning_rate": 2.4791111111111113e-05,
      "loss": 1.7427,
      "step": 5673
    },
    {
      "epoch": 0.5043555555555556,
      "grad_norm": 1.6605175733566284,
      "learning_rate": 2.4786666666666668e-05,
      "loss": 1.6456,
      "step": 5674
    },
    {
      "epoch": 0.5044444444444445,
      "grad_norm": 1.8441145420074463,
      "learning_rate": 2.4782222222222222e-05,
      "loss": 1.5653,
      "step": 5675
    },
    {
      "epoch": 0.5045333333333333,
      "grad_norm": 1.6322057247161865,
      "learning_rate": 2.477777777777778e-05,
      "loss": 1.6417,
      "step": 5676
    },
    {
      "epoch": 0.5046222222222222,
      "grad_norm": 1.841318130493164,
      "learning_rate": 2.4773333333333336e-05,
      "loss": 1.7491,
      "step": 5677
    },
    {
      "epoch": 0.5047111111111111,
      "grad_norm": 1.633111834526062,
      "learning_rate": 2.4768888888888887e-05,
      "loss": 1.5407,
      "step": 5678
    },
    {
      "epoch": 0.5048,
      "grad_norm": 1.377411127090454,
      "learning_rate": 2.4764444444444445e-05,
      "loss": 1.4779,
      "step": 5679
    },
    {
      "epoch": 0.5048888888888889,
      "grad_norm": 1.7449185848236084,
      "learning_rate": 2.476e-05,
      "loss": 1.5845,
      "step": 5680
    },
    {
      "epoch": 0.5049777777777777,
      "grad_norm": 1.6764839887619019,
      "learning_rate": 2.475555555555556e-05,
      "loss": 1.5598,
      "step": 5681
    },
    {
      "epoch": 0.5050666666666667,
      "grad_norm": 1.546804666519165,
      "learning_rate": 2.475111111111111e-05,
      "loss": 1.4565,
      "step": 5682
    },
    {
      "epoch": 0.5051555555555556,
      "grad_norm": 1.8939158916473389,
      "learning_rate": 2.4746666666666668e-05,
      "loss": 1.4335,
      "step": 5683
    },
    {
      "epoch": 0.5052444444444445,
      "grad_norm": 1.7255338430404663,
      "learning_rate": 2.4742222222222223e-05,
      "loss": 1.507,
      "step": 5684
    },
    {
      "epoch": 0.5053333333333333,
      "grad_norm": 1.6105396747589111,
      "learning_rate": 2.4737777777777778e-05,
      "loss": 1.4595,
      "step": 5685
    },
    {
      "epoch": 0.5054222222222222,
      "grad_norm": 2.0961015224456787,
      "learning_rate": 2.4733333333333333e-05,
      "loss": 1.7397,
      "step": 5686
    },
    {
      "epoch": 0.5055111111111111,
      "grad_norm": 1.483568787574768,
      "learning_rate": 2.472888888888889e-05,
      "loss": 1.386,
      "step": 5687
    },
    {
      "epoch": 0.5056,
      "grad_norm": 1.5489845275878906,
      "learning_rate": 2.4724444444444446e-05,
      "loss": 1.569,
      "step": 5688
    },
    {
      "epoch": 0.5056888888888889,
      "grad_norm": 1.4384214878082275,
      "learning_rate": 2.472e-05,
      "loss": 1.448,
      "step": 5689
    },
    {
      "epoch": 0.5057777777777778,
      "grad_norm": 1.6288055181503296,
      "learning_rate": 2.4715555555555555e-05,
      "loss": 1.54,
      "step": 5690
    },
    {
      "epoch": 0.5058666666666667,
      "grad_norm": 1.564003348350525,
      "learning_rate": 2.4711111111111114e-05,
      "loss": 1.5319,
      "step": 5691
    },
    {
      "epoch": 0.5059555555555556,
      "grad_norm": 1.7511680126190186,
      "learning_rate": 2.470666666666667e-05,
      "loss": 1.648,
      "step": 5692
    },
    {
      "epoch": 0.5060444444444444,
      "grad_norm": 1.6263937950134277,
      "learning_rate": 2.4702222222222223e-05,
      "loss": 1.5709,
      "step": 5693
    },
    {
      "epoch": 0.5061333333333333,
      "grad_norm": 1.567348837852478,
      "learning_rate": 2.4697777777777778e-05,
      "loss": 1.5347,
      "step": 5694
    },
    {
      "epoch": 0.5062222222222222,
      "grad_norm": 1.85371994972229,
      "learning_rate": 2.4693333333333336e-05,
      "loss": 1.7398,
      "step": 5695
    },
    {
      "epoch": 0.5063111111111112,
      "grad_norm": 1.5047945976257324,
      "learning_rate": 2.4688888888888888e-05,
      "loss": 1.6048,
      "step": 5696
    },
    {
      "epoch": 0.5064,
      "grad_norm": 1.7661570310592651,
      "learning_rate": 2.4684444444444446e-05,
      "loss": 1.6668,
      "step": 5697
    },
    {
      "epoch": 0.5064888888888889,
      "grad_norm": 1.7040174007415771,
      "learning_rate": 2.468e-05,
      "loss": 1.9083,
      "step": 5698
    },
    {
      "epoch": 0.5065777777777778,
      "grad_norm": 1.6206547021865845,
      "learning_rate": 2.4675555555555556e-05,
      "loss": 1.6266,
      "step": 5699
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 1.5516321659088135,
      "learning_rate": 2.467111111111111e-05,
      "loss": 1.5313,
      "step": 5700
    },
    {
      "epoch": 0.5067555555555555,
      "grad_norm": 2.0369582176208496,
      "learning_rate": 2.466666666666667e-05,
      "loss": 1.5411,
      "step": 5701
    },
    {
      "epoch": 0.5068444444444444,
      "grad_norm": 1.5805035829544067,
      "learning_rate": 2.4662222222222224e-05,
      "loss": 1.7871,
      "step": 5702
    },
    {
      "epoch": 0.5069333333333333,
      "grad_norm": 1.629001498222351,
      "learning_rate": 2.465777777777778e-05,
      "loss": 1.5184,
      "step": 5703
    },
    {
      "epoch": 0.5070222222222223,
      "grad_norm": 1.610840082168579,
      "learning_rate": 2.4653333333333333e-05,
      "loss": 1.5348,
      "step": 5704
    },
    {
      "epoch": 0.5071111111111111,
      "grad_norm": 1.4659770727157593,
      "learning_rate": 2.464888888888889e-05,
      "loss": 1.3097,
      "step": 5705
    },
    {
      "epoch": 0.5072,
      "grad_norm": 1.4806112051010132,
      "learning_rate": 2.4644444444444446e-05,
      "loss": 1.7586,
      "step": 5706
    },
    {
      "epoch": 0.5072888888888889,
      "grad_norm": 1.9658868312835693,
      "learning_rate": 2.464e-05,
      "loss": 1.5774,
      "step": 5707
    },
    {
      "epoch": 0.5073777777777778,
      "grad_norm": 1.9639582633972168,
      "learning_rate": 2.4635555555555556e-05,
      "loss": 1.7146,
      "step": 5708
    },
    {
      "epoch": 0.5074666666666666,
      "grad_norm": 1.4251893758773804,
      "learning_rate": 2.4631111111111114e-05,
      "loss": 1.6043,
      "step": 5709
    },
    {
      "epoch": 0.5075555555555555,
      "grad_norm": 1.4870167970657349,
      "learning_rate": 2.4626666666666666e-05,
      "loss": 1.6656,
      "step": 5710
    },
    {
      "epoch": 0.5076444444444445,
      "grad_norm": 1.456695795059204,
      "learning_rate": 2.4622222222222224e-05,
      "loss": 1.4456,
      "step": 5711
    },
    {
      "epoch": 0.5077333333333334,
      "grad_norm": 1.8534834384918213,
      "learning_rate": 2.461777777777778e-05,
      "loss": 1.677,
      "step": 5712
    },
    {
      "epoch": 0.5078222222222222,
      "grad_norm": 1.810107946395874,
      "learning_rate": 2.4613333333333337e-05,
      "loss": 1.6754,
      "step": 5713
    },
    {
      "epoch": 0.5079111111111111,
      "grad_norm": 1.8468499183654785,
      "learning_rate": 2.460888888888889e-05,
      "loss": 1.7095,
      "step": 5714
    },
    {
      "epoch": 0.508,
      "grad_norm": 1.6297085285186768,
      "learning_rate": 2.4604444444444447e-05,
      "loss": 1.648,
      "step": 5715
    },
    {
      "epoch": 0.5080888888888889,
      "grad_norm": 1.682879090309143,
      "learning_rate": 2.46e-05,
      "loss": 1.5136,
      "step": 5716
    },
    {
      "epoch": 0.5081777777777777,
      "grad_norm": 1.5924493074417114,
      "learning_rate": 2.4595555555555556e-05,
      "loss": 1.747,
      "step": 5717
    },
    {
      "epoch": 0.5082666666666666,
      "grad_norm": 1.5015184879302979,
      "learning_rate": 2.459111111111111e-05,
      "loss": 1.5773,
      "step": 5718
    },
    {
      "epoch": 0.5083555555555556,
      "grad_norm": 1.6507364511489868,
      "learning_rate": 2.458666666666667e-05,
      "loss": 1.546,
      "step": 5719
    },
    {
      "epoch": 0.5084444444444445,
      "grad_norm": 2.021372079849243,
      "learning_rate": 2.4582222222222224e-05,
      "loss": 1.751,
      "step": 5720
    },
    {
      "epoch": 0.5085333333333333,
      "grad_norm": 1.708777666091919,
      "learning_rate": 2.457777777777778e-05,
      "loss": 1.5665,
      "step": 5721
    },
    {
      "epoch": 0.5086222222222222,
      "grad_norm": 1.6186522245407104,
      "learning_rate": 2.4573333333333334e-05,
      "loss": 1.7595,
      "step": 5722
    },
    {
      "epoch": 0.5087111111111111,
      "grad_norm": 1.7108736038208008,
      "learning_rate": 2.4568888888888892e-05,
      "loss": 1.5316,
      "step": 5723
    },
    {
      "epoch": 0.5088,
      "grad_norm": 1.6576619148254395,
      "learning_rate": 2.4564444444444444e-05,
      "loss": 1.4571,
      "step": 5724
    },
    {
      "epoch": 0.5088888888888888,
      "grad_norm": 1.6180094480514526,
      "learning_rate": 2.4560000000000002e-05,
      "loss": 1.6809,
      "step": 5725
    },
    {
      "epoch": 0.5089777777777778,
      "grad_norm": 1.8480861186981201,
      "learning_rate": 2.4555555555555557e-05,
      "loss": 1.5485,
      "step": 5726
    },
    {
      "epoch": 0.5090666666666667,
      "grad_norm": 1.5305944681167603,
      "learning_rate": 2.4551111111111115e-05,
      "loss": 1.6848,
      "step": 5727
    },
    {
      "epoch": 0.5091555555555556,
      "grad_norm": 1.5671048164367676,
      "learning_rate": 2.4546666666666667e-05,
      "loss": 1.5886,
      "step": 5728
    },
    {
      "epoch": 0.5092444444444445,
      "grad_norm": 1.528464436531067,
      "learning_rate": 2.4542222222222225e-05,
      "loss": 1.6064,
      "step": 5729
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 1.615360975265503,
      "learning_rate": 2.453777777777778e-05,
      "loss": 1.8908,
      "step": 5730
    },
    {
      "epoch": 0.5094222222222222,
      "grad_norm": 1.457213044166565,
      "learning_rate": 2.4533333333333334e-05,
      "loss": 1.5422,
      "step": 5731
    },
    {
      "epoch": 0.5095111111111111,
      "grad_norm": 1.460497260093689,
      "learning_rate": 2.452888888888889e-05,
      "loss": 1.4652,
      "step": 5732
    },
    {
      "epoch": 0.5096,
      "grad_norm": 1.2218186855316162,
      "learning_rate": 2.4524444444444444e-05,
      "loss": 1.3652,
      "step": 5733
    },
    {
      "epoch": 0.5096888888888889,
      "grad_norm": 1.8694530725479126,
      "learning_rate": 2.4520000000000002e-05,
      "loss": 1.6283,
      "step": 5734
    },
    {
      "epoch": 0.5097777777777778,
      "grad_norm": 1.477833867073059,
      "learning_rate": 2.4515555555555554e-05,
      "loss": 1.5845,
      "step": 5735
    },
    {
      "epoch": 0.5098666666666667,
      "grad_norm": 1.565077781677246,
      "learning_rate": 2.4511111111111112e-05,
      "loss": 1.4447,
      "step": 5736
    },
    {
      "epoch": 0.5099555555555556,
      "grad_norm": 1.5314329862594604,
      "learning_rate": 2.4506666666666667e-05,
      "loss": 1.6147,
      "step": 5737
    },
    {
      "epoch": 0.5100444444444444,
      "grad_norm": 1.8197828531265259,
      "learning_rate": 2.4502222222222225e-05,
      "loss": 1.4147,
      "step": 5738
    },
    {
      "epoch": 0.5101333333333333,
      "grad_norm": 2.00097918510437,
      "learning_rate": 2.4497777777777777e-05,
      "loss": 1.7192,
      "step": 5739
    },
    {
      "epoch": 0.5102222222222222,
      "grad_norm": 1.7456963062286377,
      "learning_rate": 2.4493333333333335e-05,
      "loss": 1.2768,
      "step": 5740
    },
    {
      "epoch": 0.5103111111111112,
      "grad_norm": 2.3131778240203857,
      "learning_rate": 2.448888888888889e-05,
      "loss": 1.6088,
      "step": 5741
    },
    {
      "epoch": 0.5104,
      "grad_norm": 1.5027968883514404,
      "learning_rate": 2.4484444444444445e-05,
      "loss": 1.696,
      "step": 5742
    },
    {
      "epoch": 0.5104888888888889,
      "grad_norm": 1.761728048324585,
      "learning_rate": 2.448e-05,
      "loss": 1.5946,
      "step": 5743
    },
    {
      "epoch": 0.5105777777777778,
      "grad_norm": 1.5684516429901123,
      "learning_rate": 2.4475555555555558e-05,
      "loss": 1.7547,
      "step": 5744
    },
    {
      "epoch": 0.5106666666666667,
      "grad_norm": 1.582380771636963,
      "learning_rate": 2.4471111111111112e-05,
      "loss": 1.5956,
      "step": 5745
    },
    {
      "epoch": 0.5107555555555555,
      "grad_norm": 1.5806668996810913,
      "learning_rate": 2.4466666666666667e-05,
      "loss": 1.6689,
      "step": 5746
    },
    {
      "epoch": 0.5108444444444444,
      "grad_norm": 1.5764498710632324,
      "learning_rate": 2.4462222222222222e-05,
      "loss": 1.3671,
      "step": 5747
    },
    {
      "epoch": 0.5109333333333334,
      "grad_norm": 1.5542397499084473,
      "learning_rate": 2.445777777777778e-05,
      "loss": 1.4338,
      "step": 5748
    },
    {
      "epoch": 0.5110222222222223,
      "grad_norm": 1.728087067604065,
      "learning_rate": 2.4453333333333335e-05,
      "loss": 1.8609,
      "step": 5749
    },
    {
      "epoch": 0.5111111111111111,
      "grad_norm": 1.7768709659576416,
      "learning_rate": 2.444888888888889e-05,
      "loss": 1.6943,
      "step": 5750
    },
    {
      "epoch": 0.5112,
      "grad_norm": 1.5616811513900757,
      "learning_rate": 2.4444444444444445e-05,
      "loss": 1.641,
      "step": 5751
    },
    {
      "epoch": 0.5112888888888889,
      "grad_norm": 1.7555420398712158,
      "learning_rate": 2.4440000000000003e-05,
      "loss": 1.4584,
      "step": 5752
    },
    {
      "epoch": 0.5113777777777778,
      "grad_norm": 1.843003511428833,
      "learning_rate": 2.4435555555555555e-05,
      "loss": 1.6561,
      "step": 5753
    },
    {
      "epoch": 0.5114666666666666,
      "grad_norm": 1.626186728477478,
      "learning_rate": 2.4431111111111113e-05,
      "loss": 1.5317,
      "step": 5754
    },
    {
      "epoch": 0.5115555555555555,
      "grad_norm": 1.6088286638259888,
      "learning_rate": 2.4426666666666668e-05,
      "loss": 1.4683,
      "step": 5755
    },
    {
      "epoch": 0.5116444444444445,
      "grad_norm": 1.7586145401000977,
      "learning_rate": 2.4422222222222223e-05,
      "loss": 1.5436,
      "step": 5756
    },
    {
      "epoch": 0.5117333333333334,
      "grad_norm": 1.4094345569610596,
      "learning_rate": 2.4417777777777777e-05,
      "loss": 1.4316,
      "step": 5757
    },
    {
      "epoch": 0.5118222222222222,
      "grad_norm": 1.875308632850647,
      "learning_rate": 2.4413333333333336e-05,
      "loss": 1.8663,
      "step": 5758
    },
    {
      "epoch": 0.5119111111111111,
      "grad_norm": 1.3983532190322876,
      "learning_rate": 2.440888888888889e-05,
      "loss": 1.6651,
      "step": 5759
    },
    {
      "epoch": 0.512,
      "grad_norm": 1.6300792694091797,
      "learning_rate": 2.4404444444444445e-05,
      "loss": 1.574,
      "step": 5760
    },
    {
      "epoch": 0.5120888888888889,
      "grad_norm": 1.6859019994735718,
      "learning_rate": 2.44e-05,
      "loss": 1.4542,
      "step": 5761
    },
    {
      "epoch": 0.5121777777777777,
      "grad_norm": 1.6857726573944092,
      "learning_rate": 2.439555555555556e-05,
      "loss": 1.3502,
      "step": 5762
    },
    {
      "epoch": 0.5122666666666666,
      "grad_norm": 1.5473237037658691,
      "learning_rate": 2.4391111111111113e-05,
      "loss": 1.5426,
      "step": 5763
    },
    {
      "epoch": 0.5123555555555556,
      "grad_norm": 1.6975464820861816,
      "learning_rate": 2.4386666666666668e-05,
      "loss": 1.6842,
      "step": 5764
    },
    {
      "epoch": 0.5124444444444445,
      "grad_norm": 1.8366243839263916,
      "learning_rate": 2.4382222222222223e-05,
      "loss": 1.7132,
      "step": 5765
    },
    {
      "epoch": 0.5125333333333333,
      "grad_norm": 1.6570024490356445,
      "learning_rate": 2.437777777777778e-05,
      "loss": 1.7128,
      "step": 5766
    },
    {
      "epoch": 0.5126222222222222,
      "grad_norm": 1.5736501216888428,
      "learning_rate": 2.4373333333333333e-05,
      "loss": 1.6593,
      "step": 5767
    },
    {
      "epoch": 0.5127111111111111,
      "grad_norm": 1.5123075246810913,
      "learning_rate": 2.436888888888889e-05,
      "loss": 1.5087,
      "step": 5768
    },
    {
      "epoch": 0.5128,
      "grad_norm": 1.4511499404907227,
      "learning_rate": 2.4364444444444446e-05,
      "loss": 1.4201,
      "step": 5769
    },
    {
      "epoch": 0.5128888888888888,
      "grad_norm": 1.3477602005004883,
      "learning_rate": 2.4360000000000004e-05,
      "loss": 1.4738,
      "step": 5770
    },
    {
      "epoch": 0.5129777777777778,
      "grad_norm": 1.5455586910247803,
      "learning_rate": 2.4355555555555555e-05,
      "loss": 1.6184,
      "step": 5771
    },
    {
      "epoch": 0.5130666666666667,
      "grad_norm": 1.5861488580703735,
      "learning_rate": 2.4351111111111114e-05,
      "loss": 1.3058,
      "step": 5772
    },
    {
      "epoch": 0.5131555555555556,
      "grad_norm": 2.1657967567443848,
      "learning_rate": 2.434666666666667e-05,
      "loss": 1.8225,
      "step": 5773
    },
    {
      "epoch": 0.5132444444444444,
      "grad_norm": 3.0258283615112305,
      "learning_rate": 2.4342222222222223e-05,
      "loss": 1.7321,
      "step": 5774
    },
    {
      "epoch": 0.5133333333333333,
      "grad_norm": 1.6159921884536743,
      "learning_rate": 2.4337777777777778e-05,
      "loss": 1.6172,
      "step": 5775
    },
    {
      "epoch": 0.5134222222222222,
      "grad_norm": 1.4642503261566162,
      "learning_rate": 2.4333333333333336e-05,
      "loss": 1.4594,
      "step": 5776
    },
    {
      "epoch": 0.5135111111111111,
      "grad_norm": 1.4839770793914795,
      "learning_rate": 2.432888888888889e-05,
      "loss": 1.3801,
      "step": 5777
    },
    {
      "epoch": 0.5136,
      "grad_norm": 1.4642947912216187,
      "learning_rate": 2.4324444444444446e-05,
      "loss": 1.7673,
      "step": 5778
    },
    {
      "epoch": 0.5136888888888889,
      "grad_norm": 2.264965295791626,
      "learning_rate": 2.432e-05,
      "loss": 1.7474,
      "step": 5779
    },
    {
      "epoch": 0.5137777777777778,
      "grad_norm": 1.5804736614227295,
      "learning_rate": 2.431555555555556e-05,
      "loss": 1.5957,
      "step": 5780
    },
    {
      "epoch": 0.5138666666666667,
      "grad_norm": 1.9563021659851074,
      "learning_rate": 2.431111111111111e-05,
      "loss": 1.6673,
      "step": 5781
    },
    {
      "epoch": 0.5139555555555556,
      "grad_norm": 1.7173322439193726,
      "learning_rate": 2.4306666666666665e-05,
      "loss": 1.8322,
      "step": 5782
    },
    {
      "epoch": 0.5140444444444444,
      "grad_norm": 1.446155071258545,
      "learning_rate": 2.4302222222222224e-05,
      "loss": 1.4092,
      "step": 5783
    },
    {
      "epoch": 0.5141333333333333,
      "grad_norm": 1.4874712228775024,
      "learning_rate": 2.429777777777778e-05,
      "loss": 1.4099,
      "step": 5784
    },
    {
      "epoch": 0.5142222222222222,
      "grad_norm": 1.5540146827697754,
      "learning_rate": 2.4293333333333333e-05,
      "loss": 1.5449,
      "step": 5785
    },
    {
      "epoch": 0.5143111111111112,
      "grad_norm": 2.3026061058044434,
      "learning_rate": 2.4288888888888888e-05,
      "loss": 1.8228,
      "step": 5786
    },
    {
      "epoch": 0.5144,
      "grad_norm": 1.5717023611068726,
      "learning_rate": 2.4284444444444446e-05,
      "loss": 1.7311,
      "step": 5787
    },
    {
      "epoch": 0.5144888888888889,
      "grad_norm": 1.5994484424591064,
      "learning_rate": 2.428e-05,
      "loss": 1.4626,
      "step": 5788
    },
    {
      "epoch": 0.5145777777777778,
      "grad_norm": 1.6819645166397095,
      "learning_rate": 2.4275555555555556e-05,
      "loss": 1.6795,
      "step": 5789
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 2.123281240463257,
      "learning_rate": 2.427111111111111e-05,
      "loss": 1.6052,
      "step": 5790
    },
    {
      "epoch": 0.5147555555555555,
      "grad_norm": 2.5952205657958984,
      "learning_rate": 2.426666666666667e-05,
      "loss": 1.4179,
      "step": 5791
    },
    {
      "epoch": 0.5148444444444444,
      "grad_norm": 1.3929492235183716,
      "learning_rate": 2.426222222222222e-05,
      "loss": 1.4101,
      "step": 5792
    },
    {
      "epoch": 0.5149333333333334,
      "grad_norm": 1.5962016582489014,
      "learning_rate": 2.425777777777778e-05,
      "loss": 1.5664,
      "step": 5793
    },
    {
      "epoch": 0.5150222222222223,
      "grad_norm": 1.571820616722107,
      "learning_rate": 2.4253333333333334e-05,
      "loss": 1.3817,
      "step": 5794
    },
    {
      "epoch": 0.5151111111111111,
      "grad_norm": 2.1286187171936035,
      "learning_rate": 2.4248888888888892e-05,
      "loss": 1.6067,
      "step": 5795
    },
    {
      "epoch": 0.5152,
      "grad_norm": 1.6392580270767212,
      "learning_rate": 2.4244444444444443e-05,
      "loss": 1.554,
      "step": 5796
    },
    {
      "epoch": 0.5152888888888889,
      "grad_norm": 1.6602797508239746,
      "learning_rate": 2.4240000000000002e-05,
      "loss": 1.6252,
      "step": 5797
    },
    {
      "epoch": 0.5153777777777778,
      "grad_norm": 1.7273321151733398,
      "learning_rate": 2.4235555555555557e-05,
      "loss": 1.6281,
      "step": 5798
    },
    {
      "epoch": 0.5154666666666666,
      "grad_norm": 2.2427985668182373,
      "learning_rate": 2.423111111111111e-05,
      "loss": 1.7515,
      "step": 5799
    },
    {
      "epoch": 0.5155555555555555,
      "grad_norm": 1.96022629737854,
      "learning_rate": 2.4226666666666666e-05,
      "loss": 1.6771,
      "step": 5800
    },
    {
      "epoch": 0.5156444444444445,
      "grad_norm": 1.63417387008667,
      "learning_rate": 2.4222222222222224e-05,
      "loss": 1.4185,
      "step": 5801
    },
    {
      "epoch": 0.5157333333333334,
      "grad_norm": 1.5164763927459717,
      "learning_rate": 2.421777777777778e-05,
      "loss": 1.4668,
      "step": 5802
    },
    {
      "epoch": 0.5158222222222222,
      "grad_norm": 1.592015266418457,
      "learning_rate": 2.4213333333333334e-05,
      "loss": 1.416,
      "step": 5803
    },
    {
      "epoch": 0.5159111111111111,
      "grad_norm": 1.3669666051864624,
      "learning_rate": 2.420888888888889e-05,
      "loss": 1.4812,
      "step": 5804
    },
    {
      "epoch": 0.516,
      "grad_norm": 1.831358790397644,
      "learning_rate": 2.4204444444444447e-05,
      "loss": 1.3791,
      "step": 5805
    },
    {
      "epoch": 0.5160888888888889,
      "grad_norm": 1.7067304849624634,
      "learning_rate": 2.4200000000000002e-05,
      "loss": 1.6812,
      "step": 5806
    },
    {
      "epoch": 0.5161777777777777,
      "grad_norm": 1.5333671569824219,
      "learning_rate": 2.4195555555555557e-05,
      "loss": 1.7015,
      "step": 5807
    },
    {
      "epoch": 0.5162666666666667,
      "grad_norm": 1.795766830444336,
      "learning_rate": 2.4191111111111112e-05,
      "loss": 1.6243,
      "step": 5808
    },
    {
      "epoch": 0.5163555555555556,
      "grad_norm": 1.4391933679580688,
      "learning_rate": 2.418666666666667e-05,
      "loss": 1.6935,
      "step": 5809
    },
    {
      "epoch": 0.5164444444444445,
      "grad_norm": 1.5553371906280518,
      "learning_rate": 2.418222222222222e-05,
      "loss": 1.5,
      "step": 5810
    },
    {
      "epoch": 0.5165333333333333,
      "grad_norm": 1.6408761739730835,
      "learning_rate": 2.417777777777778e-05,
      "loss": 1.7352,
      "step": 5811
    },
    {
      "epoch": 0.5166222222222222,
      "grad_norm": 1.8629727363586426,
      "learning_rate": 2.4173333333333335e-05,
      "loss": 1.9139,
      "step": 5812
    },
    {
      "epoch": 0.5167111111111111,
      "grad_norm": 1.3839012384414673,
      "learning_rate": 2.416888888888889e-05,
      "loss": 1.6149,
      "step": 5813
    },
    {
      "epoch": 0.5168,
      "grad_norm": 1.3303947448730469,
      "learning_rate": 2.4164444444444444e-05,
      "loss": 1.4048,
      "step": 5814
    },
    {
      "epoch": 0.5168888888888888,
      "grad_norm": 1.4861725568771362,
      "learning_rate": 2.4160000000000002e-05,
      "loss": 1.6925,
      "step": 5815
    },
    {
      "epoch": 0.5169777777777778,
      "grad_norm": 1.5681544542312622,
      "learning_rate": 2.4155555555555557e-05,
      "loss": 1.6701,
      "step": 5816
    },
    {
      "epoch": 0.5170666666666667,
      "grad_norm": 1.4164737462997437,
      "learning_rate": 2.4151111111111112e-05,
      "loss": 1.3772,
      "step": 5817
    },
    {
      "epoch": 0.5171555555555556,
      "grad_norm": 1.4002562761306763,
      "learning_rate": 2.4146666666666667e-05,
      "loss": 1.4994,
      "step": 5818
    },
    {
      "epoch": 0.5172444444444444,
      "grad_norm": 1.981874942779541,
      "learning_rate": 2.4142222222222225e-05,
      "loss": 1.791,
      "step": 5819
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 1.5787378549575806,
      "learning_rate": 2.413777777777778e-05,
      "loss": 1.6384,
      "step": 5820
    },
    {
      "epoch": 0.5174222222222222,
      "grad_norm": 1.9682612419128418,
      "learning_rate": 2.4133333333333335e-05,
      "loss": 1.5956,
      "step": 5821
    },
    {
      "epoch": 0.5175111111111111,
      "grad_norm": 1.8012831211090088,
      "learning_rate": 2.412888888888889e-05,
      "loss": 1.4977,
      "step": 5822
    },
    {
      "epoch": 0.5176,
      "grad_norm": 1.8327580690383911,
      "learning_rate": 2.4124444444444448e-05,
      "loss": 1.6161,
      "step": 5823
    },
    {
      "epoch": 0.5176888888888889,
      "grad_norm": 1.6794352531433105,
      "learning_rate": 2.412e-05,
      "loss": 1.5146,
      "step": 5824
    },
    {
      "epoch": 0.5177777777777778,
      "grad_norm": 1.776383638381958,
      "learning_rate": 2.4115555555555558e-05,
      "loss": 1.532,
      "step": 5825
    },
    {
      "epoch": 0.5178666666666667,
      "grad_norm": 1.4908952713012695,
      "learning_rate": 2.4111111111111113e-05,
      "loss": 1.7554,
      "step": 5826
    },
    {
      "epoch": 0.5179555555555555,
      "grad_norm": 1.4757587909698486,
      "learning_rate": 2.4106666666666667e-05,
      "loss": 1.5547,
      "step": 5827
    },
    {
      "epoch": 0.5180444444444444,
      "grad_norm": 1.8006200790405273,
      "learning_rate": 2.4102222222222222e-05,
      "loss": 2.0116,
      "step": 5828
    },
    {
      "epoch": 0.5181333333333333,
      "grad_norm": 2.0839715003967285,
      "learning_rate": 2.409777777777778e-05,
      "loss": 1.652,
      "step": 5829
    },
    {
      "epoch": 0.5182222222222223,
      "grad_norm": 1.5742698907852173,
      "learning_rate": 2.4093333333333335e-05,
      "loss": 1.6558,
      "step": 5830
    },
    {
      "epoch": 0.5183111111111111,
      "grad_norm": 2.3341588973999023,
      "learning_rate": 2.408888888888889e-05,
      "loss": 1.855,
      "step": 5831
    },
    {
      "epoch": 0.5184,
      "grad_norm": 2.064030647277832,
      "learning_rate": 2.4084444444444445e-05,
      "loss": 1.5947,
      "step": 5832
    },
    {
      "epoch": 0.5184888888888889,
      "grad_norm": 1.6220654249191284,
      "learning_rate": 2.408e-05,
      "loss": 1.6719,
      "step": 5833
    },
    {
      "epoch": 0.5185777777777778,
      "grad_norm": 1.5032615661621094,
      "learning_rate": 2.4075555555555558e-05,
      "loss": 1.4527,
      "step": 5834
    },
    {
      "epoch": 0.5186666666666667,
      "grad_norm": 1.6124823093414307,
      "learning_rate": 2.407111111111111e-05,
      "loss": 1.5507,
      "step": 5835
    },
    {
      "epoch": 0.5187555555555555,
      "grad_norm": 1.6206380128860474,
      "learning_rate": 2.4066666666666668e-05,
      "loss": 1.6066,
      "step": 5836
    },
    {
      "epoch": 0.5188444444444444,
      "grad_norm": 1.5305901765823364,
      "learning_rate": 2.4062222222222223e-05,
      "loss": 1.4628,
      "step": 5837
    },
    {
      "epoch": 0.5189333333333334,
      "grad_norm": 2.204672336578369,
      "learning_rate": 2.4057777777777777e-05,
      "loss": 1.6604,
      "step": 5838
    },
    {
      "epoch": 0.5190222222222223,
      "grad_norm": 1.47084379196167,
      "learning_rate": 2.4053333333333332e-05,
      "loss": 1.5315,
      "step": 5839
    },
    {
      "epoch": 0.5191111111111111,
      "grad_norm": 1.3584187030792236,
      "learning_rate": 2.404888888888889e-05,
      "loss": 1.4876,
      "step": 5840
    },
    {
      "epoch": 0.5192,
      "grad_norm": 1.5115185976028442,
      "learning_rate": 2.4044444444444445e-05,
      "loss": 1.5684,
      "step": 5841
    },
    {
      "epoch": 0.5192888888888889,
      "grad_norm": 1.4766101837158203,
      "learning_rate": 2.404e-05,
      "loss": 1.6058,
      "step": 5842
    },
    {
      "epoch": 0.5193777777777778,
      "grad_norm": 1.4370183944702148,
      "learning_rate": 2.4035555555555555e-05,
      "loss": 1.2817,
      "step": 5843
    },
    {
      "epoch": 0.5194666666666666,
      "grad_norm": 1.471146583557129,
      "learning_rate": 2.4031111111111113e-05,
      "loss": 1.386,
      "step": 5844
    },
    {
      "epoch": 0.5195555555555555,
      "grad_norm": 2.0773983001708984,
      "learning_rate": 2.4026666666666668e-05,
      "loss": 1.6922,
      "step": 5845
    },
    {
      "epoch": 0.5196444444444445,
      "grad_norm": 1.5822089910507202,
      "learning_rate": 2.4022222222222223e-05,
      "loss": 1.6272,
      "step": 5846
    },
    {
      "epoch": 0.5197333333333334,
      "grad_norm": 1.5284870862960815,
      "learning_rate": 2.4017777777777778e-05,
      "loss": 1.713,
      "step": 5847
    },
    {
      "epoch": 0.5198222222222222,
      "grad_norm": 1.6011708974838257,
      "learning_rate": 2.4013333333333336e-05,
      "loss": 1.4097,
      "step": 5848
    },
    {
      "epoch": 0.5199111111111111,
      "grad_norm": 1.662290096282959,
      "learning_rate": 2.4008888888888888e-05,
      "loss": 1.8342,
      "step": 5849
    },
    {
      "epoch": 0.52,
      "grad_norm": 1.573217749595642,
      "learning_rate": 2.4004444444444446e-05,
      "loss": 1.5722,
      "step": 5850
    },
    {
      "epoch": 0.5200888888888889,
      "grad_norm": 1.49757981300354,
      "learning_rate": 2.4e-05,
      "loss": 1.4274,
      "step": 5851
    },
    {
      "epoch": 0.5201777777777777,
      "grad_norm": 1.532277226448059,
      "learning_rate": 2.399555555555556e-05,
      "loss": 1.5652,
      "step": 5852
    },
    {
      "epoch": 0.5202666666666667,
      "grad_norm": 1.799628734588623,
      "learning_rate": 2.399111111111111e-05,
      "loss": 1.6845,
      "step": 5853
    },
    {
      "epoch": 0.5203555555555556,
      "grad_norm": 1.8742642402648926,
      "learning_rate": 2.398666666666667e-05,
      "loss": 1.512,
      "step": 5854
    },
    {
      "epoch": 0.5204444444444445,
      "grad_norm": 1.6443767547607422,
      "learning_rate": 2.3982222222222223e-05,
      "loss": 1.4211,
      "step": 5855
    },
    {
      "epoch": 0.5205333333333333,
      "grad_norm": 1.373031497001648,
      "learning_rate": 2.3977777777777778e-05,
      "loss": 1.4376,
      "step": 5856
    },
    {
      "epoch": 0.5206222222222222,
      "grad_norm": 1.6752252578735352,
      "learning_rate": 2.3973333333333333e-05,
      "loss": 1.5567,
      "step": 5857
    },
    {
      "epoch": 0.5207111111111111,
      "grad_norm": 1.3641231060028076,
      "learning_rate": 2.396888888888889e-05,
      "loss": 1.3916,
      "step": 5858
    },
    {
      "epoch": 0.5208,
      "grad_norm": 1.7091057300567627,
      "learning_rate": 2.3964444444444446e-05,
      "loss": 1.5219,
      "step": 5859
    },
    {
      "epoch": 0.5208888888888888,
      "grad_norm": 1.6100125312805176,
      "learning_rate": 2.396e-05,
      "loss": 1.6298,
      "step": 5860
    },
    {
      "epoch": 0.5209777777777778,
      "grad_norm": 1.4802850484848022,
      "learning_rate": 2.3955555555555556e-05,
      "loss": 1.409,
      "step": 5861
    },
    {
      "epoch": 0.5210666666666667,
      "grad_norm": 1.6840506792068481,
      "learning_rate": 2.3951111111111114e-05,
      "loss": 1.5727,
      "step": 5862
    },
    {
      "epoch": 0.5211555555555556,
      "grad_norm": 1.5507943630218506,
      "learning_rate": 2.394666666666667e-05,
      "loss": 1.4691,
      "step": 5863
    },
    {
      "epoch": 0.5212444444444444,
      "grad_norm": 1.5798671245574951,
      "learning_rate": 2.3942222222222224e-05,
      "loss": 1.5185,
      "step": 5864
    },
    {
      "epoch": 0.5213333333333333,
      "grad_norm": 1.5206700563430786,
      "learning_rate": 2.393777777777778e-05,
      "loss": 1.4381,
      "step": 5865
    },
    {
      "epoch": 0.5214222222222222,
      "grad_norm": 1.552131175994873,
      "learning_rate": 2.3933333333333337e-05,
      "loss": 1.4659,
      "step": 5866
    },
    {
      "epoch": 0.5215111111111111,
      "grad_norm": 1.6515296697616577,
      "learning_rate": 2.3928888888888888e-05,
      "loss": 1.6529,
      "step": 5867
    },
    {
      "epoch": 0.5216,
      "grad_norm": 1.4648677110671997,
      "learning_rate": 2.3924444444444447e-05,
      "loss": 1.4986,
      "step": 5868
    },
    {
      "epoch": 0.5216888888888889,
      "grad_norm": 1.4570071697235107,
      "learning_rate": 2.392e-05,
      "loss": 1.3679,
      "step": 5869
    },
    {
      "epoch": 0.5217777777777778,
      "grad_norm": 2.350703477859497,
      "learning_rate": 2.3915555555555556e-05,
      "loss": 2.0461,
      "step": 5870
    },
    {
      "epoch": 0.5218666666666667,
      "grad_norm": 1.5276663303375244,
      "learning_rate": 2.391111111111111e-05,
      "loss": 1.5363,
      "step": 5871
    },
    {
      "epoch": 0.5219555555555555,
      "grad_norm": 1.4549415111541748,
      "learning_rate": 2.390666666666667e-05,
      "loss": 1.5577,
      "step": 5872
    },
    {
      "epoch": 0.5220444444444444,
      "grad_norm": 1.6785035133361816,
      "learning_rate": 2.3902222222222224e-05,
      "loss": 1.5444,
      "step": 5873
    },
    {
      "epoch": 0.5221333333333333,
      "grad_norm": 2.082059144973755,
      "learning_rate": 2.389777777777778e-05,
      "loss": 1.3154,
      "step": 5874
    },
    {
      "epoch": 0.5222222222222223,
      "grad_norm": 1.670177936553955,
      "learning_rate": 2.3893333333333334e-05,
      "loss": 1.5485,
      "step": 5875
    },
    {
      "epoch": 0.5223111111111111,
      "grad_norm": 2.44564151763916,
      "learning_rate": 2.3888888888888892e-05,
      "loss": 1.4041,
      "step": 5876
    },
    {
      "epoch": 0.5224,
      "grad_norm": 1.4646738767623901,
      "learning_rate": 2.3884444444444447e-05,
      "loss": 1.5893,
      "step": 5877
    },
    {
      "epoch": 0.5224888888888889,
      "grad_norm": 1.6626297235488892,
      "learning_rate": 2.3880000000000002e-05,
      "loss": 1.6904,
      "step": 5878
    },
    {
      "epoch": 0.5225777777777778,
      "grad_norm": 1.6319808959960938,
      "learning_rate": 2.3875555555555557e-05,
      "loss": 1.5545,
      "step": 5879
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 1.4687237739562988,
      "learning_rate": 2.3871111111111115e-05,
      "loss": 1.6237,
      "step": 5880
    },
    {
      "epoch": 0.5227555555555555,
      "grad_norm": 1.716083288192749,
      "learning_rate": 2.3866666666666666e-05,
      "loss": 1.7858,
      "step": 5881
    },
    {
      "epoch": 0.5228444444444444,
      "grad_norm": 1.5066909790039062,
      "learning_rate": 2.3862222222222225e-05,
      "loss": 1.6815,
      "step": 5882
    },
    {
      "epoch": 0.5229333333333334,
      "grad_norm": 1.8169641494750977,
      "learning_rate": 2.385777777777778e-05,
      "loss": 1.4906,
      "step": 5883
    },
    {
      "epoch": 0.5230222222222223,
      "grad_norm": 1.9184153079986572,
      "learning_rate": 2.3853333333333334e-05,
      "loss": 1.4893,
      "step": 5884
    },
    {
      "epoch": 0.5231111111111111,
      "grad_norm": 1.5362300872802734,
      "learning_rate": 2.384888888888889e-05,
      "loss": 1.4816,
      "step": 5885
    },
    {
      "epoch": 0.5232,
      "grad_norm": 1.481770396232605,
      "learning_rate": 2.3844444444444444e-05,
      "loss": 1.5068,
      "step": 5886
    },
    {
      "epoch": 0.5232888888888889,
      "grad_norm": 1.514801263809204,
      "learning_rate": 2.3840000000000002e-05,
      "loss": 1.4937,
      "step": 5887
    },
    {
      "epoch": 0.5233777777777778,
      "grad_norm": 1.6743391752243042,
      "learning_rate": 2.3835555555555557e-05,
      "loss": 1.6871,
      "step": 5888
    },
    {
      "epoch": 0.5234666666666666,
      "grad_norm": 1.5356842279434204,
      "learning_rate": 2.3831111111111112e-05,
      "loss": 1.5386,
      "step": 5889
    },
    {
      "epoch": 0.5235555555555556,
      "grad_norm": 1.6313354969024658,
      "learning_rate": 2.3826666666666667e-05,
      "loss": 1.6753,
      "step": 5890
    },
    {
      "epoch": 0.5236444444444445,
      "grad_norm": 1.5739312171936035,
      "learning_rate": 2.3822222222222225e-05,
      "loss": 1.4306,
      "step": 5891
    },
    {
      "epoch": 0.5237333333333334,
      "grad_norm": 1.5371521711349487,
      "learning_rate": 2.3817777777777776e-05,
      "loss": 1.4687,
      "step": 5892
    },
    {
      "epoch": 0.5238222222222222,
      "grad_norm": 1.6347990036010742,
      "learning_rate": 2.3813333333333335e-05,
      "loss": 1.7147,
      "step": 5893
    },
    {
      "epoch": 0.5239111111111111,
      "grad_norm": 1.3968956470489502,
      "learning_rate": 2.380888888888889e-05,
      "loss": 1.2145,
      "step": 5894
    },
    {
      "epoch": 0.524,
      "grad_norm": 1.6920900344848633,
      "learning_rate": 2.3804444444444444e-05,
      "loss": 1.8008,
      "step": 5895
    },
    {
      "epoch": 0.5240888888888889,
      "grad_norm": 1.6939830780029297,
      "learning_rate": 2.38e-05,
      "loss": 1.64,
      "step": 5896
    },
    {
      "epoch": 0.5241777777777777,
      "grad_norm": 1.4196043014526367,
      "learning_rate": 2.3795555555555557e-05,
      "loss": 1.4976,
      "step": 5897
    },
    {
      "epoch": 0.5242666666666667,
      "grad_norm": 1.7930946350097656,
      "learning_rate": 2.3791111111111112e-05,
      "loss": 1.6121,
      "step": 5898
    },
    {
      "epoch": 0.5243555555555556,
      "grad_norm": 1.8019975423812866,
      "learning_rate": 2.3786666666666667e-05,
      "loss": 1.6883,
      "step": 5899
    },
    {
      "epoch": 0.5244444444444445,
      "grad_norm": 1.8348572254180908,
      "learning_rate": 2.3782222222222222e-05,
      "loss": 1.486,
      "step": 5900
    },
    {
      "epoch": 0.5245333333333333,
      "grad_norm": 1.7056537866592407,
      "learning_rate": 2.377777777777778e-05,
      "loss": 1.5761,
      "step": 5901
    },
    {
      "epoch": 0.5246222222222222,
      "grad_norm": 1.4217708110809326,
      "learning_rate": 2.3773333333333335e-05,
      "loss": 1.5876,
      "step": 5902
    },
    {
      "epoch": 0.5247111111111111,
      "grad_norm": 1.5045057535171509,
      "learning_rate": 2.376888888888889e-05,
      "loss": 1.5124,
      "step": 5903
    },
    {
      "epoch": 0.5248,
      "grad_norm": 1.6420557498931885,
      "learning_rate": 2.3764444444444445e-05,
      "loss": 1.5509,
      "step": 5904
    },
    {
      "epoch": 0.5248888888888888,
      "grad_norm": 1.4699594974517822,
      "learning_rate": 2.3760000000000003e-05,
      "loss": 1.4676,
      "step": 5905
    },
    {
      "epoch": 0.5249777777777778,
      "grad_norm": 1.7986836433410645,
      "learning_rate": 2.3755555555555554e-05,
      "loss": 1.4958,
      "step": 5906
    },
    {
      "epoch": 0.5250666666666667,
      "grad_norm": 1.6647095680236816,
      "learning_rate": 2.3751111111111113e-05,
      "loss": 1.5273,
      "step": 5907
    },
    {
      "epoch": 0.5251555555555556,
      "grad_norm": 1.729750633239746,
      "learning_rate": 2.3746666666666667e-05,
      "loss": 1.8271,
      "step": 5908
    },
    {
      "epoch": 0.5252444444444444,
      "grad_norm": 1.6673170328140259,
      "learning_rate": 2.3742222222222226e-05,
      "loss": 1.826,
      "step": 5909
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 1.5586206912994385,
      "learning_rate": 2.3737777777777777e-05,
      "loss": 1.326,
      "step": 5910
    },
    {
      "epoch": 0.5254222222222222,
      "grad_norm": 1.4946446418762207,
      "learning_rate": 2.3733333333333335e-05,
      "loss": 1.4169,
      "step": 5911
    },
    {
      "epoch": 0.5255111111111112,
      "grad_norm": 2.698176860809326,
      "learning_rate": 2.372888888888889e-05,
      "loss": 1.9079,
      "step": 5912
    },
    {
      "epoch": 0.5256,
      "grad_norm": 1.833138346672058,
      "learning_rate": 2.3724444444444445e-05,
      "loss": 1.68,
      "step": 5913
    },
    {
      "epoch": 0.5256888888888889,
      "grad_norm": 1.447727918624878,
      "learning_rate": 2.372e-05,
      "loss": 1.6124,
      "step": 5914
    },
    {
      "epoch": 0.5257777777777778,
      "grad_norm": 2.4998693466186523,
      "learning_rate": 2.3715555555555558e-05,
      "loss": 1.8182,
      "step": 5915
    },
    {
      "epoch": 0.5258666666666667,
      "grad_norm": 1.4712812900543213,
      "learning_rate": 2.3711111111111113e-05,
      "loss": 1.4253,
      "step": 5916
    },
    {
      "epoch": 0.5259555555555555,
      "grad_norm": 1.819960117340088,
      "learning_rate": 2.3706666666666668e-05,
      "loss": 1.5077,
      "step": 5917
    },
    {
      "epoch": 0.5260444444444444,
      "grad_norm": 2.299048662185669,
      "learning_rate": 2.3702222222222223e-05,
      "loss": 1.816,
      "step": 5918
    },
    {
      "epoch": 0.5261333333333333,
      "grad_norm": 1.9391707181930542,
      "learning_rate": 2.369777777777778e-05,
      "loss": 1.7268,
      "step": 5919
    },
    {
      "epoch": 0.5262222222222223,
      "grad_norm": 1.6247681379318237,
      "learning_rate": 2.3693333333333332e-05,
      "loss": 1.7256,
      "step": 5920
    },
    {
      "epoch": 0.5263111111111111,
      "grad_norm": 1.5044496059417725,
      "learning_rate": 2.368888888888889e-05,
      "loss": 1.5337,
      "step": 5921
    },
    {
      "epoch": 0.5264,
      "grad_norm": 1.6988154649734497,
      "learning_rate": 2.3684444444444445e-05,
      "loss": 1.7871,
      "step": 5922
    },
    {
      "epoch": 0.5264888888888889,
      "grad_norm": 1.6346652507781982,
      "learning_rate": 2.3680000000000004e-05,
      "loss": 1.6265,
      "step": 5923
    },
    {
      "epoch": 0.5265777777777778,
      "grad_norm": 1.6087698936462402,
      "learning_rate": 2.3675555555555555e-05,
      "loss": 1.5712,
      "step": 5924
    },
    {
      "epoch": 0.5266666666666666,
      "grad_norm": 1.836478590965271,
      "learning_rate": 2.3671111111111113e-05,
      "loss": 1.5538,
      "step": 5925
    },
    {
      "epoch": 0.5267555555555555,
      "grad_norm": 1.5277950763702393,
      "learning_rate": 2.3666666666666668e-05,
      "loss": 1.6404,
      "step": 5926
    },
    {
      "epoch": 0.5268444444444444,
      "grad_norm": 1.8299493789672852,
      "learning_rate": 2.3662222222222223e-05,
      "loss": 1.844,
      "step": 5927
    },
    {
      "epoch": 0.5269333333333334,
      "grad_norm": 1.4728926420211792,
      "learning_rate": 2.3657777777777778e-05,
      "loss": 1.3274,
      "step": 5928
    },
    {
      "epoch": 0.5270222222222222,
      "grad_norm": 1.6064406633377075,
      "learning_rate": 2.3653333333333336e-05,
      "loss": 1.5364,
      "step": 5929
    },
    {
      "epoch": 0.5271111111111111,
      "grad_norm": 1.7161985635757446,
      "learning_rate": 2.364888888888889e-05,
      "loss": 1.8079,
      "step": 5930
    },
    {
      "epoch": 0.5272,
      "grad_norm": 1.44118070602417,
      "learning_rate": 2.3644444444444446e-05,
      "loss": 1.6144,
      "step": 5931
    },
    {
      "epoch": 0.5272888888888889,
      "grad_norm": 1.5510084629058838,
      "learning_rate": 2.364e-05,
      "loss": 1.5032,
      "step": 5932
    },
    {
      "epoch": 0.5273777777777777,
      "grad_norm": 1.602764368057251,
      "learning_rate": 2.363555555555556e-05,
      "loss": 1.7407,
      "step": 5933
    },
    {
      "epoch": 0.5274666666666666,
      "grad_norm": 1.7411946058273315,
      "learning_rate": 2.3631111111111114e-05,
      "loss": 1.6411,
      "step": 5934
    },
    {
      "epoch": 0.5275555555555556,
      "grad_norm": 1.3907479047775269,
      "learning_rate": 2.362666666666667e-05,
      "loss": 1.4528,
      "step": 5935
    },
    {
      "epoch": 0.5276444444444445,
      "grad_norm": 1.6237767934799194,
      "learning_rate": 2.3622222222222223e-05,
      "loss": 1.4012,
      "step": 5936
    },
    {
      "epoch": 0.5277333333333334,
      "grad_norm": 1.5632559061050415,
      "learning_rate": 2.3617777777777778e-05,
      "loss": 1.6098,
      "step": 5937
    },
    {
      "epoch": 0.5278222222222222,
      "grad_norm": 1.5577443838119507,
      "learning_rate": 2.3613333333333333e-05,
      "loss": 1.6564,
      "step": 5938
    },
    {
      "epoch": 0.5279111111111111,
      "grad_norm": 1.5482081174850464,
      "learning_rate": 2.3608888888888888e-05,
      "loss": 1.4429,
      "step": 5939
    },
    {
      "epoch": 0.528,
      "grad_norm": 1.8653358221054077,
      "learning_rate": 2.3604444444444446e-05,
      "loss": 1.8635,
      "step": 5940
    },
    {
      "epoch": 0.5280888888888889,
      "grad_norm": 1.7948882579803467,
      "learning_rate": 2.36e-05,
      "loss": 1.7254,
      "step": 5941
    },
    {
      "epoch": 0.5281777777777777,
      "grad_norm": 1.7514362335205078,
      "learning_rate": 2.3595555555555556e-05,
      "loss": 1.8656,
      "step": 5942
    },
    {
      "epoch": 0.5282666666666667,
      "grad_norm": 1.371259331703186,
      "learning_rate": 2.359111111111111e-05,
      "loss": 1.4901,
      "step": 5943
    },
    {
      "epoch": 0.5283555555555556,
      "grad_norm": 1.7692307233810425,
      "learning_rate": 2.358666666666667e-05,
      "loss": 1.5018,
      "step": 5944
    },
    {
      "epoch": 0.5284444444444445,
      "grad_norm": 1.833154320716858,
      "learning_rate": 2.3582222222222224e-05,
      "loss": 1.8083,
      "step": 5945
    },
    {
      "epoch": 0.5285333333333333,
      "grad_norm": 1.832241415977478,
      "learning_rate": 2.357777777777778e-05,
      "loss": 1.8102,
      "step": 5946
    },
    {
      "epoch": 0.5286222222222222,
      "grad_norm": 1.5582903623580933,
      "learning_rate": 2.3573333333333334e-05,
      "loss": 1.7874,
      "step": 5947
    },
    {
      "epoch": 0.5287111111111111,
      "grad_norm": 1.8513801097869873,
      "learning_rate": 2.3568888888888892e-05,
      "loss": 1.768,
      "step": 5948
    },
    {
      "epoch": 0.5288,
      "grad_norm": 1.4984872341156006,
      "learning_rate": 2.3564444444444443e-05,
      "loss": 1.7026,
      "step": 5949
    },
    {
      "epoch": 0.5288888888888889,
      "grad_norm": 1.5443387031555176,
      "learning_rate": 2.356e-05,
      "loss": 1.524,
      "step": 5950
    },
    {
      "epoch": 0.5289777777777778,
      "grad_norm": 1.7514797449111938,
      "learning_rate": 2.3555555555555556e-05,
      "loss": 1.495,
      "step": 5951
    },
    {
      "epoch": 0.5290666666666667,
      "grad_norm": 1.4016494750976562,
      "learning_rate": 2.355111111111111e-05,
      "loss": 1.3027,
      "step": 5952
    },
    {
      "epoch": 0.5291555555555556,
      "grad_norm": 1.8963768482208252,
      "learning_rate": 2.3546666666666666e-05,
      "loss": 1.5045,
      "step": 5953
    },
    {
      "epoch": 0.5292444444444444,
      "grad_norm": 1.5841377973556519,
      "learning_rate": 2.3542222222222224e-05,
      "loss": 1.6264,
      "step": 5954
    },
    {
      "epoch": 0.5293333333333333,
      "grad_norm": 1.4033467769622803,
      "learning_rate": 2.353777777777778e-05,
      "loss": 1.3973,
      "step": 5955
    },
    {
      "epoch": 0.5294222222222222,
      "grad_norm": 1.7738120555877686,
      "learning_rate": 2.3533333333333334e-05,
      "loss": 1.4673,
      "step": 5956
    },
    {
      "epoch": 0.5295111111111112,
      "grad_norm": 1.9880850315093994,
      "learning_rate": 2.352888888888889e-05,
      "loss": 1.6629,
      "step": 5957
    },
    {
      "epoch": 0.5296,
      "grad_norm": 1.6296991109848022,
      "learning_rate": 2.3524444444444447e-05,
      "loss": 1.6688,
      "step": 5958
    },
    {
      "epoch": 0.5296888888888889,
      "grad_norm": 1.6145275831222534,
      "learning_rate": 2.3520000000000002e-05,
      "loss": 1.4756,
      "step": 5959
    },
    {
      "epoch": 0.5297777777777778,
      "grad_norm": 1.7968369722366333,
      "learning_rate": 2.3515555555555557e-05,
      "loss": 1.4596,
      "step": 5960
    },
    {
      "epoch": 0.5298666666666667,
      "grad_norm": 1.9834835529327393,
      "learning_rate": 2.351111111111111e-05,
      "loss": 1.8652,
      "step": 5961
    },
    {
      "epoch": 0.5299555555555555,
      "grad_norm": 1.538598895072937,
      "learning_rate": 2.350666666666667e-05,
      "loss": 1.3094,
      "step": 5962
    },
    {
      "epoch": 0.5300444444444444,
      "grad_norm": 1.5549209117889404,
      "learning_rate": 2.350222222222222e-05,
      "loss": 1.4201,
      "step": 5963
    },
    {
      "epoch": 0.5301333333333333,
      "grad_norm": 1.6287342309951782,
      "learning_rate": 2.349777777777778e-05,
      "loss": 1.5268,
      "step": 5964
    },
    {
      "epoch": 0.5302222222222223,
      "grad_norm": 1.564263939857483,
      "learning_rate": 2.3493333333333334e-05,
      "loss": 1.5627,
      "step": 5965
    },
    {
      "epoch": 0.5303111111111111,
      "grad_norm": 2.01203989982605,
      "learning_rate": 2.3488888888888893e-05,
      "loss": 1.423,
      "step": 5966
    },
    {
      "epoch": 0.5304,
      "grad_norm": 2.0562021732330322,
      "learning_rate": 2.3484444444444444e-05,
      "loss": 1.5234,
      "step": 5967
    },
    {
      "epoch": 0.5304888888888889,
      "grad_norm": 1.5041393041610718,
      "learning_rate": 2.3480000000000002e-05,
      "loss": 1.585,
      "step": 5968
    },
    {
      "epoch": 0.5305777777777778,
      "grad_norm": 1.4716205596923828,
      "learning_rate": 2.3475555555555557e-05,
      "loss": 1.6401,
      "step": 5969
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 1.7374995946884155,
      "learning_rate": 2.3471111111111112e-05,
      "loss": 1.5384,
      "step": 5970
    },
    {
      "epoch": 0.5307555555555555,
      "grad_norm": 2.404139995574951,
      "learning_rate": 2.3466666666666667e-05,
      "loss": 1.653,
      "step": 5971
    },
    {
      "epoch": 0.5308444444444445,
      "grad_norm": 1.8252739906311035,
      "learning_rate": 2.3462222222222225e-05,
      "loss": 1.5709,
      "step": 5972
    },
    {
      "epoch": 0.5309333333333334,
      "grad_norm": 1.731462001800537,
      "learning_rate": 2.345777777777778e-05,
      "loss": 1.6672,
      "step": 5973
    },
    {
      "epoch": 0.5310222222222222,
      "grad_norm": 1.7414470911026,
      "learning_rate": 2.3453333333333335e-05,
      "loss": 1.668,
      "step": 5974
    },
    {
      "epoch": 0.5311111111111111,
      "grad_norm": 1.8562017679214478,
      "learning_rate": 2.344888888888889e-05,
      "loss": 1.5982,
      "step": 5975
    },
    {
      "epoch": 0.5312,
      "grad_norm": 1.5701534748077393,
      "learning_rate": 2.3444444444444448e-05,
      "loss": 1.5191,
      "step": 5976
    },
    {
      "epoch": 0.5312888888888889,
      "grad_norm": 2.2439825534820557,
      "learning_rate": 2.344e-05,
      "loss": 1.8948,
      "step": 5977
    },
    {
      "epoch": 0.5313777777777777,
      "grad_norm": 1.4279135465621948,
      "learning_rate": 2.3435555555555557e-05,
      "loss": 1.5256,
      "step": 5978
    },
    {
      "epoch": 0.5314666666666666,
      "grad_norm": 1.7557581663131714,
      "learning_rate": 2.3431111111111112e-05,
      "loss": 1.3787,
      "step": 5979
    },
    {
      "epoch": 0.5315555555555556,
      "grad_norm": 2.2259788513183594,
      "learning_rate": 2.342666666666667e-05,
      "loss": 1.7734,
      "step": 5980
    },
    {
      "epoch": 0.5316444444444445,
      "grad_norm": 1.458675503730774,
      "learning_rate": 2.3422222222222222e-05,
      "loss": 1.5322,
      "step": 5981
    },
    {
      "epoch": 0.5317333333333333,
      "grad_norm": 1.8485493659973145,
      "learning_rate": 2.341777777777778e-05,
      "loss": 1.5954,
      "step": 5982
    },
    {
      "epoch": 0.5318222222222222,
      "grad_norm": 1.4590188264846802,
      "learning_rate": 2.3413333333333335e-05,
      "loss": 1.7268,
      "step": 5983
    },
    {
      "epoch": 0.5319111111111111,
      "grad_norm": 1.7320797443389893,
      "learning_rate": 2.340888888888889e-05,
      "loss": 1.8369,
      "step": 5984
    },
    {
      "epoch": 0.532,
      "grad_norm": 1.6354336738586426,
      "learning_rate": 2.3404444444444445e-05,
      "loss": 1.5241,
      "step": 5985
    },
    {
      "epoch": 0.5320888888888888,
      "grad_norm": 1.4974243640899658,
      "learning_rate": 2.3400000000000003e-05,
      "loss": 1.6181,
      "step": 5986
    },
    {
      "epoch": 0.5321777777777777,
      "grad_norm": 1.5260295867919922,
      "learning_rate": 2.3395555555555558e-05,
      "loss": 1.5807,
      "step": 5987
    },
    {
      "epoch": 0.5322666666666667,
      "grad_norm": 1.5477924346923828,
      "learning_rate": 2.339111111111111e-05,
      "loss": 1.5688,
      "step": 5988
    },
    {
      "epoch": 0.5323555555555556,
      "grad_norm": 1.486783504486084,
      "learning_rate": 2.3386666666666668e-05,
      "loss": 1.5275,
      "step": 5989
    },
    {
      "epoch": 0.5324444444444445,
      "grad_norm": 1.610939383506775,
      "learning_rate": 2.3382222222222222e-05,
      "loss": 1.5535,
      "step": 5990
    },
    {
      "epoch": 0.5325333333333333,
      "grad_norm": 1.5490220785140991,
      "learning_rate": 2.337777777777778e-05,
      "loss": 1.4636,
      "step": 5991
    },
    {
      "epoch": 0.5326222222222222,
      "grad_norm": 1.5275243520736694,
      "learning_rate": 2.3373333333333332e-05,
      "loss": 1.6148,
      "step": 5992
    },
    {
      "epoch": 0.5327111111111111,
      "grad_norm": 1.4324918985366821,
      "learning_rate": 2.336888888888889e-05,
      "loss": 1.6122,
      "step": 5993
    },
    {
      "epoch": 0.5328,
      "grad_norm": 1.614903211593628,
      "learning_rate": 2.3364444444444445e-05,
      "loss": 1.4961,
      "step": 5994
    },
    {
      "epoch": 0.5328888888888889,
      "grad_norm": 1.4693608283996582,
      "learning_rate": 2.336e-05,
      "loss": 1.5691,
      "step": 5995
    },
    {
      "epoch": 0.5329777777777778,
      "grad_norm": 2.2861382961273193,
      "learning_rate": 2.3355555555555555e-05,
      "loss": 1.9777,
      "step": 5996
    },
    {
      "epoch": 0.5330666666666667,
      "grad_norm": 1.4756479263305664,
      "learning_rate": 2.3351111111111113e-05,
      "loss": 1.4723,
      "step": 5997
    },
    {
      "epoch": 0.5331555555555556,
      "grad_norm": 1.5904817581176758,
      "learning_rate": 2.3346666666666668e-05,
      "loss": 1.406,
      "step": 5998
    },
    {
      "epoch": 0.5332444444444444,
      "grad_norm": 1.6608242988586426,
      "learning_rate": 2.3342222222222223e-05,
      "loss": 1.3552,
      "step": 5999
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 1.7747483253479004,
      "learning_rate": 2.3337777777777778e-05,
      "loss": 1.7167,
      "step": 6000
    },
    {
      "epoch": 0.5334222222222222,
      "grad_norm": 1.4750672578811646,
      "learning_rate": 2.3333333333333336e-05,
      "loss": 1.4032,
      "step": 6001
    },
    {
      "epoch": 0.5335111111111112,
      "grad_norm": 1.7267498970031738,
      "learning_rate": 2.332888888888889e-05,
      "loss": 1.7022,
      "step": 6002
    },
    {
      "epoch": 0.5336,
      "grad_norm": 1.5640184879302979,
      "learning_rate": 2.3324444444444445e-05,
      "loss": 1.5184,
      "step": 6003
    },
    {
      "epoch": 0.5336888888888889,
      "grad_norm": 1.6528263092041016,
      "learning_rate": 2.332e-05,
      "loss": 1.6106,
      "step": 6004
    },
    {
      "epoch": 0.5337777777777778,
      "grad_norm": 1.4765490293502808,
      "learning_rate": 2.331555555555556e-05,
      "loss": 1.6229,
      "step": 6005
    },
    {
      "epoch": 0.5338666666666667,
      "grad_norm": 1.5502616167068481,
      "learning_rate": 2.331111111111111e-05,
      "loss": 1.5646,
      "step": 6006
    },
    {
      "epoch": 0.5339555555555555,
      "grad_norm": 1.6098296642303467,
      "learning_rate": 2.3306666666666668e-05,
      "loss": 1.5236,
      "step": 6007
    },
    {
      "epoch": 0.5340444444444444,
      "grad_norm": 1.5712956190109253,
      "learning_rate": 2.3302222222222223e-05,
      "loss": 1.4507,
      "step": 6008
    },
    {
      "epoch": 0.5341333333333333,
      "grad_norm": 1.5152164697647095,
      "learning_rate": 2.3297777777777778e-05,
      "loss": 1.4602,
      "step": 6009
    },
    {
      "epoch": 0.5342222222222223,
      "grad_norm": 1.375923991203308,
      "learning_rate": 2.3293333333333333e-05,
      "loss": 1.4203,
      "step": 6010
    },
    {
      "epoch": 0.5343111111111111,
      "grad_norm": 1.6456934213638306,
      "learning_rate": 2.328888888888889e-05,
      "loss": 1.5131,
      "step": 6011
    },
    {
      "epoch": 0.5344,
      "grad_norm": 1.6758463382720947,
      "learning_rate": 2.3284444444444446e-05,
      "loss": 1.5294,
      "step": 6012
    },
    {
      "epoch": 0.5344888888888889,
      "grad_norm": 1.5021815299987793,
      "learning_rate": 2.328e-05,
      "loss": 1.4306,
      "step": 6013
    },
    {
      "epoch": 0.5345777777777778,
      "grad_norm": 1.7092851400375366,
      "learning_rate": 2.3275555555555556e-05,
      "loss": 1.5935,
      "step": 6014
    },
    {
      "epoch": 0.5346666666666666,
      "grad_norm": 2.7811105251312256,
      "learning_rate": 2.3271111111111114e-05,
      "loss": 1.8403,
      "step": 6015
    },
    {
      "epoch": 0.5347555555555555,
      "grad_norm": 1.5898269414901733,
      "learning_rate": 2.326666666666667e-05,
      "loss": 1.5603,
      "step": 6016
    },
    {
      "epoch": 0.5348444444444445,
      "grad_norm": 1.5815118551254272,
      "learning_rate": 2.3262222222222223e-05,
      "loss": 1.6553,
      "step": 6017
    },
    {
      "epoch": 0.5349333333333334,
      "grad_norm": 1.5887693166732788,
      "learning_rate": 2.325777777777778e-05,
      "loss": 1.3591,
      "step": 6018
    },
    {
      "epoch": 0.5350222222222222,
      "grad_norm": 1.4525383710861206,
      "learning_rate": 2.3253333333333337e-05,
      "loss": 1.4168,
      "step": 6019
    },
    {
      "epoch": 0.5351111111111111,
      "grad_norm": 1.906328558921814,
      "learning_rate": 2.3248888888888888e-05,
      "loss": 1.3669,
      "step": 6020
    },
    {
      "epoch": 0.5352,
      "grad_norm": 1.4443390369415283,
      "learning_rate": 2.3244444444444446e-05,
      "loss": 1.7327,
      "step": 6021
    },
    {
      "epoch": 0.5352888888888889,
      "grad_norm": 1.4232754707336426,
      "learning_rate": 2.324e-05,
      "loss": 1.2713,
      "step": 6022
    },
    {
      "epoch": 0.5353777777777777,
      "grad_norm": 1.5621424913406372,
      "learning_rate": 2.3235555555555556e-05,
      "loss": 1.4391,
      "step": 6023
    },
    {
      "epoch": 0.5354666666666666,
      "grad_norm": 1.59023916721344,
      "learning_rate": 2.323111111111111e-05,
      "loss": 1.6841,
      "step": 6024
    },
    {
      "epoch": 0.5355555555555556,
      "grad_norm": 1.863565444946289,
      "learning_rate": 2.322666666666667e-05,
      "loss": 1.7427,
      "step": 6025
    },
    {
      "epoch": 0.5356444444444445,
      "grad_norm": 1.6272045373916626,
      "learning_rate": 2.3222222222222224e-05,
      "loss": 1.5717,
      "step": 6026
    },
    {
      "epoch": 0.5357333333333333,
      "grad_norm": 1.4206676483154297,
      "learning_rate": 2.321777777777778e-05,
      "loss": 1.5783,
      "step": 6027
    },
    {
      "epoch": 0.5358222222222222,
      "grad_norm": 1.6152408123016357,
      "learning_rate": 2.3213333333333334e-05,
      "loss": 1.516,
      "step": 6028
    },
    {
      "epoch": 0.5359111111111111,
      "grad_norm": 1.5228960514068604,
      "learning_rate": 2.3208888888888892e-05,
      "loss": 1.5789,
      "step": 6029
    },
    {
      "epoch": 0.536,
      "grad_norm": 2.168144702911377,
      "learning_rate": 2.3204444444444447e-05,
      "loss": 1.5502,
      "step": 6030
    },
    {
      "epoch": 0.5360888888888888,
      "grad_norm": 1.4458096027374268,
      "learning_rate": 2.32e-05,
      "loss": 1.42,
      "step": 6031
    },
    {
      "epoch": 0.5361777777777778,
      "grad_norm": 1.3289815187454224,
      "learning_rate": 2.3195555555555556e-05,
      "loss": 1.6132,
      "step": 6032
    },
    {
      "epoch": 0.5362666666666667,
      "grad_norm": 1.6410741806030273,
      "learning_rate": 2.3191111111111115e-05,
      "loss": 1.7072,
      "step": 6033
    },
    {
      "epoch": 0.5363555555555556,
      "grad_norm": 1.7353191375732422,
      "learning_rate": 2.3186666666666666e-05,
      "loss": 1.7182,
      "step": 6034
    },
    {
      "epoch": 0.5364444444444444,
      "grad_norm": 1.9148945808410645,
      "learning_rate": 2.3182222222222224e-05,
      "loss": 1.5385,
      "step": 6035
    },
    {
      "epoch": 0.5365333333333333,
      "grad_norm": 1.7554130554199219,
      "learning_rate": 2.317777777777778e-05,
      "loss": 1.5773,
      "step": 6036
    },
    {
      "epoch": 0.5366222222222222,
      "grad_norm": 1.339830994606018,
      "learning_rate": 2.3173333333333337e-05,
      "loss": 1.478,
      "step": 6037
    },
    {
      "epoch": 0.5367111111111111,
      "grad_norm": 1.9564905166625977,
      "learning_rate": 2.316888888888889e-05,
      "loss": 1.5322,
      "step": 6038
    },
    {
      "epoch": 0.5368,
      "grad_norm": 1.6249605417251587,
      "learning_rate": 2.3164444444444444e-05,
      "loss": 1.7388,
      "step": 6039
    },
    {
      "epoch": 0.5368888888888889,
      "grad_norm": 1.8140106201171875,
      "learning_rate": 2.3160000000000002e-05,
      "loss": 1.7932,
      "step": 6040
    },
    {
      "epoch": 0.5369777777777778,
      "grad_norm": 1.5883121490478516,
      "learning_rate": 2.3155555555555557e-05,
      "loss": 1.8905,
      "step": 6041
    },
    {
      "epoch": 0.5370666666666667,
      "grad_norm": 1.4212113618850708,
      "learning_rate": 2.315111111111111e-05,
      "loss": 1.3884,
      "step": 6042
    },
    {
      "epoch": 0.5371555555555556,
      "grad_norm": 1.6974800825119019,
      "learning_rate": 2.3146666666666666e-05,
      "loss": 1.5776,
      "step": 6043
    },
    {
      "epoch": 0.5372444444444444,
      "grad_norm": 1.5722575187683105,
      "learning_rate": 2.3142222222222225e-05,
      "loss": 1.5551,
      "step": 6044
    },
    {
      "epoch": 0.5373333333333333,
      "grad_norm": 1.51729416847229,
      "learning_rate": 2.3137777777777776e-05,
      "loss": 1.4073,
      "step": 6045
    },
    {
      "epoch": 0.5374222222222222,
      "grad_norm": 1.6021465063095093,
      "learning_rate": 2.3133333333333334e-05,
      "loss": 1.4713,
      "step": 6046
    },
    {
      "epoch": 0.5375111111111112,
      "grad_norm": 1.4751619100570679,
      "learning_rate": 2.312888888888889e-05,
      "loss": 1.613,
      "step": 6047
    },
    {
      "epoch": 0.5376,
      "grad_norm": 1.9274221658706665,
      "learning_rate": 2.3124444444444447e-05,
      "loss": 1.8329,
      "step": 6048
    },
    {
      "epoch": 0.5376888888888889,
      "grad_norm": 1.5602340698242188,
      "learning_rate": 2.312e-05,
      "loss": 1.8513,
      "step": 6049
    },
    {
      "epoch": 0.5377777777777778,
      "grad_norm": 1.5192456245422363,
      "learning_rate": 2.3115555555555557e-05,
      "loss": 1.8424,
      "step": 6050
    },
    {
      "epoch": 0.5378666666666667,
      "grad_norm": 1.3615013360977173,
      "learning_rate": 2.3111111111111112e-05,
      "loss": 1.4965,
      "step": 6051
    },
    {
      "epoch": 0.5379555555555555,
      "grad_norm": 2.00705885887146,
      "learning_rate": 2.3106666666666667e-05,
      "loss": 1.5043,
      "step": 6052
    },
    {
      "epoch": 0.5380444444444444,
      "grad_norm": 1.9886643886566162,
      "learning_rate": 2.310222222222222e-05,
      "loss": 1.3806,
      "step": 6053
    },
    {
      "epoch": 0.5381333333333334,
      "grad_norm": 1.6664329767227173,
      "learning_rate": 2.309777777777778e-05,
      "loss": 1.4468,
      "step": 6054
    },
    {
      "epoch": 0.5382222222222223,
      "grad_norm": 1.6886707544326782,
      "learning_rate": 2.3093333333333335e-05,
      "loss": 1.9304,
      "step": 6055
    },
    {
      "epoch": 0.5383111111111111,
      "grad_norm": 1.4152088165283203,
      "learning_rate": 2.308888888888889e-05,
      "loss": 1.5452,
      "step": 6056
    },
    {
      "epoch": 0.5384,
      "grad_norm": 1.4232374429702759,
      "learning_rate": 2.3084444444444444e-05,
      "loss": 1.6103,
      "step": 6057
    },
    {
      "epoch": 0.5384888888888889,
      "grad_norm": 1.4639761447906494,
      "learning_rate": 2.3080000000000003e-05,
      "loss": 1.5603,
      "step": 6058
    },
    {
      "epoch": 0.5385777777777778,
      "grad_norm": 1.5170143842697144,
      "learning_rate": 2.3075555555555557e-05,
      "loss": 1.606,
      "step": 6059
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 1.7009705305099487,
      "learning_rate": 2.3071111111111112e-05,
      "loss": 1.5518,
      "step": 6060
    },
    {
      "epoch": 0.5387555555555555,
      "grad_norm": 1.6076349020004272,
      "learning_rate": 2.3066666666666667e-05,
      "loss": 1.6281,
      "step": 6061
    },
    {
      "epoch": 0.5388444444444445,
      "grad_norm": 1.5348389148712158,
      "learning_rate": 2.3062222222222225e-05,
      "loss": 1.3596,
      "step": 6062
    },
    {
      "epoch": 0.5389333333333334,
      "grad_norm": 1.575711965560913,
      "learning_rate": 2.3057777777777777e-05,
      "loss": 1.6995,
      "step": 6063
    },
    {
      "epoch": 0.5390222222222222,
      "grad_norm": 1.6043046712875366,
      "learning_rate": 2.3053333333333335e-05,
      "loss": 1.7158,
      "step": 6064
    },
    {
      "epoch": 0.5391111111111111,
      "grad_norm": 1.5806617736816406,
      "learning_rate": 2.304888888888889e-05,
      "loss": 1.5188,
      "step": 6065
    },
    {
      "epoch": 0.5392,
      "grad_norm": 1.7882022857666016,
      "learning_rate": 2.3044444444444445e-05,
      "loss": 1.494,
      "step": 6066
    },
    {
      "epoch": 0.5392888888888889,
      "grad_norm": 1.8346738815307617,
      "learning_rate": 2.304e-05,
      "loss": 1.5622,
      "step": 6067
    },
    {
      "epoch": 0.5393777777777777,
      "grad_norm": 1.4784514904022217,
      "learning_rate": 2.3035555555555558e-05,
      "loss": 1.5365,
      "step": 6068
    },
    {
      "epoch": 0.5394666666666666,
      "grad_norm": 1.9858494997024536,
      "learning_rate": 2.3031111111111113e-05,
      "loss": 1.7858,
      "step": 6069
    },
    {
      "epoch": 0.5395555555555556,
      "grad_norm": 1.4699382781982422,
      "learning_rate": 2.3026666666666668e-05,
      "loss": 1.4006,
      "step": 6070
    },
    {
      "epoch": 0.5396444444444445,
      "grad_norm": 1.3837275505065918,
      "learning_rate": 2.3022222222222222e-05,
      "loss": 1.5513,
      "step": 6071
    },
    {
      "epoch": 0.5397333333333333,
      "grad_norm": 1.5745396614074707,
      "learning_rate": 2.301777777777778e-05,
      "loss": 1.5456,
      "step": 6072
    },
    {
      "epoch": 0.5398222222222222,
      "grad_norm": 1.72465181350708,
      "learning_rate": 2.3013333333333335e-05,
      "loss": 1.611,
      "step": 6073
    },
    {
      "epoch": 0.5399111111111111,
      "grad_norm": 1.5174309015274048,
      "learning_rate": 2.300888888888889e-05,
      "loss": 1.5484,
      "step": 6074
    },
    {
      "epoch": 0.54,
      "grad_norm": 1.7114953994750977,
      "learning_rate": 2.3004444444444445e-05,
      "loss": 1.726,
      "step": 6075
    },
    {
      "epoch": 0.5400888888888888,
      "grad_norm": 1.7583307027816772,
      "learning_rate": 2.3000000000000003e-05,
      "loss": 1.669,
      "step": 6076
    },
    {
      "epoch": 0.5401777777777778,
      "grad_norm": 1.8559701442718506,
      "learning_rate": 2.2995555555555555e-05,
      "loss": 1.8195,
      "step": 6077
    },
    {
      "epoch": 0.5402666666666667,
      "grad_norm": 1.7004444599151611,
      "learning_rate": 2.2991111111111113e-05,
      "loss": 1.7097,
      "step": 6078
    },
    {
      "epoch": 0.5403555555555556,
      "grad_norm": 1.4812613725662231,
      "learning_rate": 2.2986666666666668e-05,
      "loss": 1.4026,
      "step": 6079
    },
    {
      "epoch": 0.5404444444444444,
      "grad_norm": 1.6243338584899902,
      "learning_rate": 2.2982222222222223e-05,
      "loss": 1.7749,
      "step": 6080
    },
    {
      "epoch": 0.5405333333333333,
      "grad_norm": 1.5915319919586182,
      "learning_rate": 2.2977777777777778e-05,
      "loss": 1.6599,
      "step": 6081
    },
    {
      "epoch": 0.5406222222222222,
      "grad_norm": 1.4616446495056152,
      "learning_rate": 2.2973333333333336e-05,
      "loss": 1.5148,
      "step": 6082
    },
    {
      "epoch": 0.5407111111111111,
      "grad_norm": 1.3367838859558105,
      "learning_rate": 2.296888888888889e-05,
      "loss": 1.3868,
      "step": 6083
    },
    {
      "epoch": 0.5408,
      "grad_norm": 1.6419874429702759,
      "learning_rate": 2.2964444444444446e-05,
      "loss": 1.6467,
      "step": 6084
    },
    {
      "epoch": 0.5408888888888889,
      "grad_norm": 1.9699385166168213,
      "learning_rate": 2.296e-05,
      "loss": 1.5103,
      "step": 6085
    },
    {
      "epoch": 0.5409777777777778,
      "grad_norm": 1.801210880279541,
      "learning_rate": 2.295555555555556e-05,
      "loss": 1.5745,
      "step": 6086
    },
    {
      "epoch": 0.5410666666666667,
      "grad_norm": 1.4576541185379028,
      "learning_rate": 2.2951111111111113e-05,
      "loss": 1.4822,
      "step": 6087
    },
    {
      "epoch": 0.5411555555555555,
      "grad_norm": 2.248075485229492,
      "learning_rate": 2.294666666666667e-05,
      "loss": 1.6524,
      "step": 6088
    },
    {
      "epoch": 0.5412444444444444,
      "grad_norm": 2.1018221378326416,
      "learning_rate": 2.2942222222222223e-05,
      "loss": 1.7053,
      "step": 6089
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 1.5179252624511719,
      "learning_rate": 2.293777777777778e-05,
      "loss": 1.35,
      "step": 6090
    },
    {
      "epoch": 0.5414222222222222,
      "grad_norm": 1.5070374011993408,
      "learning_rate": 2.2933333333333333e-05,
      "loss": 1.6257,
      "step": 6091
    },
    {
      "epoch": 0.5415111111111112,
      "grad_norm": 1.930899739265442,
      "learning_rate": 2.2928888888888888e-05,
      "loss": 1.6205,
      "step": 6092
    },
    {
      "epoch": 0.5416,
      "grad_norm": 1.7547205686569214,
      "learning_rate": 2.2924444444444446e-05,
      "loss": 1.4374,
      "step": 6093
    },
    {
      "epoch": 0.5416888888888889,
      "grad_norm": 1.6441004276275635,
      "learning_rate": 2.292e-05,
      "loss": 1.7068,
      "step": 6094
    },
    {
      "epoch": 0.5417777777777778,
      "grad_norm": 1.5308855772018433,
      "learning_rate": 2.2915555555555556e-05,
      "loss": 1.7632,
      "step": 6095
    },
    {
      "epoch": 0.5418666666666667,
      "grad_norm": 1.681164026260376,
      "learning_rate": 2.291111111111111e-05,
      "loss": 1.4882,
      "step": 6096
    },
    {
      "epoch": 0.5419555555555555,
      "grad_norm": 1.7080998420715332,
      "learning_rate": 2.290666666666667e-05,
      "loss": 1.4129,
      "step": 6097
    },
    {
      "epoch": 0.5420444444444444,
      "grad_norm": 1.688191533088684,
      "learning_rate": 2.2902222222222224e-05,
      "loss": 1.69,
      "step": 6098
    },
    {
      "epoch": 0.5421333333333334,
      "grad_norm": 1.5981310606002808,
      "learning_rate": 2.289777777777778e-05,
      "loss": 1.6165,
      "step": 6099
    },
    {
      "epoch": 0.5422222222222223,
      "grad_norm": 1.6742794513702393,
      "learning_rate": 2.2893333333333333e-05,
      "loss": 1.4508,
      "step": 6100
    },
    {
      "epoch": 0.5423111111111111,
      "grad_norm": 1.5453072786331177,
      "learning_rate": 2.288888888888889e-05,
      "loss": 1.6094,
      "step": 6101
    },
    {
      "epoch": 0.5424,
      "grad_norm": 1.4462534189224243,
      "learning_rate": 2.2884444444444443e-05,
      "loss": 1.6173,
      "step": 6102
    },
    {
      "epoch": 0.5424888888888889,
      "grad_norm": 1.8571460247039795,
      "learning_rate": 2.288e-05,
      "loss": 1.7308,
      "step": 6103
    },
    {
      "epoch": 0.5425777777777778,
      "grad_norm": 1.747843861579895,
      "learning_rate": 2.2875555555555556e-05,
      "loss": 1.7285,
      "step": 6104
    },
    {
      "epoch": 0.5426666666666666,
      "grad_norm": 2.3927035331726074,
      "learning_rate": 2.2871111111111114e-05,
      "loss": 1.5072,
      "step": 6105
    },
    {
      "epoch": 0.5427555555555555,
      "grad_norm": 1.6899248361587524,
      "learning_rate": 2.2866666666666666e-05,
      "loss": 1.662,
      "step": 6106
    },
    {
      "epoch": 0.5428444444444445,
      "grad_norm": 1.5529290437698364,
      "learning_rate": 2.2862222222222224e-05,
      "loss": 1.321,
      "step": 6107
    },
    {
      "epoch": 0.5429333333333334,
      "grad_norm": 1.6856873035430908,
      "learning_rate": 2.285777777777778e-05,
      "loss": 1.6363,
      "step": 6108
    },
    {
      "epoch": 0.5430222222222222,
      "grad_norm": 1.6892346143722534,
      "learning_rate": 2.2853333333333334e-05,
      "loss": 1.7899,
      "step": 6109
    },
    {
      "epoch": 0.5431111111111111,
      "grad_norm": 1.9068012237548828,
      "learning_rate": 2.284888888888889e-05,
      "loss": 1.5831,
      "step": 6110
    },
    {
      "epoch": 0.5432,
      "grad_norm": 1.7972877025604248,
      "learning_rate": 2.2844444444444447e-05,
      "loss": 1.4613,
      "step": 6111
    },
    {
      "epoch": 0.5432888888888889,
      "grad_norm": 1.3381762504577637,
      "learning_rate": 2.284e-05,
      "loss": 1.3463,
      "step": 6112
    },
    {
      "epoch": 0.5433777777777777,
      "grad_norm": 1.6987251043319702,
      "learning_rate": 2.2835555555555556e-05,
      "loss": 1.8583,
      "step": 6113
    },
    {
      "epoch": 0.5434666666666667,
      "grad_norm": 1.5340068340301514,
      "learning_rate": 2.283111111111111e-05,
      "loss": 1.5301,
      "step": 6114
    },
    {
      "epoch": 0.5435555555555556,
      "grad_norm": 1.4983757734298706,
      "learning_rate": 2.282666666666667e-05,
      "loss": 1.4929,
      "step": 6115
    },
    {
      "epoch": 0.5436444444444445,
      "grad_norm": 1.7908481359481812,
      "learning_rate": 2.282222222222222e-05,
      "loss": 1.5951,
      "step": 6116
    },
    {
      "epoch": 0.5437333333333333,
      "grad_norm": 1.5471696853637695,
      "learning_rate": 2.281777777777778e-05,
      "loss": 1.5761,
      "step": 6117
    },
    {
      "epoch": 0.5438222222222222,
      "grad_norm": 1.5781699419021606,
      "learning_rate": 2.2813333333333334e-05,
      "loss": 1.4816,
      "step": 6118
    },
    {
      "epoch": 0.5439111111111111,
      "grad_norm": 1.6852753162384033,
      "learning_rate": 2.2808888888888892e-05,
      "loss": 1.4236,
      "step": 6119
    },
    {
      "epoch": 0.544,
      "grad_norm": 2.0649795532226562,
      "learning_rate": 2.2804444444444444e-05,
      "loss": 1.7397,
      "step": 6120
    },
    {
      "epoch": 0.5440888888888888,
      "grad_norm": 1.9448562860488892,
      "learning_rate": 2.2800000000000002e-05,
      "loss": 1.4257,
      "step": 6121
    },
    {
      "epoch": 0.5441777777777778,
      "grad_norm": 1.679580807685852,
      "learning_rate": 2.2795555555555557e-05,
      "loss": 1.8888,
      "step": 6122
    },
    {
      "epoch": 0.5442666666666667,
      "grad_norm": 1.4730682373046875,
      "learning_rate": 2.279111111111111e-05,
      "loss": 1.645,
      "step": 6123
    },
    {
      "epoch": 0.5443555555555556,
      "grad_norm": 1.8088607788085938,
      "learning_rate": 2.2786666666666666e-05,
      "loss": 1.5993,
      "step": 6124
    },
    {
      "epoch": 0.5444444444444444,
      "grad_norm": 2.3922841548919678,
      "learning_rate": 2.2782222222222225e-05,
      "loss": 1.6808,
      "step": 6125
    },
    {
      "epoch": 0.5445333333333333,
      "grad_norm": 1.9817428588867188,
      "learning_rate": 2.277777777777778e-05,
      "loss": 1.7106,
      "step": 6126
    },
    {
      "epoch": 0.5446222222222222,
      "grad_norm": 1.4382137060165405,
      "learning_rate": 2.2773333333333334e-05,
      "loss": 1.7332,
      "step": 6127
    },
    {
      "epoch": 0.5447111111111111,
      "grad_norm": 1.7655853033065796,
      "learning_rate": 2.276888888888889e-05,
      "loss": 1.5636,
      "step": 6128
    },
    {
      "epoch": 0.5448,
      "grad_norm": 1.7521991729736328,
      "learning_rate": 2.2764444444444447e-05,
      "loss": 1.697,
      "step": 6129
    },
    {
      "epoch": 0.5448888888888889,
      "grad_norm": 1.676086664199829,
      "learning_rate": 2.2760000000000002e-05,
      "loss": 1.6639,
      "step": 6130
    },
    {
      "epoch": 0.5449777777777778,
      "grad_norm": 1.550700068473816,
      "learning_rate": 2.2755555555555557e-05,
      "loss": 1.5873,
      "step": 6131
    },
    {
      "epoch": 0.5450666666666667,
      "grad_norm": 1.8044798374176025,
      "learning_rate": 2.2751111111111112e-05,
      "loss": 1.5311,
      "step": 6132
    },
    {
      "epoch": 0.5451555555555555,
      "grad_norm": 2.3499903678894043,
      "learning_rate": 2.274666666666667e-05,
      "loss": 1.4589,
      "step": 6133
    },
    {
      "epoch": 0.5452444444444444,
      "grad_norm": 1.6100713014602661,
      "learning_rate": 2.2742222222222222e-05,
      "loss": 1.572,
      "step": 6134
    },
    {
      "epoch": 0.5453333333333333,
      "grad_norm": 1.6887657642364502,
      "learning_rate": 2.273777777777778e-05,
      "loss": 1.5968,
      "step": 6135
    },
    {
      "epoch": 0.5454222222222223,
      "grad_norm": 1.931302785873413,
      "learning_rate": 2.2733333333333335e-05,
      "loss": 1.5042,
      "step": 6136
    },
    {
      "epoch": 0.5455111111111111,
      "grad_norm": 1.424991250038147,
      "learning_rate": 2.272888888888889e-05,
      "loss": 1.3743,
      "step": 6137
    },
    {
      "epoch": 0.5456,
      "grad_norm": 1.5149585008621216,
      "learning_rate": 2.2724444444444444e-05,
      "loss": 1.6521,
      "step": 6138
    },
    {
      "epoch": 0.5456888888888889,
      "grad_norm": 1.2781808376312256,
      "learning_rate": 2.2720000000000003e-05,
      "loss": 1.3886,
      "step": 6139
    },
    {
      "epoch": 0.5457777777777778,
      "grad_norm": 1.8348407745361328,
      "learning_rate": 2.2715555555555558e-05,
      "loss": 1.469,
      "step": 6140
    },
    {
      "epoch": 0.5458666666666666,
      "grad_norm": 1.4523531198501587,
      "learning_rate": 2.2711111111111112e-05,
      "loss": 1.5904,
      "step": 6141
    },
    {
      "epoch": 0.5459555555555555,
      "grad_norm": 1.7915831804275513,
      "learning_rate": 2.2706666666666667e-05,
      "loss": 1.8386,
      "step": 6142
    },
    {
      "epoch": 0.5460444444444444,
      "grad_norm": 1.8313393592834473,
      "learning_rate": 2.2702222222222222e-05,
      "loss": 1.6837,
      "step": 6143
    },
    {
      "epoch": 0.5461333333333334,
      "grad_norm": 1.5166006088256836,
      "learning_rate": 2.269777777777778e-05,
      "loss": 1.5779,
      "step": 6144
    },
    {
      "epoch": 0.5462222222222223,
      "grad_norm": 1.395270586013794,
      "learning_rate": 2.2693333333333332e-05,
      "loss": 1.5604,
      "step": 6145
    },
    {
      "epoch": 0.5463111111111111,
      "grad_norm": 1.9911324977874756,
      "learning_rate": 2.268888888888889e-05,
      "loss": 1.5843,
      "step": 6146
    },
    {
      "epoch": 0.5464,
      "grad_norm": 1.9386014938354492,
      "learning_rate": 2.2684444444444445e-05,
      "loss": 1.5161,
      "step": 6147
    },
    {
      "epoch": 0.5464888888888889,
      "grad_norm": 1.9694498777389526,
      "learning_rate": 2.268e-05,
      "loss": 1.5596,
      "step": 6148
    },
    {
      "epoch": 0.5465777777777778,
      "grad_norm": 1.3724149465560913,
      "learning_rate": 2.2675555555555555e-05,
      "loss": 1.4359,
      "step": 6149
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 1.8224490880966187,
      "learning_rate": 2.2671111111111113e-05,
      "loss": 1.5395,
      "step": 6150
    },
    {
      "epoch": 0.5467555555555556,
      "grad_norm": 1.588925838470459,
      "learning_rate": 2.2666666666666668e-05,
      "loss": 1.5666,
      "step": 6151
    },
    {
      "epoch": 0.5468444444444445,
      "grad_norm": 1.5514171123504639,
      "learning_rate": 2.2662222222222222e-05,
      "loss": 1.5801,
      "step": 6152
    },
    {
      "epoch": 0.5469333333333334,
      "grad_norm": 1.667327880859375,
      "learning_rate": 2.2657777777777777e-05,
      "loss": 1.55,
      "step": 6153
    },
    {
      "epoch": 0.5470222222222222,
      "grad_norm": 2.0504446029663086,
      "learning_rate": 2.2653333333333336e-05,
      "loss": 1.4918,
      "step": 6154
    },
    {
      "epoch": 0.5471111111111111,
      "grad_norm": 1.426332712173462,
      "learning_rate": 2.264888888888889e-05,
      "loss": 1.6252,
      "step": 6155
    },
    {
      "epoch": 0.5472,
      "grad_norm": 1.9157631397247314,
      "learning_rate": 2.2644444444444445e-05,
      "loss": 1.4443,
      "step": 6156
    },
    {
      "epoch": 0.5472888888888889,
      "grad_norm": 1.5099807977676392,
      "learning_rate": 2.264e-05,
      "loss": 1.5276,
      "step": 6157
    },
    {
      "epoch": 0.5473777777777777,
      "grad_norm": 1.3983741998672485,
      "learning_rate": 2.263555555555556e-05,
      "loss": 1.5301,
      "step": 6158
    },
    {
      "epoch": 0.5474666666666667,
      "grad_norm": 1.5346031188964844,
      "learning_rate": 2.263111111111111e-05,
      "loss": 1.5322,
      "step": 6159
    },
    {
      "epoch": 0.5475555555555556,
      "grad_norm": 1.6643847227096558,
      "learning_rate": 2.2626666666666668e-05,
      "loss": 1.585,
      "step": 6160
    },
    {
      "epoch": 0.5476444444444445,
      "grad_norm": 1.7393007278442383,
      "learning_rate": 2.2622222222222223e-05,
      "loss": 1.5593,
      "step": 6161
    },
    {
      "epoch": 0.5477333333333333,
      "grad_norm": 1.5417612791061401,
      "learning_rate": 2.261777777777778e-05,
      "loss": 1.5669,
      "step": 6162
    },
    {
      "epoch": 0.5478222222222222,
      "grad_norm": 1.7721617221832275,
      "learning_rate": 2.2613333333333333e-05,
      "loss": 1.5425,
      "step": 6163
    },
    {
      "epoch": 0.5479111111111111,
      "grad_norm": 2.330509901046753,
      "learning_rate": 2.260888888888889e-05,
      "loss": 1.7313,
      "step": 6164
    },
    {
      "epoch": 0.548,
      "grad_norm": 1.587027907371521,
      "learning_rate": 2.2604444444444446e-05,
      "loss": 1.6087,
      "step": 6165
    },
    {
      "epoch": 0.5480888888888888,
      "grad_norm": 1.378891110420227,
      "learning_rate": 2.26e-05,
      "loss": 1.3898,
      "step": 6166
    },
    {
      "epoch": 0.5481777777777778,
      "grad_norm": 2.065499782562256,
      "learning_rate": 2.2595555555555555e-05,
      "loss": 1.7516,
      "step": 6167
    },
    {
      "epoch": 0.5482666666666667,
      "grad_norm": 1.4604729413986206,
      "learning_rate": 2.2591111111111114e-05,
      "loss": 1.3833,
      "step": 6168
    },
    {
      "epoch": 0.5483555555555556,
      "grad_norm": 1.8261934518814087,
      "learning_rate": 2.258666666666667e-05,
      "loss": 1.85,
      "step": 6169
    },
    {
      "epoch": 0.5484444444444444,
      "grad_norm": 1.921576738357544,
      "learning_rate": 2.2582222222222223e-05,
      "loss": 1.5773,
      "step": 6170
    },
    {
      "epoch": 0.5485333333333333,
      "grad_norm": 1.5390288829803467,
      "learning_rate": 2.2577777777777778e-05,
      "loss": 1.7523,
      "step": 6171
    },
    {
      "epoch": 0.5486222222222222,
      "grad_norm": 1.586463212966919,
      "learning_rate": 2.2573333333333336e-05,
      "loss": 1.5586,
      "step": 6172
    },
    {
      "epoch": 0.5487111111111111,
      "grad_norm": 1.7927335500717163,
      "learning_rate": 2.2568888888888888e-05,
      "loss": 1.5327,
      "step": 6173
    },
    {
      "epoch": 0.5488,
      "grad_norm": 1.7656962871551514,
      "learning_rate": 2.2564444444444446e-05,
      "loss": 1.5835,
      "step": 6174
    },
    {
      "epoch": 0.5488888888888889,
      "grad_norm": 1.3965567350387573,
      "learning_rate": 2.256e-05,
      "loss": 1.3339,
      "step": 6175
    },
    {
      "epoch": 0.5489777777777778,
      "grad_norm": 1.8050410747528076,
      "learning_rate": 2.255555555555556e-05,
      "loss": 1.6099,
      "step": 6176
    },
    {
      "epoch": 0.5490666666666667,
      "grad_norm": 1.573645830154419,
      "learning_rate": 2.255111111111111e-05,
      "loss": 1.6569,
      "step": 6177
    },
    {
      "epoch": 0.5491555555555555,
      "grad_norm": 1.7909926176071167,
      "learning_rate": 2.254666666666667e-05,
      "loss": 1.7815,
      "step": 6178
    },
    {
      "epoch": 0.5492444444444444,
      "grad_norm": 1.947210669517517,
      "learning_rate": 2.2542222222222224e-05,
      "loss": 1.6749,
      "step": 6179
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 1.9275859594345093,
      "learning_rate": 2.253777777777778e-05,
      "loss": 1.7787,
      "step": 6180
    },
    {
      "epoch": 0.5494222222222223,
      "grad_norm": 1.7500801086425781,
      "learning_rate": 2.2533333333333333e-05,
      "loss": 1.6007,
      "step": 6181
    },
    {
      "epoch": 0.5495111111111111,
      "grad_norm": 1.4724328517913818,
      "learning_rate": 2.252888888888889e-05,
      "loss": 1.5417,
      "step": 6182
    },
    {
      "epoch": 0.5496,
      "grad_norm": 1.7484108209609985,
      "learning_rate": 2.2524444444444446e-05,
      "loss": 1.689,
      "step": 6183
    },
    {
      "epoch": 0.5496888888888889,
      "grad_norm": 1.5319712162017822,
      "learning_rate": 2.252e-05,
      "loss": 1.5074,
      "step": 6184
    },
    {
      "epoch": 0.5497777777777778,
      "grad_norm": 1.5864225625991821,
      "learning_rate": 2.2515555555555556e-05,
      "loss": 1.7161,
      "step": 6185
    },
    {
      "epoch": 0.5498666666666666,
      "grad_norm": 1.503321647644043,
      "learning_rate": 2.2511111111111114e-05,
      "loss": 1.4927,
      "step": 6186
    },
    {
      "epoch": 0.5499555555555555,
      "grad_norm": 1.5662758350372314,
      "learning_rate": 2.250666666666667e-05,
      "loss": 1.5826,
      "step": 6187
    },
    {
      "epoch": 0.5500444444444444,
      "grad_norm": 2.1161882877349854,
      "learning_rate": 2.2502222222222224e-05,
      "loss": 1.5272,
      "step": 6188
    },
    {
      "epoch": 0.5501333333333334,
      "grad_norm": 1.6444830894470215,
      "learning_rate": 2.249777777777778e-05,
      "loss": 1.5564,
      "step": 6189
    },
    {
      "epoch": 0.5502222222222222,
      "grad_norm": 1.8259291648864746,
      "learning_rate": 2.2493333333333337e-05,
      "loss": 1.3447,
      "step": 6190
    },
    {
      "epoch": 0.5503111111111111,
      "grad_norm": 1.6520551443099976,
      "learning_rate": 2.248888888888889e-05,
      "loss": 1.7012,
      "step": 6191
    },
    {
      "epoch": 0.5504,
      "grad_norm": 1.4138861894607544,
      "learning_rate": 2.2484444444444447e-05,
      "loss": 1.5041,
      "step": 6192
    },
    {
      "epoch": 0.5504888888888889,
      "grad_norm": 1.5169707536697388,
      "learning_rate": 2.248e-05,
      "loss": 1.3759,
      "step": 6193
    },
    {
      "epoch": 0.5505777777777778,
      "grad_norm": 1.670579433441162,
      "learning_rate": 2.2475555555555556e-05,
      "loss": 1.6417,
      "step": 6194
    },
    {
      "epoch": 0.5506666666666666,
      "grad_norm": 1.6501832008361816,
      "learning_rate": 2.247111111111111e-05,
      "loss": 1.5506,
      "step": 6195
    },
    {
      "epoch": 0.5507555555555556,
      "grad_norm": 1.5916013717651367,
      "learning_rate": 2.2466666666666666e-05,
      "loss": 1.4976,
      "step": 6196
    },
    {
      "epoch": 0.5508444444444445,
      "grad_norm": 1.5655367374420166,
      "learning_rate": 2.2462222222222224e-05,
      "loss": 1.3623,
      "step": 6197
    },
    {
      "epoch": 0.5509333333333334,
      "grad_norm": 1.551762580871582,
      "learning_rate": 2.245777777777778e-05,
      "loss": 1.3871,
      "step": 6198
    },
    {
      "epoch": 0.5510222222222222,
      "grad_norm": 2.0361671447753906,
      "learning_rate": 2.2453333333333334e-05,
      "loss": 1.9155,
      "step": 6199
    },
    {
      "epoch": 0.5511111111111111,
      "grad_norm": 1.7113736867904663,
      "learning_rate": 2.244888888888889e-05,
      "loss": 1.5081,
      "step": 6200
    },
    {
      "epoch": 0.5512,
      "grad_norm": 1.5122857093811035,
      "learning_rate": 2.2444444444444447e-05,
      "loss": 1.5238,
      "step": 6201
    },
    {
      "epoch": 0.5512888888888889,
      "grad_norm": 1.5750213861465454,
      "learning_rate": 2.244e-05,
      "loss": 1.7152,
      "step": 6202
    },
    {
      "epoch": 0.5513777777777777,
      "grad_norm": 1.4069463014602661,
      "learning_rate": 2.2435555555555557e-05,
      "loss": 1.7316,
      "step": 6203
    },
    {
      "epoch": 0.5514666666666667,
      "grad_norm": 1.6653257608413696,
      "learning_rate": 2.243111111111111e-05,
      "loss": 1.5658,
      "step": 6204
    },
    {
      "epoch": 0.5515555555555556,
      "grad_norm": 1.5454106330871582,
      "learning_rate": 2.2426666666666667e-05,
      "loss": 1.6332,
      "step": 6205
    },
    {
      "epoch": 0.5516444444444445,
      "grad_norm": 1.6778478622436523,
      "learning_rate": 2.242222222222222e-05,
      "loss": 1.7175,
      "step": 6206
    },
    {
      "epoch": 0.5517333333333333,
      "grad_norm": 1.7186042070388794,
      "learning_rate": 2.241777777777778e-05,
      "loss": 1.3816,
      "step": 6207
    },
    {
      "epoch": 0.5518222222222222,
      "grad_norm": 1.8101787567138672,
      "learning_rate": 2.2413333333333334e-05,
      "loss": 1.5713,
      "step": 6208
    },
    {
      "epoch": 0.5519111111111111,
      "grad_norm": 1.4361244440078735,
      "learning_rate": 2.240888888888889e-05,
      "loss": 1.2029,
      "step": 6209
    },
    {
      "epoch": 0.552,
      "grad_norm": 1.4985229969024658,
      "learning_rate": 2.2404444444444444e-05,
      "loss": 1.8217,
      "step": 6210
    },
    {
      "epoch": 0.5520888888888889,
      "grad_norm": 1.5288653373718262,
      "learning_rate": 2.2400000000000002e-05,
      "loss": 1.6581,
      "step": 6211
    },
    {
      "epoch": 0.5521777777777778,
      "grad_norm": 1.55711829662323,
      "learning_rate": 2.2395555555555557e-05,
      "loss": 1.813,
      "step": 6212
    },
    {
      "epoch": 0.5522666666666667,
      "grad_norm": 1.420439600944519,
      "learning_rate": 2.2391111111111112e-05,
      "loss": 1.6091,
      "step": 6213
    },
    {
      "epoch": 0.5523555555555556,
      "grad_norm": 1.5061049461364746,
      "learning_rate": 2.2386666666666667e-05,
      "loss": 1.5703,
      "step": 6214
    },
    {
      "epoch": 0.5524444444444444,
      "grad_norm": 1.5194945335388184,
      "learning_rate": 2.2382222222222225e-05,
      "loss": 1.4101,
      "step": 6215
    },
    {
      "epoch": 0.5525333333333333,
      "grad_norm": 1.4946597814559937,
      "learning_rate": 2.2377777777777777e-05,
      "loss": 1.3952,
      "step": 6216
    },
    {
      "epoch": 0.5526222222222222,
      "grad_norm": 1.3816378116607666,
      "learning_rate": 2.2373333333333335e-05,
      "loss": 1.3197,
      "step": 6217
    },
    {
      "epoch": 0.5527111111111112,
      "grad_norm": 1.6349833011627197,
      "learning_rate": 2.236888888888889e-05,
      "loss": 1.4324,
      "step": 6218
    },
    {
      "epoch": 0.5528,
      "grad_norm": 1.8597686290740967,
      "learning_rate": 2.2364444444444445e-05,
      "loss": 1.3492,
      "step": 6219
    },
    {
      "epoch": 0.5528888888888889,
      "grad_norm": 1.6319416761398315,
      "learning_rate": 2.236e-05,
      "loss": 1.5445,
      "step": 6220
    },
    {
      "epoch": 0.5529777777777778,
      "grad_norm": 1.6838034391403198,
      "learning_rate": 2.2355555555555558e-05,
      "loss": 1.6679,
      "step": 6221
    },
    {
      "epoch": 0.5530666666666667,
      "grad_norm": 1.7829995155334473,
      "learning_rate": 2.2351111111111112e-05,
      "loss": 1.879,
      "step": 6222
    },
    {
      "epoch": 0.5531555555555555,
      "grad_norm": 1.6291404962539673,
      "learning_rate": 2.2346666666666667e-05,
      "loss": 1.5514,
      "step": 6223
    },
    {
      "epoch": 0.5532444444444444,
      "grad_norm": 1.9489518404006958,
      "learning_rate": 2.2342222222222222e-05,
      "loss": 1.8326,
      "step": 6224
    },
    {
      "epoch": 0.5533333333333333,
      "grad_norm": 1.9620648622512817,
      "learning_rate": 2.233777777777778e-05,
      "loss": 1.6911,
      "step": 6225
    },
    {
      "epoch": 0.5534222222222223,
      "grad_norm": 1.5892153978347778,
      "learning_rate": 2.2333333333333335e-05,
      "loss": 1.5859,
      "step": 6226
    },
    {
      "epoch": 0.5535111111111111,
      "grad_norm": 1.5642708539962769,
      "learning_rate": 2.232888888888889e-05,
      "loss": 1.5802,
      "step": 6227
    },
    {
      "epoch": 0.5536,
      "grad_norm": 1.6482748985290527,
      "learning_rate": 2.2324444444444445e-05,
      "loss": 1.5757,
      "step": 6228
    },
    {
      "epoch": 0.5536888888888889,
      "grad_norm": 1.552871823310852,
      "learning_rate": 2.2320000000000003e-05,
      "loss": 1.5309,
      "step": 6229
    },
    {
      "epoch": 0.5537777777777778,
      "grad_norm": 2.539222478866577,
      "learning_rate": 2.2315555555555555e-05,
      "loss": 1.6567,
      "step": 6230
    },
    {
      "epoch": 0.5538666666666666,
      "grad_norm": 1.8959450721740723,
      "learning_rate": 2.2311111111111113e-05,
      "loss": 1.5914,
      "step": 6231
    },
    {
      "epoch": 0.5539555555555555,
      "grad_norm": 1.5869636535644531,
      "learning_rate": 2.2306666666666668e-05,
      "loss": 1.5101,
      "step": 6232
    },
    {
      "epoch": 0.5540444444444445,
      "grad_norm": 1.4679605960845947,
      "learning_rate": 2.2302222222222226e-05,
      "loss": 1.496,
      "step": 6233
    },
    {
      "epoch": 0.5541333333333334,
      "grad_norm": 1.312335729598999,
      "learning_rate": 2.2297777777777777e-05,
      "loss": 1.4302,
      "step": 6234
    },
    {
      "epoch": 0.5542222222222222,
      "grad_norm": 1.6069461107254028,
      "learning_rate": 2.2293333333333336e-05,
      "loss": 1.3654,
      "step": 6235
    },
    {
      "epoch": 0.5543111111111111,
      "grad_norm": 1.5562900304794312,
      "learning_rate": 2.228888888888889e-05,
      "loss": 1.7689,
      "step": 6236
    },
    {
      "epoch": 0.5544,
      "grad_norm": 1.6120350360870361,
      "learning_rate": 2.2284444444444445e-05,
      "loss": 1.3664,
      "step": 6237
    },
    {
      "epoch": 0.5544888888888889,
      "grad_norm": 1.5669652223587036,
      "learning_rate": 2.228e-05,
      "loss": 1.4761,
      "step": 6238
    },
    {
      "epoch": 0.5545777777777777,
      "grad_norm": 1.5832880735397339,
      "learning_rate": 2.227555555555556e-05,
      "loss": 1.5862,
      "step": 6239
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 1.626387119293213,
      "learning_rate": 2.2271111111111113e-05,
      "loss": 1.4288,
      "step": 6240
    },
    {
      "epoch": 0.5547555555555556,
      "grad_norm": 1.5497397184371948,
      "learning_rate": 2.2266666666666668e-05,
      "loss": 1.3561,
      "step": 6241
    },
    {
      "epoch": 0.5548444444444445,
      "grad_norm": 1.5961216688156128,
      "learning_rate": 2.2262222222222223e-05,
      "loss": 1.4102,
      "step": 6242
    },
    {
      "epoch": 0.5549333333333333,
      "grad_norm": 1.7225972414016724,
      "learning_rate": 2.225777777777778e-05,
      "loss": 1.5168,
      "step": 6243
    },
    {
      "epoch": 0.5550222222222222,
      "grad_norm": 1.3237236738204956,
      "learning_rate": 2.2253333333333336e-05,
      "loss": 1.5082,
      "step": 6244
    },
    {
      "epoch": 0.5551111111111111,
      "grad_norm": 2.16325044631958,
      "learning_rate": 2.224888888888889e-05,
      "loss": 1.6956,
      "step": 6245
    },
    {
      "epoch": 0.5552,
      "grad_norm": 1.764079213142395,
      "learning_rate": 2.2244444444444446e-05,
      "loss": 1.5385,
      "step": 6246
    },
    {
      "epoch": 0.5552888888888889,
      "grad_norm": 1.4927544593811035,
      "learning_rate": 2.224e-05,
      "loss": 1.3802,
      "step": 6247
    },
    {
      "epoch": 0.5553777777777777,
      "grad_norm": 1.6225357055664062,
      "learning_rate": 2.2235555555555555e-05,
      "loss": 1.5719,
      "step": 6248
    },
    {
      "epoch": 0.5554666666666667,
      "grad_norm": 1.3814043998718262,
      "learning_rate": 2.223111111111111e-05,
      "loss": 1.6189,
      "step": 6249
    },
    {
      "epoch": 0.5555555555555556,
      "grad_norm": 1.476827621459961,
      "learning_rate": 2.222666666666667e-05,
      "loss": 1.4045,
      "step": 6250
    },
    {
      "epoch": 0.5556444444444445,
      "grad_norm": 1.6716827154159546,
      "learning_rate": 2.2222222222222223e-05,
      "loss": 1.3465,
      "step": 6251
    },
    {
      "epoch": 0.5557333333333333,
      "grad_norm": 1.6708784103393555,
      "learning_rate": 2.2217777777777778e-05,
      "loss": 1.6136,
      "step": 6252
    },
    {
      "epoch": 0.5558222222222222,
      "grad_norm": 1.4939154386520386,
      "learning_rate": 2.2213333333333333e-05,
      "loss": 1.5214,
      "step": 6253
    },
    {
      "epoch": 0.5559111111111111,
      "grad_norm": 1.5893701314926147,
      "learning_rate": 2.220888888888889e-05,
      "loss": 1.3269,
      "step": 6254
    },
    {
      "epoch": 0.556,
      "grad_norm": 2.2879819869995117,
      "learning_rate": 2.2204444444444446e-05,
      "loss": 1.7738,
      "step": 6255
    },
    {
      "epoch": 0.5560888888888889,
      "grad_norm": 1.6049948930740356,
      "learning_rate": 2.22e-05,
      "loss": 1.5846,
      "step": 6256
    },
    {
      "epoch": 0.5561777777777778,
      "grad_norm": 2.2865476608276367,
      "learning_rate": 2.2195555555555556e-05,
      "loss": 1.8129,
      "step": 6257
    },
    {
      "epoch": 0.5562666666666667,
      "grad_norm": 1.6872442960739136,
      "learning_rate": 2.2191111111111114e-05,
      "loss": 1.579,
      "step": 6258
    },
    {
      "epoch": 0.5563555555555556,
      "grad_norm": 1.6704400777816772,
      "learning_rate": 2.2186666666666665e-05,
      "loss": 1.6985,
      "step": 6259
    },
    {
      "epoch": 0.5564444444444444,
      "grad_norm": 1.5590226650238037,
      "learning_rate": 2.2182222222222224e-05,
      "loss": 1.5137,
      "step": 6260
    },
    {
      "epoch": 0.5565333333333333,
      "grad_norm": 1.4694358110427856,
      "learning_rate": 2.217777777777778e-05,
      "loss": 1.5111,
      "step": 6261
    },
    {
      "epoch": 0.5566222222222222,
      "grad_norm": 1.7828515768051147,
      "learning_rate": 2.2173333333333333e-05,
      "loss": 1.7647,
      "step": 6262
    },
    {
      "epoch": 0.5567111111111112,
      "grad_norm": 1.3021275997161865,
      "learning_rate": 2.2168888888888888e-05,
      "loss": 1.331,
      "step": 6263
    },
    {
      "epoch": 0.5568,
      "grad_norm": 1.413339376449585,
      "learning_rate": 2.2164444444444446e-05,
      "loss": 1.547,
      "step": 6264
    },
    {
      "epoch": 0.5568888888888889,
      "grad_norm": 1.4041852951049805,
      "learning_rate": 2.216e-05,
      "loss": 1.4072,
      "step": 6265
    },
    {
      "epoch": 0.5569777777777778,
      "grad_norm": 1.477367639541626,
      "learning_rate": 2.2155555555555556e-05,
      "loss": 1.3062,
      "step": 6266
    },
    {
      "epoch": 0.5570666666666667,
      "grad_norm": 1.3549424409866333,
      "learning_rate": 2.215111111111111e-05,
      "loss": 1.345,
      "step": 6267
    },
    {
      "epoch": 0.5571555555555555,
      "grad_norm": 1.8834890127182007,
      "learning_rate": 2.214666666666667e-05,
      "loss": 1.5762,
      "step": 6268
    },
    {
      "epoch": 0.5572444444444444,
      "grad_norm": 1.5794837474822998,
      "learning_rate": 2.2142222222222224e-05,
      "loss": 1.6035,
      "step": 6269
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 1.590659737586975,
      "learning_rate": 2.213777777777778e-05,
      "loss": 1.6053,
      "step": 6270
    },
    {
      "epoch": 0.5574222222222223,
      "grad_norm": 2.347625970840454,
      "learning_rate": 2.2133333333333334e-05,
      "loss": 1.7328,
      "step": 6271
    },
    {
      "epoch": 0.5575111111111111,
      "grad_norm": 2.1246702671051025,
      "learning_rate": 2.2128888888888892e-05,
      "loss": 1.5208,
      "step": 6272
    },
    {
      "epoch": 0.5576,
      "grad_norm": 2.0075318813323975,
      "learning_rate": 2.2124444444444443e-05,
      "loss": 1.6656,
      "step": 6273
    },
    {
      "epoch": 0.5576888888888889,
      "grad_norm": 1.6055526733398438,
      "learning_rate": 2.212e-05,
      "loss": 1.7798,
      "step": 6274
    },
    {
      "epoch": 0.5577777777777778,
      "grad_norm": 1.514190673828125,
      "learning_rate": 2.2115555555555557e-05,
      "loss": 1.4882,
      "step": 6275
    },
    {
      "epoch": 0.5578666666666666,
      "grad_norm": 1.6195380687713623,
      "learning_rate": 2.211111111111111e-05,
      "loss": 1.6404,
      "step": 6276
    },
    {
      "epoch": 0.5579555555555555,
      "grad_norm": 1.7235679626464844,
      "learning_rate": 2.2106666666666666e-05,
      "loss": 1.5261,
      "step": 6277
    },
    {
      "epoch": 0.5580444444444445,
      "grad_norm": 1.7912826538085938,
      "learning_rate": 2.2102222222222224e-05,
      "loss": 1.4867,
      "step": 6278
    },
    {
      "epoch": 0.5581333333333334,
      "grad_norm": 1.4617265462875366,
      "learning_rate": 2.209777777777778e-05,
      "loss": 1.5541,
      "step": 6279
    },
    {
      "epoch": 0.5582222222222222,
      "grad_norm": 1.453140139579773,
      "learning_rate": 2.2093333333333334e-05,
      "loss": 1.2343,
      "step": 6280
    },
    {
      "epoch": 0.5583111111111111,
      "grad_norm": 1.291685700416565,
      "learning_rate": 2.208888888888889e-05,
      "loss": 1.3742,
      "step": 6281
    },
    {
      "epoch": 0.5584,
      "grad_norm": 1.8207706212997437,
      "learning_rate": 2.2084444444444447e-05,
      "loss": 1.7324,
      "step": 6282
    },
    {
      "epoch": 0.5584888888888889,
      "grad_norm": 1.6440064907073975,
      "learning_rate": 2.2080000000000002e-05,
      "loss": 1.5763,
      "step": 6283
    },
    {
      "epoch": 0.5585777777777777,
      "grad_norm": 1.6764007806777954,
      "learning_rate": 2.2075555555555557e-05,
      "loss": 1.7622,
      "step": 6284
    },
    {
      "epoch": 0.5586666666666666,
      "grad_norm": 1.6567074060440063,
      "learning_rate": 2.2071111111111112e-05,
      "loss": 1.519,
      "step": 6285
    },
    {
      "epoch": 0.5587555555555556,
      "grad_norm": 1.5887267589569092,
      "learning_rate": 2.206666666666667e-05,
      "loss": 1.553,
      "step": 6286
    },
    {
      "epoch": 0.5588444444444445,
      "grad_norm": 1.3867038488388062,
      "learning_rate": 2.206222222222222e-05,
      "loss": 1.4686,
      "step": 6287
    },
    {
      "epoch": 0.5589333333333333,
      "grad_norm": 1.5206021070480347,
      "learning_rate": 2.205777777777778e-05,
      "loss": 1.4693,
      "step": 6288
    },
    {
      "epoch": 0.5590222222222222,
      "grad_norm": 1.4185848236083984,
      "learning_rate": 2.2053333333333335e-05,
      "loss": 1.4671,
      "step": 6289
    },
    {
      "epoch": 0.5591111111111111,
      "grad_norm": 1.971873164176941,
      "learning_rate": 2.2048888888888893e-05,
      "loss": 1.5182,
      "step": 6290
    },
    {
      "epoch": 0.5592,
      "grad_norm": 2.1901981830596924,
      "learning_rate": 2.2044444444444444e-05,
      "loss": 1.6135,
      "step": 6291
    },
    {
      "epoch": 0.5592888888888888,
      "grad_norm": 1.7319626808166504,
      "learning_rate": 2.2040000000000002e-05,
      "loss": 1.7889,
      "step": 6292
    },
    {
      "epoch": 0.5593777777777778,
      "grad_norm": 1.4868041276931763,
      "learning_rate": 2.2035555555555557e-05,
      "loss": 1.5343,
      "step": 6293
    },
    {
      "epoch": 0.5594666666666667,
      "grad_norm": 2.354708194732666,
      "learning_rate": 2.2031111111111112e-05,
      "loss": 1.7414,
      "step": 6294
    },
    {
      "epoch": 0.5595555555555556,
      "grad_norm": 1.5838720798492432,
      "learning_rate": 2.2026666666666667e-05,
      "loss": 1.5527,
      "step": 6295
    },
    {
      "epoch": 0.5596444444444445,
      "grad_norm": 1.4866899251937866,
      "learning_rate": 2.2022222222222225e-05,
      "loss": 1.4215,
      "step": 6296
    },
    {
      "epoch": 0.5597333333333333,
      "grad_norm": 1.6888223886489868,
      "learning_rate": 2.201777777777778e-05,
      "loss": 1.403,
      "step": 6297
    },
    {
      "epoch": 0.5598222222222222,
      "grad_norm": 1.427484393119812,
      "learning_rate": 2.201333333333333e-05,
      "loss": 1.4099,
      "step": 6298
    },
    {
      "epoch": 0.5599111111111111,
      "grad_norm": 1.4231936931610107,
      "learning_rate": 2.200888888888889e-05,
      "loss": 1.4355,
      "step": 6299
    },
    {
      "epoch": 0.56,
      "grad_norm": 2.094849109649658,
      "learning_rate": 2.2004444444444445e-05,
      "loss": 1.4623,
      "step": 6300
    },
    {
      "epoch": 0.5600888888888889,
      "grad_norm": 1.8456462621688843,
      "learning_rate": 2.2000000000000003e-05,
      "loss": 1.651,
      "step": 6301
    },
    {
      "epoch": 0.5601777777777778,
      "grad_norm": 1.4643954038619995,
      "learning_rate": 2.1995555555555554e-05,
      "loss": 1.3059,
      "step": 6302
    },
    {
      "epoch": 0.5602666666666667,
      "grad_norm": 1.6531600952148438,
      "learning_rate": 2.1991111111111113e-05,
      "loss": 1.4992,
      "step": 6303
    },
    {
      "epoch": 0.5603555555555556,
      "grad_norm": 1.3548319339752197,
      "learning_rate": 2.1986666666666667e-05,
      "loss": 1.4399,
      "step": 6304
    },
    {
      "epoch": 0.5604444444444444,
      "grad_norm": 1.4549301862716675,
      "learning_rate": 2.1982222222222222e-05,
      "loss": 1.4328,
      "step": 6305
    },
    {
      "epoch": 0.5605333333333333,
      "grad_norm": 1.72578763961792,
      "learning_rate": 2.1977777777777777e-05,
      "loss": 1.5827,
      "step": 6306
    },
    {
      "epoch": 0.5606222222222222,
      "grad_norm": 1.7619593143463135,
      "learning_rate": 2.1973333333333335e-05,
      "loss": 1.6122,
      "step": 6307
    },
    {
      "epoch": 0.5607111111111112,
      "grad_norm": 1.4698166847229004,
      "learning_rate": 2.196888888888889e-05,
      "loss": 1.5188,
      "step": 6308
    },
    {
      "epoch": 0.5608,
      "grad_norm": 1.8036036491394043,
      "learning_rate": 2.1964444444444445e-05,
      "loss": 1.8724,
      "step": 6309
    },
    {
      "epoch": 0.5608888888888889,
      "grad_norm": 1.5229463577270508,
      "learning_rate": 2.196e-05,
      "loss": 1.4233,
      "step": 6310
    },
    {
      "epoch": 0.5609777777777778,
      "grad_norm": 1.4508804082870483,
      "learning_rate": 2.1955555555555558e-05,
      "loss": 1.4196,
      "step": 6311
    },
    {
      "epoch": 0.5610666666666667,
      "grad_norm": 2.3681118488311768,
      "learning_rate": 2.195111111111111e-05,
      "loss": 1.7618,
      "step": 6312
    },
    {
      "epoch": 0.5611555555555555,
      "grad_norm": 1.644874930381775,
      "learning_rate": 2.1946666666666668e-05,
      "loss": 1.5245,
      "step": 6313
    },
    {
      "epoch": 0.5612444444444444,
      "grad_norm": 1.9712028503417969,
      "learning_rate": 2.1942222222222223e-05,
      "loss": 1.5339,
      "step": 6314
    },
    {
      "epoch": 0.5613333333333334,
      "grad_norm": 1.9413684606552124,
      "learning_rate": 2.193777777777778e-05,
      "loss": 1.745,
      "step": 6315
    },
    {
      "epoch": 0.5614222222222223,
      "grad_norm": 1.4362872838974,
      "learning_rate": 2.1933333333333332e-05,
      "loss": 1.4572,
      "step": 6316
    },
    {
      "epoch": 0.5615111111111111,
      "grad_norm": 1.7918442487716675,
      "learning_rate": 2.192888888888889e-05,
      "loss": 1.7824,
      "step": 6317
    },
    {
      "epoch": 0.5616,
      "grad_norm": 2.3666319847106934,
      "learning_rate": 2.1924444444444445e-05,
      "loss": 1.5495,
      "step": 6318
    },
    {
      "epoch": 0.5616888888888889,
      "grad_norm": 1.8588190078735352,
      "learning_rate": 2.192e-05,
      "loss": 1.7857,
      "step": 6319
    },
    {
      "epoch": 0.5617777777777778,
      "grad_norm": 1.8307929039001465,
      "learning_rate": 2.1915555555555555e-05,
      "loss": 1.4964,
      "step": 6320
    },
    {
      "epoch": 0.5618666666666666,
      "grad_norm": 1.6845587491989136,
      "learning_rate": 2.1911111111111113e-05,
      "loss": 1.5911,
      "step": 6321
    },
    {
      "epoch": 0.5619555555555555,
      "grad_norm": 1.7034592628479004,
      "learning_rate": 2.1906666666666668e-05,
      "loss": 1.6535,
      "step": 6322
    },
    {
      "epoch": 0.5620444444444445,
      "grad_norm": 1.6247169971466064,
      "learning_rate": 2.1902222222222223e-05,
      "loss": 1.6282,
      "step": 6323
    },
    {
      "epoch": 0.5621333333333334,
      "grad_norm": 1.5507192611694336,
      "learning_rate": 2.1897777777777778e-05,
      "loss": 1.5709,
      "step": 6324
    },
    {
      "epoch": 0.5622222222222222,
      "grad_norm": 1.604851245880127,
      "learning_rate": 2.1893333333333336e-05,
      "loss": 1.746,
      "step": 6325
    },
    {
      "epoch": 0.5623111111111111,
      "grad_norm": 1.764175534248352,
      "learning_rate": 2.188888888888889e-05,
      "loss": 1.5604,
      "step": 6326
    },
    {
      "epoch": 0.5624,
      "grad_norm": 1.7102482318878174,
      "learning_rate": 2.1884444444444446e-05,
      "loss": 1.5702,
      "step": 6327
    },
    {
      "epoch": 0.5624888888888889,
      "grad_norm": 1.621302843093872,
      "learning_rate": 2.188e-05,
      "loss": 1.5766,
      "step": 6328
    },
    {
      "epoch": 0.5625777777777777,
      "grad_norm": 2.0593483448028564,
      "learning_rate": 2.187555555555556e-05,
      "loss": 1.8368,
      "step": 6329
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 1.5184625387191772,
      "learning_rate": 2.187111111111111e-05,
      "loss": 1.7448,
      "step": 6330
    },
    {
      "epoch": 0.5627555555555556,
      "grad_norm": 1.8294316530227661,
      "learning_rate": 2.186666666666667e-05,
      "loss": 1.3675,
      "step": 6331
    },
    {
      "epoch": 0.5628444444444445,
      "grad_norm": 1.5580676794052124,
      "learning_rate": 2.1862222222222223e-05,
      "loss": 1.5596,
      "step": 6332
    },
    {
      "epoch": 0.5629333333333333,
      "grad_norm": 1.3954155445098877,
      "learning_rate": 2.1857777777777778e-05,
      "loss": 1.4868,
      "step": 6333
    },
    {
      "epoch": 0.5630222222222222,
      "grad_norm": 1.6682432889938354,
      "learning_rate": 2.1853333333333333e-05,
      "loss": 1.6147,
      "step": 6334
    },
    {
      "epoch": 0.5631111111111111,
      "grad_norm": 1.5185145139694214,
      "learning_rate": 2.184888888888889e-05,
      "loss": 1.5728,
      "step": 6335
    },
    {
      "epoch": 0.5632,
      "grad_norm": 1.6929466724395752,
      "learning_rate": 2.1844444444444446e-05,
      "loss": 1.4056,
      "step": 6336
    },
    {
      "epoch": 0.5632888888888888,
      "grad_norm": 1.4489600658416748,
      "learning_rate": 2.184e-05,
      "loss": 1.5413,
      "step": 6337
    },
    {
      "epoch": 0.5633777777777778,
      "grad_norm": 1.3610185384750366,
      "learning_rate": 2.1835555555555556e-05,
      "loss": 1.5564,
      "step": 6338
    },
    {
      "epoch": 0.5634666666666667,
      "grad_norm": 1.5806467533111572,
      "learning_rate": 2.1831111111111114e-05,
      "loss": 1.5924,
      "step": 6339
    },
    {
      "epoch": 0.5635555555555556,
      "grad_norm": 2.181746482849121,
      "learning_rate": 2.182666666666667e-05,
      "loss": 1.8602,
      "step": 6340
    },
    {
      "epoch": 0.5636444444444444,
      "grad_norm": 1.9143452644348145,
      "learning_rate": 2.1822222222222224e-05,
      "loss": 1.636,
      "step": 6341
    },
    {
      "epoch": 0.5637333333333333,
      "grad_norm": 1.6845734119415283,
      "learning_rate": 2.181777777777778e-05,
      "loss": 1.6325,
      "step": 6342
    },
    {
      "epoch": 0.5638222222222222,
      "grad_norm": 1.6286849975585938,
      "learning_rate": 2.1813333333333337e-05,
      "loss": 1.5034,
      "step": 6343
    },
    {
      "epoch": 0.5639111111111111,
      "grad_norm": 1.4054418802261353,
      "learning_rate": 2.1808888888888888e-05,
      "loss": 1.3605,
      "step": 6344
    },
    {
      "epoch": 0.564,
      "grad_norm": 1.752055048942566,
      "learning_rate": 2.1804444444444446e-05,
      "loss": 1.4703,
      "step": 6345
    },
    {
      "epoch": 0.5640888888888889,
      "grad_norm": 1.4889576435089111,
      "learning_rate": 2.18e-05,
      "loss": 1.4775,
      "step": 6346
    },
    {
      "epoch": 0.5641777777777778,
      "grad_norm": 1.5098052024841309,
      "learning_rate": 2.179555555555556e-05,
      "loss": 1.6779,
      "step": 6347
    },
    {
      "epoch": 0.5642666666666667,
      "grad_norm": 1.8700050115585327,
      "learning_rate": 2.179111111111111e-05,
      "loss": 1.731,
      "step": 6348
    },
    {
      "epoch": 0.5643555555555556,
      "grad_norm": 1.4608232975006104,
      "learning_rate": 2.1786666666666666e-05,
      "loss": 1.5637,
      "step": 6349
    },
    {
      "epoch": 0.5644444444444444,
      "grad_norm": 1.9389715194702148,
      "learning_rate": 2.1782222222222224e-05,
      "loss": 1.9875,
      "step": 6350
    },
    {
      "epoch": 0.5645333333333333,
      "grad_norm": 1.3530731201171875,
      "learning_rate": 2.177777777777778e-05,
      "loss": 1.3428,
      "step": 6351
    },
    {
      "epoch": 0.5646222222222222,
      "grad_norm": 1.4326387643814087,
      "learning_rate": 2.1773333333333334e-05,
      "loss": 1.4598,
      "step": 6352
    },
    {
      "epoch": 0.5647111111111112,
      "grad_norm": 1.5064386129379272,
      "learning_rate": 2.176888888888889e-05,
      "loss": 1.4288,
      "step": 6353
    },
    {
      "epoch": 0.5648,
      "grad_norm": 1.7653849124908447,
      "learning_rate": 2.1764444444444447e-05,
      "loss": 1.5716,
      "step": 6354
    },
    {
      "epoch": 0.5648888888888889,
      "grad_norm": 1.606439232826233,
      "learning_rate": 2.176e-05,
      "loss": 1.595,
      "step": 6355
    },
    {
      "epoch": 0.5649777777777778,
      "grad_norm": 1.651383876800537,
      "learning_rate": 2.1755555555555557e-05,
      "loss": 1.5531,
      "step": 6356
    },
    {
      "epoch": 0.5650666666666667,
      "grad_norm": 1.5443847179412842,
      "learning_rate": 2.175111111111111e-05,
      "loss": 1.7125,
      "step": 6357
    },
    {
      "epoch": 0.5651555555555555,
      "grad_norm": 1.5507407188415527,
      "learning_rate": 2.174666666666667e-05,
      "loss": 1.6881,
      "step": 6358
    },
    {
      "epoch": 0.5652444444444444,
      "grad_norm": 1.5297975540161133,
      "learning_rate": 2.174222222222222e-05,
      "loss": 1.5128,
      "step": 6359
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 2.235698699951172,
      "learning_rate": 2.173777777777778e-05,
      "loss": 1.7753,
      "step": 6360
    },
    {
      "epoch": 0.5654222222222223,
      "grad_norm": 1.502756118774414,
      "learning_rate": 2.1733333333333334e-05,
      "loss": 1.6112,
      "step": 6361
    },
    {
      "epoch": 0.5655111111111111,
      "grad_norm": 1.5479791164398193,
      "learning_rate": 2.172888888888889e-05,
      "loss": 1.5292,
      "step": 6362
    },
    {
      "epoch": 0.5656,
      "grad_norm": 1.5466959476470947,
      "learning_rate": 2.1724444444444444e-05,
      "loss": 1.6196,
      "step": 6363
    },
    {
      "epoch": 0.5656888888888889,
      "grad_norm": 1.4952622652053833,
      "learning_rate": 2.1720000000000002e-05,
      "loss": 1.5585,
      "step": 6364
    },
    {
      "epoch": 0.5657777777777778,
      "grad_norm": 1.4307669401168823,
      "learning_rate": 2.1715555555555557e-05,
      "loss": 1.3161,
      "step": 6365
    },
    {
      "epoch": 0.5658666666666666,
      "grad_norm": 1.669455885887146,
      "learning_rate": 2.1711111111111112e-05,
      "loss": 1.7698,
      "step": 6366
    },
    {
      "epoch": 0.5659555555555555,
      "grad_norm": 1.876089096069336,
      "learning_rate": 2.1706666666666667e-05,
      "loss": 1.5922,
      "step": 6367
    },
    {
      "epoch": 0.5660444444444445,
      "grad_norm": 1.710363507270813,
      "learning_rate": 2.1702222222222225e-05,
      "loss": 1.8088,
      "step": 6368
    },
    {
      "epoch": 0.5661333333333334,
      "grad_norm": 1.4887582063674927,
      "learning_rate": 2.1697777777777776e-05,
      "loss": 1.7294,
      "step": 6369
    },
    {
      "epoch": 0.5662222222222222,
      "grad_norm": 2.228320360183716,
      "learning_rate": 2.1693333333333335e-05,
      "loss": 1.6525,
      "step": 6370
    },
    {
      "epoch": 0.5663111111111111,
      "grad_norm": 1.58165442943573,
      "learning_rate": 2.168888888888889e-05,
      "loss": 1.6855,
      "step": 6371
    },
    {
      "epoch": 0.5664,
      "grad_norm": 1.9519277811050415,
      "learning_rate": 2.1684444444444448e-05,
      "loss": 1.6268,
      "step": 6372
    },
    {
      "epoch": 0.5664888888888889,
      "grad_norm": 1.739096760749817,
      "learning_rate": 2.168e-05,
      "loss": 1.7315,
      "step": 6373
    },
    {
      "epoch": 0.5665777777777777,
      "grad_norm": 1.5212148427963257,
      "learning_rate": 2.1675555555555557e-05,
      "loss": 1.3209,
      "step": 6374
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 1.5177937746047974,
      "learning_rate": 2.1671111111111112e-05,
      "loss": 1.5555,
      "step": 6375
    },
    {
      "epoch": 0.5667555555555556,
      "grad_norm": 1.9369186162948608,
      "learning_rate": 2.1666666666666667e-05,
      "loss": 1.4333,
      "step": 6376
    },
    {
      "epoch": 0.5668444444444445,
      "grad_norm": 1.3329986333847046,
      "learning_rate": 2.1662222222222222e-05,
      "loss": 1.505,
      "step": 6377
    },
    {
      "epoch": 0.5669333333333333,
      "grad_norm": 1.5284931659698486,
      "learning_rate": 2.165777777777778e-05,
      "loss": 1.3844,
      "step": 6378
    },
    {
      "epoch": 0.5670222222222222,
      "grad_norm": 2.271646738052368,
      "learning_rate": 2.1653333333333335e-05,
      "loss": 1.5878,
      "step": 6379
    },
    {
      "epoch": 0.5671111111111111,
      "grad_norm": 1.9645811319351196,
      "learning_rate": 2.164888888888889e-05,
      "loss": 1.7111,
      "step": 6380
    },
    {
      "epoch": 0.5672,
      "grad_norm": 1.697644829750061,
      "learning_rate": 2.1644444444444445e-05,
      "loss": 1.626,
      "step": 6381
    },
    {
      "epoch": 0.5672888888888888,
      "grad_norm": 1.8857263326644897,
      "learning_rate": 2.1640000000000003e-05,
      "loss": 1.955,
      "step": 6382
    },
    {
      "epoch": 0.5673777777777778,
      "grad_norm": 1.69973623752594,
      "learning_rate": 2.1635555555555558e-05,
      "loss": 1.5611,
      "step": 6383
    },
    {
      "epoch": 0.5674666666666667,
      "grad_norm": 1.8222211599349976,
      "learning_rate": 2.1631111111111113e-05,
      "loss": 1.6781,
      "step": 6384
    },
    {
      "epoch": 0.5675555555555556,
      "grad_norm": 1.4899872541427612,
      "learning_rate": 2.1626666666666667e-05,
      "loss": 1.5333,
      "step": 6385
    },
    {
      "epoch": 0.5676444444444444,
      "grad_norm": 1.5291060209274292,
      "learning_rate": 2.1622222222222226e-05,
      "loss": 1.4277,
      "step": 6386
    },
    {
      "epoch": 0.5677333333333333,
      "grad_norm": 1.863562822341919,
      "learning_rate": 2.1617777777777777e-05,
      "loss": 1.7641,
      "step": 6387
    },
    {
      "epoch": 0.5678222222222222,
      "grad_norm": 1.6525282859802246,
      "learning_rate": 2.1613333333333335e-05,
      "loss": 1.3554,
      "step": 6388
    },
    {
      "epoch": 0.5679111111111111,
      "grad_norm": 2.0059964656829834,
      "learning_rate": 2.160888888888889e-05,
      "loss": 1.7215,
      "step": 6389
    },
    {
      "epoch": 0.568,
      "grad_norm": 1.5098851919174194,
      "learning_rate": 2.1604444444444445e-05,
      "loss": 1.7135,
      "step": 6390
    },
    {
      "epoch": 0.5680888888888889,
      "grad_norm": 1.5830460786819458,
      "learning_rate": 2.16e-05,
      "loss": 1.6422,
      "step": 6391
    },
    {
      "epoch": 0.5681777777777778,
      "grad_norm": 1.3127280473709106,
      "learning_rate": 2.1595555555555558e-05,
      "loss": 1.2936,
      "step": 6392
    },
    {
      "epoch": 0.5682666666666667,
      "grad_norm": 2.1101272106170654,
      "learning_rate": 2.1591111111111113e-05,
      "loss": 1.6413,
      "step": 6393
    },
    {
      "epoch": 0.5683555555555555,
      "grad_norm": 1.5194180011749268,
      "learning_rate": 2.1586666666666668e-05,
      "loss": 1.4066,
      "step": 6394
    },
    {
      "epoch": 0.5684444444444444,
      "grad_norm": 1.7206571102142334,
      "learning_rate": 2.1582222222222223e-05,
      "loss": 1.5895,
      "step": 6395
    },
    {
      "epoch": 0.5685333333333333,
      "grad_norm": 1.7945314645767212,
      "learning_rate": 2.157777777777778e-05,
      "loss": 1.7848,
      "step": 6396
    },
    {
      "epoch": 0.5686222222222223,
      "grad_norm": 1.4769099950790405,
      "learning_rate": 2.1573333333333336e-05,
      "loss": 1.6482,
      "step": 6397
    },
    {
      "epoch": 0.5687111111111111,
      "grad_norm": 1.5893239974975586,
      "learning_rate": 2.156888888888889e-05,
      "loss": 1.6381,
      "step": 6398
    },
    {
      "epoch": 0.5688,
      "grad_norm": 2.0638694763183594,
      "learning_rate": 2.1564444444444445e-05,
      "loss": 1.662,
      "step": 6399
    },
    {
      "epoch": 0.5688888888888889,
      "grad_norm": 1.543463110923767,
      "learning_rate": 2.1560000000000004e-05,
      "loss": 1.8357,
      "step": 6400
    },
    {
      "epoch": 0.5689777777777778,
      "grad_norm": 1.697801113128662,
      "learning_rate": 2.1555555555555555e-05,
      "loss": 1.5192,
      "step": 6401
    },
    {
      "epoch": 0.5690666666666667,
      "grad_norm": 1.6174992322921753,
      "learning_rate": 2.155111111111111e-05,
      "loss": 1.622,
      "step": 6402
    },
    {
      "epoch": 0.5691555555555555,
      "grad_norm": 1.7079977989196777,
      "learning_rate": 2.1546666666666668e-05,
      "loss": 1.5713,
      "step": 6403
    },
    {
      "epoch": 0.5692444444444444,
      "grad_norm": 1.7002102136611938,
      "learning_rate": 2.1542222222222223e-05,
      "loss": 1.3083,
      "step": 6404
    },
    {
      "epoch": 0.5693333333333334,
      "grad_norm": 1.7783160209655762,
      "learning_rate": 2.1537777777777778e-05,
      "loss": 1.8405,
      "step": 6405
    },
    {
      "epoch": 0.5694222222222223,
      "grad_norm": 1.8085297346115112,
      "learning_rate": 2.1533333333333333e-05,
      "loss": 1.746,
      "step": 6406
    },
    {
      "epoch": 0.5695111111111111,
      "grad_norm": 1.4825053215026855,
      "learning_rate": 2.152888888888889e-05,
      "loss": 1.4021,
      "step": 6407
    },
    {
      "epoch": 0.5696,
      "grad_norm": 1.5206794738769531,
      "learning_rate": 2.1524444444444446e-05,
      "loss": 1.6428,
      "step": 6408
    },
    {
      "epoch": 0.5696888888888889,
      "grad_norm": 2.0890724658966064,
      "learning_rate": 2.152e-05,
      "loss": 1.7957,
      "step": 6409
    },
    {
      "epoch": 0.5697777777777778,
      "grad_norm": 1.8062691688537598,
      "learning_rate": 2.1515555555555555e-05,
      "loss": 1.6126,
      "step": 6410
    },
    {
      "epoch": 0.5698666666666666,
      "grad_norm": 1.8711144924163818,
      "learning_rate": 2.1511111111111114e-05,
      "loss": 1.7683,
      "step": 6411
    },
    {
      "epoch": 0.5699555555555555,
      "grad_norm": 1.5528411865234375,
      "learning_rate": 2.1506666666666665e-05,
      "loss": 1.5666,
      "step": 6412
    },
    {
      "epoch": 0.5700444444444445,
      "grad_norm": 1.6313588619232178,
      "learning_rate": 2.1502222222222223e-05,
      "loss": 1.414,
      "step": 6413
    },
    {
      "epoch": 0.5701333333333334,
      "grad_norm": 2.0721218585968018,
      "learning_rate": 2.1497777777777778e-05,
      "loss": 1.7524,
      "step": 6414
    },
    {
      "epoch": 0.5702222222222222,
      "grad_norm": 1.6734395027160645,
      "learning_rate": 2.1493333333333333e-05,
      "loss": 1.5207,
      "step": 6415
    },
    {
      "epoch": 0.5703111111111111,
      "grad_norm": 1.6991404294967651,
      "learning_rate": 2.1488888888888888e-05,
      "loss": 1.6247,
      "step": 6416
    },
    {
      "epoch": 0.5704,
      "grad_norm": 1.5217149257659912,
      "learning_rate": 2.1484444444444446e-05,
      "loss": 1.4864,
      "step": 6417
    },
    {
      "epoch": 0.5704888888888889,
      "grad_norm": 1.5370054244995117,
      "learning_rate": 2.148e-05,
      "loss": 1.4147,
      "step": 6418
    },
    {
      "epoch": 0.5705777777777777,
      "grad_norm": 1.5086288452148438,
      "learning_rate": 2.1475555555555556e-05,
      "loss": 1.8051,
      "step": 6419
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 1.4865485429763794,
      "learning_rate": 2.147111111111111e-05,
      "loss": 1.5065,
      "step": 6420
    },
    {
      "epoch": 0.5707555555555556,
      "grad_norm": 1.7328366041183472,
      "learning_rate": 2.146666666666667e-05,
      "loss": 1.5863,
      "step": 6421
    },
    {
      "epoch": 0.5708444444444445,
      "grad_norm": 1.447106122970581,
      "learning_rate": 2.1462222222222224e-05,
      "loss": 1.385,
      "step": 6422
    },
    {
      "epoch": 0.5709333333333333,
      "grad_norm": 1.4248102903366089,
      "learning_rate": 2.145777777777778e-05,
      "loss": 1.4282,
      "step": 6423
    },
    {
      "epoch": 0.5710222222222222,
      "grad_norm": 1.6623311042785645,
      "learning_rate": 2.1453333333333333e-05,
      "loss": 1.4072,
      "step": 6424
    },
    {
      "epoch": 0.5711111111111111,
      "grad_norm": 1.6485073566436768,
      "learning_rate": 2.1448888888888892e-05,
      "loss": 1.6317,
      "step": 6425
    },
    {
      "epoch": 0.5712,
      "grad_norm": 1.6999804973602295,
      "learning_rate": 2.1444444444444443e-05,
      "loss": 1.4844,
      "step": 6426
    },
    {
      "epoch": 0.5712888888888888,
      "grad_norm": 1.8533728122711182,
      "learning_rate": 2.144e-05,
      "loss": 1.5244,
      "step": 6427
    },
    {
      "epoch": 0.5713777777777778,
      "grad_norm": 1.655699372291565,
      "learning_rate": 2.1435555555555556e-05,
      "loss": 1.6069,
      "step": 6428
    },
    {
      "epoch": 0.5714666666666667,
      "grad_norm": 1.3925172090530396,
      "learning_rate": 2.1431111111111114e-05,
      "loss": 1.406,
      "step": 6429
    },
    {
      "epoch": 0.5715555555555556,
      "grad_norm": 1.6815693378448486,
      "learning_rate": 2.1426666666666666e-05,
      "loss": 1.4748,
      "step": 6430
    },
    {
      "epoch": 0.5716444444444444,
      "grad_norm": 2.2741096019744873,
      "learning_rate": 2.1422222222222224e-05,
      "loss": 1.6229,
      "step": 6431
    },
    {
      "epoch": 0.5717333333333333,
      "grad_norm": 1.6220722198486328,
      "learning_rate": 2.141777777777778e-05,
      "loss": 1.5823,
      "step": 6432
    },
    {
      "epoch": 0.5718222222222222,
      "grad_norm": 1.8578790426254272,
      "learning_rate": 2.1413333333333334e-05,
      "loss": 1.9236,
      "step": 6433
    },
    {
      "epoch": 0.5719111111111111,
      "grad_norm": 1.4961941242218018,
      "learning_rate": 2.140888888888889e-05,
      "loss": 1.7303,
      "step": 6434
    },
    {
      "epoch": 0.572,
      "grad_norm": 1.7253690958023071,
      "learning_rate": 2.1404444444444447e-05,
      "loss": 1.5739,
      "step": 6435
    },
    {
      "epoch": 0.5720888888888889,
      "grad_norm": 1.743429183959961,
      "learning_rate": 2.1400000000000002e-05,
      "loss": 1.5344,
      "step": 6436
    },
    {
      "epoch": 0.5721777777777778,
      "grad_norm": 1.5259859561920166,
      "learning_rate": 2.1395555555555557e-05,
      "loss": 1.5349,
      "step": 6437
    },
    {
      "epoch": 0.5722666666666667,
      "grad_norm": 1.4576648473739624,
      "learning_rate": 2.139111111111111e-05,
      "loss": 1.4504,
      "step": 6438
    },
    {
      "epoch": 0.5723555555555555,
      "grad_norm": 1.5028520822525024,
      "learning_rate": 2.138666666666667e-05,
      "loss": 1.668,
      "step": 6439
    },
    {
      "epoch": 0.5724444444444444,
      "grad_norm": 1.4328652620315552,
      "learning_rate": 2.1382222222222225e-05,
      "loss": 1.5816,
      "step": 6440
    },
    {
      "epoch": 0.5725333333333333,
      "grad_norm": 1.5164190530776978,
      "learning_rate": 2.137777777777778e-05,
      "loss": 1.616,
      "step": 6441
    },
    {
      "epoch": 0.5726222222222223,
      "grad_norm": 1.795432209968567,
      "learning_rate": 2.1373333333333334e-05,
      "loss": 1.6854,
      "step": 6442
    },
    {
      "epoch": 0.5727111111111111,
      "grad_norm": 1.661971926689148,
      "learning_rate": 2.1368888888888892e-05,
      "loss": 1.7233,
      "step": 6443
    },
    {
      "epoch": 0.5728,
      "grad_norm": 1.6902873516082764,
      "learning_rate": 2.1364444444444444e-05,
      "loss": 1.5404,
      "step": 6444
    },
    {
      "epoch": 0.5728888888888889,
      "grad_norm": 1.967443585395813,
      "learning_rate": 2.1360000000000002e-05,
      "loss": 1.6113,
      "step": 6445
    },
    {
      "epoch": 0.5729777777777778,
      "grad_norm": 2.4169564247131348,
      "learning_rate": 2.1355555555555557e-05,
      "loss": 1.6562,
      "step": 6446
    },
    {
      "epoch": 0.5730666666666666,
      "grad_norm": 1.881686806678772,
      "learning_rate": 2.1351111111111112e-05,
      "loss": 1.752,
      "step": 6447
    },
    {
      "epoch": 0.5731555555555555,
      "grad_norm": 1.559868574142456,
      "learning_rate": 2.1346666666666667e-05,
      "loss": 1.6697,
      "step": 6448
    },
    {
      "epoch": 0.5732444444444444,
      "grad_norm": 1.458695411682129,
      "learning_rate": 2.1342222222222225e-05,
      "loss": 1.6182,
      "step": 6449
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 1.6827373504638672,
      "learning_rate": 2.133777777777778e-05,
      "loss": 1.6298,
      "step": 6450
    },
    {
      "epoch": 0.5734222222222223,
      "grad_norm": 1.6431244611740112,
      "learning_rate": 2.1333333333333335e-05,
      "loss": 1.6767,
      "step": 6451
    },
    {
      "epoch": 0.5735111111111111,
      "grad_norm": 1.7986568212509155,
      "learning_rate": 2.132888888888889e-05,
      "loss": 1.6111,
      "step": 6452
    },
    {
      "epoch": 0.5736,
      "grad_norm": 1.8253419399261475,
      "learning_rate": 2.1324444444444444e-05,
      "loss": 1.7434,
      "step": 6453
    },
    {
      "epoch": 0.5736888888888889,
      "grad_norm": 1.5378371477127075,
      "learning_rate": 2.1320000000000003e-05,
      "loss": 1.5316,
      "step": 6454
    },
    {
      "epoch": 0.5737777777777778,
      "grad_norm": 1.6280877590179443,
      "learning_rate": 2.1315555555555554e-05,
      "loss": 1.4706,
      "step": 6455
    },
    {
      "epoch": 0.5738666666666666,
      "grad_norm": 1.6887314319610596,
      "learning_rate": 2.1311111111111112e-05,
      "loss": 1.6456,
      "step": 6456
    },
    {
      "epoch": 0.5739555555555556,
      "grad_norm": 1.6301273107528687,
      "learning_rate": 2.1306666666666667e-05,
      "loss": 1.6349,
      "step": 6457
    },
    {
      "epoch": 0.5740444444444445,
      "grad_norm": 1.5792959928512573,
      "learning_rate": 2.1302222222222222e-05,
      "loss": 1.517,
      "step": 6458
    },
    {
      "epoch": 0.5741333333333334,
      "grad_norm": 1.7998887300491333,
      "learning_rate": 2.1297777777777777e-05,
      "loss": 1.5583,
      "step": 6459
    },
    {
      "epoch": 0.5742222222222222,
      "grad_norm": 1.4501080513000488,
      "learning_rate": 2.1293333333333335e-05,
      "loss": 1.43,
      "step": 6460
    },
    {
      "epoch": 0.5743111111111111,
      "grad_norm": 1.686507225036621,
      "learning_rate": 2.128888888888889e-05,
      "loss": 1.625,
      "step": 6461
    },
    {
      "epoch": 0.5744,
      "grad_norm": 1.4852664470672607,
      "learning_rate": 2.1284444444444445e-05,
      "loss": 1.4661,
      "step": 6462
    },
    {
      "epoch": 0.5744888888888889,
      "grad_norm": 1.6608768701553345,
      "learning_rate": 2.128e-05,
      "loss": 1.3026,
      "step": 6463
    },
    {
      "epoch": 0.5745777777777777,
      "grad_norm": 1.5710006952285767,
      "learning_rate": 2.1275555555555558e-05,
      "loss": 1.2735,
      "step": 6464
    },
    {
      "epoch": 0.5746666666666667,
      "grad_norm": 1.846052646636963,
      "learning_rate": 2.1271111111111113e-05,
      "loss": 1.7946,
      "step": 6465
    },
    {
      "epoch": 0.5747555555555556,
      "grad_norm": 1.7669808864593506,
      "learning_rate": 2.1266666666666667e-05,
      "loss": 1.5962,
      "step": 6466
    },
    {
      "epoch": 0.5748444444444445,
      "grad_norm": 1.4851653575897217,
      "learning_rate": 2.1262222222222222e-05,
      "loss": 1.5711,
      "step": 6467
    },
    {
      "epoch": 0.5749333333333333,
      "grad_norm": 1.600515365600586,
      "learning_rate": 2.125777777777778e-05,
      "loss": 1.5438,
      "step": 6468
    },
    {
      "epoch": 0.5750222222222222,
      "grad_norm": 1.9451407194137573,
      "learning_rate": 2.1253333333333332e-05,
      "loss": 1.7946,
      "step": 6469
    },
    {
      "epoch": 0.5751111111111111,
      "grad_norm": 1.530812382698059,
      "learning_rate": 2.124888888888889e-05,
      "loss": 1.7612,
      "step": 6470
    },
    {
      "epoch": 0.5752,
      "grad_norm": 1.6903876066207886,
      "learning_rate": 2.1244444444444445e-05,
      "loss": 1.5099,
      "step": 6471
    },
    {
      "epoch": 0.5752888888888888,
      "grad_norm": 1.785530924797058,
      "learning_rate": 2.124e-05,
      "loss": 1.8257,
      "step": 6472
    },
    {
      "epoch": 0.5753777777777778,
      "grad_norm": 2.599435806274414,
      "learning_rate": 2.1235555555555555e-05,
      "loss": 1.5505,
      "step": 6473
    },
    {
      "epoch": 0.5754666666666667,
      "grad_norm": 1.580755591392517,
      "learning_rate": 2.1231111111111113e-05,
      "loss": 1.702,
      "step": 6474
    },
    {
      "epoch": 0.5755555555555556,
      "grad_norm": 1.4406299591064453,
      "learning_rate": 2.1226666666666668e-05,
      "loss": 1.48,
      "step": 6475
    },
    {
      "epoch": 0.5756444444444444,
      "grad_norm": 1.6417553424835205,
      "learning_rate": 2.1222222222222223e-05,
      "loss": 1.6168,
      "step": 6476
    },
    {
      "epoch": 0.5757333333333333,
      "grad_norm": 1.4975250959396362,
      "learning_rate": 2.1217777777777778e-05,
      "loss": 1.3758,
      "step": 6477
    },
    {
      "epoch": 0.5758222222222222,
      "grad_norm": 1.6034135818481445,
      "learning_rate": 2.1213333333333336e-05,
      "loss": 1.672,
      "step": 6478
    },
    {
      "epoch": 0.5759111111111112,
      "grad_norm": 1.506325125694275,
      "learning_rate": 2.120888888888889e-05,
      "loss": 1.4414,
      "step": 6479
    },
    {
      "epoch": 0.576,
      "grad_norm": 1.3630925416946411,
      "learning_rate": 2.1204444444444445e-05,
      "loss": 1.4904,
      "step": 6480
    },
    {
      "epoch": 0.5760888888888889,
      "grad_norm": 1.5589320659637451,
      "learning_rate": 2.12e-05,
      "loss": 1.4794,
      "step": 6481
    },
    {
      "epoch": 0.5761777777777778,
      "grad_norm": 1.5956918001174927,
      "learning_rate": 2.119555555555556e-05,
      "loss": 1.4562,
      "step": 6482
    },
    {
      "epoch": 0.5762666666666667,
      "grad_norm": 1.9436678886413574,
      "learning_rate": 2.119111111111111e-05,
      "loss": 1.8361,
      "step": 6483
    },
    {
      "epoch": 0.5763555555555555,
      "grad_norm": 1.4854553937911987,
      "learning_rate": 2.1186666666666668e-05,
      "loss": 1.4455,
      "step": 6484
    },
    {
      "epoch": 0.5764444444444444,
      "grad_norm": 2.025980234146118,
      "learning_rate": 2.1182222222222223e-05,
      "loss": 1.7669,
      "step": 6485
    },
    {
      "epoch": 0.5765333333333333,
      "grad_norm": 1.630980134010315,
      "learning_rate": 2.117777777777778e-05,
      "loss": 1.5971,
      "step": 6486
    },
    {
      "epoch": 0.5766222222222223,
      "grad_norm": 1.5265862941741943,
      "learning_rate": 2.1173333333333333e-05,
      "loss": 1.5738,
      "step": 6487
    },
    {
      "epoch": 0.5767111111111111,
      "grad_norm": 1.3849987983703613,
      "learning_rate": 2.116888888888889e-05,
      "loss": 1.6016,
      "step": 6488
    },
    {
      "epoch": 0.5768,
      "grad_norm": 1.5140632390975952,
      "learning_rate": 2.1164444444444446e-05,
      "loss": 1.6176,
      "step": 6489
    },
    {
      "epoch": 0.5768888888888889,
      "grad_norm": 1.5240639448165894,
      "learning_rate": 2.116e-05,
      "loss": 1.5941,
      "step": 6490
    },
    {
      "epoch": 0.5769777777777778,
      "grad_norm": 1.4980051517486572,
      "learning_rate": 2.1155555555555556e-05,
      "loss": 1.5854,
      "step": 6491
    },
    {
      "epoch": 0.5770666666666666,
      "grad_norm": 1.5309847593307495,
      "learning_rate": 2.1151111111111114e-05,
      "loss": 1.7168,
      "step": 6492
    },
    {
      "epoch": 0.5771555555555555,
      "grad_norm": 1.665411114692688,
      "learning_rate": 2.114666666666667e-05,
      "loss": 1.6221,
      "step": 6493
    },
    {
      "epoch": 0.5772444444444444,
      "grad_norm": 1.611733078956604,
      "learning_rate": 2.1142222222222223e-05,
      "loss": 1.4072,
      "step": 6494
    },
    {
      "epoch": 0.5773333333333334,
      "grad_norm": 1.7927111387252808,
      "learning_rate": 2.113777777777778e-05,
      "loss": 1.664,
      "step": 6495
    },
    {
      "epoch": 0.5774222222222222,
      "grad_norm": 1.8175890445709229,
      "learning_rate": 2.1133333333333337e-05,
      "loss": 1.6774,
      "step": 6496
    },
    {
      "epoch": 0.5775111111111111,
      "grad_norm": 1.7931791543960571,
      "learning_rate": 2.112888888888889e-05,
      "loss": 1.5329,
      "step": 6497
    },
    {
      "epoch": 0.5776,
      "grad_norm": 1.7076225280761719,
      "learning_rate": 2.1124444444444446e-05,
      "loss": 1.5996,
      "step": 6498
    },
    {
      "epoch": 0.5776888888888889,
      "grad_norm": 1.6866116523742676,
      "learning_rate": 2.112e-05,
      "loss": 1.3281,
      "step": 6499
    },
    {
      "epoch": 0.5777777777777777,
      "grad_norm": 1.4569039344787598,
      "learning_rate": 2.111555555555556e-05,
      "loss": 1.4721,
      "step": 6500
    },
    {
      "epoch": 0.5778666666666666,
      "grad_norm": 1.4391523599624634,
      "learning_rate": 2.111111111111111e-05,
      "loss": 1.4469,
      "step": 6501
    },
    {
      "epoch": 0.5779555555555556,
      "grad_norm": 1.924396276473999,
      "learning_rate": 2.110666666666667e-05,
      "loss": 1.626,
      "step": 6502
    },
    {
      "epoch": 0.5780444444444445,
      "grad_norm": 1.696927547454834,
      "learning_rate": 2.1102222222222224e-05,
      "loss": 1.5651,
      "step": 6503
    },
    {
      "epoch": 0.5781333333333334,
      "grad_norm": 1.3624176979064941,
      "learning_rate": 2.109777777777778e-05,
      "loss": 1.5302,
      "step": 6504
    },
    {
      "epoch": 0.5782222222222222,
      "grad_norm": 1.3792823553085327,
      "learning_rate": 2.1093333333333334e-05,
      "loss": 1.3738,
      "step": 6505
    },
    {
      "epoch": 0.5783111111111111,
      "grad_norm": 1.439535140991211,
      "learning_rate": 2.108888888888889e-05,
      "loss": 1.5851,
      "step": 6506
    },
    {
      "epoch": 0.5784,
      "grad_norm": 1.5637234449386597,
      "learning_rate": 2.1084444444444447e-05,
      "loss": 1.4573,
      "step": 6507
    },
    {
      "epoch": 0.5784888888888889,
      "grad_norm": 1.9559097290039062,
      "learning_rate": 2.1079999999999998e-05,
      "loss": 1.6656,
      "step": 6508
    },
    {
      "epoch": 0.5785777777777777,
      "grad_norm": 1.4406726360321045,
      "learning_rate": 2.1075555555555556e-05,
      "loss": 1.4274,
      "step": 6509
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 1.4588581323623657,
      "learning_rate": 2.107111111111111e-05,
      "loss": 1.6253,
      "step": 6510
    },
    {
      "epoch": 0.5787555555555556,
      "grad_norm": 1.4626586437225342,
      "learning_rate": 2.106666666666667e-05,
      "loss": 1.4736,
      "step": 6511
    },
    {
      "epoch": 0.5788444444444445,
      "grad_norm": 1.6211134195327759,
      "learning_rate": 2.106222222222222e-05,
      "loss": 1.2514,
      "step": 6512
    },
    {
      "epoch": 0.5789333333333333,
      "grad_norm": 1.4268078804016113,
      "learning_rate": 2.105777777777778e-05,
      "loss": 1.3844,
      "step": 6513
    },
    {
      "epoch": 0.5790222222222222,
      "grad_norm": 1.4298839569091797,
      "learning_rate": 2.1053333333333334e-05,
      "loss": 1.5914,
      "step": 6514
    },
    {
      "epoch": 0.5791111111111111,
      "grad_norm": 1.6413922309875488,
      "learning_rate": 2.104888888888889e-05,
      "loss": 1.3513,
      "step": 6515
    },
    {
      "epoch": 0.5792,
      "grad_norm": 1.5773602724075317,
      "learning_rate": 2.1044444444444444e-05,
      "loss": 1.5749,
      "step": 6516
    },
    {
      "epoch": 0.5792888888888889,
      "grad_norm": 1.9885690212249756,
      "learning_rate": 2.1040000000000002e-05,
      "loss": 1.6864,
      "step": 6517
    },
    {
      "epoch": 0.5793777777777778,
      "grad_norm": 1.7584118843078613,
      "learning_rate": 2.1035555555555557e-05,
      "loss": 1.7058,
      "step": 6518
    },
    {
      "epoch": 0.5794666666666667,
      "grad_norm": 1.428184151649475,
      "learning_rate": 2.103111111111111e-05,
      "loss": 1.5766,
      "step": 6519
    },
    {
      "epoch": 0.5795555555555556,
      "grad_norm": 1.62012779712677,
      "learning_rate": 2.1026666666666666e-05,
      "loss": 1.6993,
      "step": 6520
    },
    {
      "epoch": 0.5796444444444444,
      "grad_norm": 1.436084270477295,
      "learning_rate": 2.1022222222222225e-05,
      "loss": 1.5632,
      "step": 6521
    },
    {
      "epoch": 0.5797333333333333,
      "grad_norm": 1.4920214414596558,
      "learning_rate": 2.101777777777778e-05,
      "loss": 1.3378,
      "step": 6522
    },
    {
      "epoch": 0.5798222222222222,
      "grad_norm": 1.651838779449463,
      "learning_rate": 2.1013333333333334e-05,
      "loss": 1.607,
      "step": 6523
    },
    {
      "epoch": 0.5799111111111112,
      "grad_norm": 1.6374962329864502,
      "learning_rate": 2.100888888888889e-05,
      "loss": 1.6936,
      "step": 6524
    },
    {
      "epoch": 0.58,
      "grad_norm": 1.5733438730239868,
      "learning_rate": 2.1004444444444447e-05,
      "loss": 1.5058,
      "step": 6525
    },
    {
      "epoch": 0.5800888888888889,
      "grad_norm": 2.5791823863983154,
      "learning_rate": 2.1e-05,
      "loss": 1.6198,
      "step": 6526
    },
    {
      "epoch": 0.5801777777777778,
      "grad_norm": 1.448729157447815,
      "learning_rate": 2.0995555555555557e-05,
      "loss": 1.4773,
      "step": 6527
    },
    {
      "epoch": 0.5802666666666667,
      "grad_norm": 1.4754630327224731,
      "learning_rate": 2.0991111111111112e-05,
      "loss": 1.607,
      "step": 6528
    },
    {
      "epoch": 0.5803555555555555,
      "grad_norm": 1.331838607788086,
      "learning_rate": 2.0986666666666667e-05,
      "loss": 1.3785,
      "step": 6529
    },
    {
      "epoch": 0.5804444444444444,
      "grad_norm": 1.273813009262085,
      "learning_rate": 2.098222222222222e-05,
      "loss": 1.51,
      "step": 6530
    },
    {
      "epoch": 0.5805333333333333,
      "grad_norm": 1.5405964851379395,
      "learning_rate": 2.097777777777778e-05,
      "loss": 1.6604,
      "step": 6531
    },
    {
      "epoch": 0.5806222222222223,
      "grad_norm": 1.622572898864746,
      "learning_rate": 2.0973333333333335e-05,
      "loss": 1.7636,
      "step": 6532
    },
    {
      "epoch": 0.5807111111111111,
      "grad_norm": 1.411824107170105,
      "learning_rate": 2.096888888888889e-05,
      "loss": 1.4998,
      "step": 6533
    },
    {
      "epoch": 0.5808,
      "grad_norm": 2.148519992828369,
      "learning_rate": 2.0964444444444444e-05,
      "loss": 1.6023,
      "step": 6534
    },
    {
      "epoch": 0.5808888888888889,
      "grad_norm": 1.618261694908142,
      "learning_rate": 2.0960000000000003e-05,
      "loss": 1.3901,
      "step": 6535
    },
    {
      "epoch": 0.5809777777777778,
      "grad_norm": 1.7092145681381226,
      "learning_rate": 2.0955555555555557e-05,
      "loss": 1.5654,
      "step": 6536
    },
    {
      "epoch": 0.5810666666666666,
      "grad_norm": 1.446642518043518,
      "learning_rate": 2.0951111111111112e-05,
      "loss": 1.4448,
      "step": 6537
    },
    {
      "epoch": 0.5811555555555555,
      "grad_norm": 1.636677861213684,
      "learning_rate": 2.0946666666666667e-05,
      "loss": 1.3607,
      "step": 6538
    },
    {
      "epoch": 0.5812444444444445,
      "grad_norm": 1.919450283050537,
      "learning_rate": 2.0942222222222225e-05,
      "loss": 1.741,
      "step": 6539
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 1.4864777326583862,
      "learning_rate": 2.0937777777777777e-05,
      "loss": 1.5685,
      "step": 6540
    },
    {
      "epoch": 0.5814222222222222,
      "grad_norm": 1.7286438941955566,
      "learning_rate": 2.0933333333333335e-05,
      "loss": 1.7561,
      "step": 6541
    },
    {
      "epoch": 0.5815111111111111,
      "grad_norm": 1.8151299953460693,
      "learning_rate": 2.092888888888889e-05,
      "loss": 1.7529,
      "step": 6542
    },
    {
      "epoch": 0.5816,
      "grad_norm": 1.8396050930023193,
      "learning_rate": 2.0924444444444448e-05,
      "loss": 1.6982,
      "step": 6543
    },
    {
      "epoch": 0.5816888888888889,
      "grad_norm": 1.7908494472503662,
      "learning_rate": 2.092e-05,
      "loss": 1.644,
      "step": 6544
    },
    {
      "epoch": 0.5817777777777777,
      "grad_norm": 1.4905682802200317,
      "learning_rate": 2.0915555555555558e-05,
      "loss": 1.4407,
      "step": 6545
    },
    {
      "epoch": 0.5818666666666666,
      "grad_norm": 1.7463533878326416,
      "learning_rate": 2.0911111111111113e-05,
      "loss": 1.4279,
      "step": 6546
    },
    {
      "epoch": 0.5819555555555556,
      "grad_norm": 1.6984752416610718,
      "learning_rate": 2.0906666666666668e-05,
      "loss": 1.5753,
      "step": 6547
    },
    {
      "epoch": 0.5820444444444445,
      "grad_norm": 1.6426457166671753,
      "learning_rate": 2.0902222222222222e-05,
      "loss": 1.5654,
      "step": 6548
    },
    {
      "epoch": 0.5821333333333333,
      "grad_norm": 1.4333873987197876,
      "learning_rate": 2.089777777777778e-05,
      "loss": 1.6325,
      "step": 6549
    },
    {
      "epoch": 0.5822222222222222,
      "grad_norm": 1.612980604171753,
      "learning_rate": 2.0893333333333335e-05,
      "loss": 1.4374,
      "step": 6550
    },
    {
      "epoch": 0.5823111111111111,
      "grad_norm": 1.6478018760681152,
      "learning_rate": 2.088888888888889e-05,
      "loss": 1.6444,
      "step": 6551
    },
    {
      "epoch": 0.5824,
      "grad_norm": 1.472916841506958,
      "learning_rate": 2.0884444444444445e-05,
      "loss": 1.7345,
      "step": 6552
    },
    {
      "epoch": 0.5824888888888888,
      "grad_norm": 1.4646865129470825,
      "learning_rate": 2.0880000000000003e-05,
      "loss": 1.561,
      "step": 6553
    },
    {
      "epoch": 0.5825777777777777,
      "grad_norm": 1.582746148109436,
      "learning_rate": 2.0875555555555558e-05,
      "loss": 1.496,
      "step": 6554
    },
    {
      "epoch": 0.5826666666666667,
      "grad_norm": 1.4403290748596191,
      "learning_rate": 2.087111111111111e-05,
      "loss": 1.5139,
      "step": 6555
    },
    {
      "epoch": 0.5827555555555556,
      "grad_norm": 1.675339937210083,
      "learning_rate": 2.0866666666666668e-05,
      "loss": 1.6996,
      "step": 6556
    },
    {
      "epoch": 0.5828444444444445,
      "grad_norm": 1.5085595846176147,
      "learning_rate": 2.0862222222222223e-05,
      "loss": 1.4946,
      "step": 6557
    },
    {
      "epoch": 0.5829333333333333,
      "grad_norm": 1.6713685989379883,
      "learning_rate": 2.0857777777777778e-05,
      "loss": 1.5853,
      "step": 6558
    },
    {
      "epoch": 0.5830222222222222,
      "grad_norm": 1.5320547819137573,
      "learning_rate": 2.0853333333333332e-05,
      "loss": 1.5925,
      "step": 6559
    },
    {
      "epoch": 0.5831111111111111,
      "grad_norm": 1.4153140783309937,
      "learning_rate": 2.084888888888889e-05,
      "loss": 1.5626,
      "step": 6560
    },
    {
      "epoch": 0.5832,
      "grad_norm": 1.7478892803192139,
      "learning_rate": 2.0844444444444446e-05,
      "loss": 1.6584,
      "step": 6561
    },
    {
      "epoch": 0.5832888888888889,
      "grad_norm": 1.7757500410079956,
      "learning_rate": 2.084e-05,
      "loss": 1.5816,
      "step": 6562
    },
    {
      "epoch": 0.5833777777777778,
      "grad_norm": 1.41209876537323,
      "learning_rate": 2.0835555555555555e-05,
      "loss": 1.64,
      "step": 6563
    },
    {
      "epoch": 0.5834666666666667,
      "grad_norm": 1.4830029010772705,
      "learning_rate": 2.0831111111111113e-05,
      "loss": 1.5651,
      "step": 6564
    },
    {
      "epoch": 0.5835555555555556,
      "grad_norm": 1.819029688835144,
      "learning_rate": 2.0826666666666665e-05,
      "loss": 1.6744,
      "step": 6565
    },
    {
      "epoch": 0.5836444444444444,
      "grad_norm": 1.410072922706604,
      "learning_rate": 2.0822222222222223e-05,
      "loss": 1.6907,
      "step": 6566
    },
    {
      "epoch": 0.5837333333333333,
      "grad_norm": 1.7277213335037231,
      "learning_rate": 2.0817777777777778e-05,
      "loss": 1.2985,
      "step": 6567
    },
    {
      "epoch": 0.5838222222222222,
      "grad_norm": 1.5767478942871094,
      "learning_rate": 2.0813333333333336e-05,
      "loss": 1.6283,
      "step": 6568
    },
    {
      "epoch": 0.5839111111111112,
      "grad_norm": 1.4474095106124878,
      "learning_rate": 2.0808888888888888e-05,
      "loss": 1.6576,
      "step": 6569
    },
    {
      "epoch": 0.584,
      "grad_norm": 1.862811803817749,
      "learning_rate": 2.0804444444444446e-05,
      "loss": 1.5046,
      "step": 6570
    },
    {
      "epoch": 0.5840888888888889,
      "grad_norm": 1.3950382471084595,
      "learning_rate": 2.08e-05,
      "loss": 1.4075,
      "step": 6571
    },
    {
      "epoch": 0.5841777777777778,
      "grad_norm": 1.4493249654769897,
      "learning_rate": 2.0795555555555556e-05,
      "loss": 1.3718,
      "step": 6572
    },
    {
      "epoch": 0.5842666666666667,
      "grad_norm": 1.5220223665237427,
      "learning_rate": 2.079111111111111e-05,
      "loss": 1.5037,
      "step": 6573
    },
    {
      "epoch": 0.5843555555555555,
      "grad_norm": 1.4963711500167847,
      "learning_rate": 2.078666666666667e-05,
      "loss": 1.6107,
      "step": 6574
    },
    {
      "epoch": 0.5844444444444444,
      "grad_norm": 1.8738412857055664,
      "learning_rate": 2.0782222222222224e-05,
      "loss": 1.41,
      "step": 6575
    },
    {
      "epoch": 0.5845333333333333,
      "grad_norm": 1.4890522956848145,
      "learning_rate": 2.077777777777778e-05,
      "loss": 1.6891,
      "step": 6576
    },
    {
      "epoch": 0.5846222222222223,
      "grad_norm": 1.5797853469848633,
      "learning_rate": 2.0773333333333333e-05,
      "loss": 1.5293,
      "step": 6577
    },
    {
      "epoch": 0.5847111111111111,
      "grad_norm": 1.5562456846237183,
      "learning_rate": 2.076888888888889e-05,
      "loss": 1.5681,
      "step": 6578
    },
    {
      "epoch": 0.5848,
      "grad_norm": 1.8943580389022827,
      "learning_rate": 2.0764444444444446e-05,
      "loss": 1.5114,
      "step": 6579
    },
    {
      "epoch": 0.5848888888888889,
      "grad_norm": 1.5134055614471436,
      "learning_rate": 2.076e-05,
      "loss": 1.5628,
      "step": 6580
    },
    {
      "epoch": 0.5849777777777778,
      "grad_norm": 1.6470919847488403,
      "learning_rate": 2.0755555555555556e-05,
      "loss": 1.2552,
      "step": 6581
    },
    {
      "epoch": 0.5850666666666666,
      "grad_norm": 1.8784093856811523,
      "learning_rate": 2.0751111111111114e-05,
      "loss": 1.7502,
      "step": 6582
    },
    {
      "epoch": 0.5851555555555555,
      "grad_norm": 1.7363030910491943,
      "learning_rate": 2.0746666666666666e-05,
      "loss": 1.7785,
      "step": 6583
    },
    {
      "epoch": 0.5852444444444445,
      "grad_norm": 1.678107738494873,
      "learning_rate": 2.0742222222222224e-05,
      "loss": 1.7766,
      "step": 6584
    },
    {
      "epoch": 0.5853333333333334,
      "grad_norm": 1.7295407056808472,
      "learning_rate": 2.073777777777778e-05,
      "loss": 1.4929,
      "step": 6585
    },
    {
      "epoch": 0.5854222222222222,
      "grad_norm": 1.7864912748336792,
      "learning_rate": 2.0733333333333334e-05,
      "loss": 1.5078,
      "step": 6586
    },
    {
      "epoch": 0.5855111111111111,
      "grad_norm": 1.6124939918518066,
      "learning_rate": 2.072888888888889e-05,
      "loss": 1.6538,
      "step": 6587
    },
    {
      "epoch": 0.5856,
      "grad_norm": 1.519967794418335,
      "learning_rate": 2.0724444444444447e-05,
      "loss": 1.6687,
      "step": 6588
    },
    {
      "epoch": 0.5856888888888889,
      "grad_norm": 1.4238052368164062,
      "learning_rate": 2.072e-05,
      "loss": 1.5151,
      "step": 6589
    },
    {
      "epoch": 0.5857777777777777,
      "grad_norm": 1.605465054512024,
      "learning_rate": 2.0715555555555556e-05,
      "loss": 1.6961,
      "step": 6590
    },
    {
      "epoch": 0.5858666666666666,
      "grad_norm": 1.82384192943573,
      "learning_rate": 2.071111111111111e-05,
      "loss": 1.585,
      "step": 6591
    },
    {
      "epoch": 0.5859555555555556,
      "grad_norm": 1.5567381381988525,
      "learning_rate": 2.070666666666667e-05,
      "loss": 1.6262,
      "step": 6592
    },
    {
      "epoch": 0.5860444444444445,
      "grad_norm": 1.5280240774154663,
      "learning_rate": 2.0702222222222224e-05,
      "loss": 1.4667,
      "step": 6593
    },
    {
      "epoch": 0.5861333333333333,
      "grad_norm": 1.4973381757736206,
      "learning_rate": 2.069777777777778e-05,
      "loss": 1.5318,
      "step": 6594
    },
    {
      "epoch": 0.5862222222222222,
      "grad_norm": 1.4721215963363647,
      "learning_rate": 2.0693333333333334e-05,
      "loss": 1.5355,
      "step": 6595
    },
    {
      "epoch": 0.5863111111111111,
      "grad_norm": 1.5520963668823242,
      "learning_rate": 2.0688888888888892e-05,
      "loss": 1.7549,
      "step": 6596
    },
    {
      "epoch": 0.5864,
      "grad_norm": 1.8327347040176392,
      "learning_rate": 2.0684444444444444e-05,
      "loss": 1.5516,
      "step": 6597
    },
    {
      "epoch": 0.5864888888888888,
      "grad_norm": 1.9502623081207275,
      "learning_rate": 2.0680000000000002e-05,
      "loss": 1.7121,
      "step": 6598
    },
    {
      "epoch": 0.5865777777777778,
      "grad_norm": 1.6514097452163696,
      "learning_rate": 2.0675555555555557e-05,
      "loss": 1.6372,
      "step": 6599
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 1.4560585021972656,
      "learning_rate": 2.0671111111111115e-05,
      "loss": 1.5213,
      "step": 6600
    },
    {
      "epoch": 0.5867555555555556,
      "grad_norm": 1.4577879905700684,
      "learning_rate": 2.0666666666666666e-05,
      "loss": 1.4584,
      "step": 6601
    },
    {
      "epoch": 0.5868444444444444,
      "grad_norm": 1.5263506174087524,
      "learning_rate": 2.0662222222222225e-05,
      "loss": 1.5441,
      "step": 6602
    },
    {
      "epoch": 0.5869333333333333,
      "grad_norm": 1.5804636478424072,
      "learning_rate": 2.065777777777778e-05,
      "loss": 1.5603,
      "step": 6603
    },
    {
      "epoch": 0.5870222222222222,
      "grad_norm": 1.6541370153427124,
      "learning_rate": 2.0653333333333334e-05,
      "loss": 1.6319,
      "step": 6604
    },
    {
      "epoch": 0.5871111111111111,
      "grad_norm": 1.7330381870269775,
      "learning_rate": 2.064888888888889e-05,
      "loss": 1.8173,
      "step": 6605
    },
    {
      "epoch": 0.5872,
      "grad_norm": 1.4476715326309204,
      "learning_rate": 2.0644444444444447e-05,
      "loss": 1.6848,
      "step": 6606
    },
    {
      "epoch": 0.5872888888888889,
      "grad_norm": 1.6840808391571045,
      "learning_rate": 2.0640000000000002e-05,
      "loss": 1.4086,
      "step": 6607
    },
    {
      "epoch": 0.5873777777777778,
      "grad_norm": 1.3608187437057495,
      "learning_rate": 2.0635555555555554e-05,
      "loss": 1.605,
      "step": 6608
    },
    {
      "epoch": 0.5874666666666667,
      "grad_norm": 1.5180919170379639,
      "learning_rate": 2.0631111111111112e-05,
      "loss": 1.375,
      "step": 6609
    },
    {
      "epoch": 0.5875555555555556,
      "grad_norm": 1.6603877544403076,
      "learning_rate": 2.0626666666666667e-05,
      "loss": 1.3809,
      "step": 6610
    },
    {
      "epoch": 0.5876444444444444,
      "grad_norm": 1.4378920793533325,
      "learning_rate": 2.062222222222222e-05,
      "loss": 1.6528,
      "step": 6611
    },
    {
      "epoch": 0.5877333333333333,
      "grad_norm": 1.7585631608963013,
      "learning_rate": 2.0617777777777777e-05,
      "loss": 1.7474,
      "step": 6612
    },
    {
      "epoch": 0.5878222222222222,
      "grad_norm": 1.4750440120697021,
      "learning_rate": 2.0613333333333335e-05,
      "loss": 1.5686,
      "step": 6613
    },
    {
      "epoch": 0.5879111111111112,
      "grad_norm": 1.7630635499954224,
      "learning_rate": 2.060888888888889e-05,
      "loss": 1.7063,
      "step": 6614
    },
    {
      "epoch": 0.588,
      "grad_norm": 1.3332513570785522,
      "learning_rate": 2.0604444444444444e-05,
      "loss": 1.4683,
      "step": 6615
    },
    {
      "epoch": 0.5880888888888889,
      "grad_norm": 1.5363285541534424,
      "learning_rate": 2.06e-05,
      "loss": 1.8005,
      "step": 6616
    },
    {
      "epoch": 0.5881777777777778,
      "grad_norm": 1.4816385507583618,
      "learning_rate": 2.0595555555555558e-05,
      "loss": 1.474,
      "step": 6617
    },
    {
      "epoch": 0.5882666666666667,
      "grad_norm": 2.2195041179656982,
      "learning_rate": 2.0591111111111112e-05,
      "loss": 1.6681,
      "step": 6618
    },
    {
      "epoch": 0.5883555555555555,
      "grad_norm": 1.5198227167129517,
      "learning_rate": 2.0586666666666667e-05,
      "loss": 1.682,
      "step": 6619
    },
    {
      "epoch": 0.5884444444444444,
      "grad_norm": 1.6700694561004639,
      "learning_rate": 2.0582222222222222e-05,
      "loss": 1.6997,
      "step": 6620
    },
    {
      "epoch": 0.5885333333333334,
      "grad_norm": 1.4823319911956787,
      "learning_rate": 2.057777777777778e-05,
      "loss": 1.666,
      "step": 6621
    },
    {
      "epoch": 0.5886222222222223,
      "grad_norm": 1.4769002199172974,
      "learning_rate": 2.0573333333333332e-05,
      "loss": 1.4866,
      "step": 6622
    },
    {
      "epoch": 0.5887111111111111,
      "grad_norm": 1.8834774494171143,
      "learning_rate": 2.056888888888889e-05,
      "loss": 1.5431,
      "step": 6623
    },
    {
      "epoch": 0.5888,
      "grad_norm": 1.8793482780456543,
      "learning_rate": 2.0564444444444445e-05,
      "loss": 1.2742,
      "step": 6624
    },
    {
      "epoch": 0.5888888888888889,
      "grad_norm": 1.616719365119934,
      "learning_rate": 2.0560000000000003e-05,
      "loss": 1.6466,
      "step": 6625
    },
    {
      "epoch": 0.5889777777777778,
      "grad_norm": 1.7065231800079346,
      "learning_rate": 2.0555555555555555e-05,
      "loss": 1.4317,
      "step": 6626
    },
    {
      "epoch": 0.5890666666666666,
      "grad_norm": 1.5657397508621216,
      "learning_rate": 2.0551111111111113e-05,
      "loss": 1.6004,
      "step": 6627
    },
    {
      "epoch": 0.5891555555555555,
      "grad_norm": 1.8984161615371704,
      "learning_rate": 2.0546666666666668e-05,
      "loss": 1.7089,
      "step": 6628
    },
    {
      "epoch": 0.5892444444444445,
      "grad_norm": 1.6691519021987915,
      "learning_rate": 2.0542222222222222e-05,
      "loss": 1.477,
      "step": 6629
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 1.4621552228927612,
      "learning_rate": 2.0537777777777777e-05,
      "loss": 1.7255,
      "step": 6630
    },
    {
      "epoch": 0.5894222222222222,
      "grad_norm": 1.588484764099121,
      "learning_rate": 2.0533333333333336e-05,
      "loss": 1.4057,
      "step": 6631
    },
    {
      "epoch": 0.5895111111111111,
      "grad_norm": 1.6975802183151245,
      "learning_rate": 2.052888888888889e-05,
      "loss": 1.7869,
      "step": 6632
    },
    {
      "epoch": 0.5896,
      "grad_norm": 1.5158240795135498,
      "learning_rate": 2.0524444444444445e-05,
      "loss": 1.4885,
      "step": 6633
    },
    {
      "epoch": 0.5896888888888889,
      "grad_norm": 1.3678065538406372,
      "learning_rate": 2.052e-05,
      "loss": 1.5649,
      "step": 6634
    },
    {
      "epoch": 0.5897777777777777,
      "grad_norm": 1.6185450553894043,
      "learning_rate": 2.0515555555555558e-05,
      "loss": 1.8086,
      "step": 6635
    },
    {
      "epoch": 0.5898666666666667,
      "grad_norm": 2.057105779647827,
      "learning_rate": 2.0511111111111113e-05,
      "loss": 1.6681,
      "step": 6636
    },
    {
      "epoch": 0.5899555555555556,
      "grad_norm": 2.121556520462036,
      "learning_rate": 2.0506666666666668e-05,
      "loss": 1.4274,
      "step": 6637
    },
    {
      "epoch": 0.5900444444444445,
      "grad_norm": 1.6540110111236572,
      "learning_rate": 2.0502222222222223e-05,
      "loss": 1.3776,
      "step": 6638
    },
    {
      "epoch": 0.5901333333333333,
      "grad_norm": 1.4758765697479248,
      "learning_rate": 2.049777777777778e-05,
      "loss": 1.4102,
      "step": 6639
    },
    {
      "epoch": 0.5902222222222222,
      "grad_norm": 1.5754896402359009,
      "learning_rate": 2.0493333333333333e-05,
      "loss": 1.6101,
      "step": 6640
    },
    {
      "epoch": 0.5903111111111111,
      "grad_norm": 1.6094486713409424,
      "learning_rate": 2.048888888888889e-05,
      "loss": 1.7248,
      "step": 6641
    },
    {
      "epoch": 0.5904,
      "grad_norm": 1.6592261791229248,
      "learning_rate": 2.0484444444444446e-05,
      "loss": 1.4934,
      "step": 6642
    },
    {
      "epoch": 0.5904888888888888,
      "grad_norm": 1.5864189863204956,
      "learning_rate": 2.048e-05,
      "loss": 1.5379,
      "step": 6643
    },
    {
      "epoch": 0.5905777777777778,
      "grad_norm": 1.565678358078003,
      "learning_rate": 2.0475555555555555e-05,
      "loss": 1.5205,
      "step": 6644
    },
    {
      "epoch": 0.5906666666666667,
      "grad_norm": 1.808835506439209,
      "learning_rate": 2.0471111111111114e-05,
      "loss": 1.5563,
      "step": 6645
    },
    {
      "epoch": 0.5907555555555556,
      "grad_norm": 1.447282314300537,
      "learning_rate": 2.046666666666667e-05,
      "loss": 1.4139,
      "step": 6646
    },
    {
      "epoch": 0.5908444444444444,
      "grad_norm": 1.9731875658035278,
      "learning_rate": 2.0462222222222223e-05,
      "loss": 1.7234,
      "step": 6647
    },
    {
      "epoch": 0.5909333333333333,
      "grad_norm": 1.7017730474472046,
      "learning_rate": 2.0457777777777778e-05,
      "loss": 1.6837,
      "step": 6648
    },
    {
      "epoch": 0.5910222222222222,
      "grad_norm": 1.6952476501464844,
      "learning_rate": 2.0453333333333336e-05,
      "loss": 1.5051,
      "step": 6649
    },
    {
      "epoch": 0.5911111111111111,
      "grad_norm": 1.5422637462615967,
      "learning_rate": 2.044888888888889e-05,
      "loss": 1.5192,
      "step": 6650
    },
    {
      "epoch": 0.5912,
      "grad_norm": 1.42999267578125,
      "learning_rate": 2.0444444444444446e-05,
      "loss": 1.5289,
      "step": 6651
    },
    {
      "epoch": 0.5912888888888889,
      "grad_norm": 1.6241545677185059,
      "learning_rate": 2.044e-05,
      "loss": 1.7652,
      "step": 6652
    },
    {
      "epoch": 0.5913777777777778,
      "grad_norm": 1.522096037864685,
      "learning_rate": 2.043555555555556e-05,
      "loss": 1.4963,
      "step": 6653
    },
    {
      "epoch": 0.5914666666666667,
      "grad_norm": 1.5113208293914795,
      "learning_rate": 2.043111111111111e-05,
      "loss": 1.3148,
      "step": 6654
    },
    {
      "epoch": 0.5915555555555555,
      "grad_norm": 1.5580718517303467,
      "learning_rate": 2.042666666666667e-05,
      "loss": 1.3906,
      "step": 6655
    },
    {
      "epoch": 0.5916444444444444,
      "grad_norm": 1.463392734527588,
      "learning_rate": 2.0422222222222224e-05,
      "loss": 1.5768,
      "step": 6656
    },
    {
      "epoch": 0.5917333333333333,
      "grad_norm": 1.4810106754302979,
      "learning_rate": 2.041777777777778e-05,
      "loss": 1.5424,
      "step": 6657
    },
    {
      "epoch": 0.5918222222222222,
      "grad_norm": 1.5942356586456299,
      "learning_rate": 2.0413333333333333e-05,
      "loss": 1.4323,
      "step": 6658
    },
    {
      "epoch": 0.5919111111111112,
      "grad_norm": 1.8737685680389404,
      "learning_rate": 2.0408888888888888e-05,
      "loss": 1.4448,
      "step": 6659
    },
    {
      "epoch": 0.592,
      "grad_norm": 1.518105149269104,
      "learning_rate": 2.0404444444444446e-05,
      "loss": 1.6143,
      "step": 6660
    },
    {
      "epoch": 0.5920888888888889,
      "grad_norm": 1.5476536750793457,
      "learning_rate": 2.04e-05,
      "loss": 1.4791,
      "step": 6661
    },
    {
      "epoch": 0.5921777777777778,
      "grad_norm": 1.4435747861862183,
      "learning_rate": 2.0395555555555556e-05,
      "loss": 1.4801,
      "step": 6662
    },
    {
      "epoch": 0.5922666666666667,
      "grad_norm": 1.4982962608337402,
      "learning_rate": 2.039111111111111e-05,
      "loss": 1.3309,
      "step": 6663
    },
    {
      "epoch": 0.5923555555555555,
      "grad_norm": 1.7700434923171997,
      "learning_rate": 2.038666666666667e-05,
      "loss": 1.6168,
      "step": 6664
    },
    {
      "epoch": 0.5924444444444444,
      "grad_norm": 2.5033092498779297,
      "learning_rate": 2.038222222222222e-05,
      "loss": 1.7954,
      "step": 6665
    },
    {
      "epoch": 0.5925333333333334,
      "grad_norm": 2.6286275386810303,
      "learning_rate": 2.037777777777778e-05,
      "loss": 1.7835,
      "step": 6666
    },
    {
      "epoch": 0.5926222222222223,
      "grad_norm": 1.5663626194000244,
      "learning_rate": 2.0373333333333334e-05,
      "loss": 1.5842,
      "step": 6667
    },
    {
      "epoch": 0.5927111111111111,
      "grad_norm": 1.449227213859558,
      "learning_rate": 2.036888888888889e-05,
      "loss": 1.6135,
      "step": 6668
    },
    {
      "epoch": 0.5928,
      "grad_norm": 1.395423173904419,
      "learning_rate": 2.0364444444444443e-05,
      "loss": 1.4255,
      "step": 6669
    },
    {
      "epoch": 0.5928888888888889,
      "grad_norm": 1.9881048202514648,
      "learning_rate": 2.036e-05,
      "loss": 1.2936,
      "step": 6670
    },
    {
      "epoch": 0.5929777777777778,
      "grad_norm": 1.4899919033050537,
      "learning_rate": 2.0355555555555556e-05,
      "loss": 1.3981,
      "step": 6671
    },
    {
      "epoch": 0.5930666666666666,
      "grad_norm": 1.5738435983657837,
      "learning_rate": 2.035111111111111e-05,
      "loss": 1.5533,
      "step": 6672
    },
    {
      "epoch": 0.5931555555555555,
      "grad_norm": 1.8232553005218506,
      "learning_rate": 2.0346666666666666e-05,
      "loss": 1.568,
      "step": 6673
    },
    {
      "epoch": 0.5932444444444445,
      "grad_norm": 1.4047627449035645,
      "learning_rate": 2.0342222222222224e-05,
      "loss": 1.4589,
      "step": 6674
    },
    {
      "epoch": 0.5933333333333334,
      "grad_norm": 1.7594612836837769,
      "learning_rate": 2.033777777777778e-05,
      "loss": 1.578,
      "step": 6675
    },
    {
      "epoch": 0.5934222222222222,
      "grad_norm": 1.5045068264007568,
      "learning_rate": 2.0333333333333334e-05,
      "loss": 1.6575,
      "step": 6676
    },
    {
      "epoch": 0.5935111111111111,
      "grad_norm": 1.5050393342971802,
      "learning_rate": 2.032888888888889e-05,
      "loss": 1.4187,
      "step": 6677
    },
    {
      "epoch": 0.5936,
      "grad_norm": 1.6703327894210815,
      "learning_rate": 2.0324444444444447e-05,
      "loss": 1.6119,
      "step": 6678
    },
    {
      "epoch": 0.5936888888888889,
      "grad_norm": 1.5575263500213623,
      "learning_rate": 2.032e-05,
      "loss": 1.5838,
      "step": 6679
    },
    {
      "epoch": 0.5937777777777777,
      "grad_norm": 1.3596714735031128,
      "learning_rate": 2.0315555555555557e-05,
      "loss": 1.6128,
      "step": 6680
    },
    {
      "epoch": 0.5938666666666667,
      "grad_norm": 1.6049281358718872,
      "learning_rate": 2.031111111111111e-05,
      "loss": 1.4934,
      "step": 6681
    },
    {
      "epoch": 0.5939555555555556,
      "grad_norm": 2.2245230674743652,
      "learning_rate": 2.030666666666667e-05,
      "loss": 1.8112,
      "step": 6682
    },
    {
      "epoch": 0.5940444444444445,
      "grad_norm": 1.9759719371795654,
      "learning_rate": 2.030222222222222e-05,
      "loss": 1.696,
      "step": 6683
    },
    {
      "epoch": 0.5941333333333333,
      "grad_norm": 1.6969671249389648,
      "learning_rate": 2.029777777777778e-05,
      "loss": 1.5622,
      "step": 6684
    },
    {
      "epoch": 0.5942222222222222,
      "grad_norm": 1.4593254327774048,
      "learning_rate": 2.0293333333333334e-05,
      "loss": 1.4422,
      "step": 6685
    },
    {
      "epoch": 0.5943111111111111,
      "grad_norm": 2.1652326583862305,
      "learning_rate": 2.028888888888889e-05,
      "loss": 1.7613,
      "step": 6686
    },
    {
      "epoch": 0.5944,
      "grad_norm": 1.4753719568252563,
      "learning_rate": 2.0284444444444444e-05,
      "loss": 1.4562,
      "step": 6687
    },
    {
      "epoch": 0.5944888888888888,
      "grad_norm": 1.5594151020050049,
      "learning_rate": 2.0280000000000002e-05,
      "loss": 1.8531,
      "step": 6688
    },
    {
      "epoch": 0.5945777777777778,
      "grad_norm": 1.5818557739257812,
      "learning_rate": 2.0275555555555557e-05,
      "loss": 1.447,
      "step": 6689
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 1.504047155380249,
      "learning_rate": 2.0271111111111112e-05,
      "loss": 1.6054,
      "step": 6690
    },
    {
      "epoch": 0.5947555555555556,
      "grad_norm": 1.5216525793075562,
      "learning_rate": 2.0266666666666667e-05,
      "loss": 1.5815,
      "step": 6691
    },
    {
      "epoch": 0.5948444444444444,
      "grad_norm": 1.8971872329711914,
      "learning_rate": 2.0262222222222225e-05,
      "loss": 1.7444,
      "step": 6692
    },
    {
      "epoch": 0.5949333333333333,
      "grad_norm": 1.7075854539871216,
      "learning_rate": 2.025777777777778e-05,
      "loss": 1.6189,
      "step": 6693
    },
    {
      "epoch": 0.5950222222222222,
      "grad_norm": 1.5128707885742188,
      "learning_rate": 2.0253333333333335e-05,
      "loss": 1.6616,
      "step": 6694
    },
    {
      "epoch": 0.5951111111111111,
      "grad_norm": 1.4104900360107422,
      "learning_rate": 2.024888888888889e-05,
      "loss": 1.7055,
      "step": 6695
    },
    {
      "epoch": 0.5952,
      "grad_norm": 1.5899885892868042,
      "learning_rate": 2.0244444444444448e-05,
      "loss": 1.5803,
      "step": 6696
    },
    {
      "epoch": 0.5952888888888889,
      "grad_norm": 1.7401479482650757,
      "learning_rate": 2.024e-05,
      "loss": 1.5785,
      "step": 6697
    },
    {
      "epoch": 0.5953777777777778,
      "grad_norm": 1.5869364738464355,
      "learning_rate": 2.0235555555555558e-05,
      "loss": 1.5121,
      "step": 6698
    },
    {
      "epoch": 0.5954666666666667,
      "grad_norm": 1.6602365970611572,
      "learning_rate": 2.0231111111111112e-05,
      "loss": 1.4238,
      "step": 6699
    },
    {
      "epoch": 0.5955555555555555,
      "grad_norm": 1.9432222843170166,
      "learning_rate": 2.0226666666666667e-05,
      "loss": 1.4849,
      "step": 6700
    },
    {
      "epoch": 0.5956444444444444,
      "grad_norm": 1.6192784309387207,
      "learning_rate": 2.0222222222222222e-05,
      "loss": 1.5041,
      "step": 6701
    },
    {
      "epoch": 0.5957333333333333,
      "grad_norm": 2.9551243782043457,
      "learning_rate": 2.021777777777778e-05,
      "loss": 1.7922,
      "step": 6702
    },
    {
      "epoch": 0.5958222222222223,
      "grad_norm": 1.6553140878677368,
      "learning_rate": 2.0213333333333335e-05,
      "loss": 1.8816,
      "step": 6703
    },
    {
      "epoch": 0.5959111111111111,
      "grad_norm": 1.302384853363037,
      "learning_rate": 2.020888888888889e-05,
      "loss": 1.2785,
      "step": 6704
    },
    {
      "epoch": 0.596,
      "grad_norm": 1.4614931344985962,
      "learning_rate": 2.0204444444444445e-05,
      "loss": 1.5784,
      "step": 6705
    },
    {
      "epoch": 0.5960888888888889,
      "grad_norm": 1.4109898805618286,
      "learning_rate": 2.0200000000000003e-05,
      "loss": 1.484,
      "step": 6706
    },
    {
      "epoch": 0.5961777777777778,
      "grad_norm": 1.564666748046875,
      "learning_rate": 2.0195555555555558e-05,
      "loss": 1.6023,
      "step": 6707
    },
    {
      "epoch": 0.5962666666666666,
      "grad_norm": 1.9991589784622192,
      "learning_rate": 2.0191111111111113e-05,
      "loss": 1.5813,
      "step": 6708
    },
    {
      "epoch": 0.5963555555555555,
      "grad_norm": 1.6349810361862183,
      "learning_rate": 2.0186666666666668e-05,
      "loss": 1.4601,
      "step": 6709
    },
    {
      "epoch": 0.5964444444444444,
      "grad_norm": 1.6811851263046265,
      "learning_rate": 2.0182222222222222e-05,
      "loss": 1.4976,
      "step": 6710
    },
    {
      "epoch": 0.5965333333333334,
      "grad_norm": 1.3869959115982056,
      "learning_rate": 2.0177777777777777e-05,
      "loss": 1.612,
      "step": 6711
    },
    {
      "epoch": 0.5966222222222223,
      "grad_norm": 1.707841396331787,
      "learning_rate": 2.0173333333333332e-05,
      "loss": 1.6446,
      "step": 6712
    },
    {
      "epoch": 0.5967111111111111,
      "grad_norm": 1.6303025484085083,
      "learning_rate": 2.016888888888889e-05,
      "loss": 1.652,
      "step": 6713
    },
    {
      "epoch": 0.5968,
      "grad_norm": 2.0572686195373535,
      "learning_rate": 2.0164444444444445e-05,
      "loss": 1.617,
      "step": 6714
    },
    {
      "epoch": 0.5968888888888889,
      "grad_norm": 1.5083868503570557,
      "learning_rate": 2.016e-05,
      "loss": 1.5041,
      "step": 6715
    },
    {
      "epoch": 0.5969777777777778,
      "grad_norm": 1.4384936094284058,
      "learning_rate": 2.0155555555555555e-05,
      "loss": 1.5385,
      "step": 6716
    },
    {
      "epoch": 0.5970666666666666,
      "grad_norm": 1.4540623426437378,
      "learning_rate": 2.0151111111111113e-05,
      "loss": 1.4512,
      "step": 6717
    },
    {
      "epoch": 0.5971555555555556,
      "grad_norm": 1.9307869672775269,
      "learning_rate": 2.0146666666666668e-05,
      "loss": 1.5166,
      "step": 6718
    },
    {
      "epoch": 0.5972444444444445,
      "grad_norm": 1.8305999040603638,
      "learning_rate": 2.0142222222222223e-05,
      "loss": 1.6446,
      "step": 6719
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 1.5738948583602905,
      "learning_rate": 2.0137777777777778e-05,
      "loss": 1.6672,
      "step": 6720
    },
    {
      "epoch": 0.5974222222222222,
      "grad_norm": 1.8236008882522583,
      "learning_rate": 2.0133333333333336e-05,
      "loss": 1.6403,
      "step": 6721
    },
    {
      "epoch": 0.5975111111111111,
      "grad_norm": 1.3949482440948486,
      "learning_rate": 2.0128888888888887e-05,
      "loss": 1.5856,
      "step": 6722
    },
    {
      "epoch": 0.5976,
      "grad_norm": 1.576772689819336,
      "learning_rate": 2.0124444444444446e-05,
      "loss": 1.6853,
      "step": 6723
    },
    {
      "epoch": 0.5976888888888889,
      "grad_norm": 1.452365756034851,
      "learning_rate": 2.012e-05,
      "loss": 1.6229,
      "step": 6724
    },
    {
      "epoch": 0.5977777777777777,
      "grad_norm": 1.5033046007156372,
      "learning_rate": 2.0115555555555555e-05,
      "loss": 1.6552,
      "step": 6725
    },
    {
      "epoch": 0.5978666666666667,
      "grad_norm": 1.6619654893875122,
      "learning_rate": 2.011111111111111e-05,
      "loss": 1.4896,
      "step": 6726
    },
    {
      "epoch": 0.5979555555555556,
      "grad_norm": 1.792678952217102,
      "learning_rate": 2.010666666666667e-05,
      "loss": 1.6679,
      "step": 6727
    },
    {
      "epoch": 0.5980444444444445,
      "grad_norm": 1.589861512184143,
      "learning_rate": 2.0102222222222223e-05,
      "loss": 1.5497,
      "step": 6728
    },
    {
      "epoch": 0.5981333333333333,
      "grad_norm": 1.4283937215805054,
      "learning_rate": 2.0097777777777778e-05,
      "loss": 1.2781,
      "step": 6729
    },
    {
      "epoch": 0.5982222222222222,
      "grad_norm": 1.6337326765060425,
      "learning_rate": 2.0093333333333333e-05,
      "loss": 1.4508,
      "step": 6730
    },
    {
      "epoch": 0.5983111111111111,
      "grad_norm": 1.4784938097000122,
      "learning_rate": 2.008888888888889e-05,
      "loss": 1.6762,
      "step": 6731
    },
    {
      "epoch": 0.5984,
      "grad_norm": 1.5101906061172485,
      "learning_rate": 2.0084444444444446e-05,
      "loss": 1.5622,
      "step": 6732
    },
    {
      "epoch": 0.5984888888888888,
      "grad_norm": 1.6328719854354858,
      "learning_rate": 2.008e-05,
      "loss": 1.5368,
      "step": 6733
    },
    {
      "epoch": 0.5985777777777778,
      "grad_norm": 1.5622692108154297,
      "learning_rate": 2.0075555555555556e-05,
      "loss": 1.6327,
      "step": 6734
    },
    {
      "epoch": 0.5986666666666667,
      "grad_norm": 1.3902013301849365,
      "learning_rate": 2.0071111111111114e-05,
      "loss": 1.4156,
      "step": 6735
    },
    {
      "epoch": 0.5987555555555556,
      "grad_norm": 1.6082888841629028,
      "learning_rate": 2.0066666666666665e-05,
      "loss": 1.4362,
      "step": 6736
    },
    {
      "epoch": 0.5988444444444444,
      "grad_norm": 2.05049991607666,
      "learning_rate": 2.0062222222222224e-05,
      "loss": 1.6461,
      "step": 6737
    },
    {
      "epoch": 0.5989333333333333,
      "grad_norm": 1.7189613580703735,
      "learning_rate": 2.005777777777778e-05,
      "loss": 1.657,
      "step": 6738
    },
    {
      "epoch": 0.5990222222222222,
      "grad_norm": 1.565866470336914,
      "learning_rate": 2.0053333333333337e-05,
      "loss": 1.711,
      "step": 6739
    },
    {
      "epoch": 0.5991111111111111,
      "grad_norm": 1.4540420770645142,
      "learning_rate": 2.0048888888888888e-05,
      "loss": 1.4991,
      "step": 6740
    },
    {
      "epoch": 0.5992,
      "grad_norm": 1.3799450397491455,
      "learning_rate": 2.0044444444444446e-05,
      "loss": 1.2108,
      "step": 6741
    },
    {
      "epoch": 0.5992888888888889,
      "grad_norm": 1.964124321937561,
      "learning_rate": 2.004e-05,
      "loss": 1.7781,
      "step": 6742
    },
    {
      "epoch": 0.5993777777777778,
      "grad_norm": 1.5069284439086914,
      "learning_rate": 2.0035555555555556e-05,
      "loss": 1.6826,
      "step": 6743
    },
    {
      "epoch": 0.5994666666666667,
      "grad_norm": 1.3892755508422852,
      "learning_rate": 2.003111111111111e-05,
      "loss": 1.5461,
      "step": 6744
    },
    {
      "epoch": 0.5995555555555555,
      "grad_norm": 1.4579881429672241,
      "learning_rate": 2.002666666666667e-05,
      "loss": 1.5576,
      "step": 6745
    },
    {
      "epoch": 0.5996444444444444,
      "grad_norm": 1.6416553258895874,
      "learning_rate": 2.0022222222222224e-05,
      "loss": 1.5916,
      "step": 6746
    },
    {
      "epoch": 0.5997333333333333,
      "grad_norm": 1.3528598546981812,
      "learning_rate": 2.001777777777778e-05,
      "loss": 1.3593,
      "step": 6747
    },
    {
      "epoch": 0.5998222222222223,
      "grad_norm": 1.961843729019165,
      "learning_rate": 2.0013333333333334e-05,
      "loss": 1.656,
      "step": 6748
    },
    {
      "epoch": 0.5999111111111111,
      "grad_norm": 1.684605360031128,
      "learning_rate": 2.0008888888888892e-05,
      "loss": 1.5777,
      "step": 6749
    },
    {
      "epoch": 0.6,
      "grad_norm": 1.462052822113037,
      "learning_rate": 2.0004444444444447e-05,
      "loss": 1.4801,
      "step": 6750
    },
    {
      "epoch": 0.6000888888888889,
      "grad_norm": 1.414117455482483,
      "learning_rate": 2e-05,
      "loss": 1.5077,
      "step": 6751
    },
    {
      "epoch": 0.6001777777777778,
      "grad_norm": 1.4288320541381836,
      "learning_rate": 1.9995555555555556e-05,
      "loss": 1.5111,
      "step": 6752
    },
    {
      "epoch": 0.6002666666666666,
      "grad_norm": 1.5281555652618408,
      "learning_rate": 1.9991111111111115e-05,
      "loss": 1.6812,
      "step": 6753
    },
    {
      "epoch": 0.6003555555555555,
      "grad_norm": 1.8604087829589844,
      "learning_rate": 1.9986666666666666e-05,
      "loss": 1.4921,
      "step": 6754
    },
    {
      "epoch": 0.6004444444444444,
      "grad_norm": 1.7037442922592163,
      "learning_rate": 1.9982222222222224e-05,
      "loss": 1.2353,
      "step": 6755
    },
    {
      "epoch": 0.6005333333333334,
      "grad_norm": 2.21921443939209,
      "learning_rate": 1.997777777777778e-05,
      "loss": 1.672,
      "step": 6756
    },
    {
      "epoch": 0.6006222222222222,
      "grad_norm": 1.5416268110275269,
      "learning_rate": 1.9973333333333334e-05,
      "loss": 1.6369,
      "step": 6757
    },
    {
      "epoch": 0.6007111111111111,
      "grad_norm": 1.5308325290679932,
      "learning_rate": 1.996888888888889e-05,
      "loss": 1.6645,
      "step": 6758
    },
    {
      "epoch": 0.6008,
      "grad_norm": 1.5861175060272217,
      "learning_rate": 1.9964444444444447e-05,
      "loss": 1.47,
      "step": 6759
    },
    {
      "epoch": 0.6008888888888889,
      "grad_norm": 1.7840999364852905,
      "learning_rate": 1.9960000000000002e-05,
      "loss": 1.6185,
      "step": 6760
    },
    {
      "epoch": 0.6009777777777778,
      "grad_norm": 1.9150841236114502,
      "learning_rate": 1.9955555555555557e-05,
      "loss": 1.6673,
      "step": 6761
    },
    {
      "epoch": 0.6010666666666666,
      "grad_norm": 1.5821114778518677,
      "learning_rate": 1.9951111111111112e-05,
      "loss": 1.6492,
      "step": 6762
    },
    {
      "epoch": 0.6011555555555556,
      "grad_norm": 1.5152010917663574,
      "learning_rate": 1.9946666666666667e-05,
      "loss": 1.6119,
      "step": 6763
    },
    {
      "epoch": 0.6012444444444445,
      "grad_norm": 1.3975818157196045,
      "learning_rate": 1.9942222222222225e-05,
      "loss": 1.402,
      "step": 6764
    },
    {
      "epoch": 0.6013333333333334,
      "grad_norm": 2.191561460494995,
      "learning_rate": 1.9937777777777776e-05,
      "loss": 1.4623,
      "step": 6765
    },
    {
      "epoch": 0.6014222222222222,
      "grad_norm": 1.6684396266937256,
      "learning_rate": 1.9933333333333334e-05,
      "loss": 1.5391,
      "step": 6766
    },
    {
      "epoch": 0.6015111111111111,
      "grad_norm": 1.5875385999679565,
      "learning_rate": 1.992888888888889e-05,
      "loss": 1.49,
      "step": 6767
    },
    {
      "epoch": 0.6016,
      "grad_norm": 1.8690379858016968,
      "learning_rate": 1.9924444444444444e-05,
      "loss": 1.8386,
      "step": 6768
    },
    {
      "epoch": 0.6016888888888889,
      "grad_norm": 1.9093289375305176,
      "learning_rate": 1.992e-05,
      "loss": 1.5001,
      "step": 6769
    },
    {
      "epoch": 0.6017777777777777,
      "grad_norm": 1.8757613897323608,
      "learning_rate": 1.9915555555555557e-05,
      "loss": 1.7692,
      "step": 6770
    },
    {
      "epoch": 0.6018666666666667,
      "grad_norm": 1.395261287689209,
      "learning_rate": 1.9911111111111112e-05,
      "loss": 1.6689,
      "step": 6771
    },
    {
      "epoch": 0.6019555555555556,
      "grad_norm": 1.2742643356323242,
      "learning_rate": 1.9906666666666667e-05,
      "loss": 1.4224,
      "step": 6772
    },
    {
      "epoch": 0.6020444444444445,
      "grad_norm": 1.7796820402145386,
      "learning_rate": 1.9902222222222222e-05,
      "loss": 1.4233,
      "step": 6773
    },
    {
      "epoch": 0.6021333333333333,
      "grad_norm": 1.520853877067566,
      "learning_rate": 1.989777777777778e-05,
      "loss": 1.4974,
      "step": 6774
    },
    {
      "epoch": 0.6022222222222222,
      "grad_norm": 1.4508899450302124,
      "learning_rate": 1.9893333333333335e-05,
      "loss": 1.5609,
      "step": 6775
    },
    {
      "epoch": 0.6023111111111111,
      "grad_norm": 1.5731964111328125,
      "learning_rate": 1.988888888888889e-05,
      "loss": 1.6459,
      "step": 6776
    },
    {
      "epoch": 0.6024,
      "grad_norm": 1.8903013467788696,
      "learning_rate": 1.9884444444444445e-05,
      "loss": 1.6335,
      "step": 6777
    },
    {
      "epoch": 0.6024888888888889,
      "grad_norm": 1.4816994667053223,
      "learning_rate": 1.9880000000000003e-05,
      "loss": 1.398,
      "step": 6778
    },
    {
      "epoch": 0.6025777777777778,
      "grad_norm": 2.1083223819732666,
      "learning_rate": 1.9875555555555554e-05,
      "loss": 1.5411,
      "step": 6779
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 1.498504877090454,
      "learning_rate": 1.9871111111111112e-05,
      "loss": 1.5814,
      "step": 6780
    },
    {
      "epoch": 0.6027555555555556,
      "grad_norm": 1.9543216228485107,
      "learning_rate": 1.9866666666666667e-05,
      "loss": 1.6645,
      "step": 6781
    },
    {
      "epoch": 0.6028444444444444,
      "grad_norm": 1.5233091115951538,
      "learning_rate": 1.9862222222222222e-05,
      "loss": 1.7018,
      "step": 6782
    },
    {
      "epoch": 0.6029333333333333,
      "grad_norm": 1.6204891204833984,
      "learning_rate": 1.9857777777777777e-05,
      "loss": 1.3534,
      "step": 6783
    },
    {
      "epoch": 0.6030222222222222,
      "grad_norm": 1.6302648782730103,
      "learning_rate": 1.9853333333333335e-05,
      "loss": 1.6618,
      "step": 6784
    },
    {
      "epoch": 0.6031111111111112,
      "grad_norm": 1.581052303314209,
      "learning_rate": 1.984888888888889e-05,
      "loss": 1.6705,
      "step": 6785
    },
    {
      "epoch": 0.6032,
      "grad_norm": 1.495474100112915,
      "learning_rate": 1.9844444444444445e-05,
      "loss": 1.5078,
      "step": 6786
    },
    {
      "epoch": 0.6032888888888889,
      "grad_norm": 1.399467945098877,
      "learning_rate": 1.984e-05,
      "loss": 1.69,
      "step": 6787
    },
    {
      "epoch": 0.6033777777777778,
      "grad_norm": 1.5383228063583374,
      "learning_rate": 1.9835555555555558e-05,
      "loss": 1.5868,
      "step": 6788
    },
    {
      "epoch": 0.6034666666666667,
      "grad_norm": 1.5783278942108154,
      "learning_rate": 1.9831111111111113e-05,
      "loss": 1.7865,
      "step": 6789
    },
    {
      "epoch": 0.6035555555555555,
      "grad_norm": 1.6000102758407593,
      "learning_rate": 1.9826666666666668e-05,
      "loss": 1.5872,
      "step": 6790
    },
    {
      "epoch": 0.6036444444444444,
      "grad_norm": 2.6062817573547363,
      "learning_rate": 1.9822222222222223e-05,
      "loss": 1.7942,
      "step": 6791
    },
    {
      "epoch": 0.6037333333333333,
      "grad_norm": 1.3973510265350342,
      "learning_rate": 1.981777777777778e-05,
      "loss": 1.3496,
      "step": 6792
    },
    {
      "epoch": 0.6038222222222223,
      "grad_norm": 1.838150978088379,
      "learning_rate": 1.9813333333333332e-05,
      "loss": 1.6585,
      "step": 6793
    },
    {
      "epoch": 0.6039111111111111,
      "grad_norm": 1.7825502157211304,
      "learning_rate": 1.980888888888889e-05,
      "loss": 1.4853,
      "step": 6794
    },
    {
      "epoch": 0.604,
      "grad_norm": 1.621096134185791,
      "learning_rate": 1.9804444444444445e-05,
      "loss": 1.4765,
      "step": 6795
    },
    {
      "epoch": 0.6040888888888889,
      "grad_norm": 1.8421818017959595,
      "learning_rate": 1.9800000000000004e-05,
      "loss": 1.624,
      "step": 6796
    },
    {
      "epoch": 0.6041777777777778,
      "grad_norm": 1.4634130001068115,
      "learning_rate": 1.9795555555555555e-05,
      "loss": 1.5163,
      "step": 6797
    },
    {
      "epoch": 0.6042666666666666,
      "grad_norm": 1.6340289115905762,
      "learning_rate": 1.9791111111111113e-05,
      "loss": 1.8811,
      "step": 6798
    },
    {
      "epoch": 0.6043555555555555,
      "grad_norm": 1.40239679813385,
      "learning_rate": 1.9786666666666668e-05,
      "loss": 1.518,
      "step": 6799
    },
    {
      "epoch": 0.6044444444444445,
      "grad_norm": 1.675781011581421,
      "learning_rate": 1.9782222222222223e-05,
      "loss": 1.7692,
      "step": 6800
    },
    {
      "epoch": 0.6045333333333334,
      "grad_norm": 1.8117296695709229,
      "learning_rate": 1.9777777777777778e-05,
      "loss": 1.6692,
      "step": 6801
    },
    {
      "epoch": 0.6046222222222222,
      "grad_norm": 1.4300545454025269,
      "learning_rate": 1.9773333333333336e-05,
      "loss": 1.6205,
      "step": 6802
    },
    {
      "epoch": 0.6047111111111111,
      "grad_norm": 1.8879719972610474,
      "learning_rate": 1.976888888888889e-05,
      "loss": 1.6143,
      "step": 6803
    },
    {
      "epoch": 0.6048,
      "grad_norm": 1.364371657371521,
      "learning_rate": 1.9764444444444446e-05,
      "loss": 1.4644,
      "step": 6804
    },
    {
      "epoch": 0.6048888888888889,
      "grad_norm": 1.5101771354675293,
      "learning_rate": 1.976e-05,
      "loss": 1.4942,
      "step": 6805
    },
    {
      "epoch": 0.6049777777777777,
      "grad_norm": 1.3921356201171875,
      "learning_rate": 1.975555555555556e-05,
      "loss": 1.2678,
      "step": 6806
    },
    {
      "epoch": 0.6050666666666666,
      "grad_norm": 1.7091752290725708,
      "learning_rate": 1.975111111111111e-05,
      "loss": 1.5734,
      "step": 6807
    },
    {
      "epoch": 0.6051555555555556,
      "grad_norm": 1.6354035139083862,
      "learning_rate": 1.974666666666667e-05,
      "loss": 1.55,
      "step": 6808
    },
    {
      "epoch": 0.6052444444444445,
      "grad_norm": 1.745107889175415,
      "learning_rate": 1.9742222222222223e-05,
      "loss": 1.5095,
      "step": 6809
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 1.5051199197769165,
      "learning_rate": 1.973777777777778e-05,
      "loss": 1.5435,
      "step": 6810
    },
    {
      "epoch": 0.6054222222222222,
      "grad_norm": 1.9925569295883179,
      "learning_rate": 1.9733333333333333e-05,
      "loss": 1.7895,
      "step": 6811
    },
    {
      "epoch": 0.6055111111111111,
      "grad_norm": 1.5820499658584595,
      "learning_rate": 1.972888888888889e-05,
      "loss": 1.5263,
      "step": 6812
    },
    {
      "epoch": 0.6056,
      "grad_norm": 1.341583013534546,
      "learning_rate": 1.9724444444444446e-05,
      "loss": 1.4883,
      "step": 6813
    },
    {
      "epoch": 0.6056888888888889,
      "grad_norm": 1.3914988040924072,
      "learning_rate": 1.972e-05,
      "loss": 1.5094,
      "step": 6814
    },
    {
      "epoch": 0.6057777777777777,
      "grad_norm": 1.6248258352279663,
      "learning_rate": 1.9715555555555556e-05,
      "loss": 1.6708,
      "step": 6815
    },
    {
      "epoch": 0.6058666666666667,
      "grad_norm": 1.6385900974273682,
      "learning_rate": 1.971111111111111e-05,
      "loss": 1.5373,
      "step": 6816
    },
    {
      "epoch": 0.6059555555555556,
      "grad_norm": 1.7627286911010742,
      "learning_rate": 1.970666666666667e-05,
      "loss": 1.577,
      "step": 6817
    },
    {
      "epoch": 0.6060444444444445,
      "grad_norm": 1.5544018745422363,
      "learning_rate": 1.970222222222222e-05,
      "loss": 1.5223,
      "step": 6818
    },
    {
      "epoch": 0.6061333333333333,
      "grad_norm": 1.6539158821105957,
      "learning_rate": 1.969777777777778e-05,
      "loss": 1.7971,
      "step": 6819
    },
    {
      "epoch": 0.6062222222222222,
      "grad_norm": 1.5090978145599365,
      "learning_rate": 1.9693333333333333e-05,
      "loss": 1.5504,
      "step": 6820
    },
    {
      "epoch": 0.6063111111111111,
      "grad_norm": 1.495865821838379,
      "learning_rate": 1.968888888888889e-05,
      "loss": 1.541,
      "step": 6821
    },
    {
      "epoch": 0.6064,
      "grad_norm": 2.216731309890747,
      "learning_rate": 1.9684444444444443e-05,
      "loss": 1.5642,
      "step": 6822
    },
    {
      "epoch": 0.6064888888888889,
      "grad_norm": 1.9588487148284912,
      "learning_rate": 1.968e-05,
      "loss": 1.7523,
      "step": 6823
    },
    {
      "epoch": 0.6065777777777778,
      "grad_norm": 1.8168648481369019,
      "learning_rate": 1.9675555555555556e-05,
      "loss": 1.7059,
      "step": 6824
    },
    {
      "epoch": 0.6066666666666667,
      "grad_norm": 1.5389888286590576,
      "learning_rate": 1.967111111111111e-05,
      "loss": 1.4108,
      "step": 6825
    },
    {
      "epoch": 0.6067555555555556,
      "grad_norm": 1.4971272945404053,
      "learning_rate": 1.9666666666666666e-05,
      "loss": 1.3552,
      "step": 6826
    },
    {
      "epoch": 0.6068444444444444,
      "grad_norm": 1.6940635442733765,
      "learning_rate": 1.9662222222222224e-05,
      "loss": 1.6107,
      "step": 6827
    },
    {
      "epoch": 0.6069333333333333,
      "grad_norm": 1.5107338428497314,
      "learning_rate": 1.965777777777778e-05,
      "loss": 1.6153,
      "step": 6828
    },
    {
      "epoch": 0.6070222222222222,
      "grad_norm": 1.4240281581878662,
      "learning_rate": 1.9653333333333334e-05,
      "loss": 1.3894,
      "step": 6829
    },
    {
      "epoch": 0.6071111111111112,
      "grad_norm": 1.5421721935272217,
      "learning_rate": 1.964888888888889e-05,
      "loss": 1.7622,
      "step": 6830
    },
    {
      "epoch": 0.6072,
      "grad_norm": 1.9512909650802612,
      "learning_rate": 1.9644444444444447e-05,
      "loss": 1.7543,
      "step": 6831
    },
    {
      "epoch": 0.6072888888888889,
      "grad_norm": 1.722102165222168,
      "learning_rate": 1.9640000000000002e-05,
      "loss": 1.8374,
      "step": 6832
    },
    {
      "epoch": 0.6073777777777778,
      "grad_norm": 1.5771863460540771,
      "learning_rate": 1.9635555555555557e-05,
      "loss": 1.815,
      "step": 6833
    },
    {
      "epoch": 0.6074666666666667,
      "grad_norm": 1.6210057735443115,
      "learning_rate": 1.963111111111111e-05,
      "loss": 1.6432,
      "step": 6834
    },
    {
      "epoch": 0.6075555555555555,
      "grad_norm": 2.24593186378479,
      "learning_rate": 1.962666666666667e-05,
      "loss": 1.8812,
      "step": 6835
    },
    {
      "epoch": 0.6076444444444444,
      "grad_norm": 1.6587340831756592,
      "learning_rate": 1.962222222222222e-05,
      "loss": 1.8286,
      "step": 6836
    },
    {
      "epoch": 0.6077333333333333,
      "grad_norm": 1.3376147747039795,
      "learning_rate": 1.961777777777778e-05,
      "loss": 1.4253,
      "step": 6837
    },
    {
      "epoch": 0.6078222222222223,
      "grad_norm": 1.5621432065963745,
      "learning_rate": 1.9613333333333334e-05,
      "loss": 1.5627,
      "step": 6838
    },
    {
      "epoch": 0.6079111111111111,
      "grad_norm": 1.6176350116729736,
      "learning_rate": 1.960888888888889e-05,
      "loss": 1.565,
      "step": 6839
    },
    {
      "epoch": 0.608,
      "grad_norm": 1.3991410732269287,
      "learning_rate": 1.9604444444444444e-05,
      "loss": 1.6003,
      "step": 6840
    },
    {
      "epoch": 0.6080888888888889,
      "grad_norm": 1.5682469606399536,
      "learning_rate": 1.9600000000000002e-05,
      "loss": 1.5694,
      "step": 6841
    },
    {
      "epoch": 0.6081777777777778,
      "grad_norm": 1.7064131498336792,
      "learning_rate": 1.9595555555555557e-05,
      "loss": 1.4703,
      "step": 6842
    },
    {
      "epoch": 0.6082666666666666,
      "grad_norm": 1.6658062934875488,
      "learning_rate": 1.9591111111111112e-05,
      "loss": 1.6052,
      "step": 6843
    },
    {
      "epoch": 0.6083555555555555,
      "grad_norm": 2.239645481109619,
      "learning_rate": 1.9586666666666667e-05,
      "loss": 1.7188,
      "step": 6844
    },
    {
      "epoch": 0.6084444444444445,
      "grad_norm": 1.5679391622543335,
      "learning_rate": 1.9582222222222225e-05,
      "loss": 1.7359,
      "step": 6845
    },
    {
      "epoch": 0.6085333333333334,
      "grad_norm": 2.1858949661254883,
      "learning_rate": 1.957777777777778e-05,
      "loss": 1.6221,
      "step": 6846
    },
    {
      "epoch": 0.6086222222222222,
      "grad_norm": 1.4666564464569092,
      "learning_rate": 1.9573333333333335e-05,
      "loss": 1.5605,
      "step": 6847
    },
    {
      "epoch": 0.6087111111111111,
      "grad_norm": 1.3248180150985718,
      "learning_rate": 1.956888888888889e-05,
      "loss": 1.4071,
      "step": 6848
    },
    {
      "epoch": 0.6088,
      "grad_norm": 1.635703682899475,
      "learning_rate": 1.9564444444444448e-05,
      "loss": 1.4369,
      "step": 6849
    },
    {
      "epoch": 0.6088888888888889,
      "grad_norm": 1.3101328611373901,
      "learning_rate": 1.956e-05,
      "loss": 1.5584,
      "step": 6850
    },
    {
      "epoch": 0.6089777777777777,
      "grad_norm": 1.5590603351593018,
      "learning_rate": 1.9555555555555557e-05,
      "loss": 1.6631,
      "step": 6851
    },
    {
      "epoch": 0.6090666666666666,
      "grad_norm": 1.8186631202697754,
      "learning_rate": 1.9551111111111112e-05,
      "loss": 1.5627,
      "step": 6852
    },
    {
      "epoch": 0.6091555555555556,
      "grad_norm": 1.5080078840255737,
      "learning_rate": 1.9546666666666667e-05,
      "loss": 1.7812,
      "step": 6853
    },
    {
      "epoch": 0.6092444444444445,
      "grad_norm": 1.5081895589828491,
      "learning_rate": 1.9542222222222222e-05,
      "loss": 1.3729,
      "step": 6854
    },
    {
      "epoch": 0.6093333333333333,
      "grad_norm": 1.390290379524231,
      "learning_rate": 1.953777777777778e-05,
      "loss": 1.4658,
      "step": 6855
    },
    {
      "epoch": 0.6094222222222222,
      "grad_norm": 1.909502387046814,
      "learning_rate": 1.9533333333333335e-05,
      "loss": 1.5891,
      "step": 6856
    },
    {
      "epoch": 0.6095111111111111,
      "grad_norm": 1.5485615730285645,
      "learning_rate": 1.952888888888889e-05,
      "loss": 1.631,
      "step": 6857
    },
    {
      "epoch": 0.6096,
      "grad_norm": 1.751030683517456,
      "learning_rate": 1.9524444444444445e-05,
      "loss": 1.5395,
      "step": 6858
    },
    {
      "epoch": 0.6096888888888888,
      "grad_norm": 2.0971343517303467,
      "learning_rate": 1.9520000000000003e-05,
      "loss": 1.721,
      "step": 6859
    },
    {
      "epoch": 0.6097777777777778,
      "grad_norm": 1.603040099143982,
      "learning_rate": 1.9515555555555558e-05,
      "loss": 1.38,
      "step": 6860
    },
    {
      "epoch": 0.6098666666666667,
      "grad_norm": 1.5313440561294556,
      "learning_rate": 1.9511111111111113e-05,
      "loss": 1.5723,
      "step": 6861
    },
    {
      "epoch": 0.6099555555555556,
      "grad_norm": 1.5473313331604004,
      "learning_rate": 1.9506666666666667e-05,
      "loss": 1.6019,
      "step": 6862
    },
    {
      "epoch": 0.6100444444444444,
      "grad_norm": 2.002417802810669,
      "learning_rate": 1.9502222222222226e-05,
      "loss": 1.6159,
      "step": 6863
    },
    {
      "epoch": 0.6101333333333333,
      "grad_norm": 1.657301664352417,
      "learning_rate": 1.9497777777777777e-05,
      "loss": 1.4947,
      "step": 6864
    },
    {
      "epoch": 0.6102222222222222,
      "grad_norm": 1.4750553369522095,
      "learning_rate": 1.9493333333333332e-05,
      "loss": 1.4672,
      "step": 6865
    },
    {
      "epoch": 0.6103111111111111,
      "grad_norm": 1.45295250415802,
      "learning_rate": 1.948888888888889e-05,
      "loss": 1.7062,
      "step": 6866
    },
    {
      "epoch": 0.6104,
      "grad_norm": 1.8567922115325928,
      "learning_rate": 1.9484444444444445e-05,
      "loss": 1.6995,
      "step": 6867
    },
    {
      "epoch": 0.6104888888888889,
      "grad_norm": 1.6715571880340576,
      "learning_rate": 1.948e-05,
      "loss": 1.5784,
      "step": 6868
    },
    {
      "epoch": 0.6105777777777778,
      "grad_norm": 1.5952526330947876,
      "learning_rate": 1.9475555555555555e-05,
      "loss": 1.8344,
      "step": 6869
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 2.4057109355926514,
      "learning_rate": 1.9471111111111113e-05,
      "loss": 1.8149,
      "step": 6870
    },
    {
      "epoch": 0.6107555555555556,
      "grad_norm": 1.326229453086853,
      "learning_rate": 1.9466666666666668e-05,
      "loss": 1.3741,
      "step": 6871
    },
    {
      "epoch": 0.6108444444444444,
      "grad_norm": 1.7026337385177612,
      "learning_rate": 1.9462222222222223e-05,
      "loss": 1.5263,
      "step": 6872
    },
    {
      "epoch": 0.6109333333333333,
      "grad_norm": 1.5962790250778198,
      "learning_rate": 1.9457777777777777e-05,
      "loss": 1.4284,
      "step": 6873
    },
    {
      "epoch": 0.6110222222222222,
      "grad_norm": 1.5354772806167603,
      "learning_rate": 1.9453333333333336e-05,
      "loss": 1.4508,
      "step": 6874
    },
    {
      "epoch": 0.6111111111111112,
      "grad_norm": 1.7328461408615112,
      "learning_rate": 1.9448888888888887e-05,
      "loss": 1.5279,
      "step": 6875
    },
    {
      "epoch": 0.6112,
      "grad_norm": 1.543335199356079,
      "learning_rate": 1.9444444444444445e-05,
      "loss": 1.5291,
      "step": 6876
    },
    {
      "epoch": 0.6112888888888889,
      "grad_norm": 1.3910983800888062,
      "learning_rate": 1.944e-05,
      "loss": 1.4186,
      "step": 6877
    },
    {
      "epoch": 0.6113777777777778,
      "grad_norm": 1.5581551790237427,
      "learning_rate": 1.943555555555556e-05,
      "loss": 1.509,
      "step": 6878
    },
    {
      "epoch": 0.6114666666666667,
      "grad_norm": 1.523870825767517,
      "learning_rate": 1.943111111111111e-05,
      "loss": 1.4257,
      "step": 6879
    },
    {
      "epoch": 0.6115555555555555,
      "grad_norm": 1.9656797647476196,
      "learning_rate": 1.9426666666666668e-05,
      "loss": 1.6011,
      "step": 6880
    },
    {
      "epoch": 0.6116444444444444,
      "grad_norm": 1.545661211013794,
      "learning_rate": 1.9422222222222223e-05,
      "loss": 1.5204,
      "step": 6881
    },
    {
      "epoch": 0.6117333333333334,
      "grad_norm": 1.7286521196365356,
      "learning_rate": 1.9417777777777778e-05,
      "loss": 1.5029,
      "step": 6882
    },
    {
      "epoch": 0.6118222222222223,
      "grad_norm": 1.5798035860061646,
      "learning_rate": 1.9413333333333333e-05,
      "loss": 1.6428,
      "step": 6883
    },
    {
      "epoch": 0.6119111111111111,
      "grad_norm": 1.4333291053771973,
      "learning_rate": 1.940888888888889e-05,
      "loss": 1.5854,
      "step": 6884
    },
    {
      "epoch": 0.612,
      "grad_norm": 1.4336796998977661,
      "learning_rate": 1.9404444444444446e-05,
      "loss": 1.4143,
      "step": 6885
    },
    {
      "epoch": 0.6120888888888889,
      "grad_norm": 1.6865472793579102,
      "learning_rate": 1.94e-05,
      "loss": 1.5301,
      "step": 6886
    },
    {
      "epoch": 0.6121777777777778,
      "grad_norm": 1.5609676837921143,
      "learning_rate": 1.9395555555555555e-05,
      "loss": 1.6097,
      "step": 6887
    },
    {
      "epoch": 0.6122666666666666,
      "grad_norm": 1.7211487293243408,
      "learning_rate": 1.9391111111111114e-05,
      "loss": 1.7973,
      "step": 6888
    },
    {
      "epoch": 0.6123555555555555,
      "grad_norm": 1.6841201782226562,
      "learning_rate": 1.938666666666667e-05,
      "loss": 1.5754,
      "step": 6889
    },
    {
      "epoch": 0.6124444444444445,
      "grad_norm": 1.615949034690857,
      "learning_rate": 1.9382222222222223e-05,
      "loss": 1.4316,
      "step": 6890
    },
    {
      "epoch": 0.6125333333333334,
      "grad_norm": 1.4784778356552124,
      "learning_rate": 1.9377777777777778e-05,
      "loss": 1.635,
      "step": 6891
    },
    {
      "epoch": 0.6126222222222222,
      "grad_norm": 1.5415337085723877,
      "learning_rate": 1.9373333333333336e-05,
      "loss": 1.4442,
      "step": 6892
    },
    {
      "epoch": 0.6127111111111111,
      "grad_norm": 1.3088932037353516,
      "learning_rate": 1.9368888888888888e-05,
      "loss": 1.3978,
      "step": 6893
    },
    {
      "epoch": 0.6128,
      "grad_norm": 1.613756775856018,
      "learning_rate": 1.9364444444444446e-05,
      "loss": 1.5603,
      "step": 6894
    },
    {
      "epoch": 0.6128888888888889,
      "grad_norm": 1.5820344686508179,
      "learning_rate": 1.936e-05,
      "loss": 1.5696,
      "step": 6895
    },
    {
      "epoch": 0.6129777777777777,
      "grad_norm": 1.87641441822052,
      "learning_rate": 1.9355555555555556e-05,
      "loss": 1.6491,
      "step": 6896
    },
    {
      "epoch": 0.6130666666666666,
      "grad_norm": 1.5023128986358643,
      "learning_rate": 1.935111111111111e-05,
      "loss": 1.5055,
      "step": 6897
    },
    {
      "epoch": 0.6131555555555556,
      "grad_norm": 1.5812159776687622,
      "learning_rate": 1.934666666666667e-05,
      "loss": 1.7432,
      "step": 6898
    },
    {
      "epoch": 0.6132444444444445,
      "grad_norm": 1.7619918584823608,
      "learning_rate": 1.9342222222222224e-05,
      "loss": 1.5419,
      "step": 6899
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 1.440298318862915,
      "learning_rate": 1.933777777777778e-05,
      "loss": 1.4466,
      "step": 6900
    },
    {
      "epoch": 0.6134222222222222,
      "grad_norm": 1.649471640586853,
      "learning_rate": 1.9333333333333333e-05,
      "loss": 1.5579,
      "step": 6901
    },
    {
      "epoch": 0.6135111111111111,
      "grad_norm": 1.7065902948379517,
      "learning_rate": 1.932888888888889e-05,
      "loss": 1.5366,
      "step": 6902
    },
    {
      "epoch": 0.6136,
      "grad_norm": 1.6024885177612305,
      "learning_rate": 1.9324444444444447e-05,
      "loss": 1.6656,
      "step": 6903
    },
    {
      "epoch": 0.6136888888888888,
      "grad_norm": 1.3485560417175293,
      "learning_rate": 1.932e-05,
      "loss": 1.3189,
      "step": 6904
    },
    {
      "epoch": 0.6137777777777778,
      "grad_norm": 1.4722964763641357,
      "learning_rate": 1.9315555555555556e-05,
      "loss": 1.4996,
      "step": 6905
    },
    {
      "epoch": 0.6138666666666667,
      "grad_norm": 1.762935996055603,
      "learning_rate": 1.9311111111111114e-05,
      "loss": 1.4462,
      "step": 6906
    },
    {
      "epoch": 0.6139555555555556,
      "grad_norm": 1.7039390802383423,
      "learning_rate": 1.9306666666666666e-05,
      "loss": 1.7075,
      "step": 6907
    },
    {
      "epoch": 0.6140444444444444,
      "grad_norm": 1.4480528831481934,
      "learning_rate": 1.9302222222222224e-05,
      "loss": 1.4952,
      "step": 6908
    },
    {
      "epoch": 0.6141333333333333,
      "grad_norm": 1.4298548698425293,
      "learning_rate": 1.929777777777778e-05,
      "loss": 1.3663,
      "step": 6909
    },
    {
      "epoch": 0.6142222222222222,
      "grad_norm": 1.62700355052948,
      "learning_rate": 1.9293333333333334e-05,
      "loss": 1.5338,
      "step": 6910
    },
    {
      "epoch": 0.6143111111111111,
      "grad_norm": 1.8723477125167847,
      "learning_rate": 1.928888888888889e-05,
      "loss": 1.5134,
      "step": 6911
    },
    {
      "epoch": 0.6144,
      "grad_norm": 1.6816108226776123,
      "learning_rate": 1.9284444444444447e-05,
      "loss": 1.626,
      "step": 6912
    },
    {
      "epoch": 0.6144888888888889,
      "grad_norm": 1.496484398841858,
      "learning_rate": 1.9280000000000002e-05,
      "loss": 1.5198,
      "step": 6913
    },
    {
      "epoch": 0.6145777777777778,
      "grad_norm": 2.0724077224731445,
      "learning_rate": 1.9275555555555557e-05,
      "loss": 1.6632,
      "step": 6914
    },
    {
      "epoch": 0.6146666666666667,
      "grad_norm": 1.7508039474487305,
      "learning_rate": 1.927111111111111e-05,
      "loss": 1.8531,
      "step": 6915
    },
    {
      "epoch": 0.6147555555555556,
      "grad_norm": 1.5397260189056396,
      "learning_rate": 1.926666666666667e-05,
      "loss": 1.5898,
      "step": 6916
    },
    {
      "epoch": 0.6148444444444444,
      "grad_norm": 1.5059280395507812,
      "learning_rate": 1.9262222222222225e-05,
      "loss": 1.6647,
      "step": 6917
    },
    {
      "epoch": 0.6149333333333333,
      "grad_norm": 1.925228476524353,
      "learning_rate": 1.9257777777777776e-05,
      "loss": 1.5923,
      "step": 6918
    },
    {
      "epoch": 0.6150222222222222,
      "grad_norm": 1.3744438886642456,
      "learning_rate": 1.9253333333333334e-05,
      "loss": 1.4751,
      "step": 6919
    },
    {
      "epoch": 0.6151111111111112,
      "grad_norm": 1.6470211744308472,
      "learning_rate": 1.924888888888889e-05,
      "loss": 1.661,
      "step": 6920
    },
    {
      "epoch": 0.6152,
      "grad_norm": 1.7385609149932861,
      "learning_rate": 1.9244444444444444e-05,
      "loss": 1.5793,
      "step": 6921
    },
    {
      "epoch": 0.6152888888888889,
      "grad_norm": 1.9694805145263672,
      "learning_rate": 1.924e-05,
      "loss": 1.5157,
      "step": 6922
    },
    {
      "epoch": 0.6153777777777778,
      "grad_norm": 1.569443702697754,
      "learning_rate": 1.9235555555555557e-05,
      "loss": 1.6976,
      "step": 6923
    },
    {
      "epoch": 0.6154666666666667,
      "grad_norm": 1.566304326057434,
      "learning_rate": 1.9231111111111112e-05,
      "loss": 1.9197,
      "step": 6924
    },
    {
      "epoch": 0.6155555555555555,
      "grad_norm": 1.6726722717285156,
      "learning_rate": 1.9226666666666667e-05,
      "loss": 1.6105,
      "step": 6925
    },
    {
      "epoch": 0.6156444444444444,
      "grad_norm": 1.9352948665618896,
      "learning_rate": 1.922222222222222e-05,
      "loss": 1.5788,
      "step": 6926
    },
    {
      "epoch": 0.6157333333333334,
      "grad_norm": 2.400669813156128,
      "learning_rate": 1.921777777777778e-05,
      "loss": 1.6991,
      "step": 6927
    },
    {
      "epoch": 0.6158222222222223,
      "grad_norm": 1.4076932668685913,
      "learning_rate": 1.9213333333333335e-05,
      "loss": 1.3924,
      "step": 6928
    },
    {
      "epoch": 0.6159111111111111,
      "grad_norm": 1.7488819360733032,
      "learning_rate": 1.920888888888889e-05,
      "loss": 1.6411,
      "step": 6929
    },
    {
      "epoch": 0.616,
      "grad_norm": 1.365229845046997,
      "learning_rate": 1.9204444444444444e-05,
      "loss": 1.3681,
      "step": 6930
    },
    {
      "epoch": 0.6160888888888889,
      "grad_norm": 2.18162202835083,
      "learning_rate": 1.9200000000000003e-05,
      "loss": 1.5496,
      "step": 6931
    },
    {
      "epoch": 0.6161777777777778,
      "grad_norm": 1.5296270847320557,
      "learning_rate": 1.9195555555555554e-05,
      "loss": 1.7132,
      "step": 6932
    },
    {
      "epoch": 0.6162666666666666,
      "grad_norm": 2.752664566040039,
      "learning_rate": 1.9191111111111112e-05,
      "loss": 1.6342,
      "step": 6933
    },
    {
      "epoch": 0.6163555555555555,
      "grad_norm": 1.7524911165237427,
      "learning_rate": 1.9186666666666667e-05,
      "loss": 1.7111,
      "step": 6934
    },
    {
      "epoch": 0.6164444444444445,
      "grad_norm": 1.787657618522644,
      "learning_rate": 1.9182222222222225e-05,
      "loss": 1.6849,
      "step": 6935
    },
    {
      "epoch": 0.6165333333333334,
      "grad_norm": 1.7815810441970825,
      "learning_rate": 1.9177777777777777e-05,
      "loss": 1.4073,
      "step": 6936
    },
    {
      "epoch": 0.6166222222222222,
      "grad_norm": 1.7621660232543945,
      "learning_rate": 1.9173333333333335e-05,
      "loss": 1.6345,
      "step": 6937
    },
    {
      "epoch": 0.6167111111111111,
      "grad_norm": 1.6667683124542236,
      "learning_rate": 1.916888888888889e-05,
      "loss": 1.6047,
      "step": 6938
    },
    {
      "epoch": 0.6168,
      "grad_norm": 1.5972704887390137,
      "learning_rate": 1.9164444444444445e-05,
      "loss": 1.7635,
      "step": 6939
    },
    {
      "epoch": 0.6168888888888889,
      "grad_norm": 1.6117753982543945,
      "learning_rate": 1.916e-05,
      "loss": 1.6951,
      "step": 6940
    },
    {
      "epoch": 0.6169777777777777,
      "grad_norm": 1.5219017267227173,
      "learning_rate": 1.9155555555555558e-05,
      "loss": 1.4736,
      "step": 6941
    },
    {
      "epoch": 0.6170666666666667,
      "grad_norm": 1.428044319152832,
      "learning_rate": 1.9151111111111113e-05,
      "loss": 1.5657,
      "step": 6942
    },
    {
      "epoch": 0.6171555555555556,
      "grad_norm": 1.4922772645950317,
      "learning_rate": 1.9146666666666667e-05,
      "loss": 1.6776,
      "step": 6943
    },
    {
      "epoch": 0.6172444444444445,
      "grad_norm": 1.696147084236145,
      "learning_rate": 1.9142222222222222e-05,
      "loss": 1.6787,
      "step": 6944
    },
    {
      "epoch": 0.6173333333333333,
      "grad_norm": 1.5633970499038696,
      "learning_rate": 1.913777777777778e-05,
      "loss": 1.6247,
      "step": 6945
    },
    {
      "epoch": 0.6174222222222222,
      "grad_norm": 1.5849390029907227,
      "learning_rate": 1.9133333333333332e-05,
      "loss": 1.6079,
      "step": 6946
    },
    {
      "epoch": 0.6175111111111111,
      "grad_norm": 1.5080114603042603,
      "learning_rate": 1.912888888888889e-05,
      "loss": 1.3917,
      "step": 6947
    },
    {
      "epoch": 0.6176,
      "grad_norm": 1.5317531824111938,
      "learning_rate": 1.9124444444444445e-05,
      "loss": 1.4291,
      "step": 6948
    },
    {
      "epoch": 0.6176888888888888,
      "grad_norm": 1.7082966566085815,
      "learning_rate": 1.9120000000000003e-05,
      "loss": 1.4784,
      "step": 6949
    },
    {
      "epoch": 0.6177777777777778,
      "grad_norm": 1.6006284952163696,
      "learning_rate": 1.9115555555555555e-05,
      "loss": 1.5246,
      "step": 6950
    },
    {
      "epoch": 0.6178666666666667,
      "grad_norm": 1.7975002527236938,
      "learning_rate": 1.9111111111111113e-05,
      "loss": 1.4605,
      "step": 6951
    },
    {
      "epoch": 0.6179555555555556,
      "grad_norm": 1.6961816549301147,
      "learning_rate": 1.9106666666666668e-05,
      "loss": 1.504,
      "step": 6952
    },
    {
      "epoch": 0.6180444444444444,
      "grad_norm": 1.8193113803863525,
      "learning_rate": 1.9102222222222223e-05,
      "loss": 1.4082,
      "step": 6953
    },
    {
      "epoch": 0.6181333333333333,
      "grad_norm": 1.6443750858306885,
      "learning_rate": 1.9097777777777778e-05,
      "loss": 1.6008,
      "step": 6954
    },
    {
      "epoch": 0.6182222222222222,
      "grad_norm": 1.7850759029388428,
      "learning_rate": 1.9093333333333336e-05,
      "loss": 1.6883,
      "step": 6955
    },
    {
      "epoch": 0.6183111111111111,
      "grad_norm": 1.5573961734771729,
      "learning_rate": 1.908888888888889e-05,
      "loss": 1.5332,
      "step": 6956
    },
    {
      "epoch": 0.6184,
      "grad_norm": 1.6020662784576416,
      "learning_rate": 1.9084444444444445e-05,
      "loss": 1.74,
      "step": 6957
    },
    {
      "epoch": 0.6184888888888889,
      "grad_norm": 1.7742226123809814,
      "learning_rate": 1.908e-05,
      "loss": 1.7366,
      "step": 6958
    },
    {
      "epoch": 0.6185777777777778,
      "grad_norm": 1.687387228012085,
      "learning_rate": 1.907555555555556e-05,
      "loss": 1.7986,
      "step": 6959
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 1.6911998987197876,
      "learning_rate": 1.9071111111111113e-05,
      "loss": 1.5744,
      "step": 6960
    },
    {
      "epoch": 0.6187555555555555,
      "grad_norm": 1.5874148607254028,
      "learning_rate": 1.9066666666666668e-05,
      "loss": 1.6065,
      "step": 6961
    },
    {
      "epoch": 0.6188444444444444,
      "grad_norm": 1.512647271156311,
      "learning_rate": 1.9062222222222223e-05,
      "loss": 1.5273,
      "step": 6962
    },
    {
      "epoch": 0.6189333333333333,
      "grad_norm": 1.6493571996688843,
      "learning_rate": 1.905777777777778e-05,
      "loss": 1.529,
      "step": 6963
    },
    {
      "epoch": 0.6190222222222223,
      "grad_norm": 1.5467469692230225,
      "learning_rate": 1.9053333333333333e-05,
      "loss": 1.8358,
      "step": 6964
    },
    {
      "epoch": 0.6191111111111111,
      "grad_norm": 1.639024257659912,
      "learning_rate": 1.904888888888889e-05,
      "loss": 1.6345,
      "step": 6965
    },
    {
      "epoch": 0.6192,
      "grad_norm": 1.3703535795211792,
      "learning_rate": 1.9044444444444446e-05,
      "loss": 1.3853,
      "step": 6966
    },
    {
      "epoch": 0.6192888888888889,
      "grad_norm": 1.6186319589614868,
      "learning_rate": 1.904e-05,
      "loss": 1.4497,
      "step": 6967
    },
    {
      "epoch": 0.6193777777777778,
      "grad_norm": 1.4105160236358643,
      "learning_rate": 1.9035555555555556e-05,
      "loss": 1.5151,
      "step": 6968
    },
    {
      "epoch": 0.6194666666666667,
      "grad_norm": 1.3940500020980835,
      "learning_rate": 1.903111111111111e-05,
      "loss": 1.6419,
      "step": 6969
    },
    {
      "epoch": 0.6195555555555555,
      "grad_norm": 1.6594394445419312,
      "learning_rate": 1.902666666666667e-05,
      "loss": 1.5054,
      "step": 6970
    },
    {
      "epoch": 0.6196444444444444,
      "grad_norm": 1.5945401191711426,
      "learning_rate": 1.9022222222222223e-05,
      "loss": 1.469,
      "step": 6971
    },
    {
      "epoch": 0.6197333333333334,
      "grad_norm": 1.4877407550811768,
      "learning_rate": 1.9017777777777778e-05,
      "loss": 1.6375,
      "step": 6972
    },
    {
      "epoch": 0.6198222222222223,
      "grad_norm": 2.290816307067871,
      "learning_rate": 1.9013333333333333e-05,
      "loss": 1.5326,
      "step": 6973
    },
    {
      "epoch": 0.6199111111111111,
      "grad_norm": 1.9654645919799805,
      "learning_rate": 1.900888888888889e-05,
      "loss": 1.6279,
      "step": 6974
    },
    {
      "epoch": 0.62,
      "grad_norm": 1.8680498600006104,
      "learning_rate": 1.9004444444444443e-05,
      "loss": 1.6331,
      "step": 6975
    },
    {
      "epoch": 0.6200888888888889,
      "grad_norm": 1.7989860773086548,
      "learning_rate": 1.9e-05,
      "loss": 1.6591,
      "step": 6976
    },
    {
      "epoch": 0.6201777777777778,
      "grad_norm": 1.5422383546829224,
      "learning_rate": 1.8995555555555556e-05,
      "loss": 1.4884,
      "step": 6977
    },
    {
      "epoch": 0.6202666666666666,
      "grad_norm": 1.838303804397583,
      "learning_rate": 1.899111111111111e-05,
      "loss": 1.8526,
      "step": 6978
    },
    {
      "epoch": 0.6203555555555555,
      "grad_norm": 1.7294739484786987,
      "learning_rate": 1.8986666666666666e-05,
      "loss": 1.6416,
      "step": 6979
    },
    {
      "epoch": 0.6204444444444445,
      "grad_norm": 2.2658402919769287,
      "learning_rate": 1.8982222222222224e-05,
      "loss": 1.4757,
      "step": 6980
    },
    {
      "epoch": 0.6205333333333334,
      "grad_norm": 1.3242968320846558,
      "learning_rate": 1.897777777777778e-05,
      "loss": 1.2423,
      "step": 6981
    },
    {
      "epoch": 0.6206222222222222,
      "grad_norm": 1.735384225845337,
      "learning_rate": 1.8973333333333334e-05,
      "loss": 1.5648,
      "step": 6982
    },
    {
      "epoch": 0.6207111111111111,
      "grad_norm": 2.110255241394043,
      "learning_rate": 1.896888888888889e-05,
      "loss": 1.7913,
      "step": 6983
    },
    {
      "epoch": 0.6208,
      "grad_norm": 1.4828619956970215,
      "learning_rate": 1.8964444444444447e-05,
      "loss": 1.4813,
      "step": 6984
    },
    {
      "epoch": 0.6208888888888889,
      "grad_norm": 1.3576723337173462,
      "learning_rate": 1.896e-05,
      "loss": 1.5515,
      "step": 6985
    },
    {
      "epoch": 0.6209777777777777,
      "grad_norm": 1.681562900543213,
      "learning_rate": 1.8955555555555556e-05,
      "loss": 1.8558,
      "step": 6986
    },
    {
      "epoch": 0.6210666666666667,
      "grad_norm": 1.603988766670227,
      "learning_rate": 1.895111111111111e-05,
      "loss": 1.6072,
      "step": 6987
    },
    {
      "epoch": 0.6211555555555556,
      "grad_norm": 1.4611374139785767,
      "learning_rate": 1.894666666666667e-05,
      "loss": 1.6739,
      "step": 6988
    },
    {
      "epoch": 0.6212444444444445,
      "grad_norm": 2.003687858581543,
      "learning_rate": 1.894222222222222e-05,
      "loss": 1.6814,
      "step": 6989
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 1.5814576148986816,
      "learning_rate": 1.893777777777778e-05,
      "loss": 1.688,
      "step": 6990
    },
    {
      "epoch": 0.6214222222222222,
      "grad_norm": 1.61452054977417,
      "learning_rate": 1.8933333333333334e-05,
      "loss": 1.5567,
      "step": 6991
    },
    {
      "epoch": 0.6215111111111111,
      "grad_norm": 1.6267791986465454,
      "learning_rate": 1.8928888888888892e-05,
      "loss": 1.7495,
      "step": 6992
    },
    {
      "epoch": 0.6216,
      "grad_norm": 1.5402880907058716,
      "learning_rate": 1.8924444444444444e-05,
      "loss": 1.5969,
      "step": 6993
    },
    {
      "epoch": 0.6216888888888888,
      "grad_norm": 1.9040424823760986,
      "learning_rate": 1.8920000000000002e-05,
      "loss": 1.4105,
      "step": 6994
    },
    {
      "epoch": 0.6217777777777778,
      "grad_norm": 1.375237226486206,
      "learning_rate": 1.8915555555555557e-05,
      "loss": 1.6124,
      "step": 6995
    },
    {
      "epoch": 0.6218666666666667,
      "grad_norm": 1.8411575555801392,
      "learning_rate": 1.891111111111111e-05,
      "loss": 1.5179,
      "step": 6996
    },
    {
      "epoch": 0.6219555555555556,
      "grad_norm": 1.7191929817199707,
      "learning_rate": 1.8906666666666666e-05,
      "loss": 1.4775,
      "step": 6997
    },
    {
      "epoch": 0.6220444444444444,
      "grad_norm": 1.724788784980774,
      "learning_rate": 1.8902222222222225e-05,
      "loss": 1.8293,
      "step": 6998
    },
    {
      "epoch": 0.6221333333333333,
      "grad_norm": 1.3269413709640503,
      "learning_rate": 1.889777777777778e-05,
      "loss": 1.4837,
      "step": 6999
    },
    {
      "epoch": 0.6222222222222222,
      "grad_norm": 1.3915834426879883,
      "learning_rate": 1.8893333333333334e-05,
      "loss": 1.5068,
      "step": 7000
    },
    {
      "epoch": 0.6223111111111111,
      "grad_norm": 1.4089070558547974,
      "learning_rate": 1.888888888888889e-05,
      "loss": 1.5457,
      "step": 7001
    },
    {
      "epoch": 0.6224,
      "grad_norm": 1.344204068183899,
      "learning_rate": 1.8884444444444447e-05,
      "loss": 1.3596,
      "step": 7002
    },
    {
      "epoch": 0.6224888888888889,
      "grad_norm": 1.4152566194534302,
      "learning_rate": 1.888e-05,
      "loss": 1.6039,
      "step": 7003
    },
    {
      "epoch": 0.6225777777777778,
      "grad_norm": 1.4290287494659424,
      "learning_rate": 1.8875555555555557e-05,
      "loss": 1.4779,
      "step": 7004
    },
    {
      "epoch": 0.6226666666666667,
      "grad_norm": 1.5305099487304688,
      "learning_rate": 1.8871111111111112e-05,
      "loss": 1.5255,
      "step": 7005
    },
    {
      "epoch": 0.6227555555555555,
      "grad_norm": 1.537132740020752,
      "learning_rate": 1.886666666666667e-05,
      "loss": 1.6232,
      "step": 7006
    },
    {
      "epoch": 0.6228444444444444,
      "grad_norm": 2.9488415718078613,
      "learning_rate": 1.886222222222222e-05,
      "loss": 1.817,
      "step": 7007
    },
    {
      "epoch": 0.6229333333333333,
      "grad_norm": 1.8491206169128418,
      "learning_rate": 1.885777777777778e-05,
      "loss": 1.5537,
      "step": 7008
    },
    {
      "epoch": 0.6230222222222223,
      "grad_norm": 1.719325304031372,
      "learning_rate": 1.8853333333333335e-05,
      "loss": 1.5662,
      "step": 7009
    },
    {
      "epoch": 0.6231111111111111,
      "grad_norm": 1.6678426265716553,
      "learning_rate": 1.884888888888889e-05,
      "loss": 1.7926,
      "step": 7010
    },
    {
      "epoch": 0.6232,
      "grad_norm": 1.7399667501449585,
      "learning_rate": 1.8844444444444444e-05,
      "loss": 1.6235,
      "step": 7011
    },
    {
      "epoch": 0.6232888888888889,
      "grad_norm": 1.4737035036087036,
      "learning_rate": 1.8840000000000003e-05,
      "loss": 1.5495,
      "step": 7012
    },
    {
      "epoch": 0.6233777777777778,
      "grad_norm": 2.095979690551758,
      "learning_rate": 1.8835555555555557e-05,
      "loss": 1.694,
      "step": 7013
    },
    {
      "epoch": 0.6234666666666666,
      "grad_norm": 1.802627682685852,
      "learning_rate": 1.8831111111111112e-05,
      "loss": 1.5551,
      "step": 7014
    },
    {
      "epoch": 0.6235555555555555,
      "grad_norm": 1.503824234008789,
      "learning_rate": 1.8826666666666667e-05,
      "loss": 1.398,
      "step": 7015
    },
    {
      "epoch": 0.6236444444444444,
      "grad_norm": 1.418884515762329,
      "learning_rate": 1.8822222222222225e-05,
      "loss": 1.6079,
      "step": 7016
    },
    {
      "epoch": 0.6237333333333334,
      "grad_norm": 1.4921761751174927,
      "learning_rate": 1.881777777777778e-05,
      "loss": 1.6839,
      "step": 7017
    },
    {
      "epoch": 0.6238222222222222,
      "grad_norm": 1.581613540649414,
      "learning_rate": 1.8813333333333335e-05,
      "loss": 1.6931,
      "step": 7018
    },
    {
      "epoch": 0.6239111111111111,
      "grad_norm": 1.378700613975525,
      "learning_rate": 1.880888888888889e-05,
      "loss": 1.5864,
      "step": 7019
    },
    {
      "epoch": 0.624,
      "grad_norm": 1.4733176231384277,
      "learning_rate": 1.8804444444444445e-05,
      "loss": 1.6419,
      "step": 7020
    },
    {
      "epoch": 0.6240888888888889,
      "grad_norm": 1.468159794807434,
      "learning_rate": 1.88e-05,
      "loss": 1.6721,
      "step": 7021
    },
    {
      "epoch": 0.6241777777777778,
      "grad_norm": 2.407292366027832,
      "learning_rate": 1.8795555555555554e-05,
      "loss": 1.5874,
      "step": 7022
    },
    {
      "epoch": 0.6242666666666666,
      "grad_norm": 1.9441825151443481,
      "learning_rate": 1.8791111111111113e-05,
      "loss": 1.6789,
      "step": 7023
    },
    {
      "epoch": 0.6243555555555556,
      "grad_norm": 2.090057611465454,
      "learning_rate": 1.8786666666666667e-05,
      "loss": 1.7645,
      "step": 7024
    },
    {
      "epoch": 0.6244444444444445,
      "grad_norm": 1.393858790397644,
      "learning_rate": 1.8782222222222222e-05,
      "loss": 1.409,
      "step": 7025
    },
    {
      "epoch": 0.6245333333333334,
      "grad_norm": 1.7617700099945068,
      "learning_rate": 1.8777777777777777e-05,
      "loss": 1.6763,
      "step": 7026
    },
    {
      "epoch": 0.6246222222222222,
      "grad_norm": 1.4063186645507812,
      "learning_rate": 1.8773333333333335e-05,
      "loss": 1.5706,
      "step": 7027
    },
    {
      "epoch": 0.6247111111111111,
      "grad_norm": 1.3576685190200806,
      "learning_rate": 1.876888888888889e-05,
      "loss": 1.4297,
      "step": 7028
    },
    {
      "epoch": 0.6248,
      "grad_norm": 1.7793570756912231,
      "learning_rate": 1.8764444444444445e-05,
      "loss": 1.798,
      "step": 7029
    },
    {
      "epoch": 0.6248888888888889,
      "grad_norm": 1.5472447872161865,
      "learning_rate": 1.876e-05,
      "loss": 1.4883,
      "step": 7030
    },
    {
      "epoch": 0.6249777777777777,
      "grad_norm": 1.437892198562622,
      "learning_rate": 1.8755555555555558e-05,
      "loss": 1.5665,
      "step": 7031
    },
    {
      "epoch": 0.6250666666666667,
      "grad_norm": 1.6391774415969849,
      "learning_rate": 1.875111111111111e-05,
      "loss": 1.6316,
      "step": 7032
    },
    {
      "epoch": 0.6251555555555556,
      "grad_norm": 1.598455786705017,
      "learning_rate": 1.8746666666666668e-05,
      "loss": 1.5893,
      "step": 7033
    },
    {
      "epoch": 0.6252444444444445,
      "grad_norm": 1.9196553230285645,
      "learning_rate": 1.8742222222222223e-05,
      "loss": 1.7139,
      "step": 7034
    },
    {
      "epoch": 0.6253333333333333,
      "grad_norm": 1.463950753211975,
      "learning_rate": 1.8737777777777778e-05,
      "loss": 1.7462,
      "step": 7035
    },
    {
      "epoch": 0.6254222222222222,
      "grad_norm": 1.728581190109253,
      "learning_rate": 1.8733333333333332e-05,
      "loss": 1.4912,
      "step": 7036
    },
    {
      "epoch": 0.6255111111111111,
      "grad_norm": 1.536559820175171,
      "learning_rate": 1.872888888888889e-05,
      "loss": 1.6794,
      "step": 7037
    },
    {
      "epoch": 0.6256,
      "grad_norm": 1.7003945112228394,
      "learning_rate": 1.8724444444444445e-05,
      "loss": 1.8035,
      "step": 7038
    },
    {
      "epoch": 0.6256888888888889,
      "grad_norm": 1.6383832693099976,
      "learning_rate": 1.872e-05,
      "loss": 1.7124,
      "step": 7039
    },
    {
      "epoch": 0.6257777777777778,
      "grad_norm": 1.6113816499710083,
      "learning_rate": 1.8715555555555555e-05,
      "loss": 1.8539,
      "step": 7040
    },
    {
      "epoch": 0.6258666666666667,
      "grad_norm": 1.7382758855819702,
      "learning_rate": 1.8711111111111113e-05,
      "loss": 1.6085,
      "step": 7041
    },
    {
      "epoch": 0.6259555555555556,
      "grad_norm": 1.8386869430541992,
      "learning_rate": 1.8706666666666668e-05,
      "loss": 1.7264,
      "step": 7042
    },
    {
      "epoch": 0.6260444444444444,
      "grad_norm": 2.214390993118286,
      "learning_rate": 1.8702222222222223e-05,
      "loss": 1.7353,
      "step": 7043
    },
    {
      "epoch": 0.6261333333333333,
      "grad_norm": 1.59181547164917,
      "learning_rate": 1.8697777777777778e-05,
      "loss": 1.4952,
      "step": 7044
    },
    {
      "epoch": 0.6262222222222222,
      "grad_norm": 1.3609521389007568,
      "learning_rate": 1.8693333333333336e-05,
      "loss": 1.2443,
      "step": 7045
    },
    {
      "epoch": 0.6263111111111112,
      "grad_norm": 1.6265188455581665,
      "learning_rate": 1.8688888888888888e-05,
      "loss": 1.606,
      "step": 7046
    },
    {
      "epoch": 0.6264,
      "grad_norm": 1.9760340452194214,
      "learning_rate": 1.8684444444444446e-05,
      "loss": 1.8052,
      "step": 7047
    },
    {
      "epoch": 0.6264888888888889,
      "grad_norm": 1.5413283109664917,
      "learning_rate": 1.868e-05,
      "loss": 1.6375,
      "step": 7048
    },
    {
      "epoch": 0.6265777777777778,
      "grad_norm": 1.554739236831665,
      "learning_rate": 1.8675555555555556e-05,
      "loss": 1.5666,
      "step": 7049
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 1.5216752290725708,
      "learning_rate": 1.867111111111111e-05,
      "loss": 1.5272,
      "step": 7050
    },
    {
      "epoch": 0.6267555555555555,
      "grad_norm": 1.6057827472686768,
      "learning_rate": 1.866666666666667e-05,
      "loss": 1.4796,
      "step": 7051
    },
    {
      "epoch": 0.6268444444444444,
      "grad_norm": 1.6648844480514526,
      "learning_rate": 1.8662222222222223e-05,
      "loss": 1.6486,
      "step": 7052
    },
    {
      "epoch": 0.6269333333333333,
      "grad_norm": 1.6948970556259155,
      "learning_rate": 1.865777777777778e-05,
      "loss": 1.6145,
      "step": 7053
    },
    {
      "epoch": 0.6270222222222223,
      "grad_norm": 1.5872794389724731,
      "learning_rate": 1.8653333333333333e-05,
      "loss": 1.5687,
      "step": 7054
    },
    {
      "epoch": 0.6271111111111111,
      "grad_norm": 1.8630056381225586,
      "learning_rate": 1.864888888888889e-05,
      "loss": 1.4381,
      "step": 7055
    },
    {
      "epoch": 0.6272,
      "grad_norm": 1.8101462125778198,
      "learning_rate": 1.8644444444444446e-05,
      "loss": 1.5177,
      "step": 7056
    },
    {
      "epoch": 0.6272888888888889,
      "grad_norm": 1.3897652626037598,
      "learning_rate": 1.864e-05,
      "loss": 1.3705,
      "step": 7057
    },
    {
      "epoch": 0.6273777777777778,
      "grad_norm": 1.3017668724060059,
      "learning_rate": 1.8635555555555556e-05,
      "loss": 1.272,
      "step": 7058
    },
    {
      "epoch": 0.6274666666666666,
      "grad_norm": 1.4651180505752563,
      "learning_rate": 1.8631111111111114e-05,
      "loss": 1.4849,
      "step": 7059
    },
    {
      "epoch": 0.6275555555555555,
      "grad_norm": 1.4134374856948853,
      "learning_rate": 1.8626666666666666e-05,
      "loss": 1.3566,
      "step": 7060
    },
    {
      "epoch": 0.6276444444444444,
      "grad_norm": 1.5026488304138184,
      "learning_rate": 1.8622222222222224e-05,
      "loss": 1.4841,
      "step": 7061
    },
    {
      "epoch": 0.6277333333333334,
      "grad_norm": 1.4085447788238525,
      "learning_rate": 1.861777777777778e-05,
      "loss": 1.3704,
      "step": 7062
    },
    {
      "epoch": 0.6278222222222222,
      "grad_norm": 1.4932267665863037,
      "learning_rate": 1.8613333333333337e-05,
      "loss": 1.4212,
      "step": 7063
    },
    {
      "epoch": 0.6279111111111111,
      "grad_norm": 1.5728724002838135,
      "learning_rate": 1.860888888888889e-05,
      "loss": 1.6157,
      "step": 7064
    },
    {
      "epoch": 0.628,
      "grad_norm": 1.4909708499908447,
      "learning_rate": 1.8604444444444447e-05,
      "loss": 1.4706,
      "step": 7065
    },
    {
      "epoch": 0.6280888888888889,
      "grad_norm": 1.6383014917373657,
      "learning_rate": 1.86e-05,
      "loss": 1.5408,
      "step": 7066
    },
    {
      "epoch": 0.6281777777777777,
      "grad_norm": 1.3997145891189575,
      "learning_rate": 1.8595555555555556e-05,
      "loss": 1.2542,
      "step": 7067
    },
    {
      "epoch": 0.6282666666666666,
      "grad_norm": 1.5418912172317505,
      "learning_rate": 1.859111111111111e-05,
      "loss": 1.5819,
      "step": 7068
    },
    {
      "epoch": 0.6283555555555556,
      "grad_norm": 2.700266122817993,
      "learning_rate": 1.858666666666667e-05,
      "loss": 1.652,
      "step": 7069
    },
    {
      "epoch": 0.6284444444444445,
      "grad_norm": 1.70534086227417,
      "learning_rate": 1.8582222222222224e-05,
      "loss": 1.6085,
      "step": 7070
    },
    {
      "epoch": 0.6285333333333334,
      "grad_norm": 1.41629159450531,
      "learning_rate": 1.8577777777777776e-05,
      "loss": 1.3529,
      "step": 7071
    },
    {
      "epoch": 0.6286222222222222,
      "grad_norm": 1.6318018436431885,
      "learning_rate": 1.8573333333333334e-05,
      "loss": 1.4913,
      "step": 7072
    },
    {
      "epoch": 0.6287111111111111,
      "grad_norm": 1.3849623203277588,
      "learning_rate": 1.856888888888889e-05,
      "loss": 1.5888,
      "step": 7073
    },
    {
      "epoch": 0.6288,
      "grad_norm": 1.5369552373886108,
      "learning_rate": 1.8564444444444447e-05,
      "loss": 1.4908,
      "step": 7074
    },
    {
      "epoch": 0.6288888888888889,
      "grad_norm": 1.6333240270614624,
      "learning_rate": 1.856e-05,
      "loss": 1.7027,
      "step": 7075
    },
    {
      "epoch": 0.6289777777777777,
      "grad_norm": 1.520985722541809,
      "learning_rate": 1.8555555555555557e-05,
      "loss": 1.5129,
      "step": 7076
    },
    {
      "epoch": 0.6290666666666667,
      "grad_norm": 1.6871874332427979,
      "learning_rate": 1.855111111111111e-05,
      "loss": 1.4611,
      "step": 7077
    },
    {
      "epoch": 0.6291555555555556,
      "grad_norm": 1.5973974466323853,
      "learning_rate": 1.8546666666666666e-05,
      "loss": 1.4391,
      "step": 7078
    },
    {
      "epoch": 0.6292444444444445,
      "grad_norm": 1.5610159635543823,
      "learning_rate": 1.854222222222222e-05,
      "loss": 1.483,
      "step": 7079
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 1.660543441772461,
      "learning_rate": 1.853777777777778e-05,
      "loss": 1.6662,
      "step": 7080
    },
    {
      "epoch": 0.6294222222222222,
      "grad_norm": 1.7698609828948975,
      "learning_rate": 1.8533333333333334e-05,
      "loss": 1.5818,
      "step": 7081
    },
    {
      "epoch": 0.6295111111111111,
      "grad_norm": 1.4091602563858032,
      "learning_rate": 1.852888888888889e-05,
      "loss": 1.6041,
      "step": 7082
    },
    {
      "epoch": 0.6296,
      "grad_norm": 1.6501734256744385,
      "learning_rate": 1.8524444444444444e-05,
      "loss": 1.5137,
      "step": 7083
    },
    {
      "epoch": 0.6296888888888889,
      "grad_norm": 1.5251555442810059,
      "learning_rate": 1.8520000000000002e-05,
      "loss": 1.6099,
      "step": 7084
    },
    {
      "epoch": 0.6297777777777778,
      "grad_norm": 1.5110969543457031,
      "learning_rate": 1.8515555555555557e-05,
      "loss": 1.6316,
      "step": 7085
    },
    {
      "epoch": 0.6298666666666667,
      "grad_norm": 1.8293861150741577,
      "learning_rate": 1.8511111111111112e-05,
      "loss": 1.5597,
      "step": 7086
    },
    {
      "epoch": 0.6299555555555556,
      "grad_norm": 1.6834529638290405,
      "learning_rate": 1.8506666666666667e-05,
      "loss": 1.3961,
      "step": 7087
    },
    {
      "epoch": 0.6300444444444444,
      "grad_norm": 1.3992762565612793,
      "learning_rate": 1.8502222222222225e-05,
      "loss": 1.435,
      "step": 7088
    },
    {
      "epoch": 0.6301333333333333,
      "grad_norm": 1.7146995067596436,
      "learning_rate": 1.8497777777777776e-05,
      "loss": 1.6425,
      "step": 7089
    },
    {
      "epoch": 0.6302222222222222,
      "grad_norm": 1.4047363996505737,
      "learning_rate": 1.8493333333333335e-05,
      "loss": 1.3943,
      "step": 7090
    },
    {
      "epoch": 0.6303111111111112,
      "grad_norm": 1.542053461074829,
      "learning_rate": 1.848888888888889e-05,
      "loss": 1.6852,
      "step": 7091
    },
    {
      "epoch": 0.6304,
      "grad_norm": 1.9581433534622192,
      "learning_rate": 1.8484444444444444e-05,
      "loss": 1.6175,
      "step": 7092
    },
    {
      "epoch": 0.6304888888888889,
      "grad_norm": 1.64387845993042,
      "learning_rate": 1.848e-05,
      "loss": 1.702,
      "step": 7093
    },
    {
      "epoch": 0.6305777777777778,
      "grad_norm": 1.492464542388916,
      "learning_rate": 1.8475555555555557e-05,
      "loss": 1.5274,
      "step": 7094
    },
    {
      "epoch": 0.6306666666666667,
      "grad_norm": 1.4988261461257935,
      "learning_rate": 1.8471111111111112e-05,
      "loss": 1.5867,
      "step": 7095
    },
    {
      "epoch": 0.6307555555555555,
      "grad_norm": 1.5320194959640503,
      "learning_rate": 1.8466666666666667e-05,
      "loss": 1.6211,
      "step": 7096
    },
    {
      "epoch": 0.6308444444444444,
      "grad_norm": 1.388611912727356,
      "learning_rate": 1.8462222222222222e-05,
      "loss": 1.4613,
      "step": 7097
    },
    {
      "epoch": 0.6309333333333333,
      "grad_norm": 1.4966572523117065,
      "learning_rate": 1.845777777777778e-05,
      "loss": 1.3689,
      "step": 7098
    },
    {
      "epoch": 0.6310222222222223,
      "grad_norm": 1.515135645866394,
      "learning_rate": 1.8453333333333335e-05,
      "loss": 1.6083,
      "step": 7099
    },
    {
      "epoch": 0.6311111111111111,
      "grad_norm": 1.8435648679733276,
      "learning_rate": 1.844888888888889e-05,
      "loss": 1.5734,
      "step": 7100
    },
    {
      "epoch": 0.6312,
      "grad_norm": 1.934068202972412,
      "learning_rate": 1.8444444444444445e-05,
      "loss": 1.5927,
      "step": 7101
    },
    {
      "epoch": 0.6312888888888889,
      "grad_norm": 1.9381157159805298,
      "learning_rate": 1.8440000000000003e-05,
      "loss": 1.4107,
      "step": 7102
    },
    {
      "epoch": 0.6313777777777778,
      "grad_norm": 1.4140841960906982,
      "learning_rate": 1.8435555555555554e-05,
      "loss": 1.5924,
      "step": 7103
    },
    {
      "epoch": 0.6314666666666666,
      "grad_norm": 1.5437251329421997,
      "learning_rate": 1.8431111111111113e-05,
      "loss": 1.5248,
      "step": 7104
    },
    {
      "epoch": 0.6315555555555555,
      "grad_norm": 1.9641098976135254,
      "learning_rate": 1.8426666666666668e-05,
      "loss": 1.5819,
      "step": 7105
    },
    {
      "epoch": 0.6316444444444445,
      "grad_norm": 1.9845929145812988,
      "learning_rate": 1.8422222222222222e-05,
      "loss": 1.8125,
      "step": 7106
    },
    {
      "epoch": 0.6317333333333334,
      "grad_norm": 1.6920650005340576,
      "learning_rate": 1.8417777777777777e-05,
      "loss": 1.4079,
      "step": 7107
    },
    {
      "epoch": 0.6318222222222222,
      "grad_norm": 1.77434504032135,
      "learning_rate": 1.8413333333333335e-05,
      "loss": 1.5316,
      "step": 7108
    },
    {
      "epoch": 0.6319111111111111,
      "grad_norm": 1.3811002969741821,
      "learning_rate": 1.840888888888889e-05,
      "loss": 1.736,
      "step": 7109
    },
    {
      "epoch": 0.632,
      "grad_norm": 1.6857881546020508,
      "learning_rate": 1.8404444444444445e-05,
      "loss": 1.6627,
      "step": 7110
    },
    {
      "epoch": 0.6320888888888889,
      "grad_norm": 1.8856651782989502,
      "learning_rate": 1.84e-05,
      "loss": 1.4399,
      "step": 7111
    },
    {
      "epoch": 0.6321777777777777,
      "grad_norm": 1.7792385816574097,
      "learning_rate": 1.8395555555555558e-05,
      "loss": 1.4914,
      "step": 7112
    },
    {
      "epoch": 0.6322666666666666,
      "grad_norm": 1.398615837097168,
      "learning_rate": 1.8391111111111113e-05,
      "loss": 1.6352,
      "step": 7113
    },
    {
      "epoch": 0.6323555555555556,
      "grad_norm": 1.4629069566726685,
      "learning_rate": 1.8386666666666668e-05,
      "loss": 1.5089,
      "step": 7114
    },
    {
      "epoch": 0.6324444444444445,
      "grad_norm": 1.5020838975906372,
      "learning_rate": 1.8382222222222223e-05,
      "loss": 1.5488,
      "step": 7115
    },
    {
      "epoch": 0.6325333333333333,
      "grad_norm": 2.053863763809204,
      "learning_rate": 1.837777777777778e-05,
      "loss": 1.7203,
      "step": 7116
    },
    {
      "epoch": 0.6326222222222222,
      "grad_norm": 1.889796257019043,
      "learning_rate": 1.8373333333333332e-05,
      "loss": 1.6398,
      "step": 7117
    },
    {
      "epoch": 0.6327111111111111,
      "grad_norm": 2.048800468444824,
      "learning_rate": 1.836888888888889e-05,
      "loss": 1.5831,
      "step": 7118
    },
    {
      "epoch": 0.6328,
      "grad_norm": 1.887792944908142,
      "learning_rate": 1.8364444444444446e-05,
      "loss": 1.4995,
      "step": 7119
    },
    {
      "epoch": 0.6328888888888888,
      "grad_norm": 1.6109548807144165,
      "learning_rate": 1.8360000000000004e-05,
      "loss": 1.5137,
      "step": 7120
    },
    {
      "epoch": 0.6329777777777778,
      "grad_norm": 1.4765045642852783,
      "learning_rate": 1.8355555555555555e-05,
      "loss": 1.5013,
      "step": 7121
    },
    {
      "epoch": 0.6330666666666667,
      "grad_norm": 1.8228614330291748,
      "learning_rate": 1.8351111111111113e-05,
      "loss": 1.6322,
      "step": 7122
    },
    {
      "epoch": 0.6331555555555556,
      "grad_norm": 1.6686240434646606,
      "learning_rate": 1.834666666666667e-05,
      "loss": 1.33,
      "step": 7123
    },
    {
      "epoch": 0.6332444444444445,
      "grad_norm": 1.3978049755096436,
      "learning_rate": 1.8342222222222223e-05,
      "loss": 1.3974,
      "step": 7124
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 1.5100476741790771,
      "learning_rate": 1.8337777777777778e-05,
      "loss": 1.634,
      "step": 7125
    },
    {
      "epoch": 0.6334222222222222,
      "grad_norm": 1.936672329902649,
      "learning_rate": 1.8333333333333333e-05,
      "loss": 1.5793,
      "step": 7126
    },
    {
      "epoch": 0.6335111111111111,
      "grad_norm": 1.6552995443344116,
      "learning_rate": 1.832888888888889e-05,
      "loss": 1.5108,
      "step": 7127
    },
    {
      "epoch": 0.6336,
      "grad_norm": 1.9948617219924927,
      "learning_rate": 1.8324444444444443e-05,
      "loss": 1.6193,
      "step": 7128
    },
    {
      "epoch": 0.6336888888888889,
      "grad_norm": 1.5425350666046143,
      "learning_rate": 1.832e-05,
      "loss": 1.6939,
      "step": 7129
    },
    {
      "epoch": 0.6337777777777778,
      "grad_norm": 1.4045343399047852,
      "learning_rate": 1.8315555555555556e-05,
      "loss": 1.4705,
      "step": 7130
    },
    {
      "epoch": 0.6338666666666667,
      "grad_norm": 1.4410775899887085,
      "learning_rate": 1.8311111111111114e-05,
      "loss": 1.4468,
      "step": 7131
    },
    {
      "epoch": 0.6339555555555556,
      "grad_norm": 1.4254919290542603,
      "learning_rate": 1.8306666666666665e-05,
      "loss": 1.37,
      "step": 7132
    },
    {
      "epoch": 0.6340444444444444,
      "grad_norm": 1.7063465118408203,
      "learning_rate": 1.8302222222222224e-05,
      "loss": 1.7158,
      "step": 7133
    },
    {
      "epoch": 0.6341333333333333,
      "grad_norm": 1.5567768812179565,
      "learning_rate": 1.829777777777778e-05,
      "loss": 1.7483,
      "step": 7134
    },
    {
      "epoch": 0.6342222222222222,
      "grad_norm": 1.8198984861373901,
      "learning_rate": 1.8293333333333333e-05,
      "loss": 1.7724,
      "step": 7135
    },
    {
      "epoch": 0.6343111111111112,
      "grad_norm": 1.5190659761428833,
      "learning_rate": 1.8288888888888888e-05,
      "loss": 1.5249,
      "step": 7136
    },
    {
      "epoch": 0.6344,
      "grad_norm": 1.5509793758392334,
      "learning_rate": 1.8284444444444446e-05,
      "loss": 1.4633,
      "step": 7137
    },
    {
      "epoch": 0.6344888888888889,
      "grad_norm": 1.6860767602920532,
      "learning_rate": 1.828e-05,
      "loss": 1.6292,
      "step": 7138
    },
    {
      "epoch": 0.6345777777777778,
      "grad_norm": 1.5303642749786377,
      "learning_rate": 1.8275555555555556e-05,
      "loss": 1.6325,
      "step": 7139
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 1.7277425527572632,
      "learning_rate": 1.827111111111111e-05,
      "loss": 1.5031,
      "step": 7140
    },
    {
      "epoch": 0.6347555555555555,
      "grad_norm": 1.333899736404419,
      "learning_rate": 1.826666666666667e-05,
      "loss": 1.4819,
      "step": 7141
    },
    {
      "epoch": 0.6348444444444444,
      "grad_norm": 1.7587621212005615,
      "learning_rate": 1.826222222222222e-05,
      "loss": 1.4615,
      "step": 7142
    },
    {
      "epoch": 0.6349333333333333,
      "grad_norm": 1.452574610710144,
      "learning_rate": 1.825777777777778e-05,
      "loss": 1.5103,
      "step": 7143
    },
    {
      "epoch": 0.6350222222222223,
      "grad_norm": 1.45938241481781,
      "learning_rate": 1.8253333333333334e-05,
      "loss": 1.5794,
      "step": 7144
    },
    {
      "epoch": 0.6351111111111111,
      "grad_norm": 1.7068508863449097,
      "learning_rate": 1.8248888888888892e-05,
      "loss": 1.834,
      "step": 7145
    },
    {
      "epoch": 0.6352,
      "grad_norm": 1.676297664642334,
      "learning_rate": 1.8244444444444443e-05,
      "loss": 1.7979,
      "step": 7146
    },
    {
      "epoch": 0.6352888888888889,
      "grad_norm": 1.6591172218322754,
      "learning_rate": 1.824e-05,
      "loss": 1.6301,
      "step": 7147
    },
    {
      "epoch": 0.6353777777777778,
      "grad_norm": 1.5633416175842285,
      "learning_rate": 1.8235555555555556e-05,
      "loss": 1.7699,
      "step": 7148
    },
    {
      "epoch": 0.6354666666666666,
      "grad_norm": 1.92862069606781,
      "learning_rate": 1.823111111111111e-05,
      "loss": 1.5266,
      "step": 7149
    },
    {
      "epoch": 0.6355555555555555,
      "grad_norm": 1.7175596952438354,
      "learning_rate": 1.8226666666666666e-05,
      "loss": 1.8345,
      "step": 7150
    },
    {
      "epoch": 0.6356444444444445,
      "grad_norm": 1.5403871536254883,
      "learning_rate": 1.8222222222222224e-05,
      "loss": 1.5078,
      "step": 7151
    },
    {
      "epoch": 0.6357333333333334,
      "grad_norm": 1.6418226957321167,
      "learning_rate": 1.821777777777778e-05,
      "loss": 1.5747,
      "step": 7152
    },
    {
      "epoch": 0.6358222222222222,
      "grad_norm": 1.802729606628418,
      "learning_rate": 1.8213333333333334e-05,
      "loss": 1.5772,
      "step": 7153
    },
    {
      "epoch": 0.6359111111111111,
      "grad_norm": 1.757190465927124,
      "learning_rate": 1.820888888888889e-05,
      "loss": 1.554,
      "step": 7154
    },
    {
      "epoch": 0.636,
      "grad_norm": 1.4944448471069336,
      "learning_rate": 1.8204444444444447e-05,
      "loss": 1.4013,
      "step": 7155
    },
    {
      "epoch": 0.6360888888888889,
      "grad_norm": 1.4775317907333374,
      "learning_rate": 1.8200000000000002e-05,
      "loss": 1.7496,
      "step": 7156
    },
    {
      "epoch": 0.6361777777777777,
      "grad_norm": 1.8270323276519775,
      "learning_rate": 1.8195555555555557e-05,
      "loss": 1.4854,
      "step": 7157
    },
    {
      "epoch": 0.6362666666666666,
      "grad_norm": 1.5271934270858765,
      "learning_rate": 1.819111111111111e-05,
      "loss": 1.5059,
      "step": 7158
    },
    {
      "epoch": 0.6363555555555556,
      "grad_norm": 1.6492066383361816,
      "learning_rate": 1.818666666666667e-05,
      "loss": 1.837,
      "step": 7159
    },
    {
      "epoch": 0.6364444444444445,
      "grad_norm": 1.567677617073059,
      "learning_rate": 1.818222222222222e-05,
      "loss": 1.5492,
      "step": 7160
    },
    {
      "epoch": 0.6365333333333333,
      "grad_norm": 2.228811025619507,
      "learning_rate": 1.817777777777778e-05,
      "loss": 1.4357,
      "step": 7161
    },
    {
      "epoch": 0.6366222222222222,
      "grad_norm": 1.683883786201477,
      "learning_rate": 1.8173333333333334e-05,
      "loss": 1.6123,
      "step": 7162
    },
    {
      "epoch": 0.6367111111111111,
      "grad_norm": 1.8767540454864502,
      "learning_rate": 1.816888888888889e-05,
      "loss": 1.6051,
      "step": 7163
    },
    {
      "epoch": 0.6368,
      "grad_norm": 1.4381407499313354,
      "learning_rate": 1.8164444444444444e-05,
      "loss": 1.4655,
      "step": 7164
    },
    {
      "epoch": 0.6368888888888888,
      "grad_norm": 1.530342936515808,
      "learning_rate": 1.8160000000000002e-05,
      "loss": 1.6159,
      "step": 7165
    },
    {
      "epoch": 0.6369777777777778,
      "grad_norm": 1.5556666851043701,
      "learning_rate": 1.8155555555555557e-05,
      "loss": 1.6375,
      "step": 7166
    },
    {
      "epoch": 0.6370666666666667,
      "grad_norm": 1.5485880374908447,
      "learning_rate": 1.8151111111111112e-05,
      "loss": 1.508,
      "step": 7167
    },
    {
      "epoch": 0.6371555555555556,
      "grad_norm": 1.5608587265014648,
      "learning_rate": 1.8146666666666667e-05,
      "loss": 1.4252,
      "step": 7168
    },
    {
      "epoch": 0.6372444444444444,
      "grad_norm": 1.609531044960022,
      "learning_rate": 1.8142222222222225e-05,
      "loss": 1.4412,
      "step": 7169
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 1.9031175374984741,
      "learning_rate": 1.813777777777778e-05,
      "loss": 1.5797,
      "step": 7170
    },
    {
      "epoch": 0.6374222222222222,
      "grad_norm": 1.5476329326629639,
      "learning_rate": 1.8133333333333335e-05,
      "loss": 1.5153,
      "step": 7171
    },
    {
      "epoch": 0.6375111111111111,
      "grad_norm": 1.3732032775878906,
      "learning_rate": 1.812888888888889e-05,
      "loss": 1.3743,
      "step": 7172
    },
    {
      "epoch": 0.6376,
      "grad_norm": 1.757002830505371,
      "learning_rate": 1.8124444444444448e-05,
      "loss": 1.565,
      "step": 7173
    },
    {
      "epoch": 0.6376888888888889,
      "grad_norm": 1.648624062538147,
      "learning_rate": 1.812e-05,
      "loss": 1.8013,
      "step": 7174
    },
    {
      "epoch": 0.6377777777777778,
      "grad_norm": 1.8602019548416138,
      "learning_rate": 1.8115555555555554e-05,
      "loss": 1.5718,
      "step": 7175
    },
    {
      "epoch": 0.6378666666666667,
      "grad_norm": 1.502424716949463,
      "learning_rate": 1.8111111111111112e-05,
      "loss": 1.5852,
      "step": 7176
    },
    {
      "epoch": 0.6379555555555556,
      "grad_norm": 1.7987626791000366,
      "learning_rate": 1.8106666666666667e-05,
      "loss": 1.7133,
      "step": 7177
    },
    {
      "epoch": 0.6380444444444444,
      "grad_norm": 1.4376105070114136,
      "learning_rate": 1.8102222222222222e-05,
      "loss": 1.6364,
      "step": 7178
    },
    {
      "epoch": 0.6381333333333333,
      "grad_norm": 1.818390965461731,
      "learning_rate": 1.8097777777777777e-05,
      "loss": 2.0191,
      "step": 7179
    },
    {
      "epoch": 0.6382222222222222,
      "grad_norm": 1.446109652519226,
      "learning_rate": 1.8093333333333335e-05,
      "loss": 1.5893,
      "step": 7180
    },
    {
      "epoch": 0.6383111111111112,
      "grad_norm": 1.290732979774475,
      "learning_rate": 1.808888888888889e-05,
      "loss": 1.2595,
      "step": 7181
    },
    {
      "epoch": 0.6384,
      "grad_norm": 2.4713141918182373,
      "learning_rate": 1.8084444444444445e-05,
      "loss": 1.5122,
      "step": 7182
    },
    {
      "epoch": 0.6384888888888889,
      "grad_norm": 1.7339650392532349,
      "learning_rate": 1.808e-05,
      "loss": 1.5253,
      "step": 7183
    },
    {
      "epoch": 0.6385777777777778,
      "grad_norm": 2.0601377487182617,
      "learning_rate": 1.8075555555555558e-05,
      "loss": 1.5569,
      "step": 7184
    },
    {
      "epoch": 0.6386666666666667,
      "grad_norm": 1.7419731616973877,
      "learning_rate": 1.807111111111111e-05,
      "loss": 1.6634,
      "step": 7185
    },
    {
      "epoch": 0.6387555555555555,
      "grad_norm": 1.4796631336212158,
      "learning_rate": 1.8066666666666668e-05,
      "loss": 1.2774,
      "step": 7186
    },
    {
      "epoch": 0.6388444444444444,
      "grad_norm": 1.3930374383926392,
      "learning_rate": 1.8062222222222222e-05,
      "loss": 1.2846,
      "step": 7187
    },
    {
      "epoch": 0.6389333333333334,
      "grad_norm": 1.4617087841033936,
      "learning_rate": 1.805777777777778e-05,
      "loss": 1.3425,
      "step": 7188
    },
    {
      "epoch": 0.6390222222222223,
      "grad_norm": 2.085448980331421,
      "learning_rate": 1.8053333333333332e-05,
      "loss": 1.5744,
      "step": 7189
    },
    {
      "epoch": 0.6391111111111111,
      "grad_norm": 1.664762258529663,
      "learning_rate": 1.804888888888889e-05,
      "loss": 1.6125,
      "step": 7190
    },
    {
      "epoch": 0.6392,
      "grad_norm": 1.7798988819122314,
      "learning_rate": 1.8044444444444445e-05,
      "loss": 1.5717,
      "step": 7191
    },
    {
      "epoch": 0.6392888888888889,
      "grad_norm": 1.6978485584259033,
      "learning_rate": 1.804e-05,
      "loss": 1.5024,
      "step": 7192
    },
    {
      "epoch": 0.6393777777777778,
      "grad_norm": 1.4934594631195068,
      "learning_rate": 1.8035555555555555e-05,
      "loss": 1.6535,
      "step": 7193
    },
    {
      "epoch": 0.6394666666666666,
      "grad_norm": 1.5133557319641113,
      "learning_rate": 1.8031111111111113e-05,
      "loss": 1.3934,
      "step": 7194
    },
    {
      "epoch": 0.6395555555555555,
      "grad_norm": 1.617555022239685,
      "learning_rate": 1.8026666666666668e-05,
      "loss": 1.7266,
      "step": 7195
    },
    {
      "epoch": 0.6396444444444445,
      "grad_norm": 1.3867065906524658,
      "learning_rate": 1.8022222222222223e-05,
      "loss": 1.4599,
      "step": 7196
    },
    {
      "epoch": 0.6397333333333334,
      "grad_norm": 1.414283037185669,
      "learning_rate": 1.8017777777777778e-05,
      "loss": 1.6051,
      "step": 7197
    },
    {
      "epoch": 0.6398222222222222,
      "grad_norm": 2.2380030155181885,
      "learning_rate": 1.8013333333333336e-05,
      "loss": 1.5784,
      "step": 7198
    },
    {
      "epoch": 0.6399111111111111,
      "grad_norm": 1.3607826232910156,
      "learning_rate": 1.8008888888888887e-05,
      "loss": 1.2886,
      "step": 7199
    },
    {
      "epoch": 0.64,
      "grad_norm": 1.5799446105957031,
      "learning_rate": 1.8004444444444446e-05,
      "loss": 1.5899,
      "step": 7200
    },
    {
      "epoch": 0.6400888888888889,
      "grad_norm": 1.779414415359497,
      "learning_rate": 1.8e-05,
      "loss": 1.6434,
      "step": 7201
    },
    {
      "epoch": 0.6401777777777777,
      "grad_norm": 1.5013360977172852,
      "learning_rate": 1.799555555555556e-05,
      "loss": 1.4068,
      "step": 7202
    },
    {
      "epoch": 0.6402666666666667,
      "grad_norm": 1.3993651866912842,
      "learning_rate": 1.799111111111111e-05,
      "loss": 1.4037,
      "step": 7203
    },
    {
      "epoch": 0.6403555555555556,
      "grad_norm": 2.3515775203704834,
      "learning_rate": 1.798666666666667e-05,
      "loss": 1.591,
      "step": 7204
    },
    {
      "epoch": 0.6404444444444445,
      "grad_norm": 1.8211801052093506,
      "learning_rate": 1.7982222222222223e-05,
      "loss": 1.5223,
      "step": 7205
    },
    {
      "epoch": 0.6405333333333333,
      "grad_norm": 1.44731605052948,
      "learning_rate": 1.7977777777777778e-05,
      "loss": 1.6884,
      "step": 7206
    },
    {
      "epoch": 0.6406222222222222,
      "grad_norm": 1.7027677297592163,
      "learning_rate": 1.7973333333333333e-05,
      "loss": 1.6826,
      "step": 7207
    },
    {
      "epoch": 0.6407111111111111,
      "grad_norm": 1.5298060178756714,
      "learning_rate": 1.796888888888889e-05,
      "loss": 1.4906,
      "step": 7208
    },
    {
      "epoch": 0.6408,
      "grad_norm": 1.4790891408920288,
      "learning_rate": 1.7964444444444446e-05,
      "loss": 1.7189,
      "step": 7209
    },
    {
      "epoch": 0.6408888888888888,
      "grad_norm": 1.7444528341293335,
      "learning_rate": 1.796e-05,
      "loss": 1.5799,
      "step": 7210
    },
    {
      "epoch": 0.6409777777777778,
      "grad_norm": 1.5642651319503784,
      "learning_rate": 1.7955555555555556e-05,
      "loss": 1.5333,
      "step": 7211
    },
    {
      "epoch": 0.6410666666666667,
      "grad_norm": 1.3812904357910156,
      "learning_rate": 1.7951111111111114e-05,
      "loss": 1.4556,
      "step": 7212
    },
    {
      "epoch": 0.6411555555555556,
      "grad_norm": 1.7001597881317139,
      "learning_rate": 1.794666666666667e-05,
      "loss": 1.7287,
      "step": 7213
    },
    {
      "epoch": 0.6412444444444444,
      "grad_norm": 1.4403091669082642,
      "learning_rate": 1.7942222222222224e-05,
      "loss": 1.5424,
      "step": 7214
    },
    {
      "epoch": 0.6413333333333333,
      "grad_norm": 1.6259257793426514,
      "learning_rate": 1.793777777777778e-05,
      "loss": 1.3608,
      "step": 7215
    },
    {
      "epoch": 0.6414222222222222,
      "grad_norm": 1.8945974111557007,
      "learning_rate": 1.7933333333333337e-05,
      "loss": 1.456,
      "step": 7216
    },
    {
      "epoch": 0.6415111111111111,
      "grad_norm": 1.62107253074646,
      "learning_rate": 1.7928888888888888e-05,
      "loss": 1.5308,
      "step": 7217
    },
    {
      "epoch": 0.6416,
      "grad_norm": 1.533219337463379,
      "learning_rate": 1.7924444444444446e-05,
      "loss": 1.7143,
      "step": 7218
    },
    {
      "epoch": 0.6416888888888889,
      "grad_norm": 1.6087207794189453,
      "learning_rate": 1.792e-05,
      "loss": 1.5193,
      "step": 7219
    },
    {
      "epoch": 0.6417777777777778,
      "grad_norm": 2.0980143547058105,
      "learning_rate": 1.7915555555555556e-05,
      "loss": 1.4258,
      "step": 7220
    },
    {
      "epoch": 0.6418666666666667,
      "grad_norm": 2.654130458831787,
      "learning_rate": 1.791111111111111e-05,
      "loss": 1.7029,
      "step": 7221
    },
    {
      "epoch": 0.6419555555555555,
      "grad_norm": 1.6699384450912476,
      "learning_rate": 1.790666666666667e-05,
      "loss": 1.5303,
      "step": 7222
    },
    {
      "epoch": 0.6420444444444444,
      "grad_norm": 1.5451489686965942,
      "learning_rate": 1.7902222222222224e-05,
      "loss": 1.6259,
      "step": 7223
    },
    {
      "epoch": 0.6421333333333333,
      "grad_norm": 1.8109142780303955,
      "learning_rate": 1.789777777777778e-05,
      "loss": 1.5867,
      "step": 7224
    },
    {
      "epoch": 0.6422222222222222,
      "grad_norm": 1.4432352781295776,
      "learning_rate": 1.7893333333333334e-05,
      "loss": 1.3313,
      "step": 7225
    },
    {
      "epoch": 0.6423111111111112,
      "grad_norm": 1.5634102821350098,
      "learning_rate": 1.788888888888889e-05,
      "loss": 1.7439,
      "step": 7226
    },
    {
      "epoch": 0.6424,
      "grad_norm": 1.847621202468872,
      "learning_rate": 1.7884444444444447e-05,
      "loss": 1.432,
      "step": 7227
    },
    {
      "epoch": 0.6424888888888889,
      "grad_norm": 1.579937219619751,
      "learning_rate": 1.7879999999999998e-05,
      "loss": 1.3445,
      "step": 7228
    },
    {
      "epoch": 0.6425777777777778,
      "grad_norm": 1.6790637969970703,
      "learning_rate": 1.7875555555555556e-05,
      "loss": 1.8449,
      "step": 7229
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 1.4748835563659668,
      "learning_rate": 1.787111111111111e-05,
      "loss": 1.2957,
      "step": 7230
    },
    {
      "epoch": 0.6427555555555555,
      "grad_norm": 1.633880615234375,
      "learning_rate": 1.7866666666666666e-05,
      "loss": 1.5147,
      "step": 7231
    },
    {
      "epoch": 0.6428444444444444,
      "grad_norm": 1.5872645378112793,
      "learning_rate": 1.786222222222222e-05,
      "loss": 1.45,
      "step": 7232
    },
    {
      "epoch": 0.6429333333333334,
      "grad_norm": 1.6046385765075684,
      "learning_rate": 1.785777777777778e-05,
      "loss": 1.5161,
      "step": 7233
    },
    {
      "epoch": 0.6430222222222223,
      "grad_norm": 1.5000419616699219,
      "learning_rate": 1.7853333333333334e-05,
      "loss": 1.4942,
      "step": 7234
    },
    {
      "epoch": 0.6431111111111111,
      "grad_norm": 2.008307456970215,
      "learning_rate": 1.784888888888889e-05,
      "loss": 1.6036,
      "step": 7235
    },
    {
      "epoch": 0.6432,
      "grad_norm": 1.6059913635253906,
      "learning_rate": 1.7844444444444444e-05,
      "loss": 1.7385,
      "step": 7236
    },
    {
      "epoch": 0.6432888888888889,
      "grad_norm": 1.548393964767456,
      "learning_rate": 1.7840000000000002e-05,
      "loss": 1.6442,
      "step": 7237
    },
    {
      "epoch": 0.6433777777777778,
      "grad_norm": 1.3675956726074219,
      "learning_rate": 1.7835555555555557e-05,
      "loss": 1.465,
      "step": 7238
    },
    {
      "epoch": 0.6434666666666666,
      "grad_norm": 1.8186187744140625,
      "learning_rate": 1.783111111111111e-05,
      "loss": 1.7244,
      "step": 7239
    },
    {
      "epoch": 0.6435555555555555,
      "grad_norm": 1.366075873374939,
      "learning_rate": 1.7826666666666667e-05,
      "loss": 1.3991,
      "step": 7240
    },
    {
      "epoch": 0.6436444444444445,
      "grad_norm": 2.3548922538757324,
      "learning_rate": 1.7822222222222225e-05,
      "loss": 1.6168,
      "step": 7241
    },
    {
      "epoch": 0.6437333333333334,
      "grad_norm": 2.0955276489257812,
      "learning_rate": 1.7817777777777776e-05,
      "loss": 1.7804,
      "step": 7242
    },
    {
      "epoch": 0.6438222222222222,
      "grad_norm": 1.4657478332519531,
      "learning_rate": 1.7813333333333334e-05,
      "loss": 1.554,
      "step": 7243
    },
    {
      "epoch": 0.6439111111111111,
      "grad_norm": 1.795950174331665,
      "learning_rate": 1.780888888888889e-05,
      "loss": 1.6217,
      "step": 7244
    },
    {
      "epoch": 0.644,
      "grad_norm": 2.078228712081909,
      "learning_rate": 1.7804444444444444e-05,
      "loss": 1.7936,
      "step": 7245
    },
    {
      "epoch": 0.6440888888888889,
      "grad_norm": 1.6287569999694824,
      "learning_rate": 1.78e-05,
      "loss": 1.6734,
      "step": 7246
    },
    {
      "epoch": 0.6441777777777777,
      "grad_norm": 1.6282994747161865,
      "learning_rate": 1.7795555555555557e-05,
      "loss": 1.5908,
      "step": 7247
    },
    {
      "epoch": 0.6442666666666667,
      "grad_norm": 1.3272936344146729,
      "learning_rate": 1.7791111111111112e-05,
      "loss": 1.419,
      "step": 7248
    },
    {
      "epoch": 0.6443555555555556,
      "grad_norm": 1.5294418334960938,
      "learning_rate": 1.7786666666666667e-05,
      "loss": 1.5984,
      "step": 7249
    },
    {
      "epoch": 0.6444444444444445,
      "grad_norm": 1.788504719734192,
      "learning_rate": 1.7782222222222222e-05,
      "loss": 1.7236,
      "step": 7250
    },
    {
      "epoch": 0.6445333333333333,
      "grad_norm": 1.7296602725982666,
      "learning_rate": 1.777777777777778e-05,
      "loss": 1.7001,
      "step": 7251
    },
    {
      "epoch": 0.6446222222222222,
      "grad_norm": 1.6583772897720337,
      "learning_rate": 1.7773333333333335e-05,
      "loss": 1.4838,
      "step": 7252
    },
    {
      "epoch": 0.6447111111111111,
      "grad_norm": 1.762163758277893,
      "learning_rate": 1.776888888888889e-05,
      "loss": 1.5596,
      "step": 7253
    },
    {
      "epoch": 0.6448,
      "grad_norm": 1.5711333751678467,
      "learning_rate": 1.7764444444444445e-05,
      "loss": 1.5506,
      "step": 7254
    },
    {
      "epoch": 0.6448888888888888,
      "grad_norm": 1.7017394304275513,
      "learning_rate": 1.7760000000000003e-05,
      "loss": 1.5293,
      "step": 7255
    },
    {
      "epoch": 0.6449777777777778,
      "grad_norm": 1.474785327911377,
      "learning_rate": 1.7755555555555554e-05,
      "loss": 1.4706,
      "step": 7256
    },
    {
      "epoch": 0.6450666666666667,
      "grad_norm": 1.4944225549697876,
      "learning_rate": 1.7751111111111112e-05,
      "loss": 1.8194,
      "step": 7257
    },
    {
      "epoch": 0.6451555555555556,
      "grad_norm": 1.6672606468200684,
      "learning_rate": 1.7746666666666667e-05,
      "loss": 1.4684,
      "step": 7258
    },
    {
      "epoch": 0.6452444444444444,
      "grad_norm": 1.6137444972991943,
      "learning_rate": 1.7742222222222226e-05,
      "loss": 1.5209,
      "step": 7259
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 1.5469088554382324,
      "learning_rate": 1.7737777777777777e-05,
      "loss": 1.4534,
      "step": 7260
    },
    {
      "epoch": 0.6454222222222222,
      "grad_norm": 1.4573723077774048,
      "learning_rate": 1.7733333333333335e-05,
      "loss": 1.4814,
      "step": 7261
    },
    {
      "epoch": 0.6455111111111111,
      "grad_norm": 1.8254077434539795,
      "learning_rate": 1.772888888888889e-05,
      "loss": 1.9672,
      "step": 7262
    },
    {
      "epoch": 0.6456,
      "grad_norm": 1.505679965019226,
      "learning_rate": 1.7724444444444445e-05,
      "loss": 1.5697,
      "step": 7263
    },
    {
      "epoch": 0.6456888888888889,
      "grad_norm": 1.5035606622695923,
      "learning_rate": 1.772e-05,
      "loss": 1.5678,
      "step": 7264
    },
    {
      "epoch": 0.6457777777777778,
      "grad_norm": 1.5599886178970337,
      "learning_rate": 1.7715555555555558e-05,
      "loss": 1.5888,
      "step": 7265
    },
    {
      "epoch": 0.6458666666666667,
      "grad_norm": 1.3692537546157837,
      "learning_rate": 1.7711111111111113e-05,
      "loss": 1.6127,
      "step": 7266
    },
    {
      "epoch": 0.6459555555555555,
      "grad_norm": 1.5069228410720825,
      "learning_rate": 1.7706666666666668e-05,
      "loss": 1.5168,
      "step": 7267
    },
    {
      "epoch": 0.6460444444444444,
      "grad_norm": 1.5073541402816772,
      "learning_rate": 1.7702222222222223e-05,
      "loss": 1.6597,
      "step": 7268
    },
    {
      "epoch": 0.6461333333333333,
      "grad_norm": 1.8096518516540527,
      "learning_rate": 1.769777777777778e-05,
      "loss": 1.4533,
      "step": 7269
    },
    {
      "epoch": 0.6462222222222223,
      "grad_norm": 1.445722222328186,
      "learning_rate": 1.7693333333333336e-05,
      "loss": 1.4105,
      "step": 7270
    },
    {
      "epoch": 0.6463111111111111,
      "grad_norm": 1.9353466033935547,
      "learning_rate": 1.768888888888889e-05,
      "loss": 1.7197,
      "step": 7271
    },
    {
      "epoch": 0.6464,
      "grad_norm": 2.1338891983032227,
      "learning_rate": 1.7684444444444445e-05,
      "loss": 1.8092,
      "step": 7272
    },
    {
      "epoch": 0.6464888888888889,
      "grad_norm": 1.5671683549880981,
      "learning_rate": 1.7680000000000004e-05,
      "loss": 1.8728,
      "step": 7273
    },
    {
      "epoch": 0.6465777777777778,
      "grad_norm": 1.4175324440002441,
      "learning_rate": 1.7675555555555555e-05,
      "loss": 1.6379,
      "step": 7274
    },
    {
      "epoch": 0.6466666666666666,
      "grad_norm": 1.52863609790802,
      "learning_rate": 1.7671111111111113e-05,
      "loss": 1.4351,
      "step": 7275
    },
    {
      "epoch": 0.6467555555555555,
      "grad_norm": 1.504525065422058,
      "learning_rate": 1.7666666666666668e-05,
      "loss": 1.5697,
      "step": 7276
    },
    {
      "epoch": 0.6468444444444444,
      "grad_norm": 1.7390975952148438,
      "learning_rate": 1.7662222222222223e-05,
      "loss": 1.6325,
      "step": 7277
    },
    {
      "epoch": 0.6469333333333334,
      "grad_norm": 1.5783114433288574,
      "learning_rate": 1.7657777777777778e-05,
      "loss": 1.5797,
      "step": 7278
    },
    {
      "epoch": 0.6470222222222223,
      "grad_norm": 1.8625138998031616,
      "learning_rate": 1.7653333333333333e-05,
      "loss": 1.4461,
      "step": 7279
    },
    {
      "epoch": 0.6471111111111111,
      "grad_norm": 1.715072512626648,
      "learning_rate": 1.764888888888889e-05,
      "loss": 1.3877,
      "step": 7280
    },
    {
      "epoch": 0.6472,
      "grad_norm": 1.5501446723937988,
      "learning_rate": 1.7644444444444446e-05,
      "loss": 1.6661,
      "step": 7281
    },
    {
      "epoch": 0.6472888888888889,
      "grad_norm": 1.6934419870376587,
      "learning_rate": 1.764e-05,
      "loss": 1.5708,
      "step": 7282
    },
    {
      "epoch": 0.6473777777777778,
      "grad_norm": 1.602587342262268,
      "learning_rate": 1.7635555555555555e-05,
      "loss": 1.6789,
      "step": 7283
    },
    {
      "epoch": 0.6474666666666666,
      "grad_norm": 1.5807044506072998,
      "learning_rate": 1.7631111111111114e-05,
      "loss": 1.5166,
      "step": 7284
    },
    {
      "epoch": 0.6475555555555556,
      "grad_norm": 1.498545527458191,
      "learning_rate": 1.7626666666666665e-05,
      "loss": 1.5604,
      "step": 7285
    },
    {
      "epoch": 0.6476444444444445,
      "grad_norm": 1.580074667930603,
      "learning_rate": 1.7622222222222223e-05,
      "loss": 1.5706,
      "step": 7286
    },
    {
      "epoch": 0.6477333333333334,
      "grad_norm": 1.7597354650497437,
      "learning_rate": 1.7617777777777778e-05,
      "loss": 1.5968,
      "step": 7287
    },
    {
      "epoch": 0.6478222222222222,
      "grad_norm": 1.6310975551605225,
      "learning_rate": 1.7613333333333333e-05,
      "loss": 1.592,
      "step": 7288
    },
    {
      "epoch": 0.6479111111111111,
      "grad_norm": 1.6812572479248047,
      "learning_rate": 1.7608888888888888e-05,
      "loss": 1.6585,
      "step": 7289
    },
    {
      "epoch": 0.648,
      "grad_norm": 1.5357294082641602,
      "learning_rate": 1.7604444444444446e-05,
      "loss": 1.5264,
      "step": 7290
    },
    {
      "epoch": 0.6480888888888889,
      "grad_norm": 1.475920557975769,
      "learning_rate": 1.76e-05,
      "loss": 1.6538,
      "step": 7291
    },
    {
      "epoch": 0.6481777777777777,
      "grad_norm": 1.874876618385315,
      "learning_rate": 1.7595555555555556e-05,
      "loss": 1.6867,
      "step": 7292
    },
    {
      "epoch": 0.6482666666666667,
      "grad_norm": 1.701114296913147,
      "learning_rate": 1.759111111111111e-05,
      "loss": 1.7143,
      "step": 7293
    },
    {
      "epoch": 0.6483555555555556,
      "grad_norm": 1.51217782497406,
      "learning_rate": 1.758666666666667e-05,
      "loss": 1.4062,
      "step": 7294
    },
    {
      "epoch": 0.6484444444444445,
      "grad_norm": 1.6546834707260132,
      "learning_rate": 1.7582222222222224e-05,
      "loss": 1.589,
      "step": 7295
    },
    {
      "epoch": 0.6485333333333333,
      "grad_norm": 1.6580675840377808,
      "learning_rate": 1.757777777777778e-05,
      "loss": 1.5867,
      "step": 7296
    },
    {
      "epoch": 0.6486222222222222,
      "grad_norm": 1.6380441188812256,
      "learning_rate": 1.7573333333333333e-05,
      "loss": 1.629,
      "step": 7297
    },
    {
      "epoch": 0.6487111111111111,
      "grad_norm": 1.9962947368621826,
      "learning_rate": 1.756888888888889e-05,
      "loss": 1.8389,
      "step": 7298
    },
    {
      "epoch": 0.6488,
      "grad_norm": 1.7251081466674805,
      "learning_rate": 1.7564444444444443e-05,
      "loss": 1.705,
      "step": 7299
    },
    {
      "epoch": 0.6488888888888888,
      "grad_norm": 1.538710594177246,
      "learning_rate": 1.756e-05,
      "loss": 1.4947,
      "step": 7300
    },
    {
      "epoch": 0.6489777777777778,
      "grad_norm": 1.5559676885604858,
      "learning_rate": 1.7555555555555556e-05,
      "loss": 1.413,
      "step": 7301
    },
    {
      "epoch": 0.6490666666666667,
      "grad_norm": 1.7143034934997559,
      "learning_rate": 1.755111111111111e-05,
      "loss": 1.6147,
      "step": 7302
    },
    {
      "epoch": 0.6491555555555556,
      "grad_norm": 1.8460466861724854,
      "learning_rate": 1.7546666666666666e-05,
      "loss": 1.6911,
      "step": 7303
    },
    {
      "epoch": 0.6492444444444444,
      "grad_norm": 1.4472696781158447,
      "learning_rate": 1.7542222222222224e-05,
      "loss": 1.4346,
      "step": 7304
    },
    {
      "epoch": 0.6493333333333333,
      "grad_norm": 1.6249669790267944,
      "learning_rate": 1.753777777777778e-05,
      "loss": 1.5331,
      "step": 7305
    },
    {
      "epoch": 0.6494222222222222,
      "grad_norm": 1.5561959743499756,
      "learning_rate": 1.7533333333333334e-05,
      "loss": 1.5213,
      "step": 7306
    },
    {
      "epoch": 0.6495111111111112,
      "grad_norm": 1.724499225616455,
      "learning_rate": 1.752888888888889e-05,
      "loss": 1.5581,
      "step": 7307
    },
    {
      "epoch": 0.6496,
      "grad_norm": 1.4520543813705444,
      "learning_rate": 1.7524444444444447e-05,
      "loss": 1.6878,
      "step": 7308
    },
    {
      "epoch": 0.6496888888888889,
      "grad_norm": 1.7064532041549683,
      "learning_rate": 1.752e-05,
      "loss": 1.8288,
      "step": 7309
    },
    {
      "epoch": 0.6497777777777778,
      "grad_norm": 1.5553520917892456,
      "learning_rate": 1.7515555555555557e-05,
      "loss": 1.477,
      "step": 7310
    },
    {
      "epoch": 0.6498666666666667,
      "grad_norm": 1.4062880277633667,
      "learning_rate": 1.751111111111111e-05,
      "loss": 1.464,
      "step": 7311
    },
    {
      "epoch": 0.6499555555555555,
      "grad_norm": 1.4822418689727783,
      "learning_rate": 1.750666666666667e-05,
      "loss": 1.4546,
      "step": 7312
    },
    {
      "epoch": 0.6500444444444444,
      "grad_norm": 1.534480333328247,
      "learning_rate": 1.750222222222222e-05,
      "loss": 1.7282,
      "step": 7313
    },
    {
      "epoch": 0.6501333333333333,
      "grad_norm": 1.8135223388671875,
      "learning_rate": 1.749777777777778e-05,
      "loss": 1.6015,
      "step": 7314
    },
    {
      "epoch": 0.6502222222222223,
      "grad_norm": 1.4457491636276245,
      "learning_rate": 1.7493333333333334e-05,
      "loss": 1.5362,
      "step": 7315
    },
    {
      "epoch": 0.6503111111111111,
      "grad_norm": 1.65860116481781,
      "learning_rate": 1.7488888888888892e-05,
      "loss": 1.452,
      "step": 7316
    },
    {
      "epoch": 0.6504,
      "grad_norm": 1.5071452856063843,
      "learning_rate": 1.7484444444444444e-05,
      "loss": 1.4977,
      "step": 7317
    },
    {
      "epoch": 0.6504888888888889,
      "grad_norm": 1.694211721420288,
      "learning_rate": 1.7480000000000002e-05,
      "loss": 1.4648,
      "step": 7318
    },
    {
      "epoch": 0.6505777777777778,
      "grad_norm": 1.988680362701416,
      "learning_rate": 1.7475555555555557e-05,
      "loss": 2.0005,
      "step": 7319
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 1.3585578203201294,
      "learning_rate": 1.7471111111111112e-05,
      "loss": 1.5725,
      "step": 7320
    },
    {
      "epoch": 0.6507555555555555,
      "grad_norm": 1.913484811782837,
      "learning_rate": 1.7466666666666667e-05,
      "loss": 1.6354,
      "step": 7321
    },
    {
      "epoch": 0.6508444444444444,
      "grad_norm": 1.8822762966156006,
      "learning_rate": 1.7462222222222225e-05,
      "loss": 1.667,
      "step": 7322
    },
    {
      "epoch": 0.6509333333333334,
      "grad_norm": 1.6091749668121338,
      "learning_rate": 1.745777777777778e-05,
      "loss": 1.792,
      "step": 7323
    },
    {
      "epoch": 0.6510222222222222,
      "grad_norm": 1.5269032716751099,
      "learning_rate": 1.7453333333333335e-05,
      "loss": 1.7468,
      "step": 7324
    },
    {
      "epoch": 0.6511111111111111,
      "grad_norm": 1.8735600709915161,
      "learning_rate": 1.744888888888889e-05,
      "loss": 1.7491,
      "step": 7325
    },
    {
      "epoch": 0.6512,
      "grad_norm": 1.6550636291503906,
      "learning_rate": 1.7444444444444448e-05,
      "loss": 1.6441,
      "step": 7326
    },
    {
      "epoch": 0.6512888888888889,
      "grad_norm": 1.5332309007644653,
      "learning_rate": 1.7440000000000002e-05,
      "loss": 1.55,
      "step": 7327
    },
    {
      "epoch": 0.6513777777777778,
      "grad_norm": 2.0743887424468994,
      "learning_rate": 1.7435555555555557e-05,
      "loss": 1.6692,
      "step": 7328
    },
    {
      "epoch": 0.6514666666666666,
      "grad_norm": 1.477325677871704,
      "learning_rate": 1.7431111111111112e-05,
      "loss": 1.4937,
      "step": 7329
    },
    {
      "epoch": 0.6515555555555556,
      "grad_norm": 1.5418117046356201,
      "learning_rate": 1.7426666666666667e-05,
      "loss": 1.5026,
      "step": 7330
    },
    {
      "epoch": 0.6516444444444445,
      "grad_norm": 1.664575457572937,
      "learning_rate": 1.7422222222222222e-05,
      "loss": 1.642,
      "step": 7331
    },
    {
      "epoch": 0.6517333333333334,
      "grad_norm": 1.560294508934021,
      "learning_rate": 1.7417777777777777e-05,
      "loss": 1.7659,
      "step": 7332
    },
    {
      "epoch": 0.6518222222222222,
      "grad_norm": 1.6952705383300781,
      "learning_rate": 1.7413333333333335e-05,
      "loss": 1.5975,
      "step": 7333
    },
    {
      "epoch": 0.6519111111111111,
      "grad_norm": 1.7809160947799683,
      "learning_rate": 1.740888888888889e-05,
      "loss": 1.7488,
      "step": 7334
    },
    {
      "epoch": 0.652,
      "grad_norm": 1.5825296640396118,
      "learning_rate": 1.7404444444444445e-05,
      "loss": 1.6129,
      "step": 7335
    },
    {
      "epoch": 0.6520888888888889,
      "grad_norm": 1.6324794292449951,
      "learning_rate": 1.74e-05,
      "loss": 1.5149,
      "step": 7336
    },
    {
      "epoch": 0.6521777777777777,
      "grad_norm": 1.575927972793579,
      "learning_rate": 1.7395555555555558e-05,
      "loss": 1.657,
      "step": 7337
    },
    {
      "epoch": 0.6522666666666667,
      "grad_norm": 1.4525984525680542,
      "learning_rate": 1.739111111111111e-05,
      "loss": 1.6195,
      "step": 7338
    },
    {
      "epoch": 0.6523555555555556,
      "grad_norm": 1.6842384338378906,
      "learning_rate": 1.7386666666666667e-05,
      "loss": 1.8149,
      "step": 7339
    },
    {
      "epoch": 0.6524444444444445,
      "grad_norm": 1.7646424770355225,
      "learning_rate": 1.7382222222222222e-05,
      "loss": 1.573,
      "step": 7340
    },
    {
      "epoch": 0.6525333333333333,
      "grad_norm": 1.763589859008789,
      "learning_rate": 1.737777777777778e-05,
      "loss": 1.5575,
      "step": 7341
    },
    {
      "epoch": 0.6526222222222222,
      "grad_norm": 1.6077735424041748,
      "learning_rate": 1.7373333333333332e-05,
      "loss": 1.6086,
      "step": 7342
    },
    {
      "epoch": 0.6527111111111111,
      "grad_norm": 1.4917898178100586,
      "learning_rate": 1.736888888888889e-05,
      "loss": 1.3566,
      "step": 7343
    },
    {
      "epoch": 0.6528,
      "grad_norm": 2.1615004539489746,
      "learning_rate": 1.7364444444444445e-05,
      "loss": 1.5393,
      "step": 7344
    },
    {
      "epoch": 0.6528888888888889,
      "grad_norm": 1.2579143047332764,
      "learning_rate": 1.736e-05,
      "loss": 1.2685,
      "step": 7345
    },
    {
      "epoch": 0.6529777777777778,
      "grad_norm": 1.5614397525787354,
      "learning_rate": 1.7355555555555555e-05,
      "loss": 1.365,
      "step": 7346
    },
    {
      "epoch": 0.6530666666666667,
      "grad_norm": 1.5951216220855713,
      "learning_rate": 1.7351111111111113e-05,
      "loss": 1.492,
      "step": 7347
    },
    {
      "epoch": 0.6531555555555556,
      "grad_norm": 1.5937540531158447,
      "learning_rate": 1.7346666666666668e-05,
      "loss": 1.6393,
      "step": 7348
    },
    {
      "epoch": 0.6532444444444444,
      "grad_norm": 2.1250462532043457,
      "learning_rate": 1.7342222222222223e-05,
      "loss": 1.6034,
      "step": 7349
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 1.4302401542663574,
      "learning_rate": 1.7337777777777777e-05,
      "loss": 1.5258,
      "step": 7350
    },
    {
      "epoch": 0.6534222222222222,
      "grad_norm": 1.8068599700927734,
      "learning_rate": 1.7333333333333336e-05,
      "loss": 1.6298,
      "step": 7351
    },
    {
      "epoch": 0.6535111111111112,
      "grad_norm": 1.3676462173461914,
      "learning_rate": 1.732888888888889e-05,
      "loss": 1.4404,
      "step": 7352
    },
    {
      "epoch": 0.6536,
      "grad_norm": 1.491970181465149,
      "learning_rate": 1.7324444444444445e-05,
      "loss": 1.322,
      "step": 7353
    },
    {
      "epoch": 0.6536888888888889,
      "grad_norm": 1.3854268789291382,
      "learning_rate": 1.732e-05,
      "loss": 1.3543,
      "step": 7354
    },
    {
      "epoch": 0.6537777777777778,
      "grad_norm": 1.659422755241394,
      "learning_rate": 1.731555555555556e-05,
      "loss": 1.8215,
      "step": 7355
    },
    {
      "epoch": 0.6538666666666667,
      "grad_norm": 1.8250677585601807,
      "learning_rate": 1.731111111111111e-05,
      "loss": 1.4981,
      "step": 7356
    },
    {
      "epoch": 0.6539555555555555,
      "grad_norm": 1.5604501962661743,
      "learning_rate": 1.7306666666666668e-05,
      "loss": 1.5708,
      "step": 7357
    },
    {
      "epoch": 0.6540444444444444,
      "grad_norm": 1.4591480493545532,
      "learning_rate": 1.7302222222222223e-05,
      "loss": 1.4315,
      "step": 7358
    },
    {
      "epoch": 0.6541333333333333,
      "grad_norm": 1.542707085609436,
      "learning_rate": 1.7297777777777778e-05,
      "loss": 1.3487,
      "step": 7359
    },
    {
      "epoch": 0.6542222222222223,
      "grad_norm": 1.7061011791229248,
      "learning_rate": 1.7293333333333333e-05,
      "loss": 1.7349,
      "step": 7360
    },
    {
      "epoch": 0.6543111111111111,
      "grad_norm": 1.4434634447097778,
      "learning_rate": 1.728888888888889e-05,
      "loss": 1.4685,
      "step": 7361
    },
    {
      "epoch": 0.6544,
      "grad_norm": 1.467299222946167,
      "learning_rate": 1.7284444444444446e-05,
      "loss": 1.5838,
      "step": 7362
    },
    {
      "epoch": 0.6544888888888889,
      "grad_norm": 1.3780971765518188,
      "learning_rate": 1.728e-05,
      "loss": 1.2612,
      "step": 7363
    },
    {
      "epoch": 0.6545777777777778,
      "grad_norm": 1.830302357673645,
      "learning_rate": 1.7275555555555555e-05,
      "loss": 1.59,
      "step": 7364
    },
    {
      "epoch": 0.6546666666666666,
      "grad_norm": 1.4364640712738037,
      "learning_rate": 1.7271111111111114e-05,
      "loss": 1.4496,
      "step": 7365
    },
    {
      "epoch": 0.6547555555555555,
      "grad_norm": 1.3286504745483398,
      "learning_rate": 1.726666666666667e-05,
      "loss": 1.5339,
      "step": 7366
    },
    {
      "epoch": 0.6548444444444445,
      "grad_norm": 1.5990846157073975,
      "learning_rate": 1.7262222222222223e-05,
      "loss": 1.1867,
      "step": 7367
    },
    {
      "epoch": 0.6549333333333334,
      "grad_norm": 1.5465084314346313,
      "learning_rate": 1.7257777777777778e-05,
      "loss": 1.4954,
      "step": 7368
    },
    {
      "epoch": 0.6550222222222222,
      "grad_norm": 1.7155303955078125,
      "learning_rate": 1.7253333333333336e-05,
      "loss": 1.5056,
      "step": 7369
    },
    {
      "epoch": 0.6551111111111111,
      "grad_norm": 1.412579894065857,
      "learning_rate": 1.7248888888888888e-05,
      "loss": 1.4948,
      "step": 7370
    },
    {
      "epoch": 0.6552,
      "grad_norm": 1.4093849658966064,
      "learning_rate": 1.7244444444444446e-05,
      "loss": 1.4247,
      "step": 7371
    },
    {
      "epoch": 0.6552888888888889,
      "grad_norm": 1.545637607574463,
      "learning_rate": 1.724e-05,
      "loss": 1.5929,
      "step": 7372
    },
    {
      "epoch": 0.6553777777777777,
      "grad_norm": 1.4560973644256592,
      "learning_rate": 1.723555555555556e-05,
      "loss": 1.4707,
      "step": 7373
    },
    {
      "epoch": 0.6554666666666666,
      "grad_norm": 1.7030259370803833,
      "learning_rate": 1.723111111111111e-05,
      "loss": 1.6661,
      "step": 7374
    },
    {
      "epoch": 0.6555555555555556,
      "grad_norm": 1.3803685903549194,
      "learning_rate": 1.722666666666667e-05,
      "loss": 1.2765,
      "step": 7375
    },
    {
      "epoch": 0.6556444444444445,
      "grad_norm": 1.4703295230865479,
      "learning_rate": 1.7222222222222224e-05,
      "loss": 1.3775,
      "step": 7376
    },
    {
      "epoch": 0.6557333333333333,
      "grad_norm": 1.418433666229248,
      "learning_rate": 1.721777777777778e-05,
      "loss": 1.4005,
      "step": 7377
    },
    {
      "epoch": 0.6558222222222222,
      "grad_norm": 1.8007233142852783,
      "learning_rate": 1.7213333333333333e-05,
      "loss": 1.5201,
      "step": 7378
    },
    {
      "epoch": 0.6559111111111111,
      "grad_norm": 1.652494192123413,
      "learning_rate": 1.720888888888889e-05,
      "loss": 1.7895,
      "step": 7379
    },
    {
      "epoch": 0.656,
      "grad_norm": 1.8614946603775024,
      "learning_rate": 1.7204444444444446e-05,
      "loss": 1.476,
      "step": 7380
    },
    {
      "epoch": 0.6560888888888889,
      "grad_norm": 1.5484780073165894,
      "learning_rate": 1.7199999999999998e-05,
      "loss": 1.6301,
      "step": 7381
    },
    {
      "epoch": 0.6561777777777777,
      "grad_norm": 2.165799617767334,
      "learning_rate": 1.7195555555555556e-05,
      "loss": 1.6504,
      "step": 7382
    },
    {
      "epoch": 0.6562666666666667,
      "grad_norm": 1.7108780145645142,
      "learning_rate": 1.719111111111111e-05,
      "loss": 1.5526,
      "step": 7383
    },
    {
      "epoch": 0.6563555555555556,
      "grad_norm": 1.5455586910247803,
      "learning_rate": 1.718666666666667e-05,
      "loss": 1.4458,
      "step": 7384
    },
    {
      "epoch": 0.6564444444444445,
      "grad_norm": 1.6233959197998047,
      "learning_rate": 1.718222222222222e-05,
      "loss": 1.8136,
      "step": 7385
    },
    {
      "epoch": 0.6565333333333333,
      "grad_norm": 1.3644686937332153,
      "learning_rate": 1.717777777777778e-05,
      "loss": 1.4575,
      "step": 7386
    },
    {
      "epoch": 0.6566222222222222,
      "grad_norm": 1.4023864269256592,
      "learning_rate": 1.7173333333333334e-05,
      "loss": 1.6176,
      "step": 7387
    },
    {
      "epoch": 0.6567111111111111,
      "grad_norm": 1.8910325765609741,
      "learning_rate": 1.716888888888889e-05,
      "loss": 1.4674,
      "step": 7388
    },
    {
      "epoch": 0.6568,
      "grad_norm": 1.4734987020492554,
      "learning_rate": 1.7164444444444443e-05,
      "loss": 1.4402,
      "step": 7389
    },
    {
      "epoch": 0.6568888888888889,
      "grad_norm": 1.6423842906951904,
      "learning_rate": 1.7160000000000002e-05,
      "loss": 1.703,
      "step": 7390
    },
    {
      "epoch": 0.6569777777777778,
      "grad_norm": 1.5768390893936157,
      "learning_rate": 1.7155555555555557e-05,
      "loss": 1.5935,
      "step": 7391
    },
    {
      "epoch": 0.6570666666666667,
      "grad_norm": 1.706308364868164,
      "learning_rate": 1.715111111111111e-05,
      "loss": 1.7493,
      "step": 7392
    },
    {
      "epoch": 0.6571555555555556,
      "grad_norm": 2.1080820560455322,
      "learning_rate": 1.7146666666666666e-05,
      "loss": 1.425,
      "step": 7393
    },
    {
      "epoch": 0.6572444444444444,
      "grad_norm": 1.431906819343567,
      "learning_rate": 1.7142222222222224e-05,
      "loss": 1.7083,
      "step": 7394
    },
    {
      "epoch": 0.6573333333333333,
      "grad_norm": 1.533929467201233,
      "learning_rate": 1.7137777777777776e-05,
      "loss": 1.3782,
      "step": 7395
    },
    {
      "epoch": 0.6574222222222222,
      "grad_norm": 1.5216947793960571,
      "learning_rate": 1.7133333333333334e-05,
      "loss": 1.5866,
      "step": 7396
    },
    {
      "epoch": 0.6575111111111112,
      "grad_norm": 1.593947410583496,
      "learning_rate": 1.712888888888889e-05,
      "loss": 1.7308,
      "step": 7397
    },
    {
      "epoch": 0.6576,
      "grad_norm": 1.5332783460617065,
      "learning_rate": 1.7124444444444447e-05,
      "loss": 1.6039,
      "step": 7398
    },
    {
      "epoch": 0.6576888888888889,
      "grad_norm": 1.7728146314620972,
      "learning_rate": 1.712e-05,
      "loss": 1.771,
      "step": 7399
    },
    {
      "epoch": 0.6577777777777778,
      "grad_norm": 2.8431334495544434,
      "learning_rate": 1.7115555555555557e-05,
      "loss": 1.8001,
      "step": 7400
    },
    {
      "epoch": 0.6578666666666667,
      "grad_norm": 1.6062185764312744,
      "learning_rate": 1.7111111111111112e-05,
      "loss": 1.656,
      "step": 7401
    },
    {
      "epoch": 0.6579555555555555,
      "grad_norm": 1.6006466150283813,
      "learning_rate": 1.7106666666666667e-05,
      "loss": 1.4975,
      "step": 7402
    },
    {
      "epoch": 0.6580444444444444,
      "grad_norm": 1.5753339529037476,
      "learning_rate": 1.710222222222222e-05,
      "loss": 1.6429,
      "step": 7403
    },
    {
      "epoch": 0.6581333333333333,
      "grad_norm": 1.6189762353897095,
      "learning_rate": 1.709777777777778e-05,
      "loss": 1.5816,
      "step": 7404
    },
    {
      "epoch": 0.6582222222222223,
      "grad_norm": 1.5727810859680176,
      "learning_rate": 1.7093333333333335e-05,
      "loss": 1.5508,
      "step": 7405
    },
    {
      "epoch": 0.6583111111111111,
      "grad_norm": 1.430299162864685,
      "learning_rate": 1.708888888888889e-05,
      "loss": 1.548,
      "step": 7406
    },
    {
      "epoch": 0.6584,
      "grad_norm": 2.043616771697998,
      "learning_rate": 1.7084444444444444e-05,
      "loss": 1.7449,
      "step": 7407
    },
    {
      "epoch": 0.6584888888888889,
      "grad_norm": 1.4967474937438965,
      "learning_rate": 1.7080000000000002e-05,
      "loss": 1.5879,
      "step": 7408
    },
    {
      "epoch": 0.6585777777777778,
      "grad_norm": 1.520763874053955,
      "learning_rate": 1.7075555555555557e-05,
      "loss": 1.6049,
      "step": 7409
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 1.4250046014785767,
      "learning_rate": 1.7071111111111112e-05,
      "loss": 1.7499,
      "step": 7410
    },
    {
      "epoch": 0.6587555555555555,
      "grad_norm": 1.3940335512161255,
      "learning_rate": 1.7066666666666667e-05,
      "loss": 1.6181,
      "step": 7411
    },
    {
      "epoch": 0.6588444444444445,
      "grad_norm": 1.6415945291519165,
      "learning_rate": 1.7062222222222225e-05,
      "loss": 1.5017,
      "step": 7412
    },
    {
      "epoch": 0.6589333333333334,
      "grad_norm": 1.481682300567627,
      "learning_rate": 1.7057777777777777e-05,
      "loss": 1.5989,
      "step": 7413
    },
    {
      "epoch": 0.6590222222222222,
      "grad_norm": 1.446868896484375,
      "learning_rate": 1.7053333333333335e-05,
      "loss": 1.5347,
      "step": 7414
    },
    {
      "epoch": 0.6591111111111111,
      "grad_norm": 1.4413206577301025,
      "learning_rate": 1.704888888888889e-05,
      "loss": 1.6153,
      "step": 7415
    },
    {
      "epoch": 0.6592,
      "grad_norm": 1.673354148864746,
      "learning_rate": 1.7044444444444445e-05,
      "loss": 1.526,
      "step": 7416
    },
    {
      "epoch": 0.6592888888888889,
      "grad_norm": 1.5559492111206055,
      "learning_rate": 1.704e-05,
      "loss": 1.4893,
      "step": 7417
    },
    {
      "epoch": 0.6593777777777777,
      "grad_norm": 1.5563167333602905,
      "learning_rate": 1.7035555555555558e-05,
      "loss": 1.5291,
      "step": 7418
    },
    {
      "epoch": 0.6594666666666666,
      "grad_norm": 1.5131304264068604,
      "learning_rate": 1.7031111111111113e-05,
      "loss": 1.6566,
      "step": 7419
    },
    {
      "epoch": 0.6595555555555556,
      "grad_norm": 1.6112115383148193,
      "learning_rate": 1.7026666666666667e-05,
      "loss": 1.5627,
      "step": 7420
    },
    {
      "epoch": 0.6596444444444445,
      "grad_norm": 1.2934350967407227,
      "learning_rate": 1.7022222222222222e-05,
      "loss": 1.3657,
      "step": 7421
    },
    {
      "epoch": 0.6597333333333333,
      "grad_norm": 1.465071439743042,
      "learning_rate": 1.701777777777778e-05,
      "loss": 1.5684,
      "step": 7422
    },
    {
      "epoch": 0.6598222222222222,
      "grad_norm": 1.453477382659912,
      "learning_rate": 1.7013333333333335e-05,
      "loss": 1.4761,
      "step": 7423
    },
    {
      "epoch": 0.6599111111111111,
      "grad_norm": 1.9847923517227173,
      "learning_rate": 1.700888888888889e-05,
      "loss": 1.76,
      "step": 7424
    },
    {
      "epoch": 0.66,
      "grad_norm": 1.9817485809326172,
      "learning_rate": 1.7004444444444445e-05,
      "loss": 1.5725,
      "step": 7425
    },
    {
      "epoch": 0.6600888888888888,
      "grad_norm": 1.7625272274017334,
      "learning_rate": 1.7000000000000003e-05,
      "loss": 1.796,
      "step": 7426
    },
    {
      "epoch": 0.6601777777777778,
      "grad_norm": 1.438822627067566,
      "learning_rate": 1.6995555555555555e-05,
      "loss": 1.4611,
      "step": 7427
    },
    {
      "epoch": 0.6602666666666667,
      "grad_norm": 1.8521826267242432,
      "learning_rate": 1.6991111111111113e-05,
      "loss": 1.4511,
      "step": 7428
    },
    {
      "epoch": 0.6603555555555556,
      "grad_norm": 1.551122784614563,
      "learning_rate": 1.6986666666666668e-05,
      "loss": 1.5455,
      "step": 7429
    },
    {
      "epoch": 0.6604444444444444,
      "grad_norm": 1.5007160902023315,
      "learning_rate": 1.6982222222222226e-05,
      "loss": 1.4429,
      "step": 7430
    },
    {
      "epoch": 0.6605333333333333,
      "grad_norm": 1.461564540863037,
      "learning_rate": 1.6977777777777777e-05,
      "loss": 1.5923,
      "step": 7431
    },
    {
      "epoch": 0.6606222222222222,
      "grad_norm": 1.5075379610061646,
      "learning_rate": 1.6973333333333336e-05,
      "loss": 1.9085,
      "step": 7432
    },
    {
      "epoch": 0.6607111111111111,
      "grad_norm": 1.6173866987228394,
      "learning_rate": 1.696888888888889e-05,
      "loss": 1.6635,
      "step": 7433
    },
    {
      "epoch": 0.6608,
      "grad_norm": 1.514587640762329,
      "learning_rate": 1.6964444444444445e-05,
      "loss": 1.6798,
      "step": 7434
    },
    {
      "epoch": 0.6608888888888889,
      "grad_norm": 1.649001955986023,
      "learning_rate": 1.696e-05,
      "loss": 1.541,
      "step": 7435
    },
    {
      "epoch": 0.6609777777777778,
      "grad_norm": 1.4522088766098022,
      "learning_rate": 1.6955555555555555e-05,
      "loss": 1.6186,
      "step": 7436
    },
    {
      "epoch": 0.6610666666666667,
      "grad_norm": 1.5986791849136353,
      "learning_rate": 1.6951111111111113e-05,
      "loss": 1.4715,
      "step": 7437
    },
    {
      "epoch": 0.6611555555555556,
      "grad_norm": 1.6879329681396484,
      "learning_rate": 1.6946666666666665e-05,
      "loss": 1.6627,
      "step": 7438
    },
    {
      "epoch": 0.6612444444444444,
      "grad_norm": 1.600806474685669,
      "learning_rate": 1.6942222222222223e-05,
      "loss": 1.7701,
      "step": 7439
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 1.6124136447906494,
      "learning_rate": 1.6937777777777778e-05,
      "loss": 1.5567,
      "step": 7440
    },
    {
      "epoch": 0.6614222222222222,
      "grad_norm": 2.35467267036438,
      "learning_rate": 1.6933333333333333e-05,
      "loss": 1.7436,
      "step": 7441
    },
    {
      "epoch": 0.6615111111111112,
      "grad_norm": 1.683182716369629,
      "learning_rate": 1.6928888888888888e-05,
      "loss": 1.4526,
      "step": 7442
    },
    {
      "epoch": 0.6616,
      "grad_norm": 1.4732714891433716,
      "learning_rate": 1.6924444444444446e-05,
      "loss": 1.456,
      "step": 7443
    },
    {
      "epoch": 0.6616888888888889,
      "grad_norm": 1.5893226861953735,
      "learning_rate": 1.692e-05,
      "loss": 1.5111,
      "step": 7444
    },
    {
      "epoch": 0.6617777777777778,
      "grad_norm": 1.5605931282043457,
      "learning_rate": 1.6915555555555555e-05,
      "loss": 1.5017,
      "step": 7445
    },
    {
      "epoch": 0.6618666666666667,
      "grad_norm": 1.5908650159835815,
      "learning_rate": 1.691111111111111e-05,
      "loss": 1.3038,
      "step": 7446
    },
    {
      "epoch": 0.6619555555555555,
      "grad_norm": 1.389967441558838,
      "learning_rate": 1.690666666666667e-05,
      "loss": 1.5402,
      "step": 7447
    },
    {
      "epoch": 0.6620444444444444,
      "grad_norm": 2.601686954498291,
      "learning_rate": 1.6902222222222223e-05,
      "loss": 1.9144,
      "step": 7448
    },
    {
      "epoch": 0.6621333333333334,
      "grad_norm": 2.076420783996582,
      "learning_rate": 1.6897777777777778e-05,
      "loss": 1.8912,
      "step": 7449
    },
    {
      "epoch": 0.6622222222222223,
      "grad_norm": 1.4876666069030762,
      "learning_rate": 1.6893333333333333e-05,
      "loss": 1.6211,
      "step": 7450
    },
    {
      "epoch": 0.6623111111111111,
      "grad_norm": 1.5324302911758423,
      "learning_rate": 1.688888888888889e-05,
      "loss": 1.3462,
      "step": 7451
    },
    {
      "epoch": 0.6624,
      "grad_norm": 1.3841437101364136,
      "learning_rate": 1.6884444444444443e-05,
      "loss": 1.3589,
      "step": 7452
    },
    {
      "epoch": 0.6624888888888889,
      "grad_norm": 1.59873366355896,
      "learning_rate": 1.688e-05,
      "loss": 1.4759,
      "step": 7453
    },
    {
      "epoch": 0.6625777777777778,
      "grad_norm": 1.6042979955673218,
      "learning_rate": 1.6875555555555556e-05,
      "loss": 1.6247,
      "step": 7454
    },
    {
      "epoch": 0.6626666666666666,
      "grad_norm": 1.5672202110290527,
      "learning_rate": 1.6871111111111114e-05,
      "loss": 1.6006,
      "step": 7455
    },
    {
      "epoch": 0.6627555555555555,
      "grad_norm": 1.2692742347717285,
      "learning_rate": 1.6866666666666666e-05,
      "loss": 1.3697,
      "step": 7456
    },
    {
      "epoch": 0.6628444444444445,
      "grad_norm": 1.6758651733398438,
      "learning_rate": 1.6862222222222224e-05,
      "loss": 1.6398,
      "step": 7457
    },
    {
      "epoch": 0.6629333333333334,
      "grad_norm": 1.365838885307312,
      "learning_rate": 1.685777777777778e-05,
      "loss": 1.3912,
      "step": 7458
    },
    {
      "epoch": 0.6630222222222222,
      "grad_norm": 1.4014986753463745,
      "learning_rate": 1.6853333333333333e-05,
      "loss": 1.5086,
      "step": 7459
    },
    {
      "epoch": 0.6631111111111111,
      "grad_norm": 1.892830729484558,
      "learning_rate": 1.684888888888889e-05,
      "loss": 1.8082,
      "step": 7460
    },
    {
      "epoch": 0.6632,
      "grad_norm": 1.602672815322876,
      "learning_rate": 1.6844444444444447e-05,
      "loss": 1.5945,
      "step": 7461
    },
    {
      "epoch": 0.6632888888888889,
      "grad_norm": 1.6562151908874512,
      "learning_rate": 1.684e-05,
      "loss": 1.5957,
      "step": 7462
    },
    {
      "epoch": 0.6633777777777777,
      "grad_norm": 1.5828460454940796,
      "learning_rate": 1.6835555555555556e-05,
      "loss": 1.5878,
      "step": 7463
    },
    {
      "epoch": 0.6634666666666666,
      "grad_norm": 1.4658784866333008,
      "learning_rate": 1.683111111111111e-05,
      "loss": 1.4626,
      "step": 7464
    },
    {
      "epoch": 0.6635555555555556,
      "grad_norm": 1.451775074005127,
      "learning_rate": 1.682666666666667e-05,
      "loss": 1.5538,
      "step": 7465
    },
    {
      "epoch": 0.6636444444444445,
      "grad_norm": 1.4368162155151367,
      "learning_rate": 1.6822222222222224e-05,
      "loss": 1.477,
      "step": 7466
    },
    {
      "epoch": 0.6637333333333333,
      "grad_norm": 1.3178343772888184,
      "learning_rate": 1.681777777777778e-05,
      "loss": 1.418,
      "step": 7467
    },
    {
      "epoch": 0.6638222222222222,
      "grad_norm": 1.5383312702178955,
      "learning_rate": 1.6813333333333334e-05,
      "loss": 1.371,
      "step": 7468
    },
    {
      "epoch": 0.6639111111111111,
      "grad_norm": 1.3882077932357788,
      "learning_rate": 1.6808888888888892e-05,
      "loss": 1.6309,
      "step": 7469
    },
    {
      "epoch": 0.664,
      "grad_norm": 1.698169469833374,
      "learning_rate": 1.6804444444444444e-05,
      "loss": 1.7396,
      "step": 7470
    },
    {
      "epoch": 0.6640888888888888,
      "grad_norm": 1.3580936193466187,
      "learning_rate": 1.6800000000000002e-05,
      "loss": 1.637,
      "step": 7471
    },
    {
      "epoch": 0.6641777777777778,
      "grad_norm": 1.3746449947357178,
      "learning_rate": 1.6795555555555557e-05,
      "loss": 1.4976,
      "step": 7472
    },
    {
      "epoch": 0.6642666666666667,
      "grad_norm": 1.9794645309448242,
      "learning_rate": 1.679111111111111e-05,
      "loss": 1.6038,
      "step": 7473
    },
    {
      "epoch": 0.6643555555555556,
      "grad_norm": 1.5815985202789307,
      "learning_rate": 1.6786666666666666e-05,
      "loss": 1.5023,
      "step": 7474
    },
    {
      "epoch": 0.6644444444444444,
      "grad_norm": 1.5463627576828003,
      "learning_rate": 1.6782222222222225e-05,
      "loss": 1.5305,
      "step": 7475
    },
    {
      "epoch": 0.6645333333333333,
      "grad_norm": 1.850821614265442,
      "learning_rate": 1.677777777777778e-05,
      "loss": 1.6006,
      "step": 7476
    },
    {
      "epoch": 0.6646222222222222,
      "grad_norm": 1.3709851503372192,
      "learning_rate": 1.6773333333333334e-05,
      "loss": 1.3201,
      "step": 7477
    },
    {
      "epoch": 0.6647111111111111,
      "grad_norm": 2.9790537357330322,
      "learning_rate": 1.676888888888889e-05,
      "loss": 2.0195,
      "step": 7478
    },
    {
      "epoch": 0.6648,
      "grad_norm": 1.4812955856323242,
      "learning_rate": 1.6764444444444447e-05,
      "loss": 1.4633,
      "step": 7479
    },
    {
      "epoch": 0.6648888888888889,
      "grad_norm": 1.5410124063491821,
      "learning_rate": 1.6760000000000002e-05,
      "loss": 1.5164,
      "step": 7480
    },
    {
      "epoch": 0.6649777777777778,
      "grad_norm": 1.4805738925933838,
      "learning_rate": 1.6755555555555557e-05,
      "loss": 1.4468,
      "step": 7481
    },
    {
      "epoch": 0.6650666666666667,
      "grad_norm": 1.7423077821731567,
      "learning_rate": 1.6751111111111112e-05,
      "loss": 1.4712,
      "step": 7482
    },
    {
      "epoch": 0.6651555555555556,
      "grad_norm": 1.8235262632369995,
      "learning_rate": 1.674666666666667e-05,
      "loss": 1.6262,
      "step": 7483
    },
    {
      "epoch": 0.6652444444444444,
      "grad_norm": 1.4987789392471313,
      "learning_rate": 1.674222222222222e-05,
      "loss": 1.4327,
      "step": 7484
    },
    {
      "epoch": 0.6653333333333333,
      "grad_norm": 1.6692615747451782,
      "learning_rate": 1.6737777777777776e-05,
      "loss": 1.6793,
      "step": 7485
    },
    {
      "epoch": 0.6654222222222222,
      "grad_norm": 1.3334300518035889,
      "learning_rate": 1.6733333333333335e-05,
      "loss": 1.4524,
      "step": 7486
    },
    {
      "epoch": 0.6655111111111112,
      "grad_norm": 1.5677814483642578,
      "learning_rate": 1.672888888888889e-05,
      "loss": 1.8095,
      "step": 7487
    },
    {
      "epoch": 0.6656,
      "grad_norm": 1.6378625631332397,
      "learning_rate": 1.6724444444444444e-05,
      "loss": 1.5546,
      "step": 7488
    },
    {
      "epoch": 0.6656888888888889,
      "grad_norm": 1.7699494361877441,
      "learning_rate": 1.672e-05,
      "loss": 1.5531,
      "step": 7489
    },
    {
      "epoch": 0.6657777777777778,
      "grad_norm": 1.522128701210022,
      "learning_rate": 1.6715555555555557e-05,
      "loss": 1.4277,
      "step": 7490
    },
    {
      "epoch": 0.6658666666666667,
      "grad_norm": 1.3843705654144287,
      "learning_rate": 1.6711111111111112e-05,
      "loss": 1.4644,
      "step": 7491
    },
    {
      "epoch": 0.6659555555555555,
      "grad_norm": 1.4593051671981812,
      "learning_rate": 1.6706666666666667e-05,
      "loss": 1.5202,
      "step": 7492
    },
    {
      "epoch": 0.6660444444444444,
      "grad_norm": 1.6959877014160156,
      "learning_rate": 1.6702222222222222e-05,
      "loss": 1.5377,
      "step": 7493
    },
    {
      "epoch": 0.6661333333333334,
      "grad_norm": 1.5663386583328247,
      "learning_rate": 1.669777777777778e-05,
      "loss": 1.635,
      "step": 7494
    },
    {
      "epoch": 0.6662222222222223,
      "grad_norm": 1.685739278793335,
      "learning_rate": 1.669333333333333e-05,
      "loss": 1.5111,
      "step": 7495
    },
    {
      "epoch": 0.6663111111111111,
      "grad_norm": 2.0211234092712402,
      "learning_rate": 1.668888888888889e-05,
      "loss": 1.6465,
      "step": 7496
    },
    {
      "epoch": 0.6664,
      "grad_norm": 1.7664110660552979,
      "learning_rate": 1.6684444444444445e-05,
      "loss": 1.7166,
      "step": 7497
    },
    {
      "epoch": 0.6664888888888889,
      "grad_norm": 1.7744572162628174,
      "learning_rate": 1.668e-05,
      "loss": 1.5812,
      "step": 7498
    },
    {
      "epoch": 0.6665777777777778,
      "grad_norm": 1.761591911315918,
      "learning_rate": 1.6675555555555554e-05,
      "loss": 1.6305,
      "step": 7499
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 1.6099599599838257,
      "learning_rate": 1.6671111111111113e-05,
      "loss": 1.549,
      "step": 7500
    },
    {
      "epoch": 0.6667555555555555,
      "grad_norm": 1.7521586418151855,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 1.6607,
      "step": 7501
    },
    {
      "epoch": 0.6668444444444445,
      "grad_norm": 1.625422716140747,
      "learning_rate": 1.6662222222222222e-05,
      "loss": 1.6141,
      "step": 7502
    },
    {
      "epoch": 0.6669333333333334,
      "grad_norm": 1.4790456295013428,
      "learning_rate": 1.6657777777777777e-05,
      "loss": 1.5163,
      "step": 7503
    },
    {
      "epoch": 0.6670222222222222,
      "grad_norm": 1.5759938955307007,
      "learning_rate": 1.6653333333333335e-05,
      "loss": 1.5113,
      "step": 7504
    },
    {
      "epoch": 0.6671111111111111,
      "grad_norm": 2.084190607070923,
      "learning_rate": 1.664888888888889e-05,
      "loss": 1.5901,
      "step": 7505
    },
    {
      "epoch": 0.6672,
      "grad_norm": 1.657150149345398,
      "learning_rate": 1.6644444444444445e-05,
      "loss": 1.4703,
      "step": 7506
    },
    {
      "epoch": 0.6672888888888889,
      "grad_norm": 1.664629578590393,
      "learning_rate": 1.664e-05,
      "loss": 1.6137,
      "step": 7507
    },
    {
      "epoch": 0.6673777777777777,
      "grad_norm": 1.69635009765625,
      "learning_rate": 1.6635555555555558e-05,
      "loss": 1.6412,
      "step": 7508
    },
    {
      "epoch": 0.6674666666666667,
      "grad_norm": 1.410199522972107,
      "learning_rate": 1.663111111111111e-05,
      "loss": 1.3697,
      "step": 7509
    },
    {
      "epoch": 0.6675555555555556,
      "grad_norm": 1.8397425413131714,
      "learning_rate": 1.6626666666666668e-05,
      "loss": 1.4968,
      "step": 7510
    },
    {
      "epoch": 0.6676444444444445,
      "grad_norm": 1.6834572553634644,
      "learning_rate": 1.6622222222222223e-05,
      "loss": 1.4303,
      "step": 7511
    },
    {
      "epoch": 0.6677333333333333,
      "grad_norm": 1.7314618825912476,
      "learning_rate": 1.661777777777778e-05,
      "loss": 1.4905,
      "step": 7512
    },
    {
      "epoch": 0.6678222222222222,
      "grad_norm": 1.3812670707702637,
      "learning_rate": 1.6613333333333332e-05,
      "loss": 1.5472,
      "step": 7513
    },
    {
      "epoch": 0.6679111111111111,
      "grad_norm": 1.8391048908233643,
      "learning_rate": 1.660888888888889e-05,
      "loss": 1.884,
      "step": 7514
    },
    {
      "epoch": 0.668,
      "grad_norm": 2.8287622928619385,
      "learning_rate": 1.6604444444444445e-05,
      "loss": 1.6189,
      "step": 7515
    },
    {
      "epoch": 0.6680888888888888,
      "grad_norm": 1.5630699396133423,
      "learning_rate": 1.66e-05,
      "loss": 1.7308,
      "step": 7516
    },
    {
      "epoch": 0.6681777777777778,
      "grad_norm": 1.797027349472046,
      "learning_rate": 1.6595555555555555e-05,
      "loss": 1.6096,
      "step": 7517
    },
    {
      "epoch": 0.6682666666666667,
      "grad_norm": 1.3736364841461182,
      "learning_rate": 1.6591111111111113e-05,
      "loss": 1.4796,
      "step": 7518
    },
    {
      "epoch": 0.6683555555555556,
      "grad_norm": 1.4725879430770874,
      "learning_rate": 1.6586666666666668e-05,
      "loss": 1.5963,
      "step": 7519
    },
    {
      "epoch": 0.6684444444444444,
      "grad_norm": 1.8568944931030273,
      "learning_rate": 1.6582222222222223e-05,
      "loss": 1.3902,
      "step": 7520
    },
    {
      "epoch": 0.6685333333333333,
      "grad_norm": 1.9705435037612915,
      "learning_rate": 1.6577777777777778e-05,
      "loss": 1.733,
      "step": 7521
    },
    {
      "epoch": 0.6686222222222222,
      "grad_norm": 2.4557857513427734,
      "learning_rate": 1.6573333333333336e-05,
      "loss": 1.7611,
      "step": 7522
    },
    {
      "epoch": 0.6687111111111111,
      "grad_norm": 2.364051342010498,
      "learning_rate": 1.656888888888889e-05,
      "loss": 1.7335,
      "step": 7523
    },
    {
      "epoch": 0.6688,
      "grad_norm": 1.6437216997146606,
      "learning_rate": 1.6564444444444446e-05,
      "loss": 1.6102,
      "step": 7524
    },
    {
      "epoch": 0.6688888888888889,
      "grad_norm": 1.3543751239776611,
      "learning_rate": 1.656e-05,
      "loss": 1.4039,
      "step": 7525
    },
    {
      "epoch": 0.6689777777777778,
      "grad_norm": 1.4531073570251465,
      "learning_rate": 1.655555555555556e-05,
      "loss": 1.4819,
      "step": 7526
    },
    {
      "epoch": 0.6690666666666667,
      "grad_norm": 1.572827696800232,
      "learning_rate": 1.655111111111111e-05,
      "loss": 1.4926,
      "step": 7527
    },
    {
      "epoch": 0.6691555555555555,
      "grad_norm": 1.4630261659622192,
      "learning_rate": 1.654666666666667e-05,
      "loss": 1.3769,
      "step": 7528
    },
    {
      "epoch": 0.6692444444444444,
      "grad_norm": 1.3611512184143066,
      "learning_rate": 1.6542222222222223e-05,
      "loss": 1.4371,
      "step": 7529
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 1.5037336349487305,
      "learning_rate": 1.6537777777777778e-05,
      "loss": 1.6598,
      "step": 7530
    },
    {
      "epoch": 0.6694222222222223,
      "grad_norm": 1.7710466384887695,
      "learning_rate": 1.6533333333333333e-05,
      "loss": 1.686,
      "step": 7531
    },
    {
      "epoch": 0.6695111111111111,
      "grad_norm": 1.7391045093536377,
      "learning_rate": 1.652888888888889e-05,
      "loss": 1.6191,
      "step": 7532
    },
    {
      "epoch": 0.6696,
      "grad_norm": 1.5142349004745483,
      "learning_rate": 1.6524444444444446e-05,
      "loss": 1.4817,
      "step": 7533
    },
    {
      "epoch": 0.6696888888888889,
      "grad_norm": 1.5992977619171143,
      "learning_rate": 1.652e-05,
      "loss": 1.6142,
      "step": 7534
    },
    {
      "epoch": 0.6697777777777778,
      "grad_norm": 1.4789392948150635,
      "learning_rate": 1.6515555555555556e-05,
      "loss": 1.5848,
      "step": 7535
    },
    {
      "epoch": 0.6698666666666667,
      "grad_norm": 1.585108995437622,
      "learning_rate": 1.651111111111111e-05,
      "loss": 1.526,
      "step": 7536
    },
    {
      "epoch": 0.6699555555555555,
      "grad_norm": 1.6319578886032104,
      "learning_rate": 1.650666666666667e-05,
      "loss": 1.565,
      "step": 7537
    },
    {
      "epoch": 0.6700444444444444,
      "grad_norm": 1.983335256576538,
      "learning_rate": 1.650222222222222e-05,
      "loss": 1.7528,
      "step": 7538
    },
    {
      "epoch": 0.6701333333333334,
      "grad_norm": 1.7431539297103882,
      "learning_rate": 1.649777777777778e-05,
      "loss": 1.6268,
      "step": 7539
    },
    {
      "epoch": 0.6702222222222223,
      "grad_norm": 1.3358533382415771,
      "learning_rate": 1.6493333333333334e-05,
      "loss": 1.5546,
      "step": 7540
    },
    {
      "epoch": 0.6703111111111111,
      "grad_norm": 1.6193220615386963,
      "learning_rate": 1.648888888888889e-05,
      "loss": 1.6047,
      "step": 7541
    },
    {
      "epoch": 0.6704,
      "grad_norm": 1.558672308921814,
      "learning_rate": 1.6484444444444443e-05,
      "loss": 1.548,
      "step": 7542
    },
    {
      "epoch": 0.6704888888888889,
      "grad_norm": 1.7560895681381226,
      "learning_rate": 1.648e-05,
      "loss": 1.7558,
      "step": 7543
    },
    {
      "epoch": 0.6705777777777778,
      "grad_norm": 1.6507694721221924,
      "learning_rate": 1.6475555555555556e-05,
      "loss": 1.3932,
      "step": 7544
    },
    {
      "epoch": 0.6706666666666666,
      "grad_norm": 1.4078131914138794,
      "learning_rate": 1.647111111111111e-05,
      "loss": 1.503,
      "step": 7545
    },
    {
      "epoch": 0.6707555555555555,
      "grad_norm": 1.6782017946243286,
      "learning_rate": 1.6466666666666666e-05,
      "loss": 1.7076,
      "step": 7546
    },
    {
      "epoch": 0.6708444444444445,
      "grad_norm": 1.5355942249298096,
      "learning_rate": 1.6462222222222224e-05,
      "loss": 1.6226,
      "step": 7547
    },
    {
      "epoch": 0.6709333333333334,
      "grad_norm": 1.4920467138290405,
      "learning_rate": 1.645777777777778e-05,
      "loss": 1.48,
      "step": 7548
    },
    {
      "epoch": 0.6710222222222222,
      "grad_norm": 1.4714044332504272,
      "learning_rate": 1.6453333333333334e-05,
      "loss": 1.4254,
      "step": 7549
    },
    {
      "epoch": 0.6711111111111111,
      "grad_norm": 1.6198176145553589,
      "learning_rate": 1.644888888888889e-05,
      "loss": 1.3298,
      "step": 7550
    },
    {
      "epoch": 0.6712,
      "grad_norm": 1.8834798336029053,
      "learning_rate": 1.6444444444444447e-05,
      "loss": 1.4581,
      "step": 7551
    },
    {
      "epoch": 0.6712888888888889,
      "grad_norm": 2.0739827156066895,
      "learning_rate": 1.644e-05,
      "loss": 1.6307,
      "step": 7552
    },
    {
      "epoch": 0.6713777777777777,
      "grad_norm": 1.6493594646453857,
      "learning_rate": 1.6435555555555557e-05,
      "loss": 1.5209,
      "step": 7553
    },
    {
      "epoch": 0.6714666666666667,
      "grad_norm": 1.6087831258773804,
      "learning_rate": 1.643111111111111e-05,
      "loss": 1.4842,
      "step": 7554
    },
    {
      "epoch": 0.6715555555555556,
      "grad_norm": 1.592538595199585,
      "learning_rate": 1.6426666666666666e-05,
      "loss": 1.3694,
      "step": 7555
    },
    {
      "epoch": 0.6716444444444445,
      "grad_norm": 1.8548035621643066,
      "learning_rate": 1.642222222222222e-05,
      "loss": 1.5582,
      "step": 7556
    },
    {
      "epoch": 0.6717333333333333,
      "grad_norm": 1.4824146032333374,
      "learning_rate": 1.641777777777778e-05,
      "loss": 1.6215,
      "step": 7557
    },
    {
      "epoch": 0.6718222222222222,
      "grad_norm": 1.4834049940109253,
      "learning_rate": 1.6413333333333334e-05,
      "loss": 1.6892,
      "step": 7558
    },
    {
      "epoch": 0.6719111111111111,
      "grad_norm": 1.984928846359253,
      "learning_rate": 1.640888888888889e-05,
      "loss": 1.5608,
      "step": 7559
    },
    {
      "epoch": 0.672,
      "grad_norm": 1.8421071767807007,
      "learning_rate": 1.6404444444444444e-05,
      "loss": 1.7565,
      "step": 7560
    },
    {
      "epoch": 0.6720888888888888,
      "grad_norm": 1.4612380266189575,
      "learning_rate": 1.6400000000000002e-05,
      "loss": 1.3514,
      "step": 7561
    },
    {
      "epoch": 0.6721777777777778,
      "grad_norm": 1.9581841230392456,
      "learning_rate": 1.6395555555555557e-05,
      "loss": 1.7437,
      "step": 7562
    },
    {
      "epoch": 0.6722666666666667,
      "grad_norm": 1.786443829536438,
      "learning_rate": 1.6391111111111112e-05,
      "loss": 1.6511,
      "step": 7563
    },
    {
      "epoch": 0.6723555555555556,
      "grad_norm": 1.5241317749023438,
      "learning_rate": 1.6386666666666667e-05,
      "loss": 1.754,
      "step": 7564
    },
    {
      "epoch": 0.6724444444444444,
      "grad_norm": 1.7860106229782104,
      "learning_rate": 1.6382222222222225e-05,
      "loss": 1.7824,
      "step": 7565
    },
    {
      "epoch": 0.6725333333333333,
      "grad_norm": 1.5596067905426025,
      "learning_rate": 1.6377777777777776e-05,
      "loss": 1.5633,
      "step": 7566
    },
    {
      "epoch": 0.6726222222222222,
      "grad_norm": 1.6397547721862793,
      "learning_rate": 1.6373333333333335e-05,
      "loss": 1.6863,
      "step": 7567
    },
    {
      "epoch": 0.6727111111111111,
      "grad_norm": 1.8900678157806396,
      "learning_rate": 1.636888888888889e-05,
      "loss": 1.712,
      "step": 7568
    },
    {
      "epoch": 0.6728,
      "grad_norm": 1.515950083732605,
      "learning_rate": 1.6364444444444448e-05,
      "loss": 1.5721,
      "step": 7569
    },
    {
      "epoch": 0.6728888888888889,
      "grad_norm": 1.7339295148849487,
      "learning_rate": 1.636e-05,
      "loss": 1.524,
      "step": 7570
    },
    {
      "epoch": 0.6729777777777778,
      "grad_norm": 1.9643841981887817,
      "learning_rate": 1.6355555555555557e-05,
      "loss": 1.6911,
      "step": 7571
    },
    {
      "epoch": 0.6730666666666667,
      "grad_norm": 1.6265313625335693,
      "learning_rate": 1.6351111111111112e-05,
      "loss": 1.3738,
      "step": 7572
    },
    {
      "epoch": 0.6731555555555555,
      "grad_norm": 1.63580322265625,
      "learning_rate": 1.6346666666666667e-05,
      "loss": 1.5208,
      "step": 7573
    },
    {
      "epoch": 0.6732444444444444,
      "grad_norm": 1.7019306421279907,
      "learning_rate": 1.6342222222222222e-05,
      "loss": 1.7767,
      "step": 7574
    },
    {
      "epoch": 0.6733333333333333,
      "grad_norm": 1.401147484779358,
      "learning_rate": 1.633777777777778e-05,
      "loss": 1.4586,
      "step": 7575
    },
    {
      "epoch": 0.6734222222222223,
      "grad_norm": 1.6183602809906006,
      "learning_rate": 1.6333333333333335e-05,
      "loss": 1.6027,
      "step": 7576
    },
    {
      "epoch": 0.6735111111111111,
      "grad_norm": 1.9830996990203857,
      "learning_rate": 1.632888888888889e-05,
      "loss": 1.6202,
      "step": 7577
    },
    {
      "epoch": 0.6736,
      "grad_norm": 1.4241223335266113,
      "learning_rate": 1.6324444444444445e-05,
      "loss": 1.344,
      "step": 7578
    },
    {
      "epoch": 0.6736888888888889,
      "grad_norm": 1.7383770942687988,
      "learning_rate": 1.6320000000000003e-05,
      "loss": 1.581,
      "step": 7579
    },
    {
      "epoch": 0.6737777777777778,
      "grad_norm": 2.183901071548462,
      "learning_rate": 1.6315555555555558e-05,
      "loss": 1.9371,
      "step": 7580
    },
    {
      "epoch": 0.6738666666666666,
      "grad_norm": 1.8130338191986084,
      "learning_rate": 1.6311111111111113e-05,
      "loss": 1.6108,
      "step": 7581
    },
    {
      "epoch": 0.6739555555555555,
      "grad_norm": 3.075730323791504,
      "learning_rate": 1.6306666666666668e-05,
      "loss": 1.5163,
      "step": 7582
    },
    {
      "epoch": 0.6740444444444444,
      "grad_norm": 1.8906432390213013,
      "learning_rate": 1.6302222222222226e-05,
      "loss": 1.6529,
      "step": 7583
    },
    {
      "epoch": 0.6741333333333334,
      "grad_norm": 1.461842656135559,
      "learning_rate": 1.6297777777777777e-05,
      "loss": 1.4007,
      "step": 7584
    },
    {
      "epoch": 0.6742222222222222,
      "grad_norm": 2.3848750591278076,
      "learning_rate": 1.6293333333333335e-05,
      "loss": 1.6677,
      "step": 7585
    },
    {
      "epoch": 0.6743111111111111,
      "grad_norm": 1.5080323219299316,
      "learning_rate": 1.628888888888889e-05,
      "loss": 1.5187,
      "step": 7586
    },
    {
      "epoch": 0.6744,
      "grad_norm": 1.6620128154754639,
      "learning_rate": 1.6284444444444445e-05,
      "loss": 1.5691,
      "step": 7587
    },
    {
      "epoch": 0.6744888888888889,
      "grad_norm": 1.4649162292480469,
      "learning_rate": 1.628e-05,
      "loss": 1.3401,
      "step": 7588
    },
    {
      "epoch": 0.6745777777777778,
      "grad_norm": 1.7731071710586548,
      "learning_rate": 1.6275555555555555e-05,
      "loss": 1.7264,
      "step": 7589
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 1.5660895109176636,
      "learning_rate": 1.6271111111111113e-05,
      "loss": 1.5337,
      "step": 7590
    },
    {
      "epoch": 0.6747555555555556,
      "grad_norm": 2.1042094230651855,
      "learning_rate": 1.6266666666666665e-05,
      "loss": 1.6969,
      "step": 7591
    },
    {
      "epoch": 0.6748444444444445,
      "grad_norm": 1.738765835762024,
      "learning_rate": 1.6262222222222223e-05,
      "loss": 1.7237,
      "step": 7592
    },
    {
      "epoch": 0.6749333333333334,
      "grad_norm": 1.6291899681091309,
      "learning_rate": 1.6257777777777778e-05,
      "loss": 1.4962,
      "step": 7593
    },
    {
      "epoch": 0.6750222222222222,
      "grad_norm": 1.7151679992675781,
      "learning_rate": 1.6253333333333336e-05,
      "loss": 1.6826,
      "step": 7594
    },
    {
      "epoch": 0.6751111111111111,
      "grad_norm": 1.5327043533325195,
      "learning_rate": 1.6248888888888887e-05,
      "loss": 1.6399,
      "step": 7595
    },
    {
      "epoch": 0.6752,
      "grad_norm": 1.840651273727417,
      "learning_rate": 1.6244444444444446e-05,
      "loss": 1.4224,
      "step": 7596
    },
    {
      "epoch": 0.6752888888888889,
      "grad_norm": 1.766027569770813,
      "learning_rate": 1.624e-05,
      "loss": 1.478,
      "step": 7597
    },
    {
      "epoch": 0.6753777777777777,
      "grad_norm": 1.5283973217010498,
      "learning_rate": 1.6235555555555555e-05,
      "loss": 1.4427,
      "step": 7598
    },
    {
      "epoch": 0.6754666666666667,
      "grad_norm": 1.8441628217697144,
      "learning_rate": 1.623111111111111e-05,
      "loss": 1.4432,
      "step": 7599
    },
    {
      "epoch": 0.6755555555555556,
      "grad_norm": 1.696475625038147,
      "learning_rate": 1.6226666666666668e-05,
      "loss": 1.6707,
      "step": 7600
    },
    {
      "epoch": 0.6756444444444445,
      "grad_norm": 1.570788860321045,
      "learning_rate": 1.6222222222222223e-05,
      "loss": 1.4568,
      "step": 7601
    },
    {
      "epoch": 0.6757333333333333,
      "grad_norm": 2.0742733478546143,
      "learning_rate": 1.6217777777777778e-05,
      "loss": 1.6468,
      "step": 7602
    },
    {
      "epoch": 0.6758222222222222,
      "grad_norm": 2.357429027557373,
      "learning_rate": 1.6213333333333333e-05,
      "loss": 1.7914,
      "step": 7603
    },
    {
      "epoch": 0.6759111111111111,
      "grad_norm": 1.4728363752365112,
      "learning_rate": 1.620888888888889e-05,
      "loss": 1.6706,
      "step": 7604
    },
    {
      "epoch": 0.676,
      "grad_norm": 2.071483612060547,
      "learning_rate": 1.6204444444444446e-05,
      "loss": 1.6409,
      "step": 7605
    },
    {
      "epoch": 0.6760888888888889,
      "grad_norm": 1.475247859954834,
      "learning_rate": 1.62e-05,
      "loss": 1.6345,
      "step": 7606
    },
    {
      "epoch": 0.6761777777777778,
      "grad_norm": 1.8718470335006714,
      "learning_rate": 1.6195555555555556e-05,
      "loss": 1.6773,
      "step": 7607
    },
    {
      "epoch": 0.6762666666666667,
      "grad_norm": 1.519639253616333,
      "learning_rate": 1.6191111111111114e-05,
      "loss": 1.4161,
      "step": 7608
    },
    {
      "epoch": 0.6763555555555556,
      "grad_norm": 1.524753212928772,
      "learning_rate": 1.6186666666666665e-05,
      "loss": 1.4655,
      "step": 7609
    },
    {
      "epoch": 0.6764444444444444,
      "grad_norm": 1.7373855113983154,
      "learning_rate": 1.6182222222222224e-05,
      "loss": 1.5584,
      "step": 7610
    },
    {
      "epoch": 0.6765333333333333,
      "grad_norm": 1.520346760749817,
      "learning_rate": 1.617777777777778e-05,
      "loss": 1.4307,
      "step": 7611
    },
    {
      "epoch": 0.6766222222222222,
      "grad_norm": 1.6516300439834595,
      "learning_rate": 1.6173333333333333e-05,
      "loss": 1.5228,
      "step": 7612
    },
    {
      "epoch": 0.6767111111111112,
      "grad_norm": 1.4421570301055908,
      "learning_rate": 1.6168888888888888e-05,
      "loss": 1.4658,
      "step": 7613
    },
    {
      "epoch": 0.6768,
      "grad_norm": 1.4123563766479492,
      "learning_rate": 1.6164444444444446e-05,
      "loss": 1.4807,
      "step": 7614
    },
    {
      "epoch": 0.6768888888888889,
      "grad_norm": 1.4512312412261963,
      "learning_rate": 1.616e-05,
      "loss": 1.3164,
      "step": 7615
    },
    {
      "epoch": 0.6769777777777778,
      "grad_norm": 1.4394738674163818,
      "learning_rate": 1.6155555555555556e-05,
      "loss": 1.5858,
      "step": 7616
    },
    {
      "epoch": 0.6770666666666667,
      "grad_norm": 1.9299757480621338,
      "learning_rate": 1.615111111111111e-05,
      "loss": 1.5764,
      "step": 7617
    },
    {
      "epoch": 0.6771555555555555,
      "grad_norm": 2.083193302154541,
      "learning_rate": 1.614666666666667e-05,
      "loss": 1.7356,
      "step": 7618
    },
    {
      "epoch": 0.6772444444444444,
      "grad_norm": 1.749464988708496,
      "learning_rate": 1.6142222222222224e-05,
      "loss": 1.4083,
      "step": 7619
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 1.7986620664596558,
      "learning_rate": 1.613777777777778e-05,
      "loss": 1.4692,
      "step": 7620
    },
    {
      "epoch": 0.6774222222222223,
      "grad_norm": 1.4271438121795654,
      "learning_rate": 1.6133333333333334e-05,
      "loss": 1.5154,
      "step": 7621
    },
    {
      "epoch": 0.6775111111111111,
      "grad_norm": 1.3858234882354736,
      "learning_rate": 1.6128888888888892e-05,
      "loss": 1.3984,
      "step": 7622
    },
    {
      "epoch": 0.6776,
      "grad_norm": 1.5022042989730835,
      "learning_rate": 1.6124444444444443e-05,
      "loss": 1.5043,
      "step": 7623
    },
    {
      "epoch": 0.6776888888888889,
      "grad_norm": 1.8468838930130005,
      "learning_rate": 1.612e-05,
      "loss": 1.5527,
      "step": 7624
    },
    {
      "epoch": 0.6777777777777778,
      "grad_norm": 1.6206425428390503,
      "learning_rate": 1.6115555555555556e-05,
      "loss": 1.5362,
      "step": 7625
    },
    {
      "epoch": 0.6778666666666666,
      "grad_norm": 1.408538818359375,
      "learning_rate": 1.6111111111111115e-05,
      "loss": 1.3589,
      "step": 7626
    },
    {
      "epoch": 0.6779555555555555,
      "grad_norm": 1.5596377849578857,
      "learning_rate": 1.6106666666666666e-05,
      "loss": 1.2473,
      "step": 7627
    },
    {
      "epoch": 0.6780444444444444,
      "grad_norm": 1.6232647895812988,
      "learning_rate": 1.6102222222222224e-05,
      "loss": 1.4706,
      "step": 7628
    },
    {
      "epoch": 0.6781333333333334,
      "grad_norm": 1.4777846336364746,
      "learning_rate": 1.609777777777778e-05,
      "loss": 1.4084,
      "step": 7629
    },
    {
      "epoch": 0.6782222222222222,
      "grad_norm": 1.875306248664856,
      "learning_rate": 1.6093333333333334e-05,
      "loss": 1.4149,
      "step": 7630
    },
    {
      "epoch": 0.6783111111111111,
      "grad_norm": 1.7873393297195435,
      "learning_rate": 1.608888888888889e-05,
      "loss": 1.7096,
      "step": 7631
    },
    {
      "epoch": 0.6784,
      "grad_norm": 1.4687689542770386,
      "learning_rate": 1.6084444444444447e-05,
      "loss": 1.5624,
      "step": 7632
    },
    {
      "epoch": 0.6784888888888889,
      "grad_norm": 1.6499083042144775,
      "learning_rate": 1.6080000000000002e-05,
      "loss": 1.5355,
      "step": 7633
    },
    {
      "epoch": 0.6785777777777777,
      "grad_norm": 1.5617120265960693,
      "learning_rate": 1.6075555555555557e-05,
      "loss": 1.4476,
      "step": 7634
    },
    {
      "epoch": 0.6786666666666666,
      "grad_norm": 1.6868020296096802,
      "learning_rate": 1.607111111111111e-05,
      "loss": 1.4772,
      "step": 7635
    },
    {
      "epoch": 0.6787555555555556,
      "grad_norm": 1.7402615547180176,
      "learning_rate": 1.606666666666667e-05,
      "loss": 1.5455,
      "step": 7636
    },
    {
      "epoch": 0.6788444444444445,
      "grad_norm": 1.9300050735473633,
      "learning_rate": 1.606222222222222e-05,
      "loss": 1.4786,
      "step": 7637
    },
    {
      "epoch": 0.6789333333333334,
      "grad_norm": 1.607742428779602,
      "learning_rate": 1.605777777777778e-05,
      "loss": 1.4285,
      "step": 7638
    },
    {
      "epoch": 0.6790222222222222,
      "grad_norm": 1.7292819023132324,
      "learning_rate": 1.6053333333333334e-05,
      "loss": 1.5222,
      "step": 7639
    },
    {
      "epoch": 0.6791111111111111,
      "grad_norm": 1.474320411682129,
      "learning_rate": 1.604888888888889e-05,
      "loss": 1.4699,
      "step": 7640
    },
    {
      "epoch": 0.6792,
      "grad_norm": 1.650016188621521,
      "learning_rate": 1.6044444444444444e-05,
      "loss": 1.5398,
      "step": 7641
    },
    {
      "epoch": 0.6792888888888889,
      "grad_norm": 2.0319130420684814,
      "learning_rate": 1.604e-05,
      "loss": 1.4974,
      "step": 7642
    },
    {
      "epoch": 0.6793777777777777,
      "grad_norm": 1.5934492349624634,
      "learning_rate": 1.6035555555555557e-05,
      "loss": 1.6669,
      "step": 7643
    },
    {
      "epoch": 0.6794666666666667,
      "grad_norm": 1.407127857208252,
      "learning_rate": 1.6031111111111112e-05,
      "loss": 1.6802,
      "step": 7644
    },
    {
      "epoch": 0.6795555555555556,
      "grad_norm": 1.847216010093689,
      "learning_rate": 1.6026666666666667e-05,
      "loss": 1.5809,
      "step": 7645
    },
    {
      "epoch": 0.6796444444444445,
      "grad_norm": 1.490295171737671,
      "learning_rate": 1.602222222222222e-05,
      "loss": 1.6644,
      "step": 7646
    },
    {
      "epoch": 0.6797333333333333,
      "grad_norm": 1.4936391115188599,
      "learning_rate": 1.601777777777778e-05,
      "loss": 1.6751,
      "step": 7647
    },
    {
      "epoch": 0.6798222222222222,
      "grad_norm": 1.5717418193817139,
      "learning_rate": 1.601333333333333e-05,
      "loss": 1.5785,
      "step": 7648
    },
    {
      "epoch": 0.6799111111111111,
      "grad_norm": 1.9343235492706299,
      "learning_rate": 1.600888888888889e-05,
      "loss": 1.508,
      "step": 7649
    },
    {
      "epoch": 0.68,
      "grad_norm": 1.5733977556228638,
      "learning_rate": 1.6004444444444444e-05,
      "loss": 1.6134,
      "step": 7650
    },
    {
      "epoch": 0.6800888888888889,
      "grad_norm": 1.371681571006775,
      "learning_rate": 1.6000000000000003e-05,
      "loss": 1.4132,
      "step": 7651
    },
    {
      "epoch": 0.6801777777777778,
      "grad_norm": 1.47238028049469,
      "learning_rate": 1.5995555555555554e-05,
      "loss": 1.4818,
      "step": 7652
    },
    {
      "epoch": 0.6802666666666667,
      "grad_norm": 1.6401785612106323,
      "learning_rate": 1.5991111111111112e-05,
      "loss": 1.4908,
      "step": 7653
    },
    {
      "epoch": 0.6803555555555556,
      "grad_norm": 1.6643929481506348,
      "learning_rate": 1.5986666666666667e-05,
      "loss": 1.7634,
      "step": 7654
    },
    {
      "epoch": 0.6804444444444444,
      "grad_norm": 1.780824899673462,
      "learning_rate": 1.5982222222222222e-05,
      "loss": 1.3915,
      "step": 7655
    },
    {
      "epoch": 0.6805333333333333,
      "grad_norm": 1.4718363285064697,
      "learning_rate": 1.5977777777777777e-05,
      "loss": 1.5442,
      "step": 7656
    },
    {
      "epoch": 0.6806222222222222,
      "grad_norm": 1.8084161281585693,
      "learning_rate": 1.5973333333333335e-05,
      "loss": 1.3506,
      "step": 7657
    },
    {
      "epoch": 0.6807111111111112,
      "grad_norm": 1.4961729049682617,
      "learning_rate": 1.596888888888889e-05,
      "loss": 1.5608,
      "step": 7658
    },
    {
      "epoch": 0.6808,
      "grad_norm": 1.7861433029174805,
      "learning_rate": 1.5964444444444445e-05,
      "loss": 1.4571,
      "step": 7659
    },
    {
      "epoch": 0.6808888888888889,
      "grad_norm": 1.5185563564300537,
      "learning_rate": 1.596e-05,
      "loss": 1.5585,
      "step": 7660
    },
    {
      "epoch": 0.6809777777777778,
      "grad_norm": 1.3570399284362793,
      "learning_rate": 1.5955555555555558e-05,
      "loss": 1.3317,
      "step": 7661
    },
    {
      "epoch": 0.6810666666666667,
      "grad_norm": 1.4355300664901733,
      "learning_rate": 1.5951111111111113e-05,
      "loss": 1.3705,
      "step": 7662
    },
    {
      "epoch": 0.6811555555555555,
      "grad_norm": 1.6111619472503662,
      "learning_rate": 1.5946666666666668e-05,
      "loss": 1.6436,
      "step": 7663
    },
    {
      "epoch": 0.6812444444444444,
      "grad_norm": 1.326743483543396,
      "learning_rate": 1.5942222222222222e-05,
      "loss": 1.4818,
      "step": 7664
    },
    {
      "epoch": 0.6813333333333333,
      "grad_norm": 1.4865810871124268,
      "learning_rate": 1.593777777777778e-05,
      "loss": 1.5492,
      "step": 7665
    },
    {
      "epoch": 0.6814222222222223,
      "grad_norm": 1.8026386499404907,
      "learning_rate": 1.5933333333333332e-05,
      "loss": 1.5488,
      "step": 7666
    },
    {
      "epoch": 0.6815111111111111,
      "grad_norm": 1.5586382150650024,
      "learning_rate": 1.592888888888889e-05,
      "loss": 1.6713,
      "step": 7667
    },
    {
      "epoch": 0.6816,
      "grad_norm": 1.4490867853164673,
      "learning_rate": 1.5924444444444445e-05,
      "loss": 1.6084,
      "step": 7668
    },
    {
      "epoch": 0.6816888888888889,
      "grad_norm": 1.3184943199157715,
      "learning_rate": 1.592e-05,
      "loss": 1.472,
      "step": 7669
    },
    {
      "epoch": 0.6817777777777778,
      "grad_norm": 1.8260281085968018,
      "learning_rate": 1.5915555555555555e-05,
      "loss": 1.602,
      "step": 7670
    },
    {
      "epoch": 0.6818666666666666,
      "grad_norm": 1.4123170375823975,
      "learning_rate": 1.5911111111111113e-05,
      "loss": 1.634,
      "step": 7671
    },
    {
      "epoch": 0.6819555555555555,
      "grad_norm": 1.5810894966125488,
      "learning_rate": 1.5906666666666668e-05,
      "loss": 1.5643,
      "step": 7672
    },
    {
      "epoch": 0.6820444444444445,
      "grad_norm": 1.7919447422027588,
      "learning_rate": 1.5902222222222223e-05,
      "loss": 1.6357,
      "step": 7673
    },
    {
      "epoch": 0.6821333333333334,
      "grad_norm": 1.4110054969787598,
      "learning_rate": 1.5897777777777778e-05,
      "loss": 1.3935,
      "step": 7674
    },
    {
      "epoch": 0.6822222222222222,
      "grad_norm": 1.5369607210159302,
      "learning_rate": 1.5893333333333336e-05,
      "loss": 1.4904,
      "step": 7675
    },
    {
      "epoch": 0.6823111111111111,
      "grad_norm": 1.7330223321914673,
      "learning_rate": 1.588888888888889e-05,
      "loss": 1.4826,
      "step": 7676
    },
    {
      "epoch": 0.6824,
      "grad_norm": 1.5265153646469116,
      "learning_rate": 1.5884444444444446e-05,
      "loss": 1.3756,
      "step": 7677
    },
    {
      "epoch": 0.6824888888888889,
      "grad_norm": 1.4516441822052002,
      "learning_rate": 1.588e-05,
      "loss": 1.6506,
      "step": 7678
    },
    {
      "epoch": 0.6825777777777777,
      "grad_norm": 1.530505895614624,
      "learning_rate": 1.587555555555556e-05,
      "loss": 1.6687,
      "step": 7679
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 1.6410237550735474,
      "learning_rate": 1.587111111111111e-05,
      "loss": 1.5286,
      "step": 7680
    },
    {
      "epoch": 0.6827555555555556,
      "grad_norm": 1.722723126411438,
      "learning_rate": 1.586666666666667e-05,
      "loss": 1.6697,
      "step": 7681
    },
    {
      "epoch": 0.6828444444444445,
      "grad_norm": 1.3964276313781738,
      "learning_rate": 1.5862222222222223e-05,
      "loss": 1.5658,
      "step": 7682
    },
    {
      "epoch": 0.6829333333333333,
      "grad_norm": 1.549882411956787,
      "learning_rate": 1.5857777777777778e-05,
      "loss": 1.5899,
      "step": 7683
    },
    {
      "epoch": 0.6830222222222222,
      "grad_norm": 1.5934035778045654,
      "learning_rate": 1.5853333333333333e-05,
      "loss": 1.4873,
      "step": 7684
    },
    {
      "epoch": 0.6831111111111111,
      "grad_norm": 1.9788275957107544,
      "learning_rate": 1.584888888888889e-05,
      "loss": 1.5039,
      "step": 7685
    },
    {
      "epoch": 0.6832,
      "grad_norm": 1.5181763172149658,
      "learning_rate": 1.5844444444444446e-05,
      "loss": 1.4946,
      "step": 7686
    },
    {
      "epoch": 0.6832888888888888,
      "grad_norm": 1.4472436904907227,
      "learning_rate": 1.584e-05,
      "loss": 1.5114,
      "step": 7687
    },
    {
      "epoch": 0.6833777777777778,
      "grad_norm": 1.415069818496704,
      "learning_rate": 1.5835555555555556e-05,
      "loss": 1.4968,
      "step": 7688
    },
    {
      "epoch": 0.6834666666666667,
      "grad_norm": 1.6681574583053589,
      "learning_rate": 1.5831111111111114e-05,
      "loss": 1.7707,
      "step": 7689
    },
    {
      "epoch": 0.6835555555555556,
      "grad_norm": 1.7702548503875732,
      "learning_rate": 1.582666666666667e-05,
      "loss": 1.6661,
      "step": 7690
    },
    {
      "epoch": 0.6836444444444445,
      "grad_norm": 1.6111807823181152,
      "learning_rate": 1.582222222222222e-05,
      "loss": 1.5894,
      "step": 7691
    },
    {
      "epoch": 0.6837333333333333,
      "grad_norm": 2.0344927310943604,
      "learning_rate": 1.581777777777778e-05,
      "loss": 1.6076,
      "step": 7692
    },
    {
      "epoch": 0.6838222222222222,
      "grad_norm": 1.5326968431472778,
      "learning_rate": 1.5813333333333333e-05,
      "loss": 1.5282,
      "step": 7693
    },
    {
      "epoch": 0.6839111111111111,
      "grad_norm": 1.4117974042892456,
      "learning_rate": 1.5808888888888888e-05,
      "loss": 1.3787,
      "step": 7694
    },
    {
      "epoch": 0.684,
      "grad_norm": 1.5225918292999268,
      "learning_rate": 1.5804444444444443e-05,
      "loss": 1.5488,
      "step": 7695
    },
    {
      "epoch": 0.6840888888888889,
      "grad_norm": 1.5765888690948486,
      "learning_rate": 1.58e-05,
      "loss": 1.2694,
      "step": 7696
    },
    {
      "epoch": 0.6841777777777778,
      "grad_norm": 1.4906176328659058,
      "learning_rate": 1.5795555555555556e-05,
      "loss": 1.5961,
      "step": 7697
    },
    {
      "epoch": 0.6842666666666667,
      "grad_norm": 1.7704459428787231,
      "learning_rate": 1.579111111111111e-05,
      "loss": 1.4565,
      "step": 7698
    },
    {
      "epoch": 0.6843555555555556,
      "grad_norm": 1.729914903640747,
      "learning_rate": 1.5786666666666666e-05,
      "loss": 1.5124,
      "step": 7699
    },
    {
      "epoch": 0.6844444444444444,
      "grad_norm": 1.4336814880371094,
      "learning_rate": 1.5782222222222224e-05,
      "loss": 1.5132,
      "step": 7700
    },
    {
      "epoch": 0.6845333333333333,
      "grad_norm": 1.5269273519515991,
      "learning_rate": 1.577777777777778e-05,
      "loss": 1.4289,
      "step": 7701
    },
    {
      "epoch": 0.6846222222222222,
      "grad_norm": 1.4323101043701172,
      "learning_rate": 1.5773333333333334e-05,
      "loss": 1.5456,
      "step": 7702
    },
    {
      "epoch": 0.6847111111111112,
      "grad_norm": 1.6873358488082886,
      "learning_rate": 1.576888888888889e-05,
      "loss": 1.7146,
      "step": 7703
    },
    {
      "epoch": 0.6848,
      "grad_norm": 1.7153657674789429,
      "learning_rate": 1.5764444444444447e-05,
      "loss": 1.4195,
      "step": 7704
    },
    {
      "epoch": 0.6848888888888889,
      "grad_norm": 2.5822131633758545,
      "learning_rate": 1.5759999999999998e-05,
      "loss": 1.6443,
      "step": 7705
    },
    {
      "epoch": 0.6849777777777778,
      "grad_norm": 1.7220770120620728,
      "learning_rate": 1.5755555555555556e-05,
      "loss": 1.7775,
      "step": 7706
    },
    {
      "epoch": 0.6850666666666667,
      "grad_norm": 1.4396274089813232,
      "learning_rate": 1.575111111111111e-05,
      "loss": 1.535,
      "step": 7707
    },
    {
      "epoch": 0.6851555555555555,
      "grad_norm": 1.5926783084869385,
      "learning_rate": 1.574666666666667e-05,
      "loss": 1.501,
      "step": 7708
    },
    {
      "epoch": 0.6852444444444444,
      "grad_norm": 1.3810917139053345,
      "learning_rate": 1.574222222222222e-05,
      "loss": 1.6026,
      "step": 7709
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 1.457719087600708,
      "learning_rate": 1.573777777777778e-05,
      "loss": 1.2822,
      "step": 7710
    },
    {
      "epoch": 0.6854222222222223,
      "grad_norm": 2.1922504901885986,
      "learning_rate": 1.5733333333333334e-05,
      "loss": 1.576,
      "step": 7711
    },
    {
      "epoch": 0.6855111111111111,
      "grad_norm": 1.6026991605758667,
      "learning_rate": 1.572888888888889e-05,
      "loss": 1.531,
      "step": 7712
    },
    {
      "epoch": 0.6856,
      "grad_norm": 2.529956340789795,
      "learning_rate": 1.5724444444444444e-05,
      "loss": 1.7102,
      "step": 7713
    },
    {
      "epoch": 0.6856888888888889,
      "grad_norm": 1.6782238483428955,
      "learning_rate": 1.5720000000000002e-05,
      "loss": 1.4473,
      "step": 7714
    },
    {
      "epoch": 0.6857777777777778,
      "grad_norm": 1.4830963611602783,
      "learning_rate": 1.5715555555555557e-05,
      "loss": 1.6448,
      "step": 7715
    },
    {
      "epoch": 0.6858666666666666,
      "grad_norm": 1.4903680086135864,
      "learning_rate": 1.571111111111111e-05,
      "loss": 1.5885,
      "step": 7716
    },
    {
      "epoch": 0.6859555555555555,
      "grad_norm": 1.4844650030136108,
      "learning_rate": 1.5706666666666666e-05,
      "loss": 1.7435,
      "step": 7717
    },
    {
      "epoch": 0.6860444444444445,
      "grad_norm": 1.3962749242782593,
      "learning_rate": 1.5702222222222225e-05,
      "loss": 1.831,
      "step": 7718
    },
    {
      "epoch": 0.6861333333333334,
      "grad_norm": 1.54595947265625,
      "learning_rate": 1.569777777777778e-05,
      "loss": 1.9019,
      "step": 7719
    },
    {
      "epoch": 0.6862222222222222,
      "grad_norm": 1.7621397972106934,
      "learning_rate": 1.5693333333333334e-05,
      "loss": 1.679,
      "step": 7720
    },
    {
      "epoch": 0.6863111111111111,
      "grad_norm": 1.5294175148010254,
      "learning_rate": 1.568888888888889e-05,
      "loss": 1.4852,
      "step": 7721
    },
    {
      "epoch": 0.6864,
      "grad_norm": 1.7432235479354858,
      "learning_rate": 1.5684444444444447e-05,
      "loss": 1.6374,
      "step": 7722
    },
    {
      "epoch": 0.6864888888888889,
      "grad_norm": 1.6609511375427246,
      "learning_rate": 1.568e-05,
      "loss": 1.3565,
      "step": 7723
    },
    {
      "epoch": 0.6865777777777777,
      "grad_norm": 1.44185209274292,
      "learning_rate": 1.5675555555555557e-05,
      "loss": 1.5682,
      "step": 7724
    },
    {
      "epoch": 0.6866666666666666,
      "grad_norm": 1.8851455450057983,
      "learning_rate": 1.5671111111111112e-05,
      "loss": 1.7077,
      "step": 7725
    },
    {
      "epoch": 0.6867555555555556,
      "grad_norm": 1.4152132272720337,
      "learning_rate": 1.5666666666666667e-05,
      "loss": 1.5717,
      "step": 7726
    },
    {
      "epoch": 0.6868444444444445,
      "grad_norm": 1.4346486330032349,
      "learning_rate": 1.5662222222222222e-05,
      "loss": 1.4989,
      "step": 7727
    },
    {
      "epoch": 0.6869333333333333,
      "grad_norm": 1.5699466466903687,
      "learning_rate": 1.565777777777778e-05,
      "loss": 1.6047,
      "step": 7728
    },
    {
      "epoch": 0.6870222222222222,
      "grad_norm": 1.914257526397705,
      "learning_rate": 1.5653333333333335e-05,
      "loss": 1.5758,
      "step": 7729
    },
    {
      "epoch": 0.6871111111111111,
      "grad_norm": 1.8136990070343018,
      "learning_rate": 1.564888888888889e-05,
      "loss": 1.532,
      "step": 7730
    },
    {
      "epoch": 0.6872,
      "grad_norm": 1.5966130495071411,
      "learning_rate": 1.5644444444444444e-05,
      "loss": 1.4808,
      "step": 7731
    },
    {
      "epoch": 0.6872888888888888,
      "grad_norm": 1.4395242929458618,
      "learning_rate": 1.5640000000000003e-05,
      "loss": 1.4633,
      "step": 7732
    },
    {
      "epoch": 0.6873777777777778,
      "grad_norm": 1.6688430309295654,
      "learning_rate": 1.5635555555555558e-05,
      "loss": 1.6804,
      "step": 7733
    },
    {
      "epoch": 0.6874666666666667,
      "grad_norm": 1.5132852792739868,
      "learning_rate": 1.5631111111111112e-05,
      "loss": 1.4992,
      "step": 7734
    },
    {
      "epoch": 0.6875555555555556,
      "grad_norm": 1.444729208946228,
      "learning_rate": 1.5626666666666667e-05,
      "loss": 1.5486,
      "step": 7735
    },
    {
      "epoch": 0.6876444444444444,
      "grad_norm": 1.4141236543655396,
      "learning_rate": 1.5622222222222225e-05,
      "loss": 1.3384,
      "step": 7736
    },
    {
      "epoch": 0.6877333333333333,
      "grad_norm": 1.5647354125976562,
      "learning_rate": 1.5617777777777777e-05,
      "loss": 1.6049,
      "step": 7737
    },
    {
      "epoch": 0.6878222222222222,
      "grad_norm": 2.9837779998779297,
      "learning_rate": 1.5613333333333335e-05,
      "loss": 1.671,
      "step": 7738
    },
    {
      "epoch": 0.6879111111111111,
      "grad_norm": 1.4964804649353027,
      "learning_rate": 1.560888888888889e-05,
      "loss": 1.532,
      "step": 7739
    },
    {
      "epoch": 0.688,
      "grad_norm": 1.8559995889663696,
      "learning_rate": 1.5604444444444445e-05,
      "loss": 1.8248,
      "step": 7740
    },
    {
      "epoch": 0.6880888888888889,
      "grad_norm": 1.9278044700622559,
      "learning_rate": 1.56e-05,
      "loss": 1.6044,
      "step": 7741
    },
    {
      "epoch": 0.6881777777777778,
      "grad_norm": 2.3581442832946777,
      "learning_rate": 1.5595555555555555e-05,
      "loss": 1.7303,
      "step": 7742
    },
    {
      "epoch": 0.6882666666666667,
      "grad_norm": 1.4927077293395996,
      "learning_rate": 1.5591111111111113e-05,
      "loss": 1.4733,
      "step": 7743
    },
    {
      "epoch": 0.6883555555555556,
      "grad_norm": 1.4155504703521729,
      "learning_rate": 1.5586666666666668e-05,
      "loss": 1.5044,
      "step": 7744
    },
    {
      "epoch": 0.6884444444444444,
      "grad_norm": 1.6193026304244995,
      "learning_rate": 1.5582222222222222e-05,
      "loss": 1.5761,
      "step": 7745
    },
    {
      "epoch": 0.6885333333333333,
      "grad_norm": 1.5099260807037354,
      "learning_rate": 1.5577777777777777e-05,
      "loss": 1.6351,
      "step": 7746
    },
    {
      "epoch": 0.6886222222222222,
      "grad_norm": 1.4638862609863281,
      "learning_rate": 1.5573333333333336e-05,
      "loss": 1.6162,
      "step": 7747
    },
    {
      "epoch": 0.6887111111111112,
      "grad_norm": 1.8507921695709229,
      "learning_rate": 1.5568888888888887e-05,
      "loss": 1.5955,
      "step": 7748
    },
    {
      "epoch": 0.6888,
      "grad_norm": 1.4239685535430908,
      "learning_rate": 1.5564444444444445e-05,
      "loss": 1.5662,
      "step": 7749
    },
    {
      "epoch": 0.6888888888888889,
      "grad_norm": 2.095183849334717,
      "learning_rate": 1.556e-05,
      "loss": 1.6985,
      "step": 7750
    },
    {
      "epoch": 0.6889777777777778,
      "grad_norm": 1.446858525276184,
      "learning_rate": 1.5555555555555555e-05,
      "loss": 1.481,
      "step": 7751
    },
    {
      "epoch": 0.6890666666666667,
      "grad_norm": 1.553373098373413,
      "learning_rate": 1.555111111111111e-05,
      "loss": 1.6329,
      "step": 7752
    },
    {
      "epoch": 0.6891555555555555,
      "grad_norm": 1.5487048625946045,
      "learning_rate": 1.5546666666666668e-05,
      "loss": 1.5087,
      "step": 7753
    },
    {
      "epoch": 0.6892444444444444,
      "grad_norm": 1.7566101551055908,
      "learning_rate": 1.5542222222222223e-05,
      "loss": 1.5811,
      "step": 7754
    },
    {
      "epoch": 0.6893333333333334,
      "grad_norm": 1.4739258289337158,
      "learning_rate": 1.5537777777777778e-05,
      "loss": 1.5004,
      "step": 7755
    },
    {
      "epoch": 0.6894222222222223,
      "grad_norm": 1.6974024772644043,
      "learning_rate": 1.5533333333333333e-05,
      "loss": 1.503,
      "step": 7756
    },
    {
      "epoch": 0.6895111111111111,
      "grad_norm": 1.8886693716049194,
      "learning_rate": 1.552888888888889e-05,
      "loss": 1.7655,
      "step": 7757
    },
    {
      "epoch": 0.6896,
      "grad_norm": 1.5172969102859497,
      "learning_rate": 1.5524444444444446e-05,
      "loss": 1.6994,
      "step": 7758
    },
    {
      "epoch": 0.6896888888888889,
      "grad_norm": 1.4878791570663452,
      "learning_rate": 1.552e-05,
      "loss": 1.4586,
      "step": 7759
    },
    {
      "epoch": 0.6897777777777778,
      "grad_norm": 1.3750745058059692,
      "learning_rate": 1.5515555555555555e-05,
      "loss": 1.4079,
      "step": 7760
    },
    {
      "epoch": 0.6898666666666666,
      "grad_norm": 1.821042776107788,
      "learning_rate": 1.5511111111111114e-05,
      "loss": 1.857,
      "step": 7761
    },
    {
      "epoch": 0.6899555555555555,
      "grad_norm": 1.5227782726287842,
      "learning_rate": 1.5506666666666665e-05,
      "loss": 1.4903,
      "step": 7762
    },
    {
      "epoch": 0.6900444444444445,
      "grad_norm": 1.4986801147460938,
      "learning_rate": 1.5502222222222223e-05,
      "loss": 1.6237,
      "step": 7763
    },
    {
      "epoch": 0.6901333333333334,
      "grad_norm": 1.6076490879058838,
      "learning_rate": 1.5497777777777778e-05,
      "loss": 1.5571,
      "step": 7764
    },
    {
      "epoch": 0.6902222222222222,
      "grad_norm": 1.3729805946350098,
      "learning_rate": 1.5493333333333336e-05,
      "loss": 1.5976,
      "step": 7765
    },
    {
      "epoch": 0.6903111111111111,
      "grad_norm": 1.340787410736084,
      "learning_rate": 1.5488888888888888e-05,
      "loss": 1.3351,
      "step": 7766
    },
    {
      "epoch": 0.6904,
      "grad_norm": 2.296128034591675,
      "learning_rate": 1.5484444444444446e-05,
      "loss": 1.7938,
      "step": 7767
    },
    {
      "epoch": 0.6904888888888889,
      "grad_norm": 1.6845591068267822,
      "learning_rate": 1.548e-05,
      "loss": 1.5456,
      "step": 7768
    },
    {
      "epoch": 0.6905777777777777,
      "grad_norm": 1.5063098669052124,
      "learning_rate": 1.5475555555555556e-05,
      "loss": 1.5804,
      "step": 7769
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 1.420068621635437,
      "learning_rate": 1.547111111111111e-05,
      "loss": 1.4693,
      "step": 7770
    },
    {
      "epoch": 0.6907555555555556,
      "grad_norm": 1.6699554920196533,
      "learning_rate": 1.546666666666667e-05,
      "loss": 1.5787,
      "step": 7771
    },
    {
      "epoch": 0.6908444444444445,
      "grad_norm": 1.5714716911315918,
      "learning_rate": 1.5462222222222224e-05,
      "loss": 1.5887,
      "step": 7772
    },
    {
      "epoch": 0.6909333333333333,
      "grad_norm": 1.350928783416748,
      "learning_rate": 1.545777777777778e-05,
      "loss": 1.4413,
      "step": 7773
    },
    {
      "epoch": 0.6910222222222222,
      "grad_norm": 1.549041748046875,
      "learning_rate": 1.5453333333333333e-05,
      "loss": 1.4231,
      "step": 7774
    },
    {
      "epoch": 0.6911111111111111,
      "grad_norm": 1.546735405921936,
      "learning_rate": 1.544888888888889e-05,
      "loss": 1.4446,
      "step": 7775
    },
    {
      "epoch": 0.6912,
      "grad_norm": 1.2790122032165527,
      "learning_rate": 1.5444444444444446e-05,
      "loss": 1.3694,
      "step": 7776
    },
    {
      "epoch": 0.6912888888888888,
      "grad_norm": 1.4342021942138672,
      "learning_rate": 1.544e-05,
      "loss": 1.5356,
      "step": 7777
    },
    {
      "epoch": 0.6913777777777778,
      "grad_norm": 1.4024935960769653,
      "learning_rate": 1.5435555555555556e-05,
      "loss": 1.3624,
      "step": 7778
    },
    {
      "epoch": 0.6914666666666667,
      "grad_norm": 1.8629379272460938,
      "learning_rate": 1.5431111111111114e-05,
      "loss": 1.5357,
      "step": 7779
    },
    {
      "epoch": 0.6915555555555556,
      "grad_norm": 1.459031343460083,
      "learning_rate": 1.5426666666666666e-05,
      "loss": 1.5034,
      "step": 7780
    },
    {
      "epoch": 0.6916444444444444,
      "grad_norm": 1.5425282716751099,
      "learning_rate": 1.5422222222222224e-05,
      "loss": 1.6929,
      "step": 7781
    },
    {
      "epoch": 0.6917333333333333,
      "grad_norm": 1.5680125951766968,
      "learning_rate": 1.541777777777778e-05,
      "loss": 1.5348,
      "step": 7782
    },
    {
      "epoch": 0.6918222222222222,
      "grad_norm": 1.9558022022247314,
      "learning_rate": 1.5413333333333334e-05,
      "loss": 1.6457,
      "step": 7783
    },
    {
      "epoch": 0.6919111111111111,
      "grad_norm": 1.37786865234375,
      "learning_rate": 1.540888888888889e-05,
      "loss": 1.4819,
      "step": 7784
    },
    {
      "epoch": 0.692,
      "grad_norm": 1.4830853939056396,
      "learning_rate": 1.5404444444444447e-05,
      "loss": 1.3911,
      "step": 7785
    },
    {
      "epoch": 0.6920888888888889,
      "grad_norm": 1.3589001893997192,
      "learning_rate": 1.54e-05,
      "loss": 1.4286,
      "step": 7786
    },
    {
      "epoch": 0.6921777777777778,
      "grad_norm": 1.7284098863601685,
      "learning_rate": 1.5395555555555556e-05,
      "loss": 1.6169,
      "step": 7787
    },
    {
      "epoch": 0.6922666666666667,
      "grad_norm": 1.400106430053711,
      "learning_rate": 1.539111111111111e-05,
      "loss": 1.3429,
      "step": 7788
    },
    {
      "epoch": 0.6923555555555555,
      "grad_norm": 1.4086393117904663,
      "learning_rate": 1.538666666666667e-05,
      "loss": 1.3375,
      "step": 7789
    },
    {
      "epoch": 0.6924444444444444,
      "grad_norm": 1.4622530937194824,
      "learning_rate": 1.5382222222222224e-05,
      "loss": 1.2656,
      "step": 7790
    },
    {
      "epoch": 0.6925333333333333,
      "grad_norm": 1.4766899347305298,
      "learning_rate": 1.537777777777778e-05,
      "loss": 1.4792,
      "step": 7791
    },
    {
      "epoch": 0.6926222222222223,
      "grad_norm": 1.646256685256958,
      "learning_rate": 1.5373333333333334e-05,
      "loss": 1.4869,
      "step": 7792
    },
    {
      "epoch": 0.6927111111111112,
      "grad_norm": 1.9903123378753662,
      "learning_rate": 1.5368888888888892e-05,
      "loss": 1.5774,
      "step": 7793
    },
    {
      "epoch": 0.6928,
      "grad_norm": 1.315987229347229,
      "learning_rate": 1.5364444444444444e-05,
      "loss": 1.4801,
      "step": 7794
    },
    {
      "epoch": 0.6928888888888889,
      "grad_norm": 1.3900468349456787,
      "learning_rate": 1.536e-05,
      "loss": 1.5209,
      "step": 7795
    },
    {
      "epoch": 0.6929777777777778,
      "grad_norm": 1.5079210996627808,
      "learning_rate": 1.5355555555555557e-05,
      "loss": 1.4388,
      "step": 7796
    },
    {
      "epoch": 0.6930666666666667,
      "grad_norm": 1.5072667598724365,
      "learning_rate": 1.5351111111111112e-05,
      "loss": 1.6088,
      "step": 7797
    },
    {
      "epoch": 0.6931555555555555,
      "grad_norm": 1.4096806049346924,
      "learning_rate": 1.5346666666666667e-05,
      "loss": 1.4777,
      "step": 7798
    },
    {
      "epoch": 0.6932444444444444,
      "grad_norm": 1.5124186277389526,
      "learning_rate": 1.534222222222222e-05,
      "loss": 1.4863,
      "step": 7799
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 1.4667152166366577,
      "learning_rate": 1.533777777777778e-05,
      "loss": 1.5849,
      "step": 7800
    },
    {
      "epoch": 0.6934222222222223,
      "grad_norm": 1.4588724374771118,
      "learning_rate": 1.5333333333333334e-05,
      "loss": 1.6717,
      "step": 7801
    },
    {
      "epoch": 0.6935111111111111,
      "grad_norm": 1.631845474243164,
      "learning_rate": 1.532888888888889e-05,
      "loss": 1.3607,
      "step": 7802
    },
    {
      "epoch": 0.6936,
      "grad_norm": 1.4951449632644653,
      "learning_rate": 1.5324444444444444e-05,
      "loss": 1.7388,
      "step": 7803
    },
    {
      "epoch": 0.6936888888888889,
      "grad_norm": 1.3781903982162476,
      "learning_rate": 1.5320000000000002e-05,
      "loss": 1.6686,
      "step": 7804
    },
    {
      "epoch": 0.6937777777777778,
      "grad_norm": 1.643552541732788,
      "learning_rate": 1.5315555555555554e-05,
      "loss": 1.4431,
      "step": 7805
    },
    {
      "epoch": 0.6938666666666666,
      "grad_norm": 1.5291094779968262,
      "learning_rate": 1.5311111111111112e-05,
      "loss": 1.5321,
      "step": 7806
    },
    {
      "epoch": 0.6939555555555555,
      "grad_norm": 1.526247501373291,
      "learning_rate": 1.5306666666666667e-05,
      "loss": 1.8165,
      "step": 7807
    },
    {
      "epoch": 0.6940444444444445,
      "grad_norm": 1.5926769971847534,
      "learning_rate": 1.5302222222222222e-05,
      "loss": 1.744,
      "step": 7808
    },
    {
      "epoch": 0.6941333333333334,
      "grad_norm": 1.4067121744155884,
      "learning_rate": 1.5297777777777777e-05,
      "loss": 1.5773,
      "step": 7809
    },
    {
      "epoch": 0.6942222222222222,
      "grad_norm": 1.7395939826965332,
      "learning_rate": 1.5293333333333335e-05,
      "loss": 1.4797,
      "step": 7810
    },
    {
      "epoch": 0.6943111111111111,
      "grad_norm": 1.3832471370697021,
      "learning_rate": 1.528888888888889e-05,
      "loss": 1.5135,
      "step": 7811
    },
    {
      "epoch": 0.6944,
      "grad_norm": 1.9434186220169067,
      "learning_rate": 1.5284444444444445e-05,
      "loss": 1.7509,
      "step": 7812
    },
    {
      "epoch": 0.6944888888888889,
      "grad_norm": 1.8048990964889526,
      "learning_rate": 1.528e-05,
      "loss": 1.6031,
      "step": 7813
    },
    {
      "epoch": 0.6945777777777777,
      "grad_norm": 1.6080445051193237,
      "learning_rate": 1.5275555555555558e-05,
      "loss": 1.5115,
      "step": 7814
    },
    {
      "epoch": 0.6946666666666667,
      "grad_norm": 1.7532479763031006,
      "learning_rate": 1.5271111111111112e-05,
      "loss": 1.4966,
      "step": 7815
    },
    {
      "epoch": 0.6947555555555556,
      "grad_norm": 1.8667746782302856,
      "learning_rate": 1.5266666666666667e-05,
      "loss": 1.6792,
      "step": 7816
    },
    {
      "epoch": 0.6948444444444445,
      "grad_norm": 1.3600990772247314,
      "learning_rate": 1.5262222222222222e-05,
      "loss": 1.3959,
      "step": 7817
    },
    {
      "epoch": 0.6949333333333333,
      "grad_norm": 1.657846450805664,
      "learning_rate": 1.5257777777777779e-05,
      "loss": 1.4296,
      "step": 7818
    },
    {
      "epoch": 0.6950222222222222,
      "grad_norm": 1.4905847311019897,
      "learning_rate": 1.5253333333333334e-05,
      "loss": 1.4354,
      "step": 7819
    },
    {
      "epoch": 0.6951111111111111,
      "grad_norm": 1.7508553266525269,
      "learning_rate": 1.524888888888889e-05,
      "loss": 1.4076,
      "step": 7820
    },
    {
      "epoch": 0.6952,
      "grad_norm": 1.4126863479614258,
      "learning_rate": 1.5244444444444445e-05,
      "loss": 1.5875,
      "step": 7821
    },
    {
      "epoch": 0.6952888888888888,
      "grad_norm": 1.6422200202941895,
      "learning_rate": 1.5240000000000001e-05,
      "loss": 1.4282,
      "step": 7822
    },
    {
      "epoch": 0.6953777777777778,
      "grad_norm": 1.6500823497772217,
      "learning_rate": 1.5235555555555556e-05,
      "loss": 1.4041,
      "step": 7823
    },
    {
      "epoch": 0.6954666666666667,
      "grad_norm": 1.5852453708648682,
      "learning_rate": 1.5231111111111113e-05,
      "loss": 1.7251,
      "step": 7824
    },
    {
      "epoch": 0.6955555555555556,
      "grad_norm": 1.4842596054077148,
      "learning_rate": 1.5226666666666668e-05,
      "loss": 1.4971,
      "step": 7825
    },
    {
      "epoch": 0.6956444444444444,
      "grad_norm": 1.912376046180725,
      "learning_rate": 1.5222222222222224e-05,
      "loss": 1.8545,
      "step": 7826
    },
    {
      "epoch": 0.6957333333333333,
      "grad_norm": 1.4433763027191162,
      "learning_rate": 1.5217777777777777e-05,
      "loss": 1.6593,
      "step": 7827
    },
    {
      "epoch": 0.6958222222222222,
      "grad_norm": 1.469882845878601,
      "learning_rate": 1.5213333333333336e-05,
      "loss": 1.3557,
      "step": 7828
    },
    {
      "epoch": 0.6959111111111111,
      "grad_norm": 2.162464141845703,
      "learning_rate": 1.5208888888888889e-05,
      "loss": 1.6288,
      "step": 7829
    },
    {
      "epoch": 0.696,
      "grad_norm": 2.513517141342163,
      "learning_rate": 1.5204444444444445e-05,
      "loss": 1.6359,
      "step": 7830
    },
    {
      "epoch": 0.6960888888888889,
      "grad_norm": 1.6439608335494995,
      "learning_rate": 1.52e-05,
      "loss": 1.5338,
      "step": 7831
    },
    {
      "epoch": 0.6961777777777778,
      "grad_norm": 1.8148249387741089,
      "learning_rate": 1.5195555555555557e-05,
      "loss": 1.54,
      "step": 7832
    },
    {
      "epoch": 0.6962666666666667,
      "grad_norm": 1.9498875141143799,
      "learning_rate": 1.5191111111111112e-05,
      "loss": 1.9936,
      "step": 7833
    },
    {
      "epoch": 0.6963555555555555,
      "grad_norm": 2.0925939083099365,
      "learning_rate": 1.5186666666666668e-05,
      "loss": 1.6506,
      "step": 7834
    },
    {
      "epoch": 0.6964444444444444,
      "grad_norm": 1.4179452657699585,
      "learning_rate": 1.5182222222222223e-05,
      "loss": 1.4007,
      "step": 7835
    },
    {
      "epoch": 0.6965333333333333,
      "grad_norm": 1.6336640119552612,
      "learning_rate": 1.517777777777778e-05,
      "loss": 1.478,
      "step": 7836
    },
    {
      "epoch": 0.6966222222222223,
      "grad_norm": 1.5927125215530396,
      "learning_rate": 1.5173333333333334e-05,
      "loss": 1.6552,
      "step": 7837
    },
    {
      "epoch": 0.6967111111111111,
      "grad_norm": 1.3826147317886353,
      "learning_rate": 1.5168888888888891e-05,
      "loss": 1.5052,
      "step": 7838
    },
    {
      "epoch": 0.6968,
      "grad_norm": 1.396623134613037,
      "learning_rate": 1.5164444444444446e-05,
      "loss": 1.6264,
      "step": 7839
    },
    {
      "epoch": 0.6968888888888889,
      "grad_norm": 1.4270834922790527,
      "learning_rate": 1.5160000000000002e-05,
      "loss": 1.4645,
      "step": 7840
    },
    {
      "epoch": 0.6969777777777778,
      "grad_norm": 1.7309669256210327,
      "learning_rate": 1.5155555555555555e-05,
      "loss": 1.6207,
      "step": 7841
    },
    {
      "epoch": 0.6970666666666666,
      "grad_norm": 1.5305246114730835,
      "learning_rate": 1.5151111111111114e-05,
      "loss": 1.5453,
      "step": 7842
    },
    {
      "epoch": 0.6971555555555555,
      "grad_norm": 1.4275455474853516,
      "learning_rate": 1.5146666666666667e-05,
      "loss": 1.4428,
      "step": 7843
    },
    {
      "epoch": 0.6972444444444444,
      "grad_norm": 1.6798484325408936,
      "learning_rate": 1.5142222222222225e-05,
      "loss": 1.4683,
      "step": 7844
    },
    {
      "epoch": 0.6973333333333334,
      "grad_norm": 1.4981290102005005,
      "learning_rate": 1.5137777777777778e-05,
      "loss": 1.665,
      "step": 7845
    },
    {
      "epoch": 0.6974222222222223,
      "grad_norm": 1.7096701860427856,
      "learning_rate": 1.5133333333333333e-05,
      "loss": 1.5812,
      "step": 7846
    },
    {
      "epoch": 0.6975111111111111,
      "grad_norm": 1.4176063537597656,
      "learning_rate": 1.512888888888889e-05,
      "loss": 1.5726,
      "step": 7847
    },
    {
      "epoch": 0.6976,
      "grad_norm": 1.5046155452728271,
      "learning_rate": 1.5124444444444444e-05,
      "loss": 1.6987,
      "step": 7848
    },
    {
      "epoch": 0.6976888888888889,
      "grad_norm": 1.827580451965332,
      "learning_rate": 1.5120000000000001e-05,
      "loss": 1.8263,
      "step": 7849
    },
    {
      "epoch": 0.6977777777777778,
      "grad_norm": 1.8180243968963623,
      "learning_rate": 1.5115555555555556e-05,
      "loss": 1.6633,
      "step": 7850
    },
    {
      "epoch": 0.6978666666666666,
      "grad_norm": 1.9858907461166382,
      "learning_rate": 1.5111111111111112e-05,
      "loss": 1.4895,
      "step": 7851
    },
    {
      "epoch": 0.6979555555555556,
      "grad_norm": 1.7434442043304443,
      "learning_rate": 1.5106666666666665e-05,
      "loss": 1.5903,
      "step": 7852
    },
    {
      "epoch": 0.6980444444444445,
      "grad_norm": 1.5765633583068848,
      "learning_rate": 1.5102222222222224e-05,
      "loss": 1.5363,
      "step": 7853
    },
    {
      "epoch": 0.6981333333333334,
      "grad_norm": 1.4164067506790161,
      "learning_rate": 1.5097777777777777e-05,
      "loss": 1.2482,
      "step": 7854
    },
    {
      "epoch": 0.6982222222222222,
      "grad_norm": 1.6608554124832153,
      "learning_rate": 1.5093333333333335e-05,
      "loss": 1.8086,
      "step": 7855
    },
    {
      "epoch": 0.6983111111111111,
      "grad_norm": 1.5202248096466064,
      "learning_rate": 1.5088888888888888e-05,
      "loss": 1.5209,
      "step": 7856
    },
    {
      "epoch": 0.6984,
      "grad_norm": 1.6630483865737915,
      "learning_rate": 1.5084444444444445e-05,
      "loss": 1.4315,
      "step": 7857
    },
    {
      "epoch": 0.6984888888888889,
      "grad_norm": 1.6876170635223389,
      "learning_rate": 1.508e-05,
      "loss": 1.6129,
      "step": 7858
    },
    {
      "epoch": 0.6985777777777777,
      "grad_norm": 1.5606669187545776,
      "learning_rate": 1.5075555555555556e-05,
      "loss": 1.4957,
      "step": 7859
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 1.481803297996521,
      "learning_rate": 1.5071111111111111e-05,
      "loss": 1.5229,
      "step": 7860
    },
    {
      "epoch": 0.6987555555555556,
      "grad_norm": 1.6127749681472778,
      "learning_rate": 1.5066666666666668e-05,
      "loss": 1.5531,
      "step": 7861
    },
    {
      "epoch": 0.6988444444444445,
      "grad_norm": 2.061509847640991,
      "learning_rate": 1.5062222222222222e-05,
      "loss": 1.8336,
      "step": 7862
    },
    {
      "epoch": 0.6989333333333333,
      "grad_norm": 1.8775248527526855,
      "learning_rate": 1.5057777777777779e-05,
      "loss": 1.515,
      "step": 7863
    },
    {
      "epoch": 0.6990222222222222,
      "grad_norm": 1.8368098735809326,
      "learning_rate": 1.5053333333333334e-05,
      "loss": 1.9681,
      "step": 7864
    },
    {
      "epoch": 0.6991111111111111,
      "grad_norm": 1.4938185214996338,
      "learning_rate": 1.504888888888889e-05,
      "loss": 1.4522,
      "step": 7865
    },
    {
      "epoch": 0.6992,
      "grad_norm": 1.4581750631332397,
      "learning_rate": 1.5044444444444445e-05,
      "loss": 1.5867,
      "step": 7866
    },
    {
      "epoch": 0.6992888888888888,
      "grad_norm": 1.5634366273880005,
      "learning_rate": 1.5040000000000002e-05,
      "loss": 1.5221,
      "step": 7867
    },
    {
      "epoch": 0.6993777777777778,
      "grad_norm": 1.2504074573516846,
      "learning_rate": 1.5035555555555555e-05,
      "loss": 1.4412,
      "step": 7868
    },
    {
      "epoch": 0.6994666666666667,
      "grad_norm": 1.4048830270767212,
      "learning_rate": 1.5031111111111113e-05,
      "loss": 1.4446,
      "step": 7869
    },
    {
      "epoch": 0.6995555555555556,
      "grad_norm": 2.0317251682281494,
      "learning_rate": 1.5026666666666666e-05,
      "loss": 1.6537,
      "step": 7870
    },
    {
      "epoch": 0.6996444444444444,
      "grad_norm": 1.5984150171279907,
      "learning_rate": 1.5022222222222224e-05,
      "loss": 1.4973,
      "step": 7871
    },
    {
      "epoch": 0.6997333333333333,
      "grad_norm": 1.4947589635849,
      "learning_rate": 1.5017777777777778e-05,
      "loss": 1.4675,
      "step": 7872
    },
    {
      "epoch": 0.6998222222222222,
      "grad_norm": 1.4428026676177979,
      "learning_rate": 1.5013333333333334e-05,
      "loss": 1.4121,
      "step": 7873
    },
    {
      "epoch": 0.6999111111111112,
      "grad_norm": 1.3478310108184814,
      "learning_rate": 1.5008888888888889e-05,
      "loss": 1.4273,
      "step": 7874
    },
    {
      "epoch": 0.7,
      "grad_norm": 1.8906489610671997,
      "learning_rate": 1.5004444444444446e-05,
      "loss": 1.6073,
      "step": 7875
    },
    {
      "epoch": 0.7000888888888889,
      "grad_norm": 1.3519508838653564,
      "learning_rate": 1.5e-05,
      "loss": 1.5128,
      "step": 7876
    },
    {
      "epoch": 0.7001777777777778,
      "grad_norm": 1.3134725093841553,
      "learning_rate": 1.4995555555555557e-05,
      "loss": 1.3863,
      "step": 7877
    },
    {
      "epoch": 0.7002666666666667,
      "grad_norm": 1.6616270542144775,
      "learning_rate": 1.4991111111111112e-05,
      "loss": 1.5593,
      "step": 7878
    },
    {
      "epoch": 0.7003555555555555,
      "grad_norm": 3.044386863708496,
      "learning_rate": 1.4986666666666668e-05,
      "loss": 1.7201,
      "step": 7879
    },
    {
      "epoch": 0.7004444444444444,
      "grad_norm": 2.478567361831665,
      "learning_rate": 1.4982222222222223e-05,
      "loss": 1.4617,
      "step": 7880
    },
    {
      "epoch": 0.7005333333333333,
      "grad_norm": 1.4575220346450806,
      "learning_rate": 1.497777777777778e-05,
      "loss": 1.4288,
      "step": 7881
    },
    {
      "epoch": 0.7006222222222223,
      "grad_norm": 1.4440405368804932,
      "learning_rate": 1.4973333333333333e-05,
      "loss": 1.4052,
      "step": 7882
    },
    {
      "epoch": 0.7007111111111111,
      "grad_norm": 1.7308307886123657,
      "learning_rate": 1.4968888888888891e-05,
      "loss": 1.467,
      "step": 7883
    },
    {
      "epoch": 0.7008,
      "grad_norm": 1.694213628768921,
      "learning_rate": 1.4964444444444444e-05,
      "loss": 1.7328,
      "step": 7884
    },
    {
      "epoch": 0.7008888888888889,
      "grad_norm": 2.034487247467041,
      "learning_rate": 1.4960000000000002e-05,
      "loss": 1.7767,
      "step": 7885
    },
    {
      "epoch": 0.7009777777777778,
      "grad_norm": 1.8146300315856934,
      "learning_rate": 1.4955555555555556e-05,
      "loss": 1.6985,
      "step": 7886
    },
    {
      "epoch": 0.7010666666666666,
      "grad_norm": 1.4704859256744385,
      "learning_rate": 1.4951111111111112e-05,
      "loss": 1.4893,
      "step": 7887
    },
    {
      "epoch": 0.7011555555555555,
      "grad_norm": 1.4945683479309082,
      "learning_rate": 1.4946666666666667e-05,
      "loss": 1.4795,
      "step": 7888
    },
    {
      "epoch": 0.7012444444444444,
      "grad_norm": 1.278483510017395,
      "learning_rate": 1.4942222222222224e-05,
      "loss": 1.2383,
      "step": 7889
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 1.9423999786376953,
      "learning_rate": 1.4937777777777778e-05,
      "loss": 1.4284,
      "step": 7890
    },
    {
      "epoch": 0.7014222222222222,
      "grad_norm": 1.5167590379714966,
      "learning_rate": 1.4933333333333335e-05,
      "loss": 1.6467,
      "step": 7891
    },
    {
      "epoch": 0.7015111111111111,
      "grad_norm": 1.3670635223388672,
      "learning_rate": 1.492888888888889e-05,
      "loss": 1.3772,
      "step": 7892
    },
    {
      "epoch": 0.7016,
      "grad_norm": 1.7765809297561646,
      "learning_rate": 1.4924444444444446e-05,
      "loss": 1.5036,
      "step": 7893
    },
    {
      "epoch": 0.7016888888888889,
      "grad_norm": 1.5086352825164795,
      "learning_rate": 1.4920000000000001e-05,
      "loss": 1.4696,
      "step": 7894
    },
    {
      "epoch": 0.7017777777777777,
      "grad_norm": 1.564258098602295,
      "learning_rate": 1.4915555555555558e-05,
      "loss": 1.522,
      "step": 7895
    },
    {
      "epoch": 0.7018666666666666,
      "grad_norm": 1.3735488653182983,
      "learning_rate": 1.4911111111111113e-05,
      "loss": 1.3691,
      "step": 7896
    },
    {
      "epoch": 0.7019555555555556,
      "grad_norm": 1.6364936828613281,
      "learning_rate": 1.4906666666666666e-05,
      "loss": 1.7578,
      "step": 7897
    },
    {
      "epoch": 0.7020444444444445,
      "grad_norm": 1.6857343912124634,
      "learning_rate": 1.4902222222222222e-05,
      "loss": 1.588,
      "step": 7898
    },
    {
      "epoch": 0.7021333333333334,
      "grad_norm": 1.4744726419448853,
      "learning_rate": 1.4897777777777777e-05,
      "loss": 1.6791,
      "step": 7899
    },
    {
      "epoch": 0.7022222222222222,
      "grad_norm": 1.5564794540405273,
      "learning_rate": 1.4893333333333334e-05,
      "loss": 1.4241,
      "step": 7900
    },
    {
      "epoch": 0.7023111111111111,
      "grad_norm": 1.594707727432251,
      "learning_rate": 1.4888888888888888e-05,
      "loss": 1.6025,
      "step": 7901
    },
    {
      "epoch": 0.7024,
      "grad_norm": 1.4907344579696655,
      "learning_rate": 1.4884444444444445e-05,
      "loss": 1.3901,
      "step": 7902
    },
    {
      "epoch": 0.7024888888888889,
      "grad_norm": 1.4970009326934814,
      "learning_rate": 1.488e-05,
      "loss": 1.646,
      "step": 7903
    },
    {
      "epoch": 0.7025777777777777,
      "grad_norm": 1.6513444185256958,
      "learning_rate": 1.4875555555555556e-05,
      "loss": 1.6834,
      "step": 7904
    },
    {
      "epoch": 0.7026666666666667,
      "grad_norm": 1.6210967302322388,
      "learning_rate": 1.4871111111111111e-05,
      "loss": 1.4235,
      "step": 7905
    },
    {
      "epoch": 0.7027555555555556,
      "grad_norm": 1.8162953853607178,
      "learning_rate": 1.4866666666666668e-05,
      "loss": 1.6778,
      "step": 7906
    },
    {
      "epoch": 0.7028444444444445,
      "grad_norm": 2.0527255535125732,
      "learning_rate": 1.4862222222222223e-05,
      "loss": 1.5355,
      "step": 7907
    },
    {
      "epoch": 0.7029333333333333,
      "grad_norm": 1.6001472473144531,
      "learning_rate": 1.4857777777777779e-05,
      "loss": 1.5386,
      "step": 7908
    },
    {
      "epoch": 0.7030222222222222,
      "grad_norm": 1.3725099563598633,
      "learning_rate": 1.4853333333333332e-05,
      "loss": 1.5223,
      "step": 7909
    },
    {
      "epoch": 0.7031111111111111,
      "grad_norm": 1.3883016109466553,
      "learning_rate": 1.484888888888889e-05,
      "loss": 1.5912,
      "step": 7910
    },
    {
      "epoch": 0.7032,
      "grad_norm": 1.3630670309066772,
      "learning_rate": 1.4844444444444444e-05,
      "loss": 1.4263,
      "step": 7911
    },
    {
      "epoch": 0.7032888888888889,
      "grad_norm": 1.7072622776031494,
      "learning_rate": 1.4840000000000002e-05,
      "loss": 1.5199,
      "step": 7912
    },
    {
      "epoch": 0.7033777777777778,
      "grad_norm": 2.072277545928955,
      "learning_rate": 1.4835555555555555e-05,
      "loss": 1.8377,
      "step": 7913
    },
    {
      "epoch": 0.7034666666666667,
      "grad_norm": 1.7582591772079468,
      "learning_rate": 1.4831111111111112e-05,
      "loss": 1.435,
      "step": 7914
    },
    {
      "epoch": 0.7035555555555556,
      "grad_norm": 1.637466549873352,
      "learning_rate": 1.4826666666666666e-05,
      "loss": 1.6161,
      "step": 7915
    },
    {
      "epoch": 0.7036444444444444,
      "grad_norm": 1.5490177869796753,
      "learning_rate": 1.4822222222222223e-05,
      "loss": 1.5894,
      "step": 7916
    },
    {
      "epoch": 0.7037333333333333,
      "grad_norm": 1.511622667312622,
      "learning_rate": 1.4817777777777778e-05,
      "loss": 1.5311,
      "step": 7917
    },
    {
      "epoch": 0.7038222222222222,
      "grad_norm": 2.522942066192627,
      "learning_rate": 1.4813333333333334e-05,
      "loss": 1.7771,
      "step": 7918
    },
    {
      "epoch": 0.7039111111111112,
      "grad_norm": 1.8506028652191162,
      "learning_rate": 1.480888888888889e-05,
      "loss": 1.7444,
      "step": 7919
    },
    {
      "epoch": 0.704,
      "grad_norm": 1.280850887298584,
      "learning_rate": 1.4804444444444446e-05,
      "loss": 1.4706,
      "step": 7920
    },
    {
      "epoch": 0.7040888888888889,
      "grad_norm": 1.5297341346740723,
      "learning_rate": 1.48e-05,
      "loss": 1.3619,
      "step": 7921
    },
    {
      "epoch": 0.7041777777777778,
      "grad_norm": 1.4090700149536133,
      "learning_rate": 1.4795555555555557e-05,
      "loss": 1.5621,
      "step": 7922
    },
    {
      "epoch": 0.7042666666666667,
      "grad_norm": 1.4395424127578735,
      "learning_rate": 1.4791111111111112e-05,
      "loss": 1.5234,
      "step": 7923
    },
    {
      "epoch": 0.7043555555555555,
      "grad_norm": 1.465745449066162,
      "learning_rate": 1.4786666666666669e-05,
      "loss": 1.5674,
      "step": 7924
    },
    {
      "epoch": 0.7044444444444444,
      "grad_norm": 1.7422736883163452,
      "learning_rate": 1.4782222222222222e-05,
      "loss": 1.6149,
      "step": 7925
    },
    {
      "epoch": 0.7045333333333333,
      "grad_norm": 1.5194370746612549,
      "learning_rate": 1.477777777777778e-05,
      "loss": 1.4401,
      "step": 7926
    },
    {
      "epoch": 0.7046222222222223,
      "grad_norm": 1.5837669372558594,
      "learning_rate": 1.4773333333333333e-05,
      "loss": 1.426,
      "step": 7927
    },
    {
      "epoch": 0.7047111111111111,
      "grad_norm": 1.6444379091262817,
      "learning_rate": 1.476888888888889e-05,
      "loss": 1.292,
      "step": 7928
    },
    {
      "epoch": 0.7048,
      "grad_norm": 1.2688946723937988,
      "learning_rate": 1.4764444444444444e-05,
      "loss": 1.2559,
      "step": 7929
    },
    {
      "epoch": 0.7048888888888889,
      "grad_norm": 1.5190129280090332,
      "learning_rate": 1.4760000000000001e-05,
      "loss": 1.4368,
      "step": 7930
    },
    {
      "epoch": 0.7049777777777778,
      "grad_norm": 1.6711655855178833,
      "learning_rate": 1.4755555555555556e-05,
      "loss": 1.5321,
      "step": 7931
    },
    {
      "epoch": 0.7050666666666666,
      "grad_norm": 1.6026421785354614,
      "learning_rate": 1.4751111111111112e-05,
      "loss": 1.7052,
      "step": 7932
    },
    {
      "epoch": 0.7051555555555555,
      "grad_norm": 1.7348346710205078,
      "learning_rate": 1.4746666666666667e-05,
      "loss": 1.6939,
      "step": 7933
    },
    {
      "epoch": 0.7052444444444445,
      "grad_norm": 1.9008023738861084,
      "learning_rate": 1.4742222222222224e-05,
      "loss": 1.5703,
      "step": 7934
    },
    {
      "epoch": 0.7053333333333334,
      "grad_norm": 1.5233690738677979,
      "learning_rate": 1.4737777777777779e-05,
      "loss": 1.6421,
      "step": 7935
    },
    {
      "epoch": 0.7054222222222222,
      "grad_norm": 1.473577857017517,
      "learning_rate": 1.4733333333333335e-05,
      "loss": 1.5237,
      "step": 7936
    },
    {
      "epoch": 0.7055111111111111,
      "grad_norm": 2.156970262527466,
      "learning_rate": 1.472888888888889e-05,
      "loss": 1.678,
      "step": 7937
    },
    {
      "epoch": 0.7056,
      "grad_norm": 1.800118327140808,
      "learning_rate": 1.4724444444444447e-05,
      "loss": 1.6209,
      "step": 7938
    },
    {
      "epoch": 0.7056888888888889,
      "grad_norm": 1.5713123083114624,
      "learning_rate": 1.472e-05,
      "loss": 1.4127,
      "step": 7939
    },
    {
      "epoch": 0.7057777777777777,
      "grad_norm": 1.5187163352966309,
      "learning_rate": 1.4715555555555558e-05,
      "loss": 1.4947,
      "step": 7940
    },
    {
      "epoch": 0.7058666666666666,
      "grad_norm": 2.3902087211608887,
      "learning_rate": 1.4711111111111111e-05,
      "loss": 1.773,
      "step": 7941
    },
    {
      "epoch": 0.7059555555555556,
      "grad_norm": 1.2982268333435059,
      "learning_rate": 1.470666666666667e-05,
      "loss": 1.3026,
      "step": 7942
    },
    {
      "epoch": 0.7060444444444445,
      "grad_norm": 1.43257474899292,
      "learning_rate": 1.4702222222222222e-05,
      "loss": 1.3408,
      "step": 7943
    },
    {
      "epoch": 0.7061333333333333,
      "grad_norm": 1.6766763925552368,
      "learning_rate": 1.4697777777777779e-05,
      "loss": 1.5903,
      "step": 7944
    },
    {
      "epoch": 0.7062222222222222,
      "grad_norm": 2.261960983276367,
      "learning_rate": 1.4693333333333334e-05,
      "loss": 1.6306,
      "step": 7945
    },
    {
      "epoch": 0.7063111111111111,
      "grad_norm": 1.6023718118667603,
      "learning_rate": 1.468888888888889e-05,
      "loss": 1.9483,
      "step": 7946
    },
    {
      "epoch": 0.7064,
      "grad_norm": 1.4757559299468994,
      "learning_rate": 1.4684444444444445e-05,
      "loss": 1.6745,
      "step": 7947
    },
    {
      "epoch": 0.7064888888888889,
      "grad_norm": 1.7736784219741821,
      "learning_rate": 1.4680000000000002e-05,
      "loss": 1.7702,
      "step": 7948
    },
    {
      "epoch": 0.7065777777777777,
      "grad_norm": 1.3166561126708984,
      "learning_rate": 1.4675555555555557e-05,
      "loss": 1.3485,
      "step": 7949
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 1.5152957439422607,
      "learning_rate": 1.467111111111111e-05,
      "loss": 1.7334,
      "step": 7950
    },
    {
      "epoch": 0.7067555555555556,
      "grad_norm": 1.6464459896087646,
      "learning_rate": 1.4666666666666668e-05,
      "loss": 1.573,
      "step": 7951
    },
    {
      "epoch": 0.7068444444444445,
      "grad_norm": 1.3995882272720337,
      "learning_rate": 1.4662222222222221e-05,
      "loss": 1.3934,
      "step": 7952
    },
    {
      "epoch": 0.7069333333333333,
      "grad_norm": 1.7339180707931519,
      "learning_rate": 1.465777777777778e-05,
      "loss": 1.7001,
      "step": 7953
    },
    {
      "epoch": 0.7070222222222222,
      "grad_norm": 1.598720669746399,
      "learning_rate": 1.4653333333333333e-05,
      "loss": 1.6188,
      "step": 7954
    },
    {
      "epoch": 0.7071111111111111,
      "grad_norm": 1.3717496395111084,
      "learning_rate": 1.4648888888888889e-05,
      "loss": 1.2458,
      "step": 7955
    },
    {
      "epoch": 0.7072,
      "grad_norm": 2.4779748916625977,
      "learning_rate": 1.4644444444444444e-05,
      "loss": 1.8715,
      "step": 7956
    },
    {
      "epoch": 0.7072888888888889,
      "grad_norm": 1.8005610704421997,
      "learning_rate": 1.464e-05,
      "loss": 1.5623,
      "step": 7957
    },
    {
      "epoch": 0.7073777777777778,
      "grad_norm": 1.560840368270874,
      "learning_rate": 1.4635555555555555e-05,
      "loss": 1.656,
      "step": 7958
    },
    {
      "epoch": 0.7074666666666667,
      "grad_norm": 1.418983817100525,
      "learning_rate": 1.4631111111111112e-05,
      "loss": 1.6544,
      "step": 7959
    },
    {
      "epoch": 0.7075555555555556,
      "grad_norm": 1.5532864332199097,
      "learning_rate": 1.4626666666666667e-05,
      "loss": 1.3864,
      "step": 7960
    },
    {
      "epoch": 0.7076444444444444,
      "grad_norm": 1.7144348621368408,
      "learning_rate": 1.4622222222222223e-05,
      "loss": 1.9492,
      "step": 7961
    },
    {
      "epoch": 0.7077333333333333,
      "grad_norm": 1.4584693908691406,
      "learning_rate": 1.4617777777777778e-05,
      "loss": 1.6397,
      "step": 7962
    },
    {
      "epoch": 0.7078222222222222,
      "grad_norm": 1.7139441967010498,
      "learning_rate": 1.4613333333333335e-05,
      "loss": 1.6543,
      "step": 7963
    },
    {
      "epoch": 0.7079111111111112,
      "grad_norm": 1.6785401105880737,
      "learning_rate": 1.460888888888889e-05,
      "loss": 1.2073,
      "step": 7964
    },
    {
      "epoch": 0.708,
      "grad_norm": 2.0432066917419434,
      "learning_rate": 1.4604444444444446e-05,
      "loss": 1.5437,
      "step": 7965
    },
    {
      "epoch": 0.7080888888888889,
      "grad_norm": 1.6624212265014648,
      "learning_rate": 1.4599999999999999e-05,
      "loss": 1.7627,
      "step": 7966
    },
    {
      "epoch": 0.7081777777777778,
      "grad_norm": 2.0631091594696045,
      "learning_rate": 1.4595555555555557e-05,
      "loss": 1.5048,
      "step": 7967
    },
    {
      "epoch": 0.7082666666666667,
      "grad_norm": 1.3934147357940674,
      "learning_rate": 1.459111111111111e-05,
      "loss": 1.4085,
      "step": 7968
    },
    {
      "epoch": 0.7083555555555555,
      "grad_norm": 1.6314542293548584,
      "learning_rate": 1.4586666666666669e-05,
      "loss": 1.5232,
      "step": 7969
    },
    {
      "epoch": 0.7084444444444444,
      "grad_norm": 1.418975591659546,
      "learning_rate": 1.4582222222222222e-05,
      "loss": 1.6222,
      "step": 7970
    },
    {
      "epoch": 0.7085333333333333,
      "grad_norm": 1.5893863439559937,
      "learning_rate": 1.4577777777777778e-05,
      "loss": 1.5704,
      "step": 7971
    },
    {
      "epoch": 0.7086222222222223,
      "grad_norm": 1.2791935205459595,
      "learning_rate": 1.4573333333333333e-05,
      "loss": 1.3219,
      "step": 7972
    },
    {
      "epoch": 0.7087111111111111,
      "grad_norm": 1.6373052597045898,
      "learning_rate": 1.456888888888889e-05,
      "loss": 1.6431,
      "step": 7973
    },
    {
      "epoch": 0.7088,
      "grad_norm": 1.7358332872390747,
      "learning_rate": 1.4564444444444445e-05,
      "loss": 1.6767,
      "step": 7974
    },
    {
      "epoch": 0.7088888888888889,
      "grad_norm": 1.3709849119186401,
      "learning_rate": 1.4560000000000001e-05,
      "loss": 1.3935,
      "step": 7975
    },
    {
      "epoch": 0.7089777777777778,
      "grad_norm": 1.6262879371643066,
      "learning_rate": 1.4555555555555556e-05,
      "loss": 1.8295,
      "step": 7976
    },
    {
      "epoch": 0.7090666666666666,
      "grad_norm": 1.479390263557434,
      "learning_rate": 1.4551111111111113e-05,
      "loss": 1.5569,
      "step": 7977
    },
    {
      "epoch": 0.7091555555555555,
      "grad_norm": 1.905281662940979,
      "learning_rate": 1.4546666666666667e-05,
      "loss": 1.5271,
      "step": 7978
    },
    {
      "epoch": 0.7092444444444445,
      "grad_norm": 1.8117698431015015,
      "learning_rate": 1.4542222222222224e-05,
      "loss": 1.3511,
      "step": 7979
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 1.5073970556259155,
      "learning_rate": 1.4537777777777777e-05,
      "loss": 1.3036,
      "step": 7980
    },
    {
      "epoch": 0.7094222222222222,
      "grad_norm": 2.205293655395508,
      "learning_rate": 1.4533333333333335e-05,
      "loss": 1.4346,
      "step": 7981
    },
    {
      "epoch": 0.7095111111111111,
      "grad_norm": 1.56503427028656,
      "learning_rate": 1.4528888888888889e-05,
      "loss": 1.6405,
      "step": 7982
    },
    {
      "epoch": 0.7096,
      "grad_norm": 1.5602480173110962,
      "learning_rate": 1.4524444444444447e-05,
      "loss": 1.5846,
      "step": 7983
    },
    {
      "epoch": 0.7096888888888889,
      "grad_norm": 1.537145972251892,
      "learning_rate": 1.452e-05,
      "loss": 1.5205,
      "step": 7984
    },
    {
      "epoch": 0.7097777777777777,
      "grad_norm": 2.1239500045776367,
      "learning_rate": 1.4515555555555556e-05,
      "loss": 1.9995,
      "step": 7985
    },
    {
      "epoch": 0.7098666666666666,
      "grad_norm": 1.490609049797058,
      "learning_rate": 1.4511111111111111e-05,
      "loss": 1.3627,
      "step": 7986
    },
    {
      "epoch": 0.7099555555555556,
      "grad_norm": 1.737272024154663,
      "learning_rate": 1.4506666666666668e-05,
      "loss": 1.6378,
      "step": 7987
    },
    {
      "epoch": 0.7100444444444445,
      "grad_norm": 1.4406057596206665,
      "learning_rate": 1.4502222222222223e-05,
      "loss": 1.4789,
      "step": 7988
    },
    {
      "epoch": 0.7101333333333333,
      "grad_norm": 1.874228835105896,
      "learning_rate": 1.449777777777778e-05,
      "loss": 1.3915,
      "step": 7989
    },
    {
      "epoch": 0.7102222222222222,
      "grad_norm": 2.0836031436920166,
      "learning_rate": 1.4493333333333334e-05,
      "loss": 1.7718,
      "step": 7990
    },
    {
      "epoch": 0.7103111111111111,
      "grad_norm": 1.5509594678878784,
      "learning_rate": 1.448888888888889e-05,
      "loss": 1.7925,
      "step": 7991
    },
    {
      "epoch": 0.7104,
      "grad_norm": 1.7390769720077515,
      "learning_rate": 1.4484444444444445e-05,
      "loss": 1.4849,
      "step": 7992
    },
    {
      "epoch": 0.7104888888888888,
      "grad_norm": 1.6989036798477173,
      "learning_rate": 1.4480000000000002e-05,
      "loss": 1.6032,
      "step": 7993
    },
    {
      "epoch": 0.7105777777777778,
      "grad_norm": 1.6353684663772583,
      "learning_rate": 1.4475555555555557e-05,
      "loss": 1.5652,
      "step": 7994
    },
    {
      "epoch": 0.7106666666666667,
      "grad_norm": 1.5261448621749878,
      "learning_rate": 1.4471111111111113e-05,
      "loss": 1.7593,
      "step": 7995
    },
    {
      "epoch": 0.7107555555555556,
      "grad_norm": 1.7618495225906372,
      "learning_rate": 1.4466666666666667e-05,
      "loss": 1.7695,
      "step": 7996
    },
    {
      "epoch": 0.7108444444444444,
      "grad_norm": 1.3150274753570557,
      "learning_rate": 1.4462222222222225e-05,
      "loss": 1.5749,
      "step": 7997
    },
    {
      "epoch": 0.7109333333333333,
      "grad_norm": 1.5806523561477661,
      "learning_rate": 1.4457777777777778e-05,
      "loss": 1.6169,
      "step": 7998
    },
    {
      "epoch": 0.7110222222222222,
      "grad_norm": 1.609740138053894,
      "learning_rate": 1.4453333333333336e-05,
      "loss": 1.558,
      "step": 7999
    },
    {
      "epoch": 0.7111111111111111,
      "grad_norm": 1.6800576448440552,
      "learning_rate": 1.444888888888889e-05,
      "loss": 1.4162,
      "step": 8000
    },
    {
      "epoch": 0.7112,
      "grad_norm": 1.504771113395691,
      "learning_rate": 1.4444444444444444e-05,
      "loss": 1.3306,
      "step": 8001
    },
    {
      "epoch": 0.7112888888888889,
      "grad_norm": 1.3537907600402832,
      "learning_rate": 1.444e-05,
      "loss": 1.3765,
      "step": 8002
    },
    {
      "epoch": 0.7113777777777778,
      "grad_norm": 1.5110894441604614,
      "learning_rate": 1.4435555555555556e-05,
      "loss": 1.7175,
      "step": 8003
    },
    {
      "epoch": 0.7114666666666667,
      "grad_norm": 1.87455153465271,
      "learning_rate": 1.4431111111111112e-05,
      "loss": 1.4717,
      "step": 8004
    },
    {
      "epoch": 0.7115555555555556,
      "grad_norm": 1.4301745891571045,
      "learning_rate": 1.4426666666666667e-05,
      "loss": 1.3098,
      "step": 8005
    },
    {
      "epoch": 0.7116444444444444,
      "grad_norm": 1.8859729766845703,
      "learning_rate": 1.4422222222222223e-05,
      "loss": 1.7041,
      "step": 8006
    },
    {
      "epoch": 0.7117333333333333,
      "grad_norm": 1.57095205783844,
      "learning_rate": 1.4417777777777777e-05,
      "loss": 1.4168,
      "step": 8007
    },
    {
      "epoch": 0.7118222222222222,
      "grad_norm": 1.4250203371047974,
      "learning_rate": 1.4413333333333335e-05,
      "loss": 1.3613,
      "step": 8008
    },
    {
      "epoch": 0.7119111111111112,
      "grad_norm": 1.4613010883331299,
      "learning_rate": 1.4408888888888888e-05,
      "loss": 1.6758,
      "step": 8009
    },
    {
      "epoch": 0.712,
      "grad_norm": 1.8934818506240845,
      "learning_rate": 1.4404444444444446e-05,
      "loss": 1.5866,
      "step": 8010
    },
    {
      "epoch": 0.7120888888888889,
      "grad_norm": 1.3798918724060059,
      "learning_rate": 1.44e-05,
      "loss": 1.4796,
      "step": 8011
    },
    {
      "epoch": 0.7121777777777778,
      "grad_norm": 2.0375595092773438,
      "learning_rate": 1.4395555555555556e-05,
      "loss": 1.6226,
      "step": 8012
    },
    {
      "epoch": 0.7122666666666667,
      "grad_norm": 1.3786780834197998,
      "learning_rate": 1.439111111111111e-05,
      "loss": 1.4637,
      "step": 8013
    },
    {
      "epoch": 0.7123555555555555,
      "grad_norm": 1.943459153175354,
      "learning_rate": 1.4386666666666667e-05,
      "loss": 1.624,
      "step": 8014
    },
    {
      "epoch": 0.7124444444444444,
      "grad_norm": 1.5880939960479736,
      "learning_rate": 1.4382222222222222e-05,
      "loss": 1.6174,
      "step": 8015
    },
    {
      "epoch": 0.7125333333333334,
      "grad_norm": 1.5468693971633911,
      "learning_rate": 1.4377777777777779e-05,
      "loss": 1.5555,
      "step": 8016
    },
    {
      "epoch": 0.7126222222222223,
      "grad_norm": 2.3328263759613037,
      "learning_rate": 1.4373333333333334e-05,
      "loss": 1.5835,
      "step": 8017
    },
    {
      "epoch": 0.7127111111111111,
      "grad_norm": 1.7693417072296143,
      "learning_rate": 1.436888888888889e-05,
      "loss": 1.4729,
      "step": 8018
    },
    {
      "epoch": 0.7128,
      "grad_norm": 1.9256596565246582,
      "learning_rate": 1.4364444444444445e-05,
      "loss": 1.5488,
      "step": 8019
    },
    {
      "epoch": 0.7128888888888889,
      "grad_norm": 1.4297171831130981,
      "learning_rate": 1.4360000000000001e-05,
      "loss": 1.5417,
      "step": 8020
    },
    {
      "epoch": 0.7129777777777778,
      "grad_norm": 1.6705350875854492,
      "learning_rate": 1.4355555555555556e-05,
      "loss": 1.6691,
      "step": 8021
    },
    {
      "epoch": 0.7130666666666666,
      "grad_norm": 1.6964014768600464,
      "learning_rate": 1.4351111111111113e-05,
      "loss": 1.6017,
      "step": 8022
    },
    {
      "epoch": 0.7131555555555555,
      "grad_norm": 1.4840888977050781,
      "learning_rate": 1.4346666666666666e-05,
      "loss": 1.7154,
      "step": 8023
    },
    {
      "epoch": 0.7132444444444445,
      "grad_norm": 1.5231678485870361,
      "learning_rate": 1.4342222222222224e-05,
      "loss": 1.4753,
      "step": 8024
    },
    {
      "epoch": 0.7133333333333334,
      "grad_norm": 1.4364670515060425,
      "learning_rate": 1.4337777777777777e-05,
      "loss": 1.6585,
      "step": 8025
    },
    {
      "epoch": 0.7134222222222222,
      "grad_norm": 1.9942694902420044,
      "learning_rate": 1.4333333333333334e-05,
      "loss": 1.694,
      "step": 8026
    },
    {
      "epoch": 0.7135111111111111,
      "grad_norm": 1.9435044527053833,
      "learning_rate": 1.4328888888888889e-05,
      "loss": 1.6127,
      "step": 8027
    },
    {
      "epoch": 0.7136,
      "grad_norm": 1.7220110893249512,
      "learning_rate": 1.4324444444444445e-05,
      "loss": 1.7428,
      "step": 8028
    },
    {
      "epoch": 0.7136888888888889,
      "grad_norm": 1.8611646890640259,
      "learning_rate": 1.432e-05,
      "loss": 1.6438,
      "step": 8029
    },
    {
      "epoch": 0.7137777777777777,
      "grad_norm": 1.831776738166809,
      "learning_rate": 1.4315555555555557e-05,
      "loss": 1.6357,
      "step": 8030
    },
    {
      "epoch": 0.7138666666666666,
      "grad_norm": 1.638790488243103,
      "learning_rate": 1.4311111111111111e-05,
      "loss": 1.4505,
      "step": 8031
    },
    {
      "epoch": 0.7139555555555556,
      "grad_norm": 2.1230273246765137,
      "learning_rate": 1.4306666666666668e-05,
      "loss": 1.4423,
      "step": 8032
    },
    {
      "epoch": 0.7140444444444445,
      "grad_norm": 1.6183536052703857,
      "learning_rate": 1.4302222222222223e-05,
      "loss": 1.7535,
      "step": 8033
    },
    {
      "epoch": 0.7141333333333333,
      "grad_norm": 1.9182755947113037,
      "learning_rate": 1.429777777777778e-05,
      "loss": 1.6545,
      "step": 8034
    },
    {
      "epoch": 0.7142222222222222,
      "grad_norm": 1.4080584049224854,
      "learning_rate": 1.4293333333333334e-05,
      "loss": 1.5031,
      "step": 8035
    },
    {
      "epoch": 0.7143111111111111,
      "grad_norm": 1.4544508457183838,
      "learning_rate": 1.428888888888889e-05,
      "loss": 1.6575,
      "step": 8036
    },
    {
      "epoch": 0.7144,
      "grad_norm": 1.4688177108764648,
      "learning_rate": 1.4284444444444444e-05,
      "loss": 1.4844,
      "step": 8037
    },
    {
      "epoch": 0.7144888888888888,
      "grad_norm": 1.4116177558898926,
      "learning_rate": 1.4280000000000002e-05,
      "loss": 1.4136,
      "step": 8038
    },
    {
      "epoch": 0.7145777777777778,
      "grad_norm": 1.4900357723236084,
      "learning_rate": 1.4275555555555555e-05,
      "loss": 1.6918,
      "step": 8039
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 1.7535107135772705,
      "learning_rate": 1.4271111111111114e-05,
      "loss": 1.7247,
      "step": 8040
    },
    {
      "epoch": 0.7147555555555556,
      "grad_norm": 1.6825298070907593,
      "learning_rate": 1.4266666666666667e-05,
      "loss": 1.585,
      "step": 8041
    },
    {
      "epoch": 0.7148444444444444,
      "grad_norm": 2.299565315246582,
      "learning_rate": 1.4262222222222223e-05,
      "loss": 1.852,
      "step": 8042
    },
    {
      "epoch": 0.7149333333333333,
      "grad_norm": 1.4685779809951782,
      "learning_rate": 1.4257777777777778e-05,
      "loss": 1.3868,
      "step": 8043
    },
    {
      "epoch": 0.7150222222222222,
      "grad_norm": 1.5213204622268677,
      "learning_rate": 1.4253333333333335e-05,
      "loss": 1.6564,
      "step": 8044
    },
    {
      "epoch": 0.7151111111111111,
      "grad_norm": 1.523575782775879,
      "learning_rate": 1.424888888888889e-05,
      "loss": 1.615,
      "step": 8045
    },
    {
      "epoch": 0.7152,
      "grad_norm": 1.8136041164398193,
      "learning_rate": 1.4244444444444446e-05,
      "loss": 1.6246,
      "step": 8046
    },
    {
      "epoch": 0.7152888888888889,
      "grad_norm": 1.704674243927002,
      "learning_rate": 1.4240000000000001e-05,
      "loss": 1.6432,
      "step": 8047
    },
    {
      "epoch": 0.7153777777777778,
      "grad_norm": 1.496691346168518,
      "learning_rate": 1.4235555555555557e-05,
      "loss": 1.6026,
      "step": 8048
    },
    {
      "epoch": 0.7154666666666667,
      "grad_norm": 1.6398173570632935,
      "learning_rate": 1.4231111111111112e-05,
      "loss": 1.597,
      "step": 8049
    },
    {
      "epoch": 0.7155555555555555,
      "grad_norm": 1.6540582180023193,
      "learning_rate": 1.4226666666666669e-05,
      "loss": 1.7237,
      "step": 8050
    },
    {
      "epoch": 0.7156444444444444,
      "grad_norm": 1.9417423009872437,
      "learning_rate": 1.4222222222222224e-05,
      "loss": 1.6587,
      "step": 8051
    },
    {
      "epoch": 0.7157333333333333,
      "grad_norm": 1.8746393918991089,
      "learning_rate": 1.4217777777777777e-05,
      "loss": 1.6626,
      "step": 8052
    },
    {
      "epoch": 0.7158222222222222,
      "grad_norm": 1.3049812316894531,
      "learning_rate": 1.4213333333333333e-05,
      "loss": 1.4927,
      "step": 8053
    },
    {
      "epoch": 0.7159111111111112,
      "grad_norm": 1.8749268054962158,
      "learning_rate": 1.4208888888888888e-05,
      "loss": 1.589,
      "step": 8054
    },
    {
      "epoch": 0.716,
      "grad_norm": 1.6647436618804932,
      "learning_rate": 1.4204444444444445e-05,
      "loss": 1.55,
      "step": 8055
    },
    {
      "epoch": 0.7160888888888889,
      "grad_norm": 1.543116569519043,
      "learning_rate": 1.42e-05,
      "loss": 1.4963,
      "step": 8056
    },
    {
      "epoch": 0.7161777777777778,
      "grad_norm": 1.3060435056686401,
      "learning_rate": 1.4195555555555556e-05,
      "loss": 1.5276,
      "step": 8057
    },
    {
      "epoch": 0.7162666666666667,
      "grad_norm": 1.6350769996643066,
      "learning_rate": 1.4191111111111111e-05,
      "loss": 1.6325,
      "step": 8058
    },
    {
      "epoch": 0.7163555555555555,
      "grad_norm": 1.8363038301467896,
      "learning_rate": 1.4186666666666667e-05,
      "loss": 1.5291,
      "step": 8059
    },
    {
      "epoch": 0.7164444444444444,
      "grad_norm": 1.5607109069824219,
      "learning_rate": 1.4182222222222222e-05,
      "loss": 1.5951,
      "step": 8060
    },
    {
      "epoch": 0.7165333333333334,
      "grad_norm": 1.6995620727539062,
      "learning_rate": 1.4177777777777779e-05,
      "loss": 1.5893,
      "step": 8061
    },
    {
      "epoch": 0.7166222222222223,
      "grad_norm": 1.8661508560180664,
      "learning_rate": 1.4173333333333334e-05,
      "loss": 1.5358,
      "step": 8062
    },
    {
      "epoch": 0.7167111111111111,
      "grad_norm": 2.130106210708618,
      "learning_rate": 1.416888888888889e-05,
      "loss": 1.4644,
      "step": 8063
    },
    {
      "epoch": 0.7168,
      "grad_norm": 2.112959861755371,
      "learning_rate": 1.4164444444444443e-05,
      "loss": 1.7267,
      "step": 8064
    },
    {
      "epoch": 0.7168888888888889,
      "grad_norm": 2.1502504348754883,
      "learning_rate": 1.4160000000000002e-05,
      "loss": 1.8445,
      "step": 8065
    },
    {
      "epoch": 0.7169777777777778,
      "grad_norm": 1.5039596557617188,
      "learning_rate": 1.4155555555555555e-05,
      "loss": 1.6321,
      "step": 8066
    },
    {
      "epoch": 0.7170666666666666,
      "grad_norm": 1.2949786186218262,
      "learning_rate": 1.4151111111111113e-05,
      "loss": 1.4236,
      "step": 8067
    },
    {
      "epoch": 0.7171555555555555,
      "grad_norm": 1.2407511472702026,
      "learning_rate": 1.4146666666666666e-05,
      "loss": 1.4891,
      "step": 8068
    },
    {
      "epoch": 0.7172444444444445,
      "grad_norm": 2.2853550910949707,
      "learning_rate": 1.4142222222222223e-05,
      "loss": 1.6196,
      "step": 8069
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 1.6464070081710815,
      "learning_rate": 1.4137777777777778e-05,
      "loss": 1.6484,
      "step": 8070
    },
    {
      "epoch": 0.7174222222222222,
      "grad_norm": 1.4434278011322021,
      "learning_rate": 1.4133333333333334e-05,
      "loss": 1.6075,
      "step": 8071
    },
    {
      "epoch": 0.7175111111111111,
      "grad_norm": 1.4830073118209839,
      "learning_rate": 1.4128888888888889e-05,
      "loss": 1.6318,
      "step": 8072
    },
    {
      "epoch": 0.7176,
      "grad_norm": 1.5378923416137695,
      "learning_rate": 1.4124444444444445e-05,
      "loss": 1.4791,
      "step": 8073
    },
    {
      "epoch": 0.7176888888888889,
      "grad_norm": 1.374153733253479,
      "learning_rate": 1.412e-05,
      "loss": 1.2634,
      "step": 8074
    },
    {
      "epoch": 0.7177777777777777,
      "grad_norm": 1.5124223232269287,
      "learning_rate": 1.4115555555555557e-05,
      "loss": 1.4933,
      "step": 8075
    },
    {
      "epoch": 0.7178666666666667,
      "grad_norm": 1.4469457864761353,
      "learning_rate": 1.4111111111111112e-05,
      "loss": 1.6404,
      "step": 8076
    },
    {
      "epoch": 0.7179555555555556,
      "grad_norm": 1.5068187713623047,
      "learning_rate": 1.4106666666666668e-05,
      "loss": 1.5133,
      "step": 8077
    },
    {
      "epoch": 0.7180444444444445,
      "grad_norm": 2.05694580078125,
      "learning_rate": 1.4102222222222221e-05,
      "loss": 1.7576,
      "step": 8078
    },
    {
      "epoch": 0.7181333333333333,
      "grad_norm": 1.9780241250991821,
      "learning_rate": 1.409777777777778e-05,
      "loss": 1.8312,
      "step": 8079
    },
    {
      "epoch": 0.7182222222222222,
      "grad_norm": 1.4063780307769775,
      "learning_rate": 1.4093333333333333e-05,
      "loss": 1.5008,
      "step": 8080
    },
    {
      "epoch": 0.7183111111111111,
      "grad_norm": 1.7684431076049805,
      "learning_rate": 1.4088888888888891e-05,
      "loss": 1.5899,
      "step": 8081
    },
    {
      "epoch": 0.7184,
      "grad_norm": 1.9305533170700073,
      "learning_rate": 1.4084444444444444e-05,
      "loss": 1.4004,
      "step": 8082
    },
    {
      "epoch": 0.7184888888888888,
      "grad_norm": 1.5447688102722168,
      "learning_rate": 1.408e-05,
      "loss": 1.588,
      "step": 8083
    },
    {
      "epoch": 0.7185777777777778,
      "grad_norm": 2.236130952835083,
      "learning_rate": 1.4075555555555556e-05,
      "loss": 1.4491,
      "step": 8084
    },
    {
      "epoch": 0.7186666666666667,
      "grad_norm": 1.2979223728179932,
      "learning_rate": 1.4071111111111112e-05,
      "loss": 1.325,
      "step": 8085
    },
    {
      "epoch": 0.7187555555555556,
      "grad_norm": 1.5330380201339722,
      "learning_rate": 1.4066666666666667e-05,
      "loss": 1.5896,
      "step": 8086
    },
    {
      "epoch": 0.7188444444444444,
      "grad_norm": 1.5863640308380127,
      "learning_rate": 1.4062222222222223e-05,
      "loss": 1.5372,
      "step": 8087
    },
    {
      "epoch": 0.7189333333333333,
      "grad_norm": 1.4402705430984497,
      "learning_rate": 1.4057777777777778e-05,
      "loss": 1.4068,
      "step": 8088
    },
    {
      "epoch": 0.7190222222222222,
      "grad_norm": 1.6585438251495361,
      "learning_rate": 1.4053333333333335e-05,
      "loss": 1.6372,
      "step": 8089
    },
    {
      "epoch": 0.7191111111111111,
      "grad_norm": 1.6389778852462769,
      "learning_rate": 1.404888888888889e-05,
      "loss": 1.5825,
      "step": 8090
    },
    {
      "epoch": 0.7192,
      "grad_norm": 1.5309818983078003,
      "learning_rate": 1.4044444444444446e-05,
      "loss": 1.538,
      "step": 8091
    },
    {
      "epoch": 0.7192888888888889,
      "grad_norm": 1.5390406847000122,
      "learning_rate": 1.4040000000000001e-05,
      "loss": 1.4953,
      "step": 8092
    },
    {
      "epoch": 0.7193777777777778,
      "grad_norm": 1.733046054840088,
      "learning_rate": 1.4035555555555558e-05,
      "loss": 1.6192,
      "step": 8093
    },
    {
      "epoch": 0.7194666666666667,
      "grad_norm": 1.5231744050979614,
      "learning_rate": 1.403111111111111e-05,
      "loss": 1.6512,
      "step": 8094
    },
    {
      "epoch": 0.7195555555555555,
      "grad_norm": 1.476027011871338,
      "learning_rate": 1.4026666666666669e-05,
      "loss": 1.6865,
      "step": 8095
    },
    {
      "epoch": 0.7196444444444444,
      "grad_norm": 1.5430666208267212,
      "learning_rate": 1.4022222222222222e-05,
      "loss": 1.5185,
      "step": 8096
    },
    {
      "epoch": 0.7197333333333333,
      "grad_norm": 2.183213949203491,
      "learning_rate": 1.401777777777778e-05,
      "loss": 1.706,
      "step": 8097
    },
    {
      "epoch": 0.7198222222222223,
      "grad_norm": 1.666157841682434,
      "learning_rate": 1.4013333333333334e-05,
      "loss": 1.8491,
      "step": 8098
    },
    {
      "epoch": 0.7199111111111111,
      "grad_norm": 1.6571561098098755,
      "learning_rate": 1.400888888888889e-05,
      "loss": 1.3511,
      "step": 8099
    },
    {
      "epoch": 0.72,
      "grad_norm": 1.4267778396606445,
      "learning_rate": 1.4004444444444445e-05,
      "loss": 1.5877,
      "step": 8100
    },
    {
      "epoch": 0.7200888888888889,
      "grad_norm": 1.5532851219177246,
      "learning_rate": 1.4000000000000001e-05,
      "loss": 1.5872,
      "step": 8101
    },
    {
      "epoch": 0.7201777777777778,
      "grad_norm": 1.8814208507537842,
      "learning_rate": 1.3995555555555556e-05,
      "loss": 1.7039,
      "step": 8102
    },
    {
      "epoch": 0.7202666666666667,
      "grad_norm": 1.5549542903900146,
      "learning_rate": 1.3991111111111113e-05,
      "loss": 1.5024,
      "step": 8103
    },
    {
      "epoch": 0.7203555555555555,
      "grad_norm": 1.5164848566055298,
      "learning_rate": 1.3986666666666668e-05,
      "loss": 1.4954,
      "step": 8104
    },
    {
      "epoch": 0.7204444444444444,
      "grad_norm": 1.5280386209487915,
      "learning_rate": 1.3982222222222221e-05,
      "loss": 1.5075,
      "step": 8105
    },
    {
      "epoch": 0.7205333333333334,
      "grad_norm": 1.4548866748809814,
      "learning_rate": 1.3977777777777779e-05,
      "loss": 1.562,
      "step": 8106
    },
    {
      "epoch": 0.7206222222222223,
      "grad_norm": 1.5457781553268433,
      "learning_rate": 1.3973333333333332e-05,
      "loss": 1.5335,
      "step": 8107
    },
    {
      "epoch": 0.7207111111111111,
      "grad_norm": 1.676681637763977,
      "learning_rate": 1.396888888888889e-05,
      "loss": 1.3511,
      "step": 8108
    },
    {
      "epoch": 0.7208,
      "grad_norm": 1.452710509300232,
      "learning_rate": 1.3964444444444444e-05,
      "loss": 1.6491,
      "step": 8109
    },
    {
      "epoch": 0.7208888888888889,
      "grad_norm": 1.4772183895111084,
      "learning_rate": 1.396e-05,
      "loss": 1.4648,
      "step": 8110
    },
    {
      "epoch": 0.7209777777777778,
      "grad_norm": 1.791393518447876,
      "learning_rate": 1.3955555555555555e-05,
      "loss": 1.767,
      "step": 8111
    },
    {
      "epoch": 0.7210666666666666,
      "grad_norm": 1.5394572019577026,
      "learning_rate": 1.3951111111111112e-05,
      "loss": 1.6062,
      "step": 8112
    },
    {
      "epoch": 0.7211555555555555,
      "grad_norm": 1.6923178434371948,
      "learning_rate": 1.3946666666666666e-05,
      "loss": 1.4835,
      "step": 8113
    },
    {
      "epoch": 0.7212444444444445,
      "grad_norm": 2.302104949951172,
      "learning_rate": 1.3942222222222223e-05,
      "loss": 1.5791,
      "step": 8114
    },
    {
      "epoch": 0.7213333333333334,
      "grad_norm": 2.071106195449829,
      "learning_rate": 1.3937777777777778e-05,
      "loss": 1.7999,
      "step": 8115
    },
    {
      "epoch": 0.7214222222222222,
      "grad_norm": 1.5877482891082764,
      "learning_rate": 1.3933333333333334e-05,
      "loss": 1.5973,
      "step": 8116
    },
    {
      "epoch": 0.7215111111111111,
      "grad_norm": 1.4549750089645386,
      "learning_rate": 1.392888888888889e-05,
      "loss": 1.4357,
      "step": 8117
    },
    {
      "epoch": 0.7216,
      "grad_norm": 1.748866081237793,
      "learning_rate": 1.3924444444444446e-05,
      "loss": 1.6272,
      "step": 8118
    },
    {
      "epoch": 0.7216888888888889,
      "grad_norm": 1.5460078716278076,
      "learning_rate": 1.3919999999999999e-05,
      "loss": 1.4597,
      "step": 8119
    },
    {
      "epoch": 0.7217777777777777,
      "grad_norm": 1.98081636428833,
      "learning_rate": 1.3915555555555557e-05,
      "loss": 1.816,
      "step": 8120
    },
    {
      "epoch": 0.7218666666666667,
      "grad_norm": 1.7096412181854248,
      "learning_rate": 1.391111111111111e-05,
      "loss": 1.6077,
      "step": 8121
    },
    {
      "epoch": 0.7219555555555556,
      "grad_norm": 1.5986876487731934,
      "learning_rate": 1.3906666666666668e-05,
      "loss": 1.4153,
      "step": 8122
    },
    {
      "epoch": 0.7220444444444445,
      "grad_norm": 1.8590364456176758,
      "learning_rate": 1.3902222222222222e-05,
      "loss": 1.4466,
      "step": 8123
    },
    {
      "epoch": 0.7221333333333333,
      "grad_norm": 1.3858081102371216,
      "learning_rate": 1.3897777777777778e-05,
      "loss": 1.4887,
      "step": 8124
    },
    {
      "epoch": 0.7222222222222222,
      "grad_norm": 1.4877678155899048,
      "learning_rate": 1.3893333333333333e-05,
      "loss": 1.4913,
      "step": 8125
    },
    {
      "epoch": 0.7223111111111111,
      "grad_norm": 1.4415441751480103,
      "learning_rate": 1.388888888888889e-05,
      "loss": 1.4272,
      "step": 8126
    },
    {
      "epoch": 0.7224,
      "grad_norm": 2.1053175926208496,
      "learning_rate": 1.3884444444444444e-05,
      "loss": 1.6196,
      "step": 8127
    },
    {
      "epoch": 0.7224888888888888,
      "grad_norm": 1.413415551185608,
      "learning_rate": 1.3880000000000001e-05,
      "loss": 1.4708,
      "step": 8128
    },
    {
      "epoch": 0.7225777777777778,
      "grad_norm": 1.7153761386871338,
      "learning_rate": 1.3875555555555556e-05,
      "loss": 1.3547,
      "step": 8129
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 1.4555442333221436,
      "learning_rate": 1.3871111111111112e-05,
      "loss": 1.3044,
      "step": 8130
    },
    {
      "epoch": 0.7227555555555556,
      "grad_norm": 1.48088800907135,
      "learning_rate": 1.3866666666666667e-05,
      "loss": 1.4637,
      "step": 8131
    },
    {
      "epoch": 0.7228444444444444,
      "grad_norm": 1.3968638181686401,
      "learning_rate": 1.3862222222222224e-05,
      "loss": 1.3706,
      "step": 8132
    },
    {
      "epoch": 0.7229333333333333,
      "grad_norm": 1.8584319353103638,
      "learning_rate": 1.3857777777777779e-05,
      "loss": 1.5224,
      "step": 8133
    },
    {
      "epoch": 0.7230222222222222,
      "grad_norm": 1.4507709741592407,
      "learning_rate": 1.3853333333333335e-05,
      "loss": 1.2937,
      "step": 8134
    },
    {
      "epoch": 0.7231111111111111,
      "grad_norm": 1.7860697507858276,
      "learning_rate": 1.3848888888888888e-05,
      "loss": 1.4122,
      "step": 8135
    },
    {
      "epoch": 0.7232,
      "grad_norm": 1.7643663883209229,
      "learning_rate": 1.3844444444444446e-05,
      "loss": 1.5942,
      "step": 8136
    },
    {
      "epoch": 0.7232888888888889,
      "grad_norm": 1.7927132844924927,
      "learning_rate": 1.384e-05,
      "loss": 1.7345,
      "step": 8137
    },
    {
      "epoch": 0.7233777777777778,
      "grad_norm": 1.6674070358276367,
      "learning_rate": 1.3835555555555558e-05,
      "loss": 1.4149,
      "step": 8138
    },
    {
      "epoch": 0.7234666666666667,
      "grad_norm": 1.792655110359192,
      "learning_rate": 1.3831111111111111e-05,
      "loss": 1.5005,
      "step": 8139
    },
    {
      "epoch": 0.7235555555555555,
      "grad_norm": 1.5553216934204102,
      "learning_rate": 1.3826666666666668e-05,
      "loss": 1.4157,
      "step": 8140
    },
    {
      "epoch": 0.7236444444444444,
      "grad_norm": 1.5876256227493286,
      "learning_rate": 1.3822222222222222e-05,
      "loss": 1.5661,
      "step": 8141
    },
    {
      "epoch": 0.7237333333333333,
      "grad_norm": 1.6488122940063477,
      "learning_rate": 1.3817777777777779e-05,
      "loss": 1.5333,
      "step": 8142
    },
    {
      "epoch": 0.7238222222222223,
      "grad_norm": 1.8416450023651123,
      "learning_rate": 1.3813333333333334e-05,
      "loss": 1.6221,
      "step": 8143
    },
    {
      "epoch": 0.7239111111111111,
      "grad_norm": 1.6181963682174683,
      "learning_rate": 1.380888888888889e-05,
      "loss": 1.5323,
      "step": 8144
    },
    {
      "epoch": 0.724,
      "grad_norm": 1.3814013004302979,
      "learning_rate": 1.3804444444444445e-05,
      "loss": 1.554,
      "step": 8145
    },
    {
      "epoch": 0.7240888888888889,
      "grad_norm": 1.8877224922180176,
      "learning_rate": 1.3800000000000002e-05,
      "loss": 1.4161,
      "step": 8146
    },
    {
      "epoch": 0.7241777777777778,
      "grad_norm": 1.5512964725494385,
      "learning_rate": 1.3795555555555557e-05,
      "loss": 1.4409,
      "step": 8147
    },
    {
      "epoch": 0.7242666666666666,
      "grad_norm": 1.512079119682312,
      "learning_rate": 1.3791111111111113e-05,
      "loss": 1.3728,
      "step": 8148
    },
    {
      "epoch": 0.7243555555555555,
      "grad_norm": 1.4764738082885742,
      "learning_rate": 1.3786666666666668e-05,
      "loss": 1.5739,
      "step": 8149
    },
    {
      "epoch": 0.7244444444444444,
      "grad_norm": 1.4074649810791016,
      "learning_rate": 1.3782222222222224e-05,
      "loss": 1.4724,
      "step": 8150
    },
    {
      "epoch": 0.7245333333333334,
      "grad_norm": 1.831969976425171,
      "learning_rate": 1.3777777777777778e-05,
      "loss": 1.5395,
      "step": 8151
    },
    {
      "epoch": 0.7246222222222222,
      "grad_norm": 1.5889949798583984,
      "learning_rate": 1.3773333333333336e-05,
      "loss": 1.3188,
      "step": 8152
    },
    {
      "epoch": 0.7247111111111111,
      "grad_norm": 1.5396127700805664,
      "learning_rate": 1.3768888888888889e-05,
      "loss": 1.5084,
      "step": 8153
    },
    {
      "epoch": 0.7248,
      "grad_norm": 1.2738741636276245,
      "learning_rate": 1.3764444444444447e-05,
      "loss": 1.4145,
      "step": 8154
    },
    {
      "epoch": 0.7248888888888889,
      "grad_norm": 1.4234033823013306,
      "learning_rate": 1.376e-05,
      "loss": 1.6242,
      "step": 8155
    },
    {
      "epoch": 0.7249777777777778,
      "grad_norm": 1.7746046781539917,
      "learning_rate": 1.3755555555555555e-05,
      "loss": 1.5842,
      "step": 8156
    },
    {
      "epoch": 0.7250666666666666,
      "grad_norm": 1.755059838294983,
      "learning_rate": 1.3751111111111112e-05,
      "loss": 1.7692,
      "step": 8157
    },
    {
      "epoch": 0.7251555555555556,
      "grad_norm": 2.1533865928649902,
      "learning_rate": 1.3746666666666667e-05,
      "loss": 1.7222,
      "step": 8158
    },
    {
      "epoch": 0.7252444444444445,
      "grad_norm": 1.59726083278656,
      "learning_rate": 1.3742222222222223e-05,
      "loss": 1.627,
      "step": 8159
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 1.991608738899231,
      "learning_rate": 1.3737777777777778e-05,
      "loss": 1.5393,
      "step": 8160
    },
    {
      "epoch": 0.7254222222222222,
      "grad_norm": 1.718947410583496,
      "learning_rate": 1.3733333333333335e-05,
      "loss": 1.8019,
      "step": 8161
    },
    {
      "epoch": 0.7255111111111111,
      "grad_norm": 1.6501436233520508,
      "learning_rate": 1.3728888888888888e-05,
      "loss": 1.7505,
      "step": 8162
    },
    {
      "epoch": 0.7256,
      "grad_norm": 1.3685530424118042,
      "learning_rate": 1.3724444444444446e-05,
      "loss": 1.4424,
      "step": 8163
    },
    {
      "epoch": 0.7256888888888889,
      "grad_norm": 1.5257322788238525,
      "learning_rate": 1.3719999999999999e-05,
      "loss": 1.4527,
      "step": 8164
    },
    {
      "epoch": 0.7257777777777777,
      "grad_norm": 1.3922905921936035,
      "learning_rate": 1.3715555555555557e-05,
      "loss": 1.3379,
      "step": 8165
    },
    {
      "epoch": 0.7258666666666667,
      "grad_norm": 1.6475534439086914,
      "learning_rate": 1.371111111111111e-05,
      "loss": 1.5969,
      "step": 8166
    },
    {
      "epoch": 0.7259555555555556,
      "grad_norm": 1.5000942945480347,
      "learning_rate": 1.3706666666666667e-05,
      "loss": 1.6324,
      "step": 8167
    },
    {
      "epoch": 0.7260444444444445,
      "grad_norm": 1.6291534900665283,
      "learning_rate": 1.3702222222222222e-05,
      "loss": 1.4891,
      "step": 8168
    },
    {
      "epoch": 0.7261333333333333,
      "grad_norm": 1.5472958087921143,
      "learning_rate": 1.3697777777777778e-05,
      "loss": 1.69,
      "step": 8169
    },
    {
      "epoch": 0.7262222222222222,
      "grad_norm": 1.5200085639953613,
      "learning_rate": 1.3693333333333333e-05,
      "loss": 1.6695,
      "step": 8170
    },
    {
      "epoch": 0.7263111111111111,
      "grad_norm": 1.7521417140960693,
      "learning_rate": 1.368888888888889e-05,
      "loss": 1.3459,
      "step": 8171
    },
    {
      "epoch": 0.7264,
      "grad_norm": 1.6141079664230347,
      "learning_rate": 1.3684444444444445e-05,
      "loss": 1.393,
      "step": 8172
    },
    {
      "epoch": 0.7264888888888889,
      "grad_norm": 1.3060905933380127,
      "learning_rate": 1.3680000000000001e-05,
      "loss": 1.5121,
      "step": 8173
    },
    {
      "epoch": 0.7265777777777778,
      "grad_norm": 1.8716036081314087,
      "learning_rate": 1.3675555555555556e-05,
      "loss": 1.6495,
      "step": 8174
    },
    {
      "epoch": 0.7266666666666667,
      "grad_norm": 1.438739538192749,
      "learning_rate": 1.3671111111111113e-05,
      "loss": 1.3847,
      "step": 8175
    },
    {
      "epoch": 0.7267555555555556,
      "grad_norm": 1.5782923698425293,
      "learning_rate": 1.3666666666666666e-05,
      "loss": 1.7525,
      "step": 8176
    },
    {
      "epoch": 0.7268444444444444,
      "grad_norm": 1.4713340997695923,
      "learning_rate": 1.3662222222222224e-05,
      "loss": 1.5997,
      "step": 8177
    },
    {
      "epoch": 0.7269333333333333,
      "grad_norm": 1.3244035243988037,
      "learning_rate": 1.3657777777777777e-05,
      "loss": 1.5374,
      "step": 8178
    },
    {
      "epoch": 0.7270222222222222,
      "grad_norm": 1.4975426197052002,
      "learning_rate": 1.3653333333333335e-05,
      "loss": 1.4197,
      "step": 8179
    },
    {
      "epoch": 0.7271111111111112,
      "grad_norm": 2.122332811355591,
      "learning_rate": 1.3648888888888888e-05,
      "loss": 1.5681,
      "step": 8180
    },
    {
      "epoch": 0.7272,
      "grad_norm": 1.59907865524292,
      "learning_rate": 1.3644444444444445e-05,
      "loss": 1.6835,
      "step": 8181
    },
    {
      "epoch": 0.7272888888888889,
      "grad_norm": 1.5021491050720215,
      "learning_rate": 1.364e-05,
      "loss": 1.662,
      "step": 8182
    },
    {
      "epoch": 0.7273777777777778,
      "grad_norm": 2.1145002841949463,
      "learning_rate": 1.3635555555555556e-05,
      "loss": 1.522,
      "step": 8183
    },
    {
      "epoch": 0.7274666666666667,
      "grad_norm": 1.6808092594146729,
      "learning_rate": 1.3631111111111111e-05,
      "loss": 1.6184,
      "step": 8184
    },
    {
      "epoch": 0.7275555555555555,
      "grad_norm": 1.702895998954773,
      "learning_rate": 1.3626666666666668e-05,
      "loss": 1.5827,
      "step": 8185
    },
    {
      "epoch": 0.7276444444444444,
      "grad_norm": 1.5312600135803223,
      "learning_rate": 1.3622222222222223e-05,
      "loss": 1.5122,
      "step": 8186
    },
    {
      "epoch": 0.7277333333333333,
      "grad_norm": 1.5765228271484375,
      "learning_rate": 1.361777777777778e-05,
      "loss": 1.5778,
      "step": 8187
    },
    {
      "epoch": 0.7278222222222223,
      "grad_norm": 1.4188039302825928,
      "learning_rate": 1.3613333333333334e-05,
      "loss": 1.5923,
      "step": 8188
    },
    {
      "epoch": 0.7279111111111111,
      "grad_norm": 1.4977381229400635,
      "learning_rate": 1.360888888888889e-05,
      "loss": 1.3215,
      "step": 8189
    },
    {
      "epoch": 0.728,
      "grad_norm": 1.9571453332901,
      "learning_rate": 1.3604444444444445e-05,
      "loss": 1.6173,
      "step": 8190
    },
    {
      "epoch": 0.7280888888888889,
      "grad_norm": 1.4909172058105469,
      "learning_rate": 1.3600000000000002e-05,
      "loss": 1.4341,
      "step": 8191
    },
    {
      "epoch": 0.7281777777777778,
      "grad_norm": 1.6730573177337646,
      "learning_rate": 1.3595555555555555e-05,
      "loss": 1.4753,
      "step": 8192
    },
    {
      "epoch": 0.7282666666666666,
      "grad_norm": 1.3616268634796143,
      "learning_rate": 1.3591111111111113e-05,
      "loss": 1.4309,
      "step": 8193
    },
    {
      "epoch": 0.7283555555555555,
      "grad_norm": 1.4393575191497803,
      "learning_rate": 1.3586666666666666e-05,
      "loss": 1.4139,
      "step": 8194
    },
    {
      "epoch": 0.7284444444444444,
      "grad_norm": 2.075331926345825,
      "learning_rate": 1.3582222222222225e-05,
      "loss": 1.6532,
      "step": 8195
    },
    {
      "epoch": 0.7285333333333334,
      "grad_norm": 1.6658531427383423,
      "learning_rate": 1.3577777777777778e-05,
      "loss": 1.9391,
      "step": 8196
    },
    {
      "epoch": 0.7286222222222222,
      "grad_norm": 2.1464335918426514,
      "learning_rate": 1.3573333333333334e-05,
      "loss": 1.6315,
      "step": 8197
    },
    {
      "epoch": 0.7287111111111111,
      "grad_norm": 1.9908103942871094,
      "learning_rate": 1.356888888888889e-05,
      "loss": 1.4556,
      "step": 8198
    },
    {
      "epoch": 0.7288,
      "grad_norm": 1.4467679262161255,
      "learning_rate": 1.3564444444444446e-05,
      "loss": 1.3633,
      "step": 8199
    },
    {
      "epoch": 0.7288888888888889,
      "grad_norm": 2.345672845840454,
      "learning_rate": 1.356e-05,
      "loss": 1.6309,
      "step": 8200
    },
    {
      "epoch": 0.7289777777777777,
      "grad_norm": 1.5068141222000122,
      "learning_rate": 1.3555555555555557e-05,
      "loss": 1.2747,
      "step": 8201
    },
    {
      "epoch": 0.7290666666666666,
      "grad_norm": 1.3854340314865112,
      "learning_rate": 1.3551111111111112e-05,
      "loss": 1.3625,
      "step": 8202
    },
    {
      "epoch": 0.7291555555555556,
      "grad_norm": 1.3811557292938232,
      "learning_rate": 1.3546666666666669e-05,
      "loss": 1.5407,
      "step": 8203
    },
    {
      "epoch": 0.7292444444444445,
      "grad_norm": 1.3952994346618652,
      "learning_rate": 1.3542222222222223e-05,
      "loss": 1.6161,
      "step": 8204
    },
    {
      "epoch": 0.7293333333333333,
      "grad_norm": 1.8717981576919556,
      "learning_rate": 1.353777777777778e-05,
      "loss": 1.7742,
      "step": 8205
    },
    {
      "epoch": 0.7294222222222222,
      "grad_norm": 1.4984511137008667,
      "learning_rate": 1.3533333333333335e-05,
      "loss": 1.4159,
      "step": 8206
    },
    {
      "epoch": 0.7295111111111111,
      "grad_norm": 1.7507948875427246,
      "learning_rate": 1.3528888888888888e-05,
      "loss": 1.5417,
      "step": 8207
    },
    {
      "epoch": 0.7296,
      "grad_norm": 1.8887505531311035,
      "learning_rate": 1.3524444444444444e-05,
      "loss": 1.5139,
      "step": 8208
    },
    {
      "epoch": 0.7296888888888889,
      "grad_norm": 1.9379688501358032,
      "learning_rate": 1.352e-05,
      "loss": 1.6289,
      "step": 8209
    },
    {
      "epoch": 0.7297777777777777,
      "grad_norm": 1.6029208898544312,
      "learning_rate": 1.3515555555555556e-05,
      "loss": 1.3092,
      "step": 8210
    },
    {
      "epoch": 0.7298666666666667,
      "grad_norm": 1.879989504814148,
      "learning_rate": 1.351111111111111e-05,
      "loss": 1.6411,
      "step": 8211
    },
    {
      "epoch": 0.7299555555555556,
      "grad_norm": 1.4462168216705322,
      "learning_rate": 1.3506666666666667e-05,
      "loss": 1.63,
      "step": 8212
    },
    {
      "epoch": 0.7300444444444445,
      "grad_norm": 1.6248230934143066,
      "learning_rate": 1.3502222222222222e-05,
      "loss": 1.4811,
      "step": 8213
    },
    {
      "epoch": 0.7301333333333333,
      "grad_norm": 1.4471335411071777,
      "learning_rate": 1.3497777777777779e-05,
      "loss": 1.687,
      "step": 8214
    },
    {
      "epoch": 0.7302222222222222,
      "grad_norm": 1.386231541633606,
      "learning_rate": 1.3493333333333333e-05,
      "loss": 1.5783,
      "step": 8215
    },
    {
      "epoch": 0.7303111111111111,
      "grad_norm": 1.7495256662368774,
      "learning_rate": 1.348888888888889e-05,
      "loss": 1.5283,
      "step": 8216
    },
    {
      "epoch": 0.7304,
      "grad_norm": 1.4311151504516602,
      "learning_rate": 1.3484444444444443e-05,
      "loss": 1.5515,
      "step": 8217
    },
    {
      "epoch": 0.7304888888888889,
      "grad_norm": 1.5871566534042358,
      "learning_rate": 1.3480000000000001e-05,
      "loss": 1.4055,
      "step": 8218
    },
    {
      "epoch": 0.7305777777777778,
      "grad_norm": 1.6351165771484375,
      "learning_rate": 1.3475555555555555e-05,
      "loss": 1.3621,
      "step": 8219
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 1.8041611909866333,
      "learning_rate": 1.3471111111111113e-05,
      "loss": 1.4354,
      "step": 8220
    },
    {
      "epoch": 0.7307555555555556,
      "grad_norm": 1.435541033744812,
      "learning_rate": 1.3466666666666666e-05,
      "loss": 1.4502,
      "step": 8221
    },
    {
      "epoch": 0.7308444444444444,
      "grad_norm": 1.4858945608139038,
      "learning_rate": 1.3462222222222222e-05,
      "loss": 1.6111,
      "step": 8222
    },
    {
      "epoch": 0.7309333333333333,
      "grad_norm": 1.5318481922149658,
      "learning_rate": 1.3457777777777777e-05,
      "loss": 1.4474,
      "step": 8223
    },
    {
      "epoch": 0.7310222222222222,
      "grad_norm": 1.5489362478256226,
      "learning_rate": 1.3453333333333334e-05,
      "loss": 1.727,
      "step": 8224
    },
    {
      "epoch": 0.7311111111111112,
      "grad_norm": 1.7075467109680176,
      "learning_rate": 1.3448888888888889e-05,
      "loss": 1.742,
      "step": 8225
    },
    {
      "epoch": 0.7312,
      "grad_norm": 1.5228850841522217,
      "learning_rate": 1.3444444444444445e-05,
      "loss": 1.4229,
      "step": 8226
    },
    {
      "epoch": 0.7312888888888889,
      "grad_norm": 1.5241551399230957,
      "learning_rate": 1.344e-05,
      "loss": 1.6,
      "step": 8227
    },
    {
      "epoch": 0.7313777777777778,
      "grad_norm": 1.5289734601974487,
      "learning_rate": 1.3435555555555557e-05,
      "loss": 1.4829,
      "step": 8228
    },
    {
      "epoch": 0.7314666666666667,
      "grad_norm": 1.699252724647522,
      "learning_rate": 1.3431111111111111e-05,
      "loss": 1.601,
      "step": 8229
    },
    {
      "epoch": 0.7315555555555555,
      "grad_norm": 1.9683395624160767,
      "learning_rate": 1.3426666666666668e-05,
      "loss": 1.631,
      "step": 8230
    },
    {
      "epoch": 0.7316444444444444,
      "grad_norm": 1.7191301584243774,
      "learning_rate": 1.3422222222222223e-05,
      "loss": 1.7639,
      "step": 8231
    },
    {
      "epoch": 0.7317333333333333,
      "grad_norm": 1.532254695892334,
      "learning_rate": 1.341777777777778e-05,
      "loss": 1.6054,
      "step": 8232
    },
    {
      "epoch": 0.7318222222222223,
      "grad_norm": 1.4424514770507812,
      "learning_rate": 1.3413333333333333e-05,
      "loss": 1.4432,
      "step": 8233
    },
    {
      "epoch": 0.7319111111111111,
      "grad_norm": 1.391700029373169,
      "learning_rate": 1.340888888888889e-05,
      "loss": 1.5432,
      "step": 8234
    },
    {
      "epoch": 0.732,
      "grad_norm": 1.4336436986923218,
      "learning_rate": 1.3404444444444444e-05,
      "loss": 1.6361,
      "step": 8235
    },
    {
      "epoch": 0.7320888888888889,
      "grad_norm": 1.640326738357544,
      "learning_rate": 1.3400000000000002e-05,
      "loss": 1.6227,
      "step": 8236
    },
    {
      "epoch": 0.7321777777777778,
      "grad_norm": 1.519086241722107,
      "learning_rate": 1.3395555555555555e-05,
      "loss": 1.4955,
      "step": 8237
    },
    {
      "epoch": 0.7322666666666666,
      "grad_norm": 1.3366824388504028,
      "learning_rate": 1.3391111111111112e-05,
      "loss": 1.3722,
      "step": 8238
    },
    {
      "epoch": 0.7323555555555555,
      "grad_norm": 1.2740473747253418,
      "learning_rate": 1.3386666666666667e-05,
      "loss": 1.2177,
      "step": 8239
    },
    {
      "epoch": 0.7324444444444445,
      "grad_norm": 1.528364658355713,
      "learning_rate": 1.3382222222222223e-05,
      "loss": 1.4174,
      "step": 8240
    },
    {
      "epoch": 0.7325333333333334,
      "grad_norm": 1.8774038553237915,
      "learning_rate": 1.3377777777777778e-05,
      "loss": 1.3024,
      "step": 8241
    },
    {
      "epoch": 0.7326222222222222,
      "grad_norm": 1.91586172580719,
      "learning_rate": 1.3373333333333335e-05,
      "loss": 1.4172,
      "step": 8242
    },
    {
      "epoch": 0.7327111111111111,
      "grad_norm": 1.9829943180084229,
      "learning_rate": 1.336888888888889e-05,
      "loss": 1.6204,
      "step": 8243
    },
    {
      "epoch": 0.7328,
      "grad_norm": 2.17571759223938,
      "learning_rate": 1.3364444444444446e-05,
      "loss": 1.6321,
      "step": 8244
    },
    {
      "epoch": 0.7328888888888889,
      "grad_norm": 1.818616271018982,
      "learning_rate": 1.336e-05,
      "loss": 1.5312,
      "step": 8245
    },
    {
      "epoch": 0.7329777777777777,
      "grad_norm": 1.609647512435913,
      "learning_rate": 1.3355555555555557e-05,
      "loss": 1.5774,
      "step": 8246
    },
    {
      "epoch": 0.7330666666666666,
      "grad_norm": 2.0014309883117676,
      "learning_rate": 1.3351111111111112e-05,
      "loss": 1.611,
      "step": 8247
    },
    {
      "epoch": 0.7331555555555556,
      "grad_norm": 1.4232268333435059,
      "learning_rate": 1.3346666666666669e-05,
      "loss": 1.6145,
      "step": 8248
    },
    {
      "epoch": 0.7332444444444445,
      "grad_norm": 1.4574792385101318,
      "learning_rate": 1.3342222222222222e-05,
      "loss": 1.5353,
      "step": 8249
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 1.5428755283355713,
      "learning_rate": 1.333777777777778e-05,
      "loss": 1.6359,
      "step": 8250
    },
    {
      "epoch": 0.7334222222222222,
      "grad_norm": 1.51813542842865,
      "learning_rate": 1.3333333333333333e-05,
      "loss": 1.6962,
      "step": 8251
    },
    {
      "epoch": 0.7335111111111111,
      "grad_norm": 1.434952735900879,
      "learning_rate": 1.3328888888888892e-05,
      "loss": 1.5572,
      "step": 8252
    },
    {
      "epoch": 0.7336,
      "grad_norm": 1.7833714485168457,
      "learning_rate": 1.3324444444444445e-05,
      "loss": 1.6104,
      "step": 8253
    },
    {
      "epoch": 0.7336888888888888,
      "grad_norm": 1.4120768308639526,
      "learning_rate": 1.3320000000000001e-05,
      "loss": 1.4534,
      "step": 8254
    },
    {
      "epoch": 0.7337777777777778,
      "grad_norm": 1.6627552509307861,
      "learning_rate": 1.3315555555555556e-05,
      "loss": 1.6295,
      "step": 8255
    },
    {
      "epoch": 0.7338666666666667,
      "grad_norm": 1.4899089336395264,
      "learning_rate": 1.3311111111111113e-05,
      "loss": 1.3239,
      "step": 8256
    },
    {
      "epoch": 0.7339555555555556,
      "grad_norm": 1.5564417839050293,
      "learning_rate": 1.3306666666666667e-05,
      "loss": 1.6154,
      "step": 8257
    },
    {
      "epoch": 0.7340444444444445,
      "grad_norm": 1.3755698204040527,
      "learning_rate": 1.3302222222222222e-05,
      "loss": 1.404,
      "step": 8258
    },
    {
      "epoch": 0.7341333333333333,
      "grad_norm": 1.7464919090270996,
      "learning_rate": 1.3297777777777779e-05,
      "loss": 1.5971,
      "step": 8259
    },
    {
      "epoch": 0.7342222222222222,
      "grad_norm": 1.4109582901000977,
      "learning_rate": 1.3293333333333332e-05,
      "loss": 1.4899,
      "step": 8260
    },
    {
      "epoch": 0.7343111111111111,
      "grad_norm": 1.768450379371643,
      "learning_rate": 1.328888888888889e-05,
      "loss": 1.5805,
      "step": 8261
    },
    {
      "epoch": 0.7344,
      "grad_norm": 2.0940375328063965,
      "learning_rate": 1.3284444444444443e-05,
      "loss": 1.4913,
      "step": 8262
    },
    {
      "epoch": 0.7344888888888889,
      "grad_norm": 1.5615006685256958,
      "learning_rate": 1.3280000000000002e-05,
      "loss": 1.7382,
      "step": 8263
    },
    {
      "epoch": 0.7345777777777778,
      "grad_norm": 1.5538750886917114,
      "learning_rate": 1.3275555555555555e-05,
      "loss": 1.5069,
      "step": 8264
    },
    {
      "epoch": 0.7346666666666667,
      "grad_norm": 1.4838329553604126,
      "learning_rate": 1.3271111111111111e-05,
      "loss": 1.4683,
      "step": 8265
    },
    {
      "epoch": 0.7347555555555556,
      "grad_norm": 1.7172667980194092,
      "learning_rate": 1.3266666666666666e-05,
      "loss": 1.5042,
      "step": 8266
    },
    {
      "epoch": 0.7348444444444444,
      "grad_norm": 1.4543155431747437,
      "learning_rate": 1.3262222222222223e-05,
      "loss": 1.5796,
      "step": 8267
    },
    {
      "epoch": 0.7349333333333333,
      "grad_norm": 1.6533998250961304,
      "learning_rate": 1.3257777777777778e-05,
      "loss": 1.577,
      "step": 8268
    },
    {
      "epoch": 0.7350222222222222,
      "grad_norm": 1.676306962966919,
      "learning_rate": 1.3253333333333334e-05,
      "loss": 1.5341,
      "step": 8269
    },
    {
      "epoch": 0.7351111111111112,
      "grad_norm": 1.5600107908248901,
      "learning_rate": 1.3248888888888889e-05,
      "loss": 1.5603,
      "step": 8270
    },
    {
      "epoch": 0.7352,
      "grad_norm": 1.5732166767120361,
      "learning_rate": 1.3244444444444445e-05,
      "loss": 1.3837,
      "step": 8271
    },
    {
      "epoch": 0.7352888888888889,
      "grad_norm": 1.6900882720947266,
      "learning_rate": 1.324e-05,
      "loss": 1.6242,
      "step": 8272
    },
    {
      "epoch": 0.7353777777777778,
      "grad_norm": 1.5591915845870972,
      "learning_rate": 1.3235555555555557e-05,
      "loss": 1.4671,
      "step": 8273
    },
    {
      "epoch": 0.7354666666666667,
      "grad_norm": 2.1389334201812744,
      "learning_rate": 1.323111111111111e-05,
      "loss": 1.6596,
      "step": 8274
    },
    {
      "epoch": 0.7355555555555555,
      "grad_norm": 1.321311593055725,
      "learning_rate": 1.3226666666666668e-05,
      "loss": 1.2959,
      "step": 8275
    },
    {
      "epoch": 0.7356444444444444,
      "grad_norm": 1.829785704612732,
      "learning_rate": 1.3222222222222221e-05,
      "loss": 1.6991,
      "step": 8276
    },
    {
      "epoch": 0.7357333333333334,
      "grad_norm": 1.4834352731704712,
      "learning_rate": 1.321777777777778e-05,
      "loss": 1.3007,
      "step": 8277
    },
    {
      "epoch": 0.7358222222222223,
      "grad_norm": 1.4702376127243042,
      "learning_rate": 1.3213333333333333e-05,
      "loss": 1.5183,
      "step": 8278
    },
    {
      "epoch": 0.7359111111111111,
      "grad_norm": 1.7902672290802002,
      "learning_rate": 1.320888888888889e-05,
      "loss": 1.3843,
      "step": 8279
    },
    {
      "epoch": 0.736,
      "grad_norm": 1.4917974472045898,
      "learning_rate": 1.3204444444444444e-05,
      "loss": 1.6023,
      "step": 8280
    },
    {
      "epoch": 0.7360888888888889,
      "grad_norm": 1.4990102052688599,
      "learning_rate": 1.32e-05,
      "loss": 1.8461,
      "step": 8281
    },
    {
      "epoch": 0.7361777777777778,
      "grad_norm": 1.4940556287765503,
      "learning_rate": 1.3195555555555556e-05,
      "loss": 1.4896,
      "step": 8282
    },
    {
      "epoch": 0.7362666666666666,
      "grad_norm": 1.4971749782562256,
      "learning_rate": 1.3191111111111112e-05,
      "loss": 1.3173,
      "step": 8283
    },
    {
      "epoch": 0.7363555555555555,
      "grad_norm": 1.3800774812698364,
      "learning_rate": 1.3186666666666667e-05,
      "loss": 1.32,
      "step": 8284
    },
    {
      "epoch": 0.7364444444444445,
      "grad_norm": 1.7949706315994263,
      "learning_rate": 1.3182222222222223e-05,
      "loss": 1.3446,
      "step": 8285
    },
    {
      "epoch": 0.7365333333333334,
      "grad_norm": 1.6057438850402832,
      "learning_rate": 1.3177777777777778e-05,
      "loss": 1.6127,
      "step": 8286
    },
    {
      "epoch": 0.7366222222222222,
      "grad_norm": 1.4732714891433716,
      "learning_rate": 1.3173333333333335e-05,
      "loss": 1.5847,
      "step": 8287
    },
    {
      "epoch": 0.7367111111111111,
      "grad_norm": 1.5115257501602173,
      "learning_rate": 1.316888888888889e-05,
      "loss": 1.6346,
      "step": 8288
    },
    {
      "epoch": 0.7368,
      "grad_norm": 1.4927719831466675,
      "learning_rate": 1.3164444444444446e-05,
      "loss": 1.3847,
      "step": 8289
    },
    {
      "epoch": 0.7368888888888889,
      "grad_norm": 1.472540020942688,
      "learning_rate": 1.316e-05,
      "loss": 1.5298,
      "step": 8290
    },
    {
      "epoch": 0.7369777777777777,
      "grad_norm": 1.6618188619613647,
      "learning_rate": 1.3155555555555558e-05,
      "loss": 1.4588,
      "step": 8291
    },
    {
      "epoch": 0.7370666666666666,
      "grad_norm": 1.4122130870819092,
      "learning_rate": 1.315111111111111e-05,
      "loss": 1.5821,
      "step": 8292
    },
    {
      "epoch": 0.7371555555555556,
      "grad_norm": 2.078585147857666,
      "learning_rate": 1.3146666666666669e-05,
      "loss": 1.5293,
      "step": 8293
    },
    {
      "epoch": 0.7372444444444445,
      "grad_norm": 1.7844507694244385,
      "learning_rate": 1.3142222222222222e-05,
      "loss": 1.3744,
      "step": 8294
    },
    {
      "epoch": 0.7373333333333333,
      "grad_norm": 1.5252659320831299,
      "learning_rate": 1.3137777777777779e-05,
      "loss": 1.7053,
      "step": 8295
    },
    {
      "epoch": 0.7374222222222222,
      "grad_norm": 1.6781898736953735,
      "learning_rate": 1.3133333333333334e-05,
      "loss": 1.5369,
      "step": 8296
    },
    {
      "epoch": 0.7375111111111111,
      "grad_norm": 2.0799765586853027,
      "learning_rate": 1.312888888888889e-05,
      "loss": 1.5824,
      "step": 8297
    },
    {
      "epoch": 0.7376,
      "grad_norm": 1.5402461290359497,
      "learning_rate": 1.3124444444444445e-05,
      "loss": 1.5867,
      "step": 8298
    },
    {
      "epoch": 0.7376888888888888,
      "grad_norm": 1.382411003112793,
      "learning_rate": 1.3120000000000001e-05,
      "loss": 1.5464,
      "step": 8299
    },
    {
      "epoch": 0.7377777777777778,
      "grad_norm": 1.6558321714401245,
      "learning_rate": 1.3115555555555556e-05,
      "loss": 1.2376,
      "step": 8300
    },
    {
      "epoch": 0.7378666666666667,
      "grad_norm": 1.5566288232803345,
      "learning_rate": 1.3111111111111113e-05,
      "loss": 1.4172,
      "step": 8301
    },
    {
      "epoch": 0.7379555555555556,
      "grad_norm": 1.634416937828064,
      "learning_rate": 1.3106666666666668e-05,
      "loss": 1.4557,
      "step": 8302
    },
    {
      "epoch": 0.7380444444444444,
      "grad_norm": 1.652562141418457,
      "learning_rate": 1.3102222222222224e-05,
      "loss": 1.4747,
      "step": 8303
    },
    {
      "epoch": 0.7381333333333333,
      "grad_norm": 1.374565601348877,
      "learning_rate": 1.3097777777777779e-05,
      "loss": 1.4876,
      "step": 8304
    },
    {
      "epoch": 0.7382222222222222,
      "grad_norm": 1.6837055683135986,
      "learning_rate": 1.3093333333333336e-05,
      "loss": 1.5807,
      "step": 8305
    },
    {
      "epoch": 0.7383111111111111,
      "grad_norm": 1.5437828302383423,
      "learning_rate": 1.3088888888888889e-05,
      "loss": 1.5656,
      "step": 8306
    },
    {
      "epoch": 0.7384,
      "grad_norm": 1.3779247999191284,
      "learning_rate": 1.3084444444444447e-05,
      "loss": 1.5073,
      "step": 8307
    },
    {
      "epoch": 0.7384888888888889,
      "grad_norm": 1.677067756652832,
      "learning_rate": 1.308e-05,
      "loss": 1.6994,
      "step": 8308
    },
    {
      "epoch": 0.7385777777777778,
      "grad_norm": 1.5796012878417969,
      "learning_rate": 1.3075555555555558e-05,
      "loss": 1.514,
      "step": 8309
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 1.4165376424789429,
      "learning_rate": 1.3071111111111112e-05,
      "loss": 1.6624,
      "step": 8310
    },
    {
      "epoch": 0.7387555555555556,
      "grad_norm": 1.478732705116272,
      "learning_rate": 1.3066666666666666e-05,
      "loss": 1.3647,
      "step": 8311
    },
    {
      "epoch": 0.7388444444444444,
      "grad_norm": 1.596277117729187,
      "learning_rate": 1.3062222222222223e-05,
      "loss": 1.4085,
      "step": 8312
    },
    {
      "epoch": 0.7389333333333333,
      "grad_norm": 1.525739312171936,
      "learning_rate": 1.3057777777777778e-05,
      "loss": 1.5707,
      "step": 8313
    },
    {
      "epoch": 0.7390222222222222,
      "grad_norm": 1.3941999673843384,
      "learning_rate": 1.3053333333333334e-05,
      "loss": 1.4548,
      "step": 8314
    },
    {
      "epoch": 0.7391111111111112,
      "grad_norm": 1.6444003582000732,
      "learning_rate": 1.3048888888888887e-05,
      "loss": 1.682,
      "step": 8315
    },
    {
      "epoch": 0.7392,
      "grad_norm": 1.3940024375915527,
      "learning_rate": 1.3044444444444446e-05,
      "loss": 1.4679,
      "step": 8316
    },
    {
      "epoch": 0.7392888888888889,
      "grad_norm": 1.5312963724136353,
      "learning_rate": 1.3039999999999999e-05,
      "loss": 1.4053,
      "step": 8317
    },
    {
      "epoch": 0.7393777777777778,
      "grad_norm": 1.6415718793869019,
      "learning_rate": 1.3035555555555557e-05,
      "loss": 1.4552,
      "step": 8318
    },
    {
      "epoch": 0.7394666666666667,
      "grad_norm": 1.6138712167739868,
      "learning_rate": 1.303111111111111e-05,
      "loss": 1.6248,
      "step": 8319
    },
    {
      "epoch": 0.7395555555555555,
      "grad_norm": 1.5396023988723755,
      "learning_rate": 1.3026666666666667e-05,
      "loss": 1.5249,
      "step": 8320
    },
    {
      "epoch": 0.7396444444444444,
      "grad_norm": 1.5594927072525024,
      "learning_rate": 1.3022222222222222e-05,
      "loss": 1.5637,
      "step": 8321
    },
    {
      "epoch": 0.7397333333333334,
      "grad_norm": 1.3850483894348145,
      "learning_rate": 1.3017777777777778e-05,
      "loss": 1.3954,
      "step": 8322
    },
    {
      "epoch": 0.7398222222222223,
      "grad_norm": 1.2831951379776,
      "learning_rate": 1.3013333333333333e-05,
      "loss": 1.4869,
      "step": 8323
    },
    {
      "epoch": 0.7399111111111111,
      "grad_norm": 1.7653905153274536,
      "learning_rate": 1.300888888888889e-05,
      "loss": 1.6781,
      "step": 8324
    },
    {
      "epoch": 0.74,
      "grad_norm": 1.5079922676086426,
      "learning_rate": 1.3004444444444444e-05,
      "loss": 1.426,
      "step": 8325
    },
    {
      "epoch": 0.7400888888888889,
      "grad_norm": 1.6600086688995361,
      "learning_rate": 1.3000000000000001e-05,
      "loss": 1.6176,
      "step": 8326
    },
    {
      "epoch": 0.7401777777777778,
      "grad_norm": 1.5043519735336304,
      "learning_rate": 1.2995555555555556e-05,
      "loss": 1.464,
      "step": 8327
    },
    {
      "epoch": 0.7402666666666666,
      "grad_norm": 1.6965261697769165,
      "learning_rate": 1.2991111111111112e-05,
      "loss": 1.6228,
      "step": 8328
    },
    {
      "epoch": 0.7403555555555555,
      "grad_norm": 1.5928722620010376,
      "learning_rate": 1.2986666666666667e-05,
      "loss": 1.5482,
      "step": 8329
    },
    {
      "epoch": 0.7404444444444445,
      "grad_norm": 1.3722949028015137,
      "learning_rate": 1.2982222222222224e-05,
      "loss": 1.5061,
      "step": 8330
    },
    {
      "epoch": 0.7405333333333334,
      "grad_norm": 1.7503972053527832,
      "learning_rate": 1.2977777777777777e-05,
      "loss": 1.6335,
      "step": 8331
    },
    {
      "epoch": 0.7406222222222222,
      "grad_norm": 1.7181657552719116,
      "learning_rate": 1.2973333333333335e-05,
      "loss": 1.6685,
      "step": 8332
    },
    {
      "epoch": 0.7407111111111111,
      "grad_norm": 1.4708595275878906,
      "learning_rate": 1.2968888888888888e-05,
      "loss": 1.491,
      "step": 8333
    },
    {
      "epoch": 0.7408,
      "grad_norm": 1.6206462383270264,
      "learning_rate": 1.2964444444444446e-05,
      "loss": 1.5353,
      "step": 8334
    },
    {
      "epoch": 0.7408888888888889,
      "grad_norm": 1.3961968421936035,
      "learning_rate": 1.296e-05,
      "loss": 1.5376,
      "step": 8335
    },
    {
      "epoch": 0.7409777777777777,
      "grad_norm": 1.5754026174545288,
      "learning_rate": 1.2955555555555556e-05,
      "loss": 1.521,
      "step": 8336
    },
    {
      "epoch": 0.7410666666666667,
      "grad_norm": 1.3677420616149902,
      "learning_rate": 1.2951111111111111e-05,
      "loss": 1.5583,
      "step": 8337
    },
    {
      "epoch": 0.7411555555555556,
      "grad_norm": 1.4954942464828491,
      "learning_rate": 1.2946666666666668e-05,
      "loss": 1.5294,
      "step": 8338
    },
    {
      "epoch": 0.7412444444444445,
      "grad_norm": 1.422502875328064,
      "learning_rate": 1.2942222222222222e-05,
      "loss": 1.6134,
      "step": 8339
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 1.7024890184402466,
      "learning_rate": 1.2937777777777779e-05,
      "loss": 1.9114,
      "step": 8340
    },
    {
      "epoch": 0.7414222222222222,
      "grad_norm": 1.436448574066162,
      "learning_rate": 1.2933333333333334e-05,
      "loss": 1.5426,
      "step": 8341
    },
    {
      "epoch": 0.7415111111111111,
      "grad_norm": 1.5837395191192627,
      "learning_rate": 1.292888888888889e-05,
      "loss": 1.5492,
      "step": 8342
    },
    {
      "epoch": 0.7416,
      "grad_norm": 1.592337727546692,
      "learning_rate": 1.2924444444444445e-05,
      "loss": 1.6632,
      "step": 8343
    },
    {
      "epoch": 0.7416888888888888,
      "grad_norm": 1.9608579874038696,
      "learning_rate": 1.2920000000000002e-05,
      "loss": 1.7929,
      "step": 8344
    },
    {
      "epoch": 0.7417777777777778,
      "grad_norm": 1.5146559476852417,
      "learning_rate": 1.2915555555555557e-05,
      "loss": 1.3445,
      "step": 8345
    },
    {
      "epoch": 0.7418666666666667,
      "grad_norm": 1.7103687524795532,
      "learning_rate": 1.2911111111111113e-05,
      "loss": 1.5954,
      "step": 8346
    },
    {
      "epoch": 0.7419555555555556,
      "grad_norm": 1.3418731689453125,
      "learning_rate": 1.2906666666666666e-05,
      "loss": 1.5848,
      "step": 8347
    },
    {
      "epoch": 0.7420444444444444,
      "grad_norm": 1.3183045387268066,
      "learning_rate": 1.2902222222222224e-05,
      "loss": 1.5378,
      "step": 8348
    },
    {
      "epoch": 0.7421333333333333,
      "grad_norm": 1.5842032432556152,
      "learning_rate": 1.2897777777777778e-05,
      "loss": 1.639,
      "step": 8349
    },
    {
      "epoch": 0.7422222222222222,
      "grad_norm": 1.9635307788848877,
      "learning_rate": 1.2893333333333336e-05,
      "loss": 1.4886,
      "step": 8350
    },
    {
      "epoch": 0.7423111111111111,
      "grad_norm": 1.7991949319839478,
      "learning_rate": 1.2888888888888889e-05,
      "loss": 1.5114,
      "step": 8351
    },
    {
      "epoch": 0.7424,
      "grad_norm": 1.8542931079864502,
      "learning_rate": 1.2884444444444446e-05,
      "loss": 1.6315,
      "step": 8352
    },
    {
      "epoch": 0.7424888888888889,
      "grad_norm": 1.6832634210586548,
      "learning_rate": 1.288e-05,
      "loss": 1.6533,
      "step": 8353
    },
    {
      "epoch": 0.7425777777777778,
      "grad_norm": 1.6187394857406616,
      "learning_rate": 1.2875555555555557e-05,
      "loss": 1.6455,
      "step": 8354
    },
    {
      "epoch": 0.7426666666666667,
      "grad_norm": 1.6129350662231445,
      "learning_rate": 1.2871111111111112e-05,
      "loss": 1.3968,
      "step": 8355
    },
    {
      "epoch": 0.7427555555555555,
      "grad_norm": 1.6483099460601807,
      "learning_rate": 1.2866666666666668e-05,
      "loss": 1.4324,
      "step": 8356
    },
    {
      "epoch": 0.7428444444444444,
      "grad_norm": 1.5317327976226807,
      "learning_rate": 1.2862222222222223e-05,
      "loss": 1.4444,
      "step": 8357
    },
    {
      "epoch": 0.7429333333333333,
      "grad_norm": 1.717221975326538,
      "learning_rate": 1.285777777777778e-05,
      "loss": 1.5124,
      "step": 8358
    },
    {
      "epoch": 0.7430222222222223,
      "grad_norm": 1.5849590301513672,
      "learning_rate": 1.2853333333333335e-05,
      "loss": 1.6093,
      "step": 8359
    },
    {
      "epoch": 0.7431111111111111,
      "grad_norm": 1.4118839502334595,
      "learning_rate": 1.2848888888888891e-05,
      "loss": 1.4029,
      "step": 8360
    },
    {
      "epoch": 0.7432,
      "grad_norm": 1.6532878875732422,
      "learning_rate": 1.2844444444444446e-05,
      "loss": 1.6446,
      "step": 8361
    },
    {
      "epoch": 0.7432888888888889,
      "grad_norm": 2.063945770263672,
      "learning_rate": 1.2839999999999999e-05,
      "loss": 1.7911,
      "step": 8362
    },
    {
      "epoch": 0.7433777777777778,
      "grad_norm": 1.4559500217437744,
      "learning_rate": 1.2835555555555556e-05,
      "loss": 1.6384,
      "step": 8363
    },
    {
      "epoch": 0.7434666666666667,
      "grad_norm": 1.3944206237792969,
      "learning_rate": 1.283111111111111e-05,
      "loss": 1.6101,
      "step": 8364
    },
    {
      "epoch": 0.7435555555555555,
      "grad_norm": 1.3168582916259766,
      "learning_rate": 1.2826666666666667e-05,
      "loss": 1.3694,
      "step": 8365
    },
    {
      "epoch": 0.7436444444444444,
      "grad_norm": 1.533945918083191,
      "learning_rate": 1.2822222222222222e-05,
      "loss": 1.3274,
      "step": 8366
    },
    {
      "epoch": 0.7437333333333334,
      "grad_norm": 1.6599246263504028,
      "learning_rate": 1.2817777777777778e-05,
      "loss": 1.6257,
      "step": 8367
    },
    {
      "epoch": 0.7438222222222223,
      "grad_norm": 2.1839492321014404,
      "learning_rate": 1.2813333333333333e-05,
      "loss": 1.701,
      "step": 8368
    },
    {
      "epoch": 0.7439111111111111,
      "grad_norm": 1.89488685131073,
      "learning_rate": 1.280888888888889e-05,
      "loss": 1.6568,
      "step": 8369
    },
    {
      "epoch": 0.744,
      "grad_norm": 1.5597419738769531,
      "learning_rate": 1.2804444444444445e-05,
      "loss": 1.5441,
      "step": 8370
    },
    {
      "epoch": 0.7440888888888889,
      "grad_norm": 1.286694884300232,
      "learning_rate": 1.2800000000000001e-05,
      "loss": 1.3506,
      "step": 8371
    },
    {
      "epoch": 0.7441777777777778,
      "grad_norm": 2.094101667404175,
      "learning_rate": 1.2795555555555554e-05,
      "loss": 1.6612,
      "step": 8372
    },
    {
      "epoch": 0.7442666666666666,
      "grad_norm": 1.727529764175415,
      "learning_rate": 1.2791111111111112e-05,
      "loss": 1.5161,
      "step": 8373
    },
    {
      "epoch": 0.7443555555555555,
      "grad_norm": 1.399640440940857,
      "learning_rate": 1.2786666666666666e-05,
      "loss": 1.3525,
      "step": 8374
    },
    {
      "epoch": 0.7444444444444445,
      "grad_norm": 1.5969716310501099,
      "learning_rate": 1.2782222222222224e-05,
      "loss": 1.4572,
      "step": 8375
    },
    {
      "epoch": 0.7445333333333334,
      "grad_norm": 2.3470311164855957,
      "learning_rate": 1.2777777777777777e-05,
      "loss": 1.5237,
      "step": 8376
    },
    {
      "epoch": 0.7446222222222222,
      "grad_norm": 2.1362407207489014,
      "learning_rate": 1.2773333333333334e-05,
      "loss": 1.6132,
      "step": 8377
    },
    {
      "epoch": 0.7447111111111111,
      "grad_norm": 1.591020941734314,
      "learning_rate": 1.2768888888888888e-05,
      "loss": 1.6724,
      "step": 8378
    },
    {
      "epoch": 0.7448,
      "grad_norm": 1.7008568048477173,
      "learning_rate": 1.2764444444444445e-05,
      "loss": 1.5437,
      "step": 8379
    },
    {
      "epoch": 0.7448888888888889,
      "grad_norm": 2.0263824462890625,
      "learning_rate": 1.276e-05,
      "loss": 1.4508,
      "step": 8380
    },
    {
      "epoch": 0.7449777777777777,
      "grad_norm": 1.6963480710983276,
      "learning_rate": 1.2755555555555556e-05,
      "loss": 1.6288,
      "step": 8381
    },
    {
      "epoch": 0.7450666666666667,
      "grad_norm": 1.6949042081832886,
      "learning_rate": 1.2751111111111111e-05,
      "loss": 1.3805,
      "step": 8382
    },
    {
      "epoch": 0.7451555555555556,
      "grad_norm": 1.7287349700927734,
      "learning_rate": 1.2746666666666668e-05,
      "loss": 1.6477,
      "step": 8383
    },
    {
      "epoch": 0.7452444444444445,
      "grad_norm": 1.5910383462905884,
      "learning_rate": 1.2742222222222223e-05,
      "loss": 1.6528,
      "step": 8384
    },
    {
      "epoch": 0.7453333333333333,
      "grad_norm": 1.5318596363067627,
      "learning_rate": 1.2737777777777779e-05,
      "loss": 1.5067,
      "step": 8385
    },
    {
      "epoch": 0.7454222222222222,
      "grad_norm": 1.6806937456130981,
      "learning_rate": 1.2733333333333334e-05,
      "loss": 1.5726,
      "step": 8386
    },
    {
      "epoch": 0.7455111111111111,
      "grad_norm": 1.394496202468872,
      "learning_rate": 1.272888888888889e-05,
      "loss": 1.325,
      "step": 8387
    },
    {
      "epoch": 0.7456,
      "grad_norm": 1.542714238166809,
      "learning_rate": 1.2724444444444444e-05,
      "loss": 1.4286,
      "step": 8388
    },
    {
      "epoch": 0.7456888888888888,
      "grad_norm": 1.5049710273742676,
      "learning_rate": 1.2720000000000002e-05,
      "loss": 1.4427,
      "step": 8389
    },
    {
      "epoch": 0.7457777777777778,
      "grad_norm": 1.270928144454956,
      "learning_rate": 1.2715555555555555e-05,
      "loss": 1.5068,
      "step": 8390
    },
    {
      "epoch": 0.7458666666666667,
      "grad_norm": 1.6683810949325562,
      "learning_rate": 1.2711111111111113e-05,
      "loss": 1.393,
      "step": 8391
    },
    {
      "epoch": 0.7459555555555556,
      "grad_norm": 1.616180419921875,
      "learning_rate": 1.2706666666666666e-05,
      "loss": 1.4631,
      "step": 8392
    },
    {
      "epoch": 0.7460444444444444,
      "grad_norm": 1.5594412088394165,
      "learning_rate": 1.2702222222222223e-05,
      "loss": 1.4171,
      "step": 8393
    },
    {
      "epoch": 0.7461333333333333,
      "grad_norm": 1.5387890338897705,
      "learning_rate": 1.2697777777777778e-05,
      "loss": 1.5242,
      "step": 8394
    },
    {
      "epoch": 0.7462222222222222,
      "grad_norm": 1.324414849281311,
      "learning_rate": 1.2693333333333334e-05,
      "loss": 1.3102,
      "step": 8395
    },
    {
      "epoch": 0.7463111111111111,
      "grad_norm": 1.6330968141555786,
      "learning_rate": 1.268888888888889e-05,
      "loss": 1.8289,
      "step": 8396
    },
    {
      "epoch": 0.7464,
      "grad_norm": 1.5441179275512695,
      "learning_rate": 1.2684444444444446e-05,
      "loss": 1.6044,
      "step": 8397
    },
    {
      "epoch": 0.7464888888888889,
      "grad_norm": 1.8194241523742676,
      "learning_rate": 1.268e-05,
      "loss": 1.5024,
      "step": 8398
    },
    {
      "epoch": 0.7465777777777778,
      "grad_norm": 2.345980644226074,
      "learning_rate": 1.2675555555555557e-05,
      "loss": 1.7579,
      "step": 8399
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 1.4365277290344238,
      "learning_rate": 1.2671111111111112e-05,
      "loss": 1.4832,
      "step": 8400
    },
    {
      "epoch": 0.7467555555555555,
      "grad_norm": 1.6382306814193726,
      "learning_rate": 1.2666666666666668e-05,
      "loss": 1.5492,
      "step": 8401
    },
    {
      "epoch": 0.7468444444444444,
      "grad_norm": 1.727500319480896,
      "learning_rate": 1.2662222222222223e-05,
      "loss": 1.4363,
      "step": 8402
    },
    {
      "epoch": 0.7469333333333333,
      "grad_norm": 1.5226672887802124,
      "learning_rate": 1.265777777777778e-05,
      "loss": 1.4785,
      "step": 8403
    },
    {
      "epoch": 0.7470222222222223,
      "grad_norm": 1.4045286178588867,
      "learning_rate": 1.2653333333333333e-05,
      "loss": 1.4484,
      "step": 8404
    },
    {
      "epoch": 0.7471111111111111,
      "grad_norm": 1.3860738277435303,
      "learning_rate": 1.2648888888888891e-05,
      "loss": 1.5364,
      "step": 8405
    },
    {
      "epoch": 0.7472,
      "grad_norm": 1.5462615489959717,
      "learning_rate": 1.2644444444444444e-05,
      "loss": 1.5122,
      "step": 8406
    },
    {
      "epoch": 0.7472888888888889,
      "grad_norm": 1.4311333894729614,
      "learning_rate": 1.2640000000000003e-05,
      "loss": 1.4138,
      "step": 8407
    },
    {
      "epoch": 0.7473777777777778,
      "grad_norm": 1.4148038625717163,
      "learning_rate": 1.2635555555555556e-05,
      "loss": 1.5129,
      "step": 8408
    },
    {
      "epoch": 0.7474666666666666,
      "grad_norm": 1.427168369293213,
      "learning_rate": 1.2631111111111112e-05,
      "loss": 1.7605,
      "step": 8409
    },
    {
      "epoch": 0.7475555555555555,
      "grad_norm": 1.8908276557922363,
      "learning_rate": 1.2626666666666667e-05,
      "loss": 1.6364,
      "step": 8410
    },
    {
      "epoch": 0.7476444444444444,
      "grad_norm": 1.5523029565811157,
      "learning_rate": 1.2622222222222224e-05,
      "loss": 1.7076,
      "step": 8411
    },
    {
      "epoch": 0.7477333333333334,
      "grad_norm": 1.9270868301391602,
      "learning_rate": 1.2617777777777779e-05,
      "loss": 1.6288,
      "step": 8412
    },
    {
      "epoch": 0.7478222222222223,
      "grad_norm": 1.797059416770935,
      "learning_rate": 1.2613333333333332e-05,
      "loss": 1.6612,
      "step": 8413
    },
    {
      "epoch": 0.7479111111111111,
      "grad_norm": 1.3557676076889038,
      "learning_rate": 1.260888888888889e-05,
      "loss": 1.3018,
      "step": 8414
    },
    {
      "epoch": 0.748,
      "grad_norm": 1.3657625913619995,
      "learning_rate": 1.2604444444444443e-05,
      "loss": 1.5618,
      "step": 8415
    },
    {
      "epoch": 0.7480888888888889,
      "grad_norm": 1.4360589981079102,
      "learning_rate": 1.2600000000000001e-05,
      "loss": 1.558,
      "step": 8416
    },
    {
      "epoch": 0.7481777777777778,
      "grad_norm": 1.3313442468643188,
      "learning_rate": 1.2595555555555554e-05,
      "loss": 1.3748,
      "step": 8417
    },
    {
      "epoch": 0.7482666666666666,
      "grad_norm": 1.5788559913635254,
      "learning_rate": 1.2591111111111111e-05,
      "loss": 1.5339,
      "step": 8418
    },
    {
      "epoch": 0.7483555555555556,
      "grad_norm": 1.5527153015136719,
      "learning_rate": 1.2586666666666666e-05,
      "loss": 1.9243,
      "step": 8419
    },
    {
      "epoch": 0.7484444444444445,
      "grad_norm": 1.5235024690628052,
      "learning_rate": 1.2582222222222222e-05,
      "loss": 1.6126,
      "step": 8420
    },
    {
      "epoch": 0.7485333333333334,
      "grad_norm": 1.587355613708496,
      "learning_rate": 1.2577777777777777e-05,
      "loss": 1.6996,
      "step": 8421
    },
    {
      "epoch": 0.7486222222222222,
      "grad_norm": 1.7517168521881104,
      "learning_rate": 1.2573333333333334e-05,
      "loss": 1.6143,
      "step": 8422
    },
    {
      "epoch": 0.7487111111111111,
      "grad_norm": 1.8777000904083252,
      "learning_rate": 1.2568888888888889e-05,
      "loss": 1.5424,
      "step": 8423
    },
    {
      "epoch": 0.7488,
      "grad_norm": 1.7525495290756226,
      "learning_rate": 1.2564444444444445e-05,
      "loss": 1.4975,
      "step": 8424
    },
    {
      "epoch": 0.7488888888888889,
      "grad_norm": 1.4395002126693726,
      "learning_rate": 1.256e-05,
      "loss": 1.4815,
      "step": 8425
    },
    {
      "epoch": 0.7489777777777777,
      "grad_norm": 1.5303142070770264,
      "learning_rate": 1.2555555555555557e-05,
      "loss": 1.3058,
      "step": 8426
    },
    {
      "epoch": 0.7490666666666667,
      "grad_norm": 1.3216866254806519,
      "learning_rate": 1.2551111111111111e-05,
      "loss": 1.2928,
      "step": 8427
    },
    {
      "epoch": 0.7491555555555556,
      "grad_norm": 1.4720978736877441,
      "learning_rate": 1.2546666666666668e-05,
      "loss": 1.5353,
      "step": 8428
    },
    {
      "epoch": 0.7492444444444445,
      "grad_norm": 1.496131181716919,
      "learning_rate": 1.2542222222222221e-05,
      "loss": 1.2855,
      "step": 8429
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 1.7516146898269653,
      "learning_rate": 1.253777777777778e-05,
      "loss": 1.6716,
      "step": 8430
    },
    {
      "epoch": 0.7494222222222222,
      "grad_norm": 1.3848077058792114,
      "learning_rate": 1.2533333333333332e-05,
      "loss": 1.3534,
      "step": 8431
    },
    {
      "epoch": 0.7495111111111111,
      "grad_norm": 1.4465081691741943,
      "learning_rate": 1.252888888888889e-05,
      "loss": 1.7075,
      "step": 8432
    },
    {
      "epoch": 0.7496,
      "grad_norm": 1.7942265272140503,
      "learning_rate": 1.2524444444444444e-05,
      "loss": 1.4209,
      "step": 8433
    },
    {
      "epoch": 0.7496888888888888,
      "grad_norm": 1.7560334205627441,
      "learning_rate": 1.252e-05,
      "loss": 1.4365,
      "step": 8434
    },
    {
      "epoch": 0.7497777777777778,
      "grad_norm": 1.363645315170288,
      "learning_rate": 1.2515555555555555e-05,
      "loss": 1.3526,
      "step": 8435
    },
    {
      "epoch": 0.7498666666666667,
      "grad_norm": 1.4267194271087646,
      "learning_rate": 1.2511111111111112e-05,
      "loss": 1.4138,
      "step": 8436
    },
    {
      "epoch": 0.7499555555555556,
      "grad_norm": 1.4904704093933105,
      "learning_rate": 1.2506666666666667e-05,
      "loss": 1.3401,
      "step": 8437
    },
    {
      "epoch": 0.7500444444444444,
      "grad_norm": 1.5385143756866455,
      "learning_rate": 1.2502222222222223e-05,
      "loss": 1.5515,
      "step": 8438
    },
    {
      "epoch": 0.7501333333333333,
      "grad_norm": 1.6509156227111816,
      "learning_rate": 1.2497777777777778e-05,
      "loss": 1.4617,
      "step": 8439
    },
    {
      "epoch": 0.7502222222222222,
      "grad_norm": 1.647571086883545,
      "learning_rate": 1.2493333333333333e-05,
      "loss": 1.5213,
      "step": 8440
    },
    {
      "epoch": 0.7503111111111112,
      "grad_norm": 1.6393818855285645,
      "learning_rate": 1.248888888888889e-05,
      "loss": 1.4903,
      "step": 8441
    },
    {
      "epoch": 0.7504,
      "grad_norm": 1.4434773921966553,
      "learning_rate": 1.2484444444444444e-05,
      "loss": 1.5142,
      "step": 8442
    },
    {
      "epoch": 0.7504888888888889,
      "grad_norm": 1.8013699054718018,
      "learning_rate": 1.248e-05,
      "loss": 1.6508,
      "step": 8443
    },
    {
      "epoch": 0.7505777777777778,
      "grad_norm": 1.575554370880127,
      "learning_rate": 1.2475555555555556e-05,
      "loss": 1.6315,
      "step": 8444
    },
    {
      "epoch": 0.7506666666666667,
      "grad_norm": 1.6325265169143677,
      "learning_rate": 1.247111111111111e-05,
      "loss": 1.6614,
      "step": 8445
    },
    {
      "epoch": 0.7507555555555555,
      "grad_norm": 1.7151132822036743,
      "learning_rate": 1.2466666666666667e-05,
      "loss": 1.5111,
      "step": 8446
    },
    {
      "epoch": 0.7508444444444444,
      "grad_norm": 1.434847354888916,
      "learning_rate": 1.2462222222222222e-05,
      "loss": 1.6762,
      "step": 8447
    },
    {
      "epoch": 0.7509333333333333,
      "grad_norm": 1.9635783433914185,
      "learning_rate": 1.2457777777777778e-05,
      "loss": 1.6043,
      "step": 8448
    },
    {
      "epoch": 0.7510222222222223,
      "grad_norm": 1.5502445697784424,
      "learning_rate": 1.2453333333333333e-05,
      "loss": 1.5592,
      "step": 8449
    },
    {
      "epoch": 0.7511111111111111,
      "grad_norm": 1.598242163658142,
      "learning_rate": 1.244888888888889e-05,
      "loss": 1.3876,
      "step": 8450
    },
    {
      "epoch": 0.7512,
      "grad_norm": 2.1758830547332764,
      "learning_rate": 1.2444444444444445e-05,
      "loss": 1.8348,
      "step": 8451
    },
    {
      "epoch": 0.7512888888888889,
      "grad_norm": 1.6503756046295166,
      "learning_rate": 1.244e-05,
      "loss": 1.5817,
      "step": 8452
    },
    {
      "epoch": 0.7513777777777778,
      "grad_norm": 1.6897801160812378,
      "learning_rate": 1.2435555555555556e-05,
      "loss": 1.5662,
      "step": 8453
    },
    {
      "epoch": 0.7514666666666666,
      "grad_norm": 1.7373971939086914,
      "learning_rate": 1.2431111111111111e-05,
      "loss": 1.6417,
      "step": 8454
    },
    {
      "epoch": 0.7515555555555555,
      "grad_norm": 1.8275516033172607,
      "learning_rate": 1.2426666666666667e-05,
      "loss": 1.7174,
      "step": 8455
    },
    {
      "epoch": 0.7516444444444444,
      "grad_norm": 1.559748888015747,
      "learning_rate": 1.2422222222222222e-05,
      "loss": 1.5029,
      "step": 8456
    },
    {
      "epoch": 0.7517333333333334,
      "grad_norm": 1.7625317573547363,
      "learning_rate": 1.2417777777777779e-05,
      "loss": 1.6256,
      "step": 8457
    },
    {
      "epoch": 0.7518222222222222,
      "grad_norm": 1.7568178176879883,
      "learning_rate": 1.2413333333333334e-05,
      "loss": 1.5495,
      "step": 8458
    },
    {
      "epoch": 0.7519111111111111,
      "grad_norm": 1.486851692199707,
      "learning_rate": 1.240888888888889e-05,
      "loss": 1.4076,
      "step": 8459
    },
    {
      "epoch": 0.752,
      "grad_norm": 1.4349384307861328,
      "learning_rate": 1.2404444444444445e-05,
      "loss": 1.3954,
      "step": 8460
    },
    {
      "epoch": 0.7520888888888889,
      "grad_norm": 1.6211446523666382,
      "learning_rate": 1.24e-05,
      "loss": 1.5786,
      "step": 8461
    },
    {
      "epoch": 0.7521777777777777,
      "grad_norm": 1.4200506210327148,
      "learning_rate": 1.2395555555555556e-05,
      "loss": 1.4865,
      "step": 8462
    },
    {
      "epoch": 0.7522666666666666,
      "grad_norm": 1.4715759754180908,
      "learning_rate": 1.2391111111111111e-05,
      "loss": 1.3641,
      "step": 8463
    },
    {
      "epoch": 0.7523555555555556,
      "grad_norm": 1.538421392440796,
      "learning_rate": 1.2386666666666668e-05,
      "loss": 1.5663,
      "step": 8464
    },
    {
      "epoch": 0.7524444444444445,
      "grad_norm": 1.430967926979065,
      "learning_rate": 1.2382222222222223e-05,
      "loss": 1.5018,
      "step": 8465
    },
    {
      "epoch": 0.7525333333333334,
      "grad_norm": 1.4640966653823853,
      "learning_rate": 1.237777777777778e-05,
      "loss": 1.4428,
      "step": 8466
    },
    {
      "epoch": 0.7526222222222222,
      "grad_norm": 1.8924107551574707,
      "learning_rate": 1.2373333333333334e-05,
      "loss": 1.6639,
      "step": 8467
    },
    {
      "epoch": 0.7527111111111111,
      "grad_norm": 2.067063570022583,
      "learning_rate": 1.2368888888888889e-05,
      "loss": 1.4458,
      "step": 8468
    },
    {
      "epoch": 0.7528,
      "grad_norm": 1.6103808879852295,
      "learning_rate": 1.2364444444444445e-05,
      "loss": 1.5756,
      "step": 8469
    },
    {
      "epoch": 0.7528888888888889,
      "grad_norm": 1.8905370235443115,
      "learning_rate": 1.236e-05,
      "loss": 1.5008,
      "step": 8470
    },
    {
      "epoch": 0.7529777777777777,
      "grad_norm": 1.419854760169983,
      "learning_rate": 1.2355555555555557e-05,
      "loss": 1.4329,
      "step": 8471
    },
    {
      "epoch": 0.7530666666666667,
      "grad_norm": 1.5013208389282227,
      "learning_rate": 1.2351111111111112e-05,
      "loss": 1.3611,
      "step": 8472
    },
    {
      "epoch": 0.7531555555555556,
      "grad_norm": 1.6912901401519775,
      "learning_rate": 1.2346666666666668e-05,
      "loss": 1.6883,
      "step": 8473
    },
    {
      "epoch": 0.7532444444444445,
      "grad_norm": 2.7419345378875732,
      "learning_rate": 1.2342222222222223e-05,
      "loss": 1.9075,
      "step": 8474
    },
    {
      "epoch": 0.7533333333333333,
      "grad_norm": 1.523445725440979,
      "learning_rate": 1.2337777777777778e-05,
      "loss": 1.7681,
      "step": 8475
    },
    {
      "epoch": 0.7534222222222222,
      "grad_norm": 1.6317671537399292,
      "learning_rate": 1.2333333333333334e-05,
      "loss": 1.5722,
      "step": 8476
    },
    {
      "epoch": 0.7535111111111111,
      "grad_norm": 1.5527665615081787,
      "learning_rate": 1.232888888888889e-05,
      "loss": 1.7189,
      "step": 8477
    },
    {
      "epoch": 0.7536,
      "grad_norm": 1.5954670906066895,
      "learning_rate": 1.2324444444444446e-05,
      "loss": 1.4951,
      "step": 8478
    },
    {
      "epoch": 0.7536888888888889,
      "grad_norm": 1.4675509929656982,
      "learning_rate": 1.232e-05,
      "loss": 1.6175,
      "step": 8479
    },
    {
      "epoch": 0.7537777777777778,
      "grad_norm": 1.73807692527771,
      "learning_rate": 1.2315555555555557e-05,
      "loss": 1.5013,
      "step": 8480
    },
    {
      "epoch": 0.7538666666666667,
      "grad_norm": 1.6407508850097656,
      "learning_rate": 1.2311111111111112e-05,
      "loss": 1.7982,
      "step": 8481
    },
    {
      "epoch": 0.7539555555555556,
      "grad_norm": 1.695540428161621,
      "learning_rate": 1.2306666666666669e-05,
      "loss": 1.5341,
      "step": 8482
    },
    {
      "epoch": 0.7540444444444444,
      "grad_norm": 1.4210931062698364,
      "learning_rate": 1.2302222222222223e-05,
      "loss": 1.4953,
      "step": 8483
    },
    {
      "epoch": 0.7541333333333333,
      "grad_norm": 1.6478126049041748,
      "learning_rate": 1.2297777777777778e-05,
      "loss": 1.5663,
      "step": 8484
    },
    {
      "epoch": 0.7542222222222222,
      "grad_norm": 1.398979902267456,
      "learning_rate": 1.2293333333333335e-05,
      "loss": 1.54,
      "step": 8485
    },
    {
      "epoch": 0.7543111111111112,
      "grad_norm": 1.4247891902923584,
      "learning_rate": 1.228888888888889e-05,
      "loss": 1.2917,
      "step": 8486
    },
    {
      "epoch": 0.7544,
      "grad_norm": 1.492992639541626,
      "learning_rate": 1.2284444444444446e-05,
      "loss": 1.4042,
      "step": 8487
    },
    {
      "epoch": 0.7544888888888889,
      "grad_norm": 2.0519895553588867,
      "learning_rate": 1.2280000000000001e-05,
      "loss": 1.4513,
      "step": 8488
    },
    {
      "epoch": 0.7545777777777778,
      "grad_norm": 1.6012662649154663,
      "learning_rate": 1.2275555555555558e-05,
      "loss": 1.7828,
      "step": 8489
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 1.4427425861358643,
      "learning_rate": 1.2271111111111112e-05,
      "loss": 1.6005,
      "step": 8490
    },
    {
      "epoch": 0.7547555555555555,
      "grad_norm": 1.5991705656051636,
      "learning_rate": 1.2266666666666667e-05,
      "loss": 1.3389,
      "step": 8491
    },
    {
      "epoch": 0.7548444444444444,
      "grad_norm": 1.480988621711731,
      "learning_rate": 1.2262222222222222e-05,
      "loss": 1.4607,
      "step": 8492
    },
    {
      "epoch": 0.7549333333333333,
      "grad_norm": 1.43994140625,
      "learning_rate": 1.2257777777777777e-05,
      "loss": 1.4116,
      "step": 8493
    },
    {
      "epoch": 0.7550222222222223,
      "grad_norm": 1.5900256633758545,
      "learning_rate": 1.2253333333333333e-05,
      "loss": 1.6495,
      "step": 8494
    },
    {
      "epoch": 0.7551111111111111,
      "grad_norm": 1.547268033027649,
      "learning_rate": 1.2248888888888888e-05,
      "loss": 1.6271,
      "step": 8495
    },
    {
      "epoch": 0.7552,
      "grad_norm": 1.4910184144973755,
      "learning_rate": 1.2244444444444445e-05,
      "loss": 1.3781,
      "step": 8496
    },
    {
      "epoch": 0.7552888888888889,
      "grad_norm": 1.5232818126678467,
      "learning_rate": 1.224e-05,
      "loss": 1.6595,
      "step": 8497
    },
    {
      "epoch": 0.7553777777777778,
      "grad_norm": 1.8781154155731201,
      "learning_rate": 1.2235555555555556e-05,
      "loss": 1.5244,
      "step": 8498
    },
    {
      "epoch": 0.7554666666666666,
      "grad_norm": 1.5010132789611816,
      "learning_rate": 1.2231111111111111e-05,
      "loss": 1.6016,
      "step": 8499
    },
    {
      "epoch": 0.7555555555555555,
      "grad_norm": 2.2198266983032227,
      "learning_rate": 1.2226666666666668e-05,
      "loss": 1.727,
      "step": 8500
    },
    {
      "epoch": 0.7556444444444445,
      "grad_norm": 1.3242847919464111,
      "learning_rate": 1.2222222222222222e-05,
      "loss": 1.4256,
      "step": 8501
    },
    {
      "epoch": 0.7557333333333334,
      "grad_norm": 1.40931236743927,
      "learning_rate": 1.2217777777777777e-05,
      "loss": 1.5365,
      "step": 8502
    },
    {
      "epoch": 0.7558222222222222,
      "grad_norm": 1.6790021657943726,
      "learning_rate": 1.2213333333333334e-05,
      "loss": 1.4447,
      "step": 8503
    },
    {
      "epoch": 0.7559111111111111,
      "grad_norm": 1.4392033815383911,
      "learning_rate": 1.2208888888888889e-05,
      "loss": 1.5873,
      "step": 8504
    },
    {
      "epoch": 0.756,
      "grad_norm": 1.519971251487732,
      "learning_rate": 1.2204444444444445e-05,
      "loss": 1.4854,
      "step": 8505
    },
    {
      "epoch": 0.7560888888888889,
      "grad_norm": 1.8758234977722168,
      "learning_rate": 1.22e-05,
      "loss": 1.7391,
      "step": 8506
    },
    {
      "epoch": 0.7561777777777777,
      "grad_norm": 1.5383151769638062,
      "learning_rate": 1.2195555555555557e-05,
      "loss": 1.5084,
      "step": 8507
    },
    {
      "epoch": 0.7562666666666666,
      "grad_norm": 1.547612190246582,
      "learning_rate": 1.2191111111111111e-05,
      "loss": 1.514,
      "step": 8508
    },
    {
      "epoch": 0.7563555555555556,
      "grad_norm": 1.8764691352844238,
      "learning_rate": 1.2186666666666666e-05,
      "loss": 1.7446,
      "step": 8509
    },
    {
      "epoch": 0.7564444444444445,
      "grad_norm": 1.4507731199264526,
      "learning_rate": 1.2182222222222223e-05,
      "loss": 1.5039,
      "step": 8510
    },
    {
      "epoch": 0.7565333333333333,
      "grad_norm": 1.4036458730697632,
      "learning_rate": 1.2177777777777778e-05,
      "loss": 1.4394,
      "step": 8511
    },
    {
      "epoch": 0.7566222222222222,
      "grad_norm": 2.2709901332855225,
      "learning_rate": 1.2173333333333334e-05,
      "loss": 1.3922,
      "step": 8512
    },
    {
      "epoch": 0.7567111111111111,
      "grad_norm": 1.6450493335723877,
      "learning_rate": 1.2168888888888889e-05,
      "loss": 1.4706,
      "step": 8513
    },
    {
      "epoch": 0.7568,
      "grad_norm": 1.2856405973434448,
      "learning_rate": 1.2164444444444446e-05,
      "loss": 1.4723,
      "step": 8514
    },
    {
      "epoch": 0.7568888888888889,
      "grad_norm": 1.4274859428405762,
      "learning_rate": 1.216e-05,
      "loss": 1.5659,
      "step": 8515
    },
    {
      "epoch": 0.7569777777777777,
      "grad_norm": 1.3892234563827515,
      "learning_rate": 1.2155555555555555e-05,
      "loss": 1.3575,
      "step": 8516
    },
    {
      "epoch": 0.7570666666666667,
      "grad_norm": 2.227046489715576,
      "learning_rate": 1.2151111111111112e-05,
      "loss": 1.4541,
      "step": 8517
    },
    {
      "epoch": 0.7571555555555556,
      "grad_norm": 1.4951395988464355,
      "learning_rate": 1.2146666666666667e-05,
      "loss": 1.5505,
      "step": 8518
    },
    {
      "epoch": 0.7572444444444445,
      "grad_norm": 1.5572094917297363,
      "learning_rate": 1.2142222222222223e-05,
      "loss": 1.5286,
      "step": 8519
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 1.5603251457214355,
      "learning_rate": 1.2137777777777778e-05,
      "loss": 1.4054,
      "step": 8520
    },
    {
      "epoch": 0.7574222222222222,
      "grad_norm": 1.4706997871398926,
      "learning_rate": 1.2133333333333335e-05,
      "loss": 1.4193,
      "step": 8521
    },
    {
      "epoch": 0.7575111111111111,
      "grad_norm": 1.5516459941864014,
      "learning_rate": 1.212888888888889e-05,
      "loss": 2.0798,
      "step": 8522
    },
    {
      "epoch": 0.7576,
      "grad_norm": 1.4731628894805908,
      "learning_rate": 1.2124444444444446e-05,
      "loss": 1.5485,
      "step": 8523
    },
    {
      "epoch": 0.7576888888888889,
      "grad_norm": 1.8527164459228516,
      "learning_rate": 1.2120000000000001e-05,
      "loss": 1.9217,
      "step": 8524
    },
    {
      "epoch": 0.7577777777777778,
      "grad_norm": 1.949402093887329,
      "learning_rate": 1.2115555555555556e-05,
      "loss": 1.741,
      "step": 8525
    },
    {
      "epoch": 0.7578666666666667,
      "grad_norm": 1.4852961301803589,
      "learning_rate": 1.2111111111111112e-05,
      "loss": 1.3265,
      "step": 8526
    },
    {
      "epoch": 0.7579555555555556,
      "grad_norm": 1.6309897899627686,
      "learning_rate": 1.2106666666666667e-05,
      "loss": 1.6807,
      "step": 8527
    },
    {
      "epoch": 0.7580444444444444,
      "grad_norm": 1.575280785560608,
      "learning_rate": 1.2102222222222224e-05,
      "loss": 1.377,
      "step": 8528
    },
    {
      "epoch": 0.7581333333333333,
      "grad_norm": 1.5700303316116333,
      "learning_rate": 1.2097777777777778e-05,
      "loss": 1.5911,
      "step": 8529
    },
    {
      "epoch": 0.7582222222222222,
      "grad_norm": 1.6156834363937378,
      "learning_rate": 1.2093333333333335e-05,
      "loss": 1.6555,
      "step": 8530
    },
    {
      "epoch": 0.7583111111111112,
      "grad_norm": 1.6069968938827515,
      "learning_rate": 1.208888888888889e-05,
      "loss": 1.7006,
      "step": 8531
    },
    {
      "epoch": 0.7584,
      "grad_norm": 1.8593627214431763,
      "learning_rate": 1.2084444444444445e-05,
      "loss": 1.5102,
      "step": 8532
    },
    {
      "epoch": 0.7584888888888889,
      "grad_norm": 1.6692721843719482,
      "learning_rate": 1.2080000000000001e-05,
      "loss": 1.5776,
      "step": 8533
    },
    {
      "epoch": 0.7585777777777778,
      "grad_norm": 1.3580341339111328,
      "learning_rate": 1.2075555555555556e-05,
      "loss": 1.316,
      "step": 8534
    },
    {
      "epoch": 0.7586666666666667,
      "grad_norm": 1.975740671157837,
      "learning_rate": 1.2071111111111113e-05,
      "loss": 1.7602,
      "step": 8535
    },
    {
      "epoch": 0.7587555555555555,
      "grad_norm": 1.5611680746078491,
      "learning_rate": 1.2066666666666667e-05,
      "loss": 1.5527,
      "step": 8536
    },
    {
      "epoch": 0.7588444444444444,
      "grad_norm": 1.372124195098877,
      "learning_rate": 1.2062222222222224e-05,
      "loss": 1.3438,
      "step": 8537
    },
    {
      "epoch": 0.7589333333333333,
      "grad_norm": 1.926115870475769,
      "learning_rate": 1.2057777777777779e-05,
      "loss": 1.6619,
      "step": 8538
    },
    {
      "epoch": 0.7590222222222223,
      "grad_norm": 1.4884521961212158,
      "learning_rate": 1.2053333333333334e-05,
      "loss": 1.6078,
      "step": 8539
    },
    {
      "epoch": 0.7591111111111111,
      "grad_norm": 1.8729455471038818,
      "learning_rate": 1.204888888888889e-05,
      "loss": 1.7008,
      "step": 8540
    },
    {
      "epoch": 0.7592,
      "grad_norm": 1.3762614727020264,
      "learning_rate": 1.2044444444444445e-05,
      "loss": 1.3509,
      "step": 8541
    },
    {
      "epoch": 0.7592888888888889,
      "grad_norm": 2.1852145195007324,
      "learning_rate": 1.204e-05,
      "loss": 1.769,
      "step": 8542
    },
    {
      "epoch": 0.7593777777777778,
      "grad_norm": 1.7315914630889893,
      "learning_rate": 1.2035555555555555e-05,
      "loss": 1.5554,
      "step": 8543
    },
    {
      "epoch": 0.7594666666666666,
      "grad_norm": 1.6258747577667236,
      "learning_rate": 1.2031111111111111e-05,
      "loss": 1.6071,
      "step": 8544
    },
    {
      "epoch": 0.7595555555555555,
      "grad_norm": 1.783425211906433,
      "learning_rate": 1.2026666666666666e-05,
      "loss": 1.4899,
      "step": 8545
    },
    {
      "epoch": 0.7596444444444445,
      "grad_norm": 1.999794840812683,
      "learning_rate": 1.2022222222222223e-05,
      "loss": 1.7282,
      "step": 8546
    },
    {
      "epoch": 0.7597333333333334,
      "grad_norm": 1.4657429456710815,
      "learning_rate": 1.2017777777777778e-05,
      "loss": 1.5687,
      "step": 8547
    },
    {
      "epoch": 0.7598222222222222,
      "grad_norm": 1.4149932861328125,
      "learning_rate": 1.2013333333333334e-05,
      "loss": 1.3556,
      "step": 8548
    },
    {
      "epoch": 0.7599111111111111,
      "grad_norm": 1.522868037223816,
      "learning_rate": 1.2008888888888889e-05,
      "loss": 1.3724,
      "step": 8549
    },
    {
      "epoch": 0.76,
      "grad_norm": 1.4270139932632446,
      "learning_rate": 1.2004444444444444e-05,
      "loss": 1.4934,
      "step": 8550
    },
    {
      "epoch": 0.7600888888888889,
      "grad_norm": 1.6735633611679077,
      "learning_rate": 1.2e-05,
      "loss": 1.5683,
      "step": 8551
    },
    {
      "epoch": 0.7601777777777777,
      "grad_norm": 1.6737691164016724,
      "learning_rate": 1.1995555555555555e-05,
      "loss": 1.559,
      "step": 8552
    },
    {
      "epoch": 0.7602666666666666,
      "grad_norm": 1.5483206510543823,
      "learning_rate": 1.1991111111111112e-05,
      "loss": 1.4562,
      "step": 8553
    },
    {
      "epoch": 0.7603555555555556,
      "grad_norm": 1.6432862281799316,
      "learning_rate": 1.1986666666666667e-05,
      "loss": 1.4724,
      "step": 8554
    },
    {
      "epoch": 0.7604444444444445,
      "grad_norm": 1.508557677268982,
      "learning_rate": 1.1982222222222223e-05,
      "loss": 1.3533,
      "step": 8555
    },
    {
      "epoch": 0.7605333333333333,
      "grad_norm": 1.5033023357391357,
      "learning_rate": 1.1977777777777778e-05,
      "loss": 1.4225,
      "step": 8556
    },
    {
      "epoch": 0.7606222222222222,
      "grad_norm": 1.6611720323562622,
      "learning_rate": 1.1973333333333334e-05,
      "loss": 1.6033,
      "step": 8557
    },
    {
      "epoch": 0.7607111111111111,
      "grad_norm": 1.58184814453125,
      "learning_rate": 1.196888888888889e-05,
      "loss": 1.5196,
      "step": 8558
    },
    {
      "epoch": 0.7608,
      "grad_norm": 1.730582356452942,
      "learning_rate": 1.1964444444444444e-05,
      "loss": 1.7546,
      "step": 8559
    },
    {
      "epoch": 0.7608888888888888,
      "grad_norm": 1.9002786874771118,
      "learning_rate": 1.196e-05,
      "loss": 1.4763,
      "step": 8560
    },
    {
      "epoch": 0.7609777777777778,
      "grad_norm": 1.4337018728256226,
      "learning_rate": 1.1955555555555556e-05,
      "loss": 1.4372,
      "step": 8561
    },
    {
      "epoch": 0.7610666666666667,
      "grad_norm": 1.5674259662628174,
      "learning_rate": 1.1951111111111112e-05,
      "loss": 1.7506,
      "step": 8562
    },
    {
      "epoch": 0.7611555555555556,
      "grad_norm": 1.5060138702392578,
      "learning_rate": 1.1946666666666667e-05,
      "loss": 1.6685,
      "step": 8563
    },
    {
      "epoch": 0.7612444444444444,
      "grad_norm": 1.5712729692459106,
      "learning_rate": 1.1942222222222223e-05,
      "loss": 1.7839,
      "step": 8564
    },
    {
      "epoch": 0.7613333333333333,
      "grad_norm": 1.6731623411178589,
      "learning_rate": 1.1937777777777778e-05,
      "loss": 1.4937,
      "step": 8565
    },
    {
      "epoch": 0.7614222222222222,
      "grad_norm": 1.3025920391082764,
      "learning_rate": 1.1933333333333333e-05,
      "loss": 1.1983,
      "step": 8566
    },
    {
      "epoch": 0.7615111111111111,
      "grad_norm": 1.7304686307907104,
      "learning_rate": 1.192888888888889e-05,
      "loss": 1.6159,
      "step": 8567
    },
    {
      "epoch": 0.7616,
      "grad_norm": 1.6231898069381714,
      "learning_rate": 1.1924444444444445e-05,
      "loss": 1.3836,
      "step": 8568
    },
    {
      "epoch": 0.7616888888888889,
      "grad_norm": 1.7713960409164429,
      "learning_rate": 1.1920000000000001e-05,
      "loss": 1.7529,
      "step": 8569
    },
    {
      "epoch": 0.7617777777777778,
      "grad_norm": 1.5340648889541626,
      "learning_rate": 1.1915555555555556e-05,
      "loss": 1.514,
      "step": 8570
    },
    {
      "epoch": 0.7618666666666667,
      "grad_norm": 1.728789210319519,
      "learning_rate": 1.1911111111111112e-05,
      "loss": 1.2825,
      "step": 8571
    },
    {
      "epoch": 0.7619555555555556,
      "grad_norm": 1.6921926736831665,
      "learning_rate": 1.1906666666666667e-05,
      "loss": 1.5413,
      "step": 8572
    },
    {
      "epoch": 0.7620444444444444,
      "grad_norm": 1.76627779006958,
      "learning_rate": 1.1902222222222222e-05,
      "loss": 1.4947,
      "step": 8573
    },
    {
      "epoch": 0.7621333333333333,
      "grad_norm": 1.765559196472168,
      "learning_rate": 1.1897777777777779e-05,
      "loss": 1.484,
      "step": 8574
    },
    {
      "epoch": 0.7622222222222222,
      "grad_norm": 1.779850959777832,
      "learning_rate": 1.1893333333333334e-05,
      "loss": 1.5962,
      "step": 8575
    },
    {
      "epoch": 0.7623111111111112,
      "grad_norm": 1.4456374645233154,
      "learning_rate": 1.188888888888889e-05,
      "loss": 1.5039,
      "step": 8576
    },
    {
      "epoch": 0.7624,
      "grad_norm": 1.4858944416046143,
      "learning_rate": 1.1884444444444445e-05,
      "loss": 1.4824,
      "step": 8577
    },
    {
      "epoch": 0.7624888888888889,
      "grad_norm": 1.536716103553772,
      "learning_rate": 1.1880000000000001e-05,
      "loss": 1.4287,
      "step": 8578
    },
    {
      "epoch": 0.7625777777777778,
      "grad_norm": 1.397595763206482,
      "learning_rate": 1.1875555555555556e-05,
      "loss": 1.6259,
      "step": 8579
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 1.5536972284317017,
      "learning_rate": 1.1871111111111113e-05,
      "loss": 1.5835,
      "step": 8580
    },
    {
      "epoch": 0.7627555555555555,
      "grad_norm": 2.5743682384490967,
      "learning_rate": 1.1866666666666668e-05,
      "loss": 1.7932,
      "step": 8581
    },
    {
      "epoch": 0.7628444444444444,
      "grad_norm": 1.6499054431915283,
      "learning_rate": 1.1862222222222223e-05,
      "loss": 1.4747,
      "step": 8582
    },
    {
      "epoch": 0.7629333333333334,
      "grad_norm": 1.7628804445266724,
      "learning_rate": 1.1857777777777779e-05,
      "loss": 1.5543,
      "step": 8583
    },
    {
      "epoch": 0.7630222222222223,
      "grad_norm": 1.9210245609283447,
      "learning_rate": 1.1853333333333334e-05,
      "loss": 1.8267,
      "step": 8584
    },
    {
      "epoch": 0.7631111111111111,
      "grad_norm": 1.404073715209961,
      "learning_rate": 1.184888888888889e-05,
      "loss": 1.43,
      "step": 8585
    },
    {
      "epoch": 0.7632,
      "grad_norm": 1.5077645778656006,
      "learning_rate": 1.1844444444444445e-05,
      "loss": 1.5948,
      "step": 8586
    },
    {
      "epoch": 0.7632888888888889,
      "grad_norm": 1.728682518005371,
      "learning_rate": 1.1840000000000002e-05,
      "loss": 1.3856,
      "step": 8587
    },
    {
      "epoch": 0.7633777777777778,
      "grad_norm": 1.8830389976501465,
      "learning_rate": 1.1835555555555557e-05,
      "loss": 1.4017,
      "step": 8588
    },
    {
      "epoch": 0.7634666666666666,
      "grad_norm": 1.5154658555984497,
      "learning_rate": 1.1831111111111112e-05,
      "loss": 1.6406,
      "step": 8589
    },
    {
      "epoch": 0.7635555555555555,
      "grad_norm": 1.5861021280288696,
      "learning_rate": 1.1826666666666668e-05,
      "loss": 1.7025,
      "step": 8590
    },
    {
      "epoch": 0.7636444444444445,
      "grad_norm": 1.7775306701660156,
      "learning_rate": 1.1822222222222223e-05,
      "loss": 1.5564,
      "step": 8591
    },
    {
      "epoch": 0.7637333333333334,
      "grad_norm": 1.6163079738616943,
      "learning_rate": 1.181777777777778e-05,
      "loss": 1.6501,
      "step": 8592
    },
    {
      "epoch": 0.7638222222222222,
      "grad_norm": 1.5919289588928223,
      "learning_rate": 1.1813333333333334e-05,
      "loss": 1.5197,
      "step": 8593
    },
    {
      "epoch": 0.7639111111111111,
      "grad_norm": 1.5192903280258179,
      "learning_rate": 1.1808888888888889e-05,
      "loss": 1.7952,
      "step": 8594
    },
    {
      "epoch": 0.764,
      "grad_norm": 1.6687008142471313,
      "learning_rate": 1.1804444444444444e-05,
      "loss": 1.4517,
      "step": 8595
    },
    {
      "epoch": 0.7640888888888889,
      "grad_norm": 1.4143654108047485,
      "learning_rate": 1.18e-05,
      "loss": 1.3241,
      "step": 8596
    },
    {
      "epoch": 0.7641777777777777,
      "grad_norm": 1.566469669342041,
      "learning_rate": 1.1795555555555555e-05,
      "loss": 1.6989,
      "step": 8597
    },
    {
      "epoch": 0.7642666666666666,
      "grad_norm": 1.3741925954818726,
      "learning_rate": 1.1791111111111112e-05,
      "loss": 1.6737,
      "step": 8598
    },
    {
      "epoch": 0.7643555555555556,
      "grad_norm": 1.5786720514297485,
      "learning_rate": 1.1786666666666667e-05,
      "loss": 1.7076,
      "step": 8599
    },
    {
      "epoch": 0.7644444444444445,
      "grad_norm": 1.808956265449524,
      "learning_rate": 1.1782222222222222e-05,
      "loss": 1.5844,
      "step": 8600
    },
    {
      "epoch": 0.7645333333333333,
      "grad_norm": 1.9664347171783447,
      "learning_rate": 1.1777777777777778e-05,
      "loss": 1.542,
      "step": 8601
    },
    {
      "epoch": 0.7646222222222222,
      "grad_norm": 1.5602153539657593,
      "learning_rate": 1.1773333333333333e-05,
      "loss": 1.7611,
      "step": 8602
    },
    {
      "epoch": 0.7647111111111111,
      "grad_norm": 1.4818551540374756,
      "learning_rate": 1.176888888888889e-05,
      "loss": 1.5311,
      "step": 8603
    },
    {
      "epoch": 0.7648,
      "grad_norm": 1.686242699623108,
      "learning_rate": 1.1764444444444444e-05,
      "loss": 1.5322,
      "step": 8604
    },
    {
      "epoch": 0.7648888888888888,
      "grad_norm": 1.8653517961502075,
      "learning_rate": 1.1760000000000001e-05,
      "loss": 1.3895,
      "step": 8605
    },
    {
      "epoch": 0.7649777777777778,
      "grad_norm": 1.2913271188735962,
      "learning_rate": 1.1755555555555556e-05,
      "loss": 1.4074,
      "step": 8606
    },
    {
      "epoch": 0.7650666666666667,
      "grad_norm": 1.4106433391571045,
      "learning_rate": 1.175111111111111e-05,
      "loss": 1.5055,
      "step": 8607
    },
    {
      "epoch": 0.7651555555555556,
      "grad_norm": 1.9267616271972656,
      "learning_rate": 1.1746666666666667e-05,
      "loss": 1.7096,
      "step": 8608
    },
    {
      "epoch": 0.7652444444444444,
      "grad_norm": 1.7146012783050537,
      "learning_rate": 1.1742222222222222e-05,
      "loss": 1.6911,
      "step": 8609
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 1.4134228229522705,
      "learning_rate": 1.1737777777777779e-05,
      "loss": 1.525,
      "step": 8610
    },
    {
      "epoch": 0.7654222222222222,
      "grad_norm": 1.6281594038009644,
      "learning_rate": 1.1733333333333333e-05,
      "loss": 1.5345,
      "step": 8611
    },
    {
      "epoch": 0.7655111111111111,
      "grad_norm": 1.484401822090149,
      "learning_rate": 1.172888888888889e-05,
      "loss": 1.6587,
      "step": 8612
    },
    {
      "epoch": 0.7656,
      "grad_norm": 1.6304064989089966,
      "learning_rate": 1.1724444444444445e-05,
      "loss": 1.5461,
      "step": 8613
    },
    {
      "epoch": 0.7656888888888889,
      "grad_norm": 1.6819332838058472,
      "learning_rate": 1.172e-05,
      "loss": 1.61,
      "step": 8614
    },
    {
      "epoch": 0.7657777777777778,
      "grad_norm": 1.8732216358184814,
      "learning_rate": 1.1715555555555556e-05,
      "loss": 1.5006,
      "step": 8615
    },
    {
      "epoch": 0.7658666666666667,
      "grad_norm": 1.4637540578842163,
      "learning_rate": 1.1711111111111111e-05,
      "loss": 1.4116,
      "step": 8616
    },
    {
      "epoch": 0.7659555555555555,
      "grad_norm": 1.9380279779434204,
      "learning_rate": 1.1706666666666668e-05,
      "loss": 1.685,
      "step": 8617
    },
    {
      "epoch": 0.7660444444444444,
      "grad_norm": 1.5171674489974976,
      "learning_rate": 1.1702222222222222e-05,
      "loss": 1.4505,
      "step": 8618
    },
    {
      "epoch": 0.7661333333333333,
      "grad_norm": 1.5227744579315186,
      "learning_rate": 1.1697777777777779e-05,
      "loss": 1.6333,
      "step": 8619
    },
    {
      "epoch": 0.7662222222222222,
      "grad_norm": 1.4588570594787598,
      "learning_rate": 1.1693333333333334e-05,
      "loss": 1.4856,
      "step": 8620
    },
    {
      "epoch": 0.7663111111111112,
      "grad_norm": 1.4345076084136963,
      "learning_rate": 1.168888888888889e-05,
      "loss": 1.4339,
      "step": 8621
    },
    {
      "epoch": 0.7664,
      "grad_norm": 1.8950834274291992,
      "learning_rate": 1.1684444444444445e-05,
      "loss": 1.5701,
      "step": 8622
    },
    {
      "epoch": 0.7664888888888889,
      "grad_norm": 1.4638829231262207,
      "learning_rate": 1.168e-05,
      "loss": 1.694,
      "step": 8623
    },
    {
      "epoch": 0.7665777777777778,
      "grad_norm": 1.5051476955413818,
      "learning_rate": 1.1675555555555557e-05,
      "loss": 1.4911,
      "step": 8624
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 1.869439959526062,
      "learning_rate": 1.1671111111111111e-05,
      "loss": 1.576,
      "step": 8625
    },
    {
      "epoch": 0.7667555555555555,
      "grad_norm": 1.9085272550582886,
      "learning_rate": 1.1666666666666668e-05,
      "loss": 1.7877,
      "step": 8626
    },
    {
      "epoch": 0.7668444444444444,
      "grad_norm": 1.55363130569458,
      "learning_rate": 1.1662222222222223e-05,
      "loss": 1.5522,
      "step": 8627
    },
    {
      "epoch": 0.7669333333333334,
      "grad_norm": 1.3559943437576294,
      "learning_rate": 1.165777777777778e-05,
      "loss": 1.4861,
      "step": 8628
    },
    {
      "epoch": 0.7670222222222223,
      "grad_norm": 1.4520225524902344,
      "learning_rate": 1.1653333333333334e-05,
      "loss": 1.6472,
      "step": 8629
    },
    {
      "epoch": 0.7671111111111111,
      "grad_norm": 1.6096702814102173,
      "learning_rate": 1.1648888888888889e-05,
      "loss": 1.4569,
      "step": 8630
    },
    {
      "epoch": 0.7672,
      "grad_norm": 1.4215834140777588,
      "learning_rate": 1.1644444444444446e-05,
      "loss": 1.5321,
      "step": 8631
    },
    {
      "epoch": 0.7672888888888889,
      "grad_norm": 1.5629013776779175,
      "learning_rate": 1.164e-05,
      "loss": 1.6101,
      "step": 8632
    },
    {
      "epoch": 0.7673777777777778,
      "grad_norm": 1.6830549240112305,
      "learning_rate": 1.1635555555555557e-05,
      "loss": 1.3817,
      "step": 8633
    },
    {
      "epoch": 0.7674666666666666,
      "grad_norm": 1.4895832538604736,
      "learning_rate": 1.1631111111111112e-05,
      "loss": 1.4876,
      "step": 8634
    },
    {
      "epoch": 0.7675555555555555,
      "grad_norm": 1.4982633590698242,
      "learning_rate": 1.1626666666666668e-05,
      "loss": 1.6422,
      "step": 8635
    },
    {
      "epoch": 0.7676444444444445,
      "grad_norm": 1.4885579347610474,
      "learning_rate": 1.1622222222222223e-05,
      "loss": 1.536,
      "step": 8636
    },
    {
      "epoch": 0.7677333333333334,
      "grad_norm": 1.5617727041244507,
      "learning_rate": 1.1617777777777778e-05,
      "loss": 1.5211,
      "step": 8637
    },
    {
      "epoch": 0.7678222222222222,
      "grad_norm": 1.8845961093902588,
      "learning_rate": 1.1613333333333335e-05,
      "loss": 1.4793,
      "step": 8638
    },
    {
      "epoch": 0.7679111111111111,
      "grad_norm": 1.441420555114746,
      "learning_rate": 1.160888888888889e-05,
      "loss": 1.5986,
      "step": 8639
    },
    {
      "epoch": 0.768,
      "grad_norm": 1.4667633771896362,
      "learning_rate": 1.1604444444444446e-05,
      "loss": 1.4984,
      "step": 8640
    },
    {
      "epoch": 0.7680888888888889,
      "grad_norm": 1.5963267087936401,
      "learning_rate": 1.16e-05,
      "loss": 1.8642,
      "step": 8641
    },
    {
      "epoch": 0.7681777777777777,
      "grad_norm": 1.9340167045593262,
      "learning_rate": 1.1595555555555557e-05,
      "loss": 1.8482,
      "step": 8642
    },
    {
      "epoch": 0.7682666666666667,
      "grad_norm": 2.169999837875366,
      "learning_rate": 1.1591111111111112e-05,
      "loss": 1.7889,
      "step": 8643
    },
    {
      "epoch": 0.7683555555555556,
      "grad_norm": 1.6388237476348877,
      "learning_rate": 1.1586666666666669e-05,
      "loss": 1.5621,
      "step": 8644
    },
    {
      "epoch": 0.7684444444444445,
      "grad_norm": 1.341376543045044,
      "learning_rate": 1.1582222222222222e-05,
      "loss": 1.4831,
      "step": 8645
    },
    {
      "epoch": 0.7685333333333333,
      "grad_norm": 1.8819183111190796,
      "learning_rate": 1.1577777777777778e-05,
      "loss": 1.6856,
      "step": 8646
    },
    {
      "epoch": 0.7686222222222222,
      "grad_norm": 1.7083642482757568,
      "learning_rate": 1.1573333333333333e-05,
      "loss": 1.527,
      "step": 8647
    },
    {
      "epoch": 0.7687111111111111,
      "grad_norm": 1.49049973487854,
      "learning_rate": 1.1568888888888888e-05,
      "loss": 1.693,
      "step": 8648
    },
    {
      "epoch": 0.7688,
      "grad_norm": 1.7167128324508667,
      "learning_rate": 1.1564444444444445e-05,
      "loss": 1.4979,
      "step": 8649
    },
    {
      "epoch": 0.7688888888888888,
      "grad_norm": 1.6775263547897339,
      "learning_rate": 1.156e-05,
      "loss": 1.6678,
      "step": 8650
    },
    {
      "epoch": 0.7689777777777778,
      "grad_norm": 1.495464563369751,
      "learning_rate": 1.1555555555555556e-05,
      "loss": 1.4722,
      "step": 8651
    },
    {
      "epoch": 0.7690666666666667,
      "grad_norm": 2.7174882888793945,
      "learning_rate": 1.155111111111111e-05,
      "loss": 1.6039,
      "step": 8652
    },
    {
      "epoch": 0.7691555555555556,
      "grad_norm": 1.616453766822815,
      "learning_rate": 1.1546666666666667e-05,
      "loss": 1.4204,
      "step": 8653
    },
    {
      "epoch": 0.7692444444444444,
      "grad_norm": 1.6638636589050293,
      "learning_rate": 1.1542222222222222e-05,
      "loss": 1.8006,
      "step": 8654
    },
    {
      "epoch": 0.7693333333333333,
      "grad_norm": 1.4751617908477783,
      "learning_rate": 1.1537777777777779e-05,
      "loss": 1.5103,
      "step": 8655
    },
    {
      "epoch": 0.7694222222222222,
      "grad_norm": 1.4488452672958374,
      "learning_rate": 1.1533333333333334e-05,
      "loss": 1.543,
      "step": 8656
    },
    {
      "epoch": 0.7695111111111111,
      "grad_norm": 1.6173934936523438,
      "learning_rate": 1.1528888888888888e-05,
      "loss": 1.3739,
      "step": 8657
    },
    {
      "epoch": 0.7696,
      "grad_norm": 1.4885796308517456,
      "learning_rate": 1.1524444444444445e-05,
      "loss": 1.4056,
      "step": 8658
    },
    {
      "epoch": 0.7696888888888889,
      "grad_norm": 1.5475258827209473,
      "learning_rate": 1.152e-05,
      "loss": 1.3101,
      "step": 8659
    },
    {
      "epoch": 0.7697777777777778,
      "grad_norm": 1.9048664569854736,
      "learning_rate": 1.1515555555555556e-05,
      "loss": 1.6992,
      "step": 8660
    },
    {
      "epoch": 0.7698666666666667,
      "grad_norm": 1.556807518005371,
      "learning_rate": 1.1511111111111111e-05,
      "loss": 1.5339,
      "step": 8661
    },
    {
      "epoch": 0.7699555555555555,
      "grad_norm": 1.7550123929977417,
      "learning_rate": 1.1506666666666668e-05,
      "loss": 1.4911,
      "step": 8662
    },
    {
      "epoch": 0.7700444444444444,
      "grad_norm": 1.786738634109497,
      "learning_rate": 1.1502222222222223e-05,
      "loss": 1.4175,
      "step": 8663
    },
    {
      "epoch": 0.7701333333333333,
      "grad_norm": 1.650458574295044,
      "learning_rate": 1.1497777777777777e-05,
      "loss": 1.623,
      "step": 8664
    },
    {
      "epoch": 0.7702222222222223,
      "grad_norm": 1.4054675102233887,
      "learning_rate": 1.1493333333333334e-05,
      "loss": 1.4774,
      "step": 8665
    },
    {
      "epoch": 0.7703111111111111,
      "grad_norm": 1.359191656112671,
      "learning_rate": 1.1488888888888889e-05,
      "loss": 1.4316,
      "step": 8666
    },
    {
      "epoch": 0.7704,
      "grad_norm": 1.4408982992172241,
      "learning_rate": 1.1484444444444445e-05,
      "loss": 1.4396,
      "step": 8667
    },
    {
      "epoch": 0.7704888888888889,
      "grad_norm": 1.7286871671676636,
      "learning_rate": 1.148e-05,
      "loss": 1.6154,
      "step": 8668
    },
    {
      "epoch": 0.7705777777777778,
      "grad_norm": 1.4189733266830444,
      "learning_rate": 1.1475555555555557e-05,
      "loss": 1.464,
      "step": 8669
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 1.5986796617507935,
      "learning_rate": 1.1471111111111112e-05,
      "loss": 1.5688,
      "step": 8670
    },
    {
      "epoch": 0.7707555555555555,
      "grad_norm": 1.7045388221740723,
      "learning_rate": 1.1466666666666666e-05,
      "loss": 1.3743,
      "step": 8671
    },
    {
      "epoch": 0.7708444444444444,
      "grad_norm": 1.7233257293701172,
      "learning_rate": 1.1462222222222223e-05,
      "loss": 1.6353,
      "step": 8672
    },
    {
      "epoch": 0.7709333333333334,
      "grad_norm": 1.8692981004714966,
      "learning_rate": 1.1457777777777778e-05,
      "loss": 1.6303,
      "step": 8673
    },
    {
      "epoch": 0.7710222222222223,
      "grad_norm": 1.854479193687439,
      "learning_rate": 1.1453333333333334e-05,
      "loss": 1.6641,
      "step": 8674
    },
    {
      "epoch": 0.7711111111111111,
      "grad_norm": 1.5152543783187866,
      "learning_rate": 1.144888888888889e-05,
      "loss": 1.4399,
      "step": 8675
    },
    {
      "epoch": 0.7712,
      "grad_norm": 1.6595741510391235,
      "learning_rate": 1.1444444444444446e-05,
      "loss": 1.5286,
      "step": 8676
    },
    {
      "epoch": 0.7712888888888889,
      "grad_norm": 1.527107834815979,
      "learning_rate": 1.144e-05,
      "loss": 1.6713,
      "step": 8677
    },
    {
      "epoch": 0.7713777777777778,
      "grad_norm": 1.4050943851470947,
      "learning_rate": 1.1435555555555557e-05,
      "loss": 1.4027,
      "step": 8678
    },
    {
      "epoch": 0.7714666666666666,
      "grad_norm": 1.3065654039382935,
      "learning_rate": 1.1431111111111112e-05,
      "loss": 1.5241,
      "step": 8679
    },
    {
      "epoch": 0.7715555555555556,
      "grad_norm": 1.5114291906356812,
      "learning_rate": 1.1426666666666667e-05,
      "loss": 1.527,
      "step": 8680
    },
    {
      "epoch": 0.7716444444444445,
      "grad_norm": 1.459796667098999,
      "learning_rate": 1.1422222222222223e-05,
      "loss": 1.5446,
      "step": 8681
    },
    {
      "epoch": 0.7717333333333334,
      "grad_norm": 1.7528270483016968,
      "learning_rate": 1.1417777777777778e-05,
      "loss": 1.3019,
      "step": 8682
    },
    {
      "epoch": 0.7718222222222222,
      "grad_norm": 1.6393145322799683,
      "learning_rate": 1.1413333333333335e-05,
      "loss": 1.4478,
      "step": 8683
    },
    {
      "epoch": 0.7719111111111111,
      "grad_norm": 1.3454643487930298,
      "learning_rate": 1.140888888888889e-05,
      "loss": 1.5622,
      "step": 8684
    },
    {
      "epoch": 0.772,
      "grad_norm": 1.465813159942627,
      "learning_rate": 1.1404444444444446e-05,
      "loss": 1.4997,
      "step": 8685
    },
    {
      "epoch": 0.7720888888888889,
      "grad_norm": 1.4407215118408203,
      "learning_rate": 1.1400000000000001e-05,
      "loss": 1.536,
      "step": 8686
    },
    {
      "epoch": 0.7721777777777777,
      "grad_norm": 1.8685927391052246,
      "learning_rate": 1.1395555555555556e-05,
      "loss": 1.5893,
      "step": 8687
    },
    {
      "epoch": 0.7722666666666667,
      "grad_norm": 1.76261305809021,
      "learning_rate": 1.1391111111111112e-05,
      "loss": 1.6582,
      "step": 8688
    },
    {
      "epoch": 0.7723555555555556,
      "grad_norm": 1.5494662523269653,
      "learning_rate": 1.1386666666666667e-05,
      "loss": 1.4714,
      "step": 8689
    },
    {
      "epoch": 0.7724444444444445,
      "grad_norm": 1.4632560014724731,
      "learning_rate": 1.1382222222222224e-05,
      "loss": 1.5783,
      "step": 8690
    },
    {
      "epoch": 0.7725333333333333,
      "grad_norm": 1.433549165725708,
      "learning_rate": 1.1377777777777779e-05,
      "loss": 1.3421,
      "step": 8691
    },
    {
      "epoch": 0.7726222222222222,
      "grad_norm": 1.4780254364013672,
      "learning_rate": 1.1373333333333335e-05,
      "loss": 1.5029,
      "step": 8692
    },
    {
      "epoch": 0.7727111111111111,
      "grad_norm": 1.551407814025879,
      "learning_rate": 1.136888888888889e-05,
      "loss": 1.6105,
      "step": 8693
    },
    {
      "epoch": 0.7728,
      "grad_norm": 1.8248977661132812,
      "learning_rate": 1.1364444444444445e-05,
      "loss": 1.7966,
      "step": 8694
    },
    {
      "epoch": 0.7728888888888888,
      "grad_norm": 1.7094224691390991,
      "learning_rate": 1.1360000000000001e-05,
      "loss": 1.7391,
      "step": 8695
    },
    {
      "epoch": 0.7729777777777778,
      "grad_norm": 1.3385955095291138,
      "learning_rate": 1.1355555555555556e-05,
      "loss": 1.4555,
      "step": 8696
    },
    {
      "epoch": 0.7730666666666667,
      "grad_norm": 1.5426677465438843,
      "learning_rate": 1.1351111111111111e-05,
      "loss": 1.6786,
      "step": 8697
    },
    {
      "epoch": 0.7731555555555556,
      "grad_norm": 1.4504141807556152,
      "learning_rate": 1.1346666666666666e-05,
      "loss": 1.5845,
      "step": 8698
    },
    {
      "epoch": 0.7732444444444444,
      "grad_norm": 1.6823943853378296,
      "learning_rate": 1.1342222222222222e-05,
      "loss": 1.5453,
      "step": 8699
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 1.4704148769378662,
      "learning_rate": 1.1337777777777777e-05,
      "loss": 1.2819,
      "step": 8700
    },
    {
      "epoch": 0.7734222222222222,
      "grad_norm": 1.7402032613754272,
      "learning_rate": 1.1333333333333334e-05,
      "loss": 1.6615,
      "step": 8701
    },
    {
      "epoch": 0.7735111111111111,
      "grad_norm": 1.3663173913955688,
      "learning_rate": 1.1328888888888889e-05,
      "loss": 1.4356,
      "step": 8702
    },
    {
      "epoch": 0.7736,
      "grad_norm": 1.5060527324676514,
      "learning_rate": 1.1324444444444445e-05,
      "loss": 1.72,
      "step": 8703
    },
    {
      "epoch": 0.7736888888888889,
      "grad_norm": 1.5506168603897095,
      "learning_rate": 1.132e-05,
      "loss": 1.2124,
      "step": 8704
    },
    {
      "epoch": 0.7737777777777778,
      "grad_norm": 1.3677737712860107,
      "learning_rate": 1.1315555555555555e-05,
      "loss": 1.4525,
      "step": 8705
    },
    {
      "epoch": 0.7738666666666667,
      "grad_norm": 1.868065595626831,
      "learning_rate": 1.1311111111111111e-05,
      "loss": 1.701,
      "step": 8706
    },
    {
      "epoch": 0.7739555555555555,
      "grad_norm": 1.6268151998519897,
      "learning_rate": 1.1306666666666666e-05,
      "loss": 1.4982,
      "step": 8707
    },
    {
      "epoch": 0.7740444444444444,
      "grad_norm": 1.785040259361267,
      "learning_rate": 1.1302222222222223e-05,
      "loss": 1.7121,
      "step": 8708
    },
    {
      "epoch": 0.7741333333333333,
      "grad_norm": 2.0890965461730957,
      "learning_rate": 1.1297777777777778e-05,
      "loss": 1.7049,
      "step": 8709
    },
    {
      "epoch": 0.7742222222222223,
      "grad_norm": 1.6117455959320068,
      "learning_rate": 1.1293333333333334e-05,
      "loss": 1.5416,
      "step": 8710
    },
    {
      "epoch": 0.7743111111111111,
      "grad_norm": 2.0558252334594727,
      "learning_rate": 1.1288888888888889e-05,
      "loss": 1.5263,
      "step": 8711
    },
    {
      "epoch": 0.7744,
      "grad_norm": 1.6296772956848145,
      "learning_rate": 1.1284444444444444e-05,
      "loss": 1.6873,
      "step": 8712
    },
    {
      "epoch": 0.7744888888888889,
      "grad_norm": 1.5307081937789917,
      "learning_rate": 1.128e-05,
      "loss": 1.5237,
      "step": 8713
    },
    {
      "epoch": 0.7745777777777778,
      "grad_norm": 1.7991124391555786,
      "learning_rate": 1.1275555555555555e-05,
      "loss": 1.5306,
      "step": 8714
    },
    {
      "epoch": 0.7746666666666666,
      "grad_norm": 1.8100255727767944,
      "learning_rate": 1.1271111111111112e-05,
      "loss": 1.4294,
      "step": 8715
    },
    {
      "epoch": 0.7747555555555555,
      "grad_norm": 1.522399663925171,
      "learning_rate": 1.1266666666666667e-05,
      "loss": 1.4569,
      "step": 8716
    },
    {
      "epoch": 0.7748444444444444,
      "grad_norm": 1.3487249612808228,
      "learning_rate": 1.1262222222222223e-05,
      "loss": 1.63,
      "step": 8717
    },
    {
      "epoch": 0.7749333333333334,
      "grad_norm": 1.5861583948135376,
      "learning_rate": 1.1257777777777778e-05,
      "loss": 1.4929,
      "step": 8718
    },
    {
      "epoch": 0.7750222222222222,
      "grad_norm": 1.4478663206100464,
      "learning_rate": 1.1253333333333335e-05,
      "loss": 1.6161,
      "step": 8719
    },
    {
      "epoch": 0.7751111111111111,
      "grad_norm": 1.7813602685928345,
      "learning_rate": 1.124888888888889e-05,
      "loss": 1.4776,
      "step": 8720
    },
    {
      "epoch": 0.7752,
      "grad_norm": 1.7904781103134155,
      "learning_rate": 1.1244444444444444e-05,
      "loss": 1.6575,
      "step": 8721
    },
    {
      "epoch": 0.7752888888888889,
      "grad_norm": 1.5483342409133911,
      "learning_rate": 1.124e-05,
      "loss": 1.5331,
      "step": 8722
    },
    {
      "epoch": 0.7753777777777778,
      "grad_norm": 1.3818062543869019,
      "learning_rate": 1.1235555555555556e-05,
      "loss": 1.5157,
      "step": 8723
    },
    {
      "epoch": 0.7754666666666666,
      "grad_norm": 1.4888923168182373,
      "learning_rate": 1.1231111111111112e-05,
      "loss": 1.5288,
      "step": 8724
    },
    {
      "epoch": 0.7755555555555556,
      "grad_norm": 1.6537829637527466,
      "learning_rate": 1.1226666666666667e-05,
      "loss": 1.3408,
      "step": 8725
    },
    {
      "epoch": 0.7756444444444445,
      "grad_norm": 1.7481496334075928,
      "learning_rate": 1.1222222222222224e-05,
      "loss": 1.5504,
      "step": 8726
    },
    {
      "epoch": 0.7757333333333334,
      "grad_norm": 1.4299207925796509,
      "learning_rate": 1.1217777777777778e-05,
      "loss": 1.2686,
      "step": 8727
    },
    {
      "epoch": 0.7758222222222222,
      "grad_norm": 1.4029500484466553,
      "learning_rate": 1.1213333333333333e-05,
      "loss": 1.445,
      "step": 8728
    },
    {
      "epoch": 0.7759111111111111,
      "grad_norm": 1.585424542427063,
      "learning_rate": 1.120888888888889e-05,
      "loss": 1.5298,
      "step": 8729
    },
    {
      "epoch": 0.776,
      "grad_norm": 1.6038379669189453,
      "learning_rate": 1.1204444444444445e-05,
      "loss": 1.5548,
      "step": 8730
    },
    {
      "epoch": 0.7760888888888889,
      "grad_norm": 1.4435135126113892,
      "learning_rate": 1.1200000000000001e-05,
      "loss": 1.5325,
      "step": 8731
    },
    {
      "epoch": 0.7761777777777777,
      "grad_norm": 2.5354299545288086,
      "learning_rate": 1.1195555555555556e-05,
      "loss": 1.6529,
      "step": 8732
    },
    {
      "epoch": 0.7762666666666667,
      "grad_norm": 1.5110936164855957,
      "learning_rate": 1.1191111111111113e-05,
      "loss": 1.4573,
      "step": 8733
    },
    {
      "epoch": 0.7763555555555556,
      "grad_norm": 1.564660668373108,
      "learning_rate": 1.1186666666666667e-05,
      "loss": 1.6801,
      "step": 8734
    },
    {
      "epoch": 0.7764444444444445,
      "grad_norm": 1.6088600158691406,
      "learning_rate": 1.1182222222222222e-05,
      "loss": 1.5998,
      "step": 8735
    },
    {
      "epoch": 0.7765333333333333,
      "grad_norm": 1.5321705341339111,
      "learning_rate": 1.1177777777777779e-05,
      "loss": 1.4153,
      "step": 8736
    },
    {
      "epoch": 0.7766222222222222,
      "grad_norm": 1.4963359832763672,
      "learning_rate": 1.1173333333333334e-05,
      "loss": 1.7289,
      "step": 8737
    },
    {
      "epoch": 0.7767111111111111,
      "grad_norm": 1.5496081113815308,
      "learning_rate": 1.116888888888889e-05,
      "loss": 1.5111,
      "step": 8738
    },
    {
      "epoch": 0.7768,
      "grad_norm": 1.6871517896652222,
      "learning_rate": 1.1164444444444445e-05,
      "loss": 1.5504,
      "step": 8739
    },
    {
      "epoch": 0.7768888888888889,
      "grad_norm": 1.4709893465042114,
      "learning_rate": 1.1160000000000002e-05,
      "loss": 1.3378,
      "step": 8740
    },
    {
      "epoch": 0.7769777777777778,
      "grad_norm": 2.6961841583251953,
      "learning_rate": 1.1155555555555556e-05,
      "loss": 1.8396,
      "step": 8741
    },
    {
      "epoch": 0.7770666666666667,
      "grad_norm": 1.6178580522537231,
      "learning_rate": 1.1151111111111113e-05,
      "loss": 1.4798,
      "step": 8742
    },
    {
      "epoch": 0.7771555555555556,
      "grad_norm": 2.6004672050476074,
      "learning_rate": 1.1146666666666668e-05,
      "loss": 1.6579,
      "step": 8743
    },
    {
      "epoch": 0.7772444444444444,
      "grad_norm": 1.7257137298583984,
      "learning_rate": 1.1142222222222223e-05,
      "loss": 1.4625,
      "step": 8744
    },
    {
      "epoch": 0.7773333333333333,
      "grad_norm": 1.514021873474121,
      "learning_rate": 1.113777777777778e-05,
      "loss": 1.5766,
      "step": 8745
    },
    {
      "epoch": 0.7774222222222222,
      "grad_norm": 1.5264021158218384,
      "learning_rate": 1.1133333333333334e-05,
      "loss": 1.4972,
      "step": 8746
    },
    {
      "epoch": 0.7775111111111112,
      "grad_norm": 1.6642647981643677,
      "learning_rate": 1.112888888888889e-05,
      "loss": 1.5722,
      "step": 8747
    },
    {
      "epoch": 0.7776,
      "grad_norm": 1.668063759803772,
      "learning_rate": 1.1124444444444445e-05,
      "loss": 1.5981,
      "step": 8748
    },
    {
      "epoch": 0.7776888888888889,
      "grad_norm": 1.6291583776474,
      "learning_rate": 1.112e-05,
      "loss": 1.4309,
      "step": 8749
    },
    {
      "epoch": 0.7777777777777778,
      "grad_norm": 1.419355869293213,
      "learning_rate": 1.1115555555555555e-05,
      "loss": 1.5023,
      "step": 8750
    },
    {
      "epoch": 0.7778666666666667,
      "grad_norm": 1.5717319250106812,
      "learning_rate": 1.1111111111111112e-05,
      "loss": 1.5904,
      "step": 8751
    },
    {
      "epoch": 0.7779555555555555,
      "grad_norm": 1.6244794130325317,
      "learning_rate": 1.1106666666666666e-05,
      "loss": 1.815,
      "step": 8752
    },
    {
      "epoch": 0.7780444444444444,
      "grad_norm": 1.467275619506836,
      "learning_rate": 1.1102222222222223e-05,
      "loss": 1.3166,
      "step": 8753
    },
    {
      "epoch": 0.7781333333333333,
      "grad_norm": 1.4233249425888062,
      "learning_rate": 1.1097777777777778e-05,
      "loss": 1.4692,
      "step": 8754
    },
    {
      "epoch": 0.7782222222222223,
      "grad_norm": 1.993939757347107,
      "learning_rate": 1.1093333333333333e-05,
      "loss": 1.4458,
      "step": 8755
    },
    {
      "epoch": 0.7783111111111111,
      "grad_norm": 1.8949353694915771,
      "learning_rate": 1.108888888888889e-05,
      "loss": 1.6113,
      "step": 8756
    },
    {
      "epoch": 0.7784,
      "grad_norm": 1.7487488985061646,
      "learning_rate": 1.1084444444444444e-05,
      "loss": 1.5734,
      "step": 8757
    },
    {
      "epoch": 0.7784888888888889,
      "grad_norm": 1.306793451309204,
      "learning_rate": 1.108e-05,
      "loss": 1.4241,
      "step": 8758
    },
    {
      "epoch": 0.7785777777777778,
      "grad_norm": 1.5937336683273315,
      "learning_rate": 1.1075555555555555e-05,
      "loss": 1.425,
      "step": 8759
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 1.4279890060424805,
      "learning_rate": 1.1071111111111112e-05,
      "loss": 1.464,
      "step": 8760
    },
    {
      "epoch": 0.7787555555555555,
      "grad_norm": 1.7667685747146606,
      "learning_rate": 1.1066666666666667e-05,
      "loss": 1.5736,
      "step": 8761
    },
    {
      "epoch": 0.7788444444444445,
      "grad_norm": 1.5155476331710815,
      "learning_rate": 1.1062222222222222e-05,
      "loss": 1.5294,
      "step": 8762
    },
    {
      "epoch": 0.7789333333333334,
      "grad_norm": 1.3803071975708008,
      "learning_rate": 1.1057777777777778e-05,
      "loss": 1.4208,
      "step": 8763
    },
    {
      "epoch": 0.7790222222222222,
      "grad_norm": 1.6343227624893188,
      "learning_rate": 1.1053333333333333e-05,
      "loss": 1.388,
      "step": 8764
    },
    {
      "epoch": 0.7791111111111111,
      "grad_norm": 1.775059700012207,
      "learning_rate": 1.104888888888889e-05,
      "loss": 1.4753,
      "step": 8765
    },
    {
      "epoch": 0.7792,
      "grad_norm": 2.354780673980713,
      "learning_rate": 1.1044444444444444e-05,
      "loss": 1.5234,
      "step": 8766
    },
    {
      "epoch": 0.7792888888888889,
      "grad_norm": 1.3312441110610962,
      "learning_rate": 1.1040000000000001e-05,
      "loss": 1.4164,
      "step": 8767
    },
    {
      "epoch": 0.7793777777777777,
      "grad_norm": 1.4729684591293335,
      "learning_rate": 1.1035555555555556e-05,
      "loss": 1.4444,
      "step": 8768
    },
    {
      "epoch": 0.7794666666666666,
      "grad_norm": 1.4101755619049072,
      "learning_rate": 1.103111111111111e-05,
      "loss": 1.2654,
      "step": 8769
    },
    {
      "epoch": 0.7795555555555556,
      "grad_norm": 1.637987732887268,
      "learning_rate": 1.1026666666666667e-05,
      "loss": 1.305,
      "step": 8770
    },
    {
      "epoch": 0.7796444444444445,
      "grad_norm": 1.526355504989624,
      "learning_rate": 1.1022222222222222e-05,
      "loss": 1.5434,
      "step": 8771
    },
    {
      "epoch": 0.7797333333333333,
      "grad_norm": 1.4920623302459717,
      "learning_rate": 1.1017777777777779e-05,
      "loss": 1.7037,
      "step": 8772
    },
    {
      "epoch": 0.7798222222222222,
      "grad_norm": 1.4623857736587524,
      "learning_rate": 1.1013333333333333e-05,
      "loss": 1.6922,
      "step": 8773
    },
    {
      "epoch": 0.7799111111111111,
      "grad_norm": 1.6490236520767212,
      "learning_rate": 1.100888888888889e-05,
      "loss": 1.5943,
      "step": 8774
    },
    {
      "epoch": 0.78,
      "grad_norm": 1.62776517868042,
      "learning_rate": 1.1004444444444445e-05,
      "loss": 1.7524,
      "step": 8775
    },
    {
      "epoch": 0.7800888888888889,
      "grad_norm": 1.5037614107131958,
      "learning_rate": 1.1000000000000001e-05,
      "loss": 1.4887,
      "step": 8776
    },
    {
      "epoch": 0.7801777777777777,
      "grad_norm": 1.5195293426513672,
      "learning_rate": 1.0995555555555556e-05,
      "loss": 1.3945,
      "step": 8777
    },
    {
      "epoch": 0.7802666666666667,
      "grad_norm": 2.175701141357422,
      "learning_rate": 1.0991111111111111e-05,
      "loss": 1.5808,
      "step": 8778
    },
    {
      "epoch": 0.7803555555555556,
      "grad_norm": 1.4230010509490967,
      "learning_rate": 1.0986666666666668e-05,
      "loss": 1.4447,
      "step": 8779
    },
    {
      "epoch": 0.7804444444444445,
      "grad_norm": 2.6012356281280518,
      "learning_rate": 1.0982222222222222e-05,
      "loss": 1.5957,
      "step": 8780
    },
    {
      "epoch": 0.7805333333333333,
      "grad_norm": 1.6528528928756714,
      "learning_rate": 1.0977777777777779e-05,
      "loss": 1.4579,
      "step": 8781
    },
    {
      "epoch": 0.7806222222222222,
      "grad_norm": 1.5779294967651367,
      "learning_rate": 1.0973333333333334e-05,
      "loss": 1.5692,
      "step": 8782
    },
    {
      "epoch": 0.7807111111111111,
      "grad_norm": 1.4850860834121704,
      "learning_rate": 1.096888888888889e-05,
      "loss": 1.7044,
      "step": 8783
    },
    {
      "epoch": 0.7808,
      "grad_norm": 2.6042978763580322,
      "learning_rate": 1.0964444444444445e-05,
      "loss": 1.6645,
      "step": 8784
    },
    {
      "epoch": 0.7808888888888889,
      "grad_norm": 1.2953777313232422,
      "learning_rate": 1.096e-05,
      "loss": 1.455,
      "step": 8785
    },
    {
      "epoch": 0.7809777777777778,
      "grad_norm": 1.372879981994629,
      "learning_rate": 1.0955555555555557e-05,
      "loss": 1.3797,
      "step": 8786
    },
    {
      "epoch": 0.7810666666666667,
      "grad_norm": 2.522292137145996,
      "learning_rate": 1.0951111111111111e-05,
      "loss": 1.6548,
      "step": 8787
    },
    {
      "epoch": 0.7811555555555556,
      "grad_norm": 1.9459812641143799,
      "learning_rate": 1.0946666666666668e-05,
      "loss": 1.4497,
      "step": 8788
    },
    {
      "epoch": 0.7812444444444444,
      "grad_norm": 1.4281495809555054,
      "learning_rate": 1.0942222222222223e-05,
      "loss": 1.5855,
      "step": 8789
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 2.0170857906341553,
      "learning_rate": 1.093777777777778e-05,
      "loss": 1.8387,
      "step": 8790
    },
    {
      "epoch": 0.7814222222222222,
      "grad_norm": 1.7302298545837402,
      "learning_rate": 1.0933333333333334e-05,
      "loss": 1.5591,
      "step": 8791
    },
    {
      "epoch": 0.7815111111111112,
      "grad_norm": 1.4358463287353516,
      "learning_rate": 1.0928888888888889e-05,
      "loss": 1.4618,
      "step": 8792
    },
    {
      "epoch": 0.7816,
      "grad_norm": 2.1434900760650635,
      "learning_rate": 1.0924444444444446e-05,
      "loss": 2.0022,
      "step": 8793
    },
    {
      "epoch": 0.7816888888888889,
      "grad_norm": 1.6829038858413696,
      "learning_rate": 1.092e-05,
      "loss": 1.6218,
      "step": 8794
    },
    {
      "epoch": 0.7817777777777778,
      "grad_norm": 1.4601455926895142,
      "learning_rate": 1.0915555555555557e-05,
      "loss": 1.4595,
      "step": 8795
    },
    {
      "epoch": 0.7818666666666667,
      "grad_norm": 2.2850472927093506,
      "learning_rate": 1.0911111111111112e-05,
      "loss": 1.864,
      "step": 8796
    },
    {
      "epoch": 0.7819555555555555,
      "grad_norm": 1.3601925373077393,
      "learning_rate": 1.0906666666666668e-05,
      "loss": 1.5584,
      "step": 8797
    },
    {
      "epoch": 0.7820444444444444,
      "grad_norm": 1.7666494846343994,
      "learning_rate": 1.0902222222222223e-05,
      "loss": 1.4741,
      "step": 8798
    },
    {
      "epoch": 0.7821333333333333,
      "grad_norm": 1.5768935680389404,
      "learning_rate": 1.089777777777778e-05,
      "loss": 1.3345,
      "step": 8799
    },
    {
      "epoch": 0.7822222222222223,
      "grad_norm": 1.630454659461975,
      "learning_rate": 1.0893333333333333e-05,
      "loss": 1.4314,
      "step": 8800
    },
    {
      "epoch": 0.7823111111111111,
      "grad_norm": 1.4022258520126343,
      "learning_rate": 1.088888888888889e-05,
      "loss": 1.6036,
      "step": 8801
    },
    {
      "epoch": 0.7824,
      "grad_norm": 1.5779409408569336,
      "learning_rate": 1.0884444444444444e-05,
      "loss": 1.4969,
      "step": 8802
    },
    {
      "epoch": 0.7824888888888889,
      "grad_norm": 1.6297091245651245,
      "learning_rate": 1.088e-05,
      "loss": 1.7019,
      "step": 8803
    },
    {
      "epoch": 0.7825777777777778,
      "grad_norm": 1.7684438228607178,
      "learning_rate": 1.0875555555555556e-05,
      "loss": 1.6999,
      "step": 8804
    },
    {
      "epoch": 0.7826666666666666,
      "grad_norm": 1.6060312986373901,
      "learning_rate": 1.087111111111111e-05,
      "loss": 1.5159,
      "step": 8805
    },
    {
      "epoch": 0.7827555555555555,
      "grad_norm": 1.730424404144287,
      "learning_rate": 1.0866666666666667e-05,
      "loss": 1.7658,
      "step": 8806
    },
    {
      "epoch": 0.7828444444444445,
      "grad_norm": 1.5900026559829712,
      "learning_rate": 1.0862222222222222e-05,
      "loss": 1.524,
      "step": 8807
    },
    {
      "epoch": 0.7829333333333334,
      "grad_norm": 1.6083877086639404,
      "learning_rate": 1.0857777777777778e-05,
      "loss": 1.7066,
      "step": 8808
    },
    {
      "epoch": 0.7830222222222222,
      "grad_norm": 1.7646703720092773,
      "learning_rate": 1.0853333333333333e-05,
      "loss": 1.5519,
      "step": 8809
    },
    {
      "epoch": 0.7831111111111111,
      "grad_norm": 1.5657706260681152,
      "learning_rate": 1.0848888888888888e-05,
      "loss": 1.6464,
      "step": 8810
    },
    {
      "epoch": 0.7832,
      "grad_norm": 1.2868049144744873,
      "learning_rate": 1.0844444444444445e-05,
      "loss": 1.2954,
      "step": 8811
    },
    {
      "epoch": 0.7832888888888889,
      "grad_norm": 1.6816116571426392,
      "learning_rate": 1.084e-05,
      "loss": 1.75,
      "step": 8812
    },
    {
      "epoch": 0.7833777777777777,
      "grad_norm": 1.4531035423278809,
      "learning_rate": 1.0835555555555556e-05,
      "loss": 1.5548,
      "step": 8813
    },
    {
      "epoch": 0.7834666666666666,
      "grad_norm": 1.422212839126587,
      "learning_rate": 1.0831111111111111e-05,
      "loss": 1.6807,
      "step": 8814
    },
    {
      "epoch": 0.7835555555555556,
      "grad_norm": 1.6752054691314697,
      "learning_rate": 1.0826666666666667e-05,
      "loss": 1.549,
      "step": 8815
    },
    {
      "epoch": 0.7836444444444445,
      "grad_norm": 1.43953537940979,
      "learning_rate": 1.0822222222222222e-05,
      "loss": 1.6307,
      "step": 8816
    },
    {
      "epoch": 0.7837333333333333,
      "grad_norm": 1.7548606395721436,
      "learning_rate": 1.0817777777777779e-05,
      "loss": 1.634,
      "step": 8817
    },
    {
      "epoch": 0.7838222222222222,
      "grad_norm": 1.8854050636291504,
      "learning_rate": 1.0813333333333334e-05,
      "loss": 1.4287,
      "step": 8818
    },
    {
      "epoch": 0.7839111111111111,
      "grad_norm": 1.6101170778274536,
      "learning_rate": 1.0808888888888889e-05,
      "loss": 1.4139,
      "step": 8819
    },
    {
      "epoch": 0.784,
      "grad_norm": 1.4446736574172974,
      "learning_rate": 1.0804444444444445e-05,
      "loss": 1.2881,
      "step": 8820
    },
    {
      "epoch": 0.7840888888888888,
      "grad_norm": 1.5879976749420166,
      "learning_rate": 1.08e-05,
      "loss": 1.5992,
      "step": 8821
    },
    {
      "epoch": 0.7841777777777778,
      "grad_norm": 1.4577134847640991,
      "learning_rate": 1.0795555555555556e-05,
      "loss": 1.5707,
      "step": 8822
    },
    {
      "epoch": 0.7842666666666667,
      "grad_norm": 1.6458364725112915,
      "learning_rate": 1.0791111111111111e-05,
      "loss": 1.4175,
      "step": 8823
    },
    {
      "epoch": 0.7843555555555556,
      "grad_norm": 1.7254619598388672,
      "learning_rate": 1.0786666666666668e-05,
      "loss": 1.5316,
      "step": 8824
    },
    {
      "epoch": 0.7844444444444445,
      "grad_norm": 1.5038028955459595,
      "learning_rate": 1.0782222222222223e-05,
      "loss": 1.4981,
      "step": 8825
    },
    {
      "epoch": 0.7845333333333333,
      "grad_norm": 1.739009976387024,
      "learning_rate": 1.0777777777777778e-05,
      "loss": 1.5827,
      "step": 8826
    },
    {
      "epoch": 0.7846222222222222,
      "grad_norm": 1.5590341091156006,
      "learning_rate": 1.0773333333333334e-05,
      "loss": 1.4896,
      "step": 8827
    },
    {
      "epoch": 0.7847111111111111,
      "grad_norm": 1.5599992275238037,
      "learning_rate": 1.0768888888888889e-05,
      "loss": 1.3365,
      "step": 8828
    },
    {
      "epoch": 0.7848,
      "grad_norm": 1.433850646018982,
      "learning_rate": 1.0764444444444445e-05,
      "loss": 1.5789,
      "step": 8829
    },
    {
      "epoch": 0.7848888888888889,
      "grad_norm": 1.5843219757080078,
      "learning_rate": 1.076e-05,
      "loss": 1.6564,
      "step": 8830
    },
    {
      "epoch": 0.7849777777777778,
      "grad_norm": 1.536795973777771,
      "learning_rate": 1.0755555555555557e-05,
      "loss": 1.5407,
      "step": 8831
    },
    {
      "epoch": 0.7850666666666667,
      "grad_norm": 1.615060567855835,
      "learning_rate": 1.0751111111111112e-05,
      "loss": 1.5922,
      "step": 8832
    },
    {
      "epoch": 0.7851555555555556,
      "grad_norm": 1.5957226753234863,
      "learning_rate": 1.0746666666666667e-05,
      "loss": 1.6244,
      "step": 8833
    },
    {
      "epoch": 0.7852444444444444,
      "grad_norm": 1.8274614810943604,
      "learning_rate": 1.0742222222222223e-05,
      "loss": 1.7223,
      "step": 8834
    },
    {
      "epoch": 0.7853333333333333,
      "grad_norm": 1.3946723937988281,
      "learning_rate": 1.0737777777777778e-05,
      "loss": 1.4616,
      "step": 8835
    },
    {
      "epoch": 0.7854222222222222,
      "grad_norm": 1.6388033628463745,
      "learning_rate": 1.0733333333333334e-05,
      "loss": 1.6798,
      "step": 8836
    },
    {
      "epoch": 0.7855111111111112,
      "grad_norm": 1.5094382762908936,
      "learning_rate": 1.072888888888889e-05,
      "loss": 1.4416,
      "step": 8837
    },
    {
      "epoch": 0.7856,
      "grad_norm": 2.258984088897705,
      "learning_rate": 1.0724444444444446e-05,
      "loss": 1.6986,
      "step": 8838
    },
    {
      "epoch": 0.7856888888888889,
      "grad_norm": 1.363781452178955,
      "learning_rate": 1.072e-05,
      "loss": 1.5192,
      "step": 8839
    },
    {
      "epoch": 0.7857777777777778,
      "grad_norm": 1.4193813800811768,
      "learning_rate": 1.0715555555555557e-05,
      "loss": 1.8446,
      "step": 8840
    },
    {
      "epoch": 0.7858666666666667,
      "grad_norm": 1.4699393510818481,
      "learning_rate": 1.0711111111111112e-05,
      "loss": 1.6437,
      "step": 8841
    },
    {
      "epoch": 0.7859555555555555,
      "grad_norm": 1.551557183265686,
      "learning_rate": 1.0706666666666667e-05,
      "loss": 1.7183,
      "step": 8842
    },
    {
      "epoch": 0.7860444444444444,
      "grad_norm": 1.568371295928955,
      "learning_rate": 1.0702222222222223e-05,
      "loss": 1.4856,
      "step": 8843
    },
    {
      "epoch": 0.7861333333333334,
      "grad_norm": 1.3489224910736084,
      "learning_rate": 1.0697777777777778e-05,
      "loss": 1.4082,
      "step": 8844
    },
    {
      "epoch": 0.7862222222222223,
      "grad_norm": 1.7483632564544678,
      "learning_rate": 1.0693333333333335e-05,
      "loss": 1.7824,
      "step": 8845
    },
    {
      "epoch": 0.7863111111111111,
      "grad_norm": 1.6633741855621338,
      "learning_rate": 1.068888888888889e-05,
      "loss": 1.3482,
      "step": 8846
    },
    {
      "epoch": 0.7864,
      "grad_norm": 1.441257357597351,
      "learning_rate": 1.0684444444444446e-05,
      "loss": 1.2847,
      "step": 8847
    },
    {
      "epoch": 0.7864888888888889,
      "grad_norm": 1.4275866746902466,
      "learning_rate": 1.0680000000000001e-05,
      "loss": 1.4403,
      "step": 8848
    },
    {
      "epoch": 0.7865777777777778,
      "grad_norm": 1.608802318572998,
      "learning_rate": 1.0675555555555556e-05,
      "loss": 1.4682,
      "step": 8849
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 1.9073286056518555,
      "learning_rate": 1.0671111111111112e-05,
      "loss": 1.5312,
      "step": 8850
    },
    {
      "epoch": 0.7867555555555555,
      "grad_norm": 1.3800312280654907,
      "learning_rate": 1.0666666666666667e-05,
      "loss": 1.3285,
      "step": 8851
    },
    {
      "epoch": 0.7868444444444445,
      "grad_norm": 1.3881915807724,
      "learning_rate": 1.0662222222222222e-05,
      "loss": 1.3378,
      "step": 8852
    },
    {
      "epoch": 0.7869333333333334,
      "grad_norm": 1.5433474779129028,
      "learning_rate": 1.0657777777777777e-05,
      "loss": 1.4147,
      "step": 8853
    },
    {
      "epoch": 0.7870222222222222,
      "grad_norm": 1.5595453977584839,
      "learning_rate": 1.0653333333333334e-05,
      "loss": 1.5394,
      "step": 8854
    },
    {
      "epoch": 0.7871111111111111,
      "grad_norm": 1.4682066440582275,
      "learning_rate": 1.0648888888888888e-05,
      "loss": 1.5118,
      "step": 8855
    },
    {
      "epoch": 0.7872,
      "grad_norm": 1.4515436887741089,
      "learning_rate": 1.0644444444444445e-05,
      "loss": 1.682,
      "step": 8856
    },
    {
      "epoch": 0.7872888888888889,
      "grad_norm": 1.9010419845581055,
      "learning_rate": 1.064e-05,
      "loss": 1.7196,
      "step": 8857
    },
    {
      "epoch": 0.7873777777777777,
      "grad_norm": 1.6162809133529663,
      "learning_rate": 1.0635555555555556e-05,
      "loss": 1.5902,
      "step": 8858
    },
    {
      "epoch": 0.7874666666666666,
      "grad_norm": 1.5127630233764648,
      "learning_rate": 1.0631111111111111e-05,
      "loss": 1.3324,
      "step": 8859
    },
    {
      "epoch": 0.7875555555555556,
      "grad_norm": 1.613497257232666,
      "learning_rate": 1.0626666666666666e-05,
      "loss": 1.3628,
      "step": 8860
    },
    {
      "epoch": 0.7876444444444445,
      "grad_norm": 1.5563766956329346,
      "learning_rate": 1.0622222222222223e-05,
      "loss": 1.6072,
      "step": 8861
    },
    {
      "epoch": 0.7877333333333333,
      "grad_norm": 1.5404068231582642,
      "learning_rate": 1.0617777777777777e-05,
      "loss": 1.7681,
      "step": 8862
    },
    {
      "epoch": 0.7878222222222222,
      "grad_norm": 1.5648127794265747,
      "learning_rate": 1.0613333333333334e-05,
      "loss": 1.4739,
      "step": 8863
    },
    {
      "epoch": 0.7879111111111111,
      "grad_norm": 1.487721562385559,
      "learning_rate": 1.0608888888888889e-05,
      "loss": 1.4319,
      "step": 8864
    },
    {
      "epoch": 0.788,
      "grad_norm": 1.4403458833694458,
      "learning_rate": 1.0604444444444445e-05,
      "loss": 1.7586,
      "step": 8865
    },
    {
      "epoch": 0.7880888888888888,
      "grad_norm": 1.450573444366455,
      "learning_rate": 1.06e-05,
      "loss": 1.6551,
      "step": 8866
    },
    {
      "epoch": 0.7881777777777778,
      "grad_norm": 1.3726698160171509,
      "learning_rate": 1.0595555555555555e-05,
      "loss": 1.5056,
      "step": 8867
    },
    {
      "epoch": 0.7882666666666667,
      "grad_norm": 1.6858803033828735,
      "learning_rate": 1.0591111111111112e-05,
      "loss": 1.7004,
      "step": 8868
    },
    {
      "epoch": 0.7883555555555556,
      "grad_norm": 2.067697525024414,
      "learning_rate": 1.0586666666666666e-05,
      "loss": 1.6899,
      "step": 8869
    },
    {
      "epoch": 0.7884444444444444,
      "grad_norm": 2.0775771141052246,
      "learning_rate": 1.0582222222222223e-05,
      "loss": 1.6567,
      "step": 8870
    },
    {
      "epoch": 0.7885333333333333,
      "grad_norm": 1.723620891571045,
      "learning_rate": 1.0577777777777778e-05,
      "loss": 1.4863,
      "step": 8871
    },
    {
      "epoch": 0.7886222222222222,
      "grad_norm": 1.7516156435012817,
      "learning_rate": 1.0573333333333334e-05,
      "loss": 1.5948,
      "step": 8872
    },
    {
      "epoch": 0.7887111111111111,
      "grad_norm": 1.5547699928283691,
      "learning_rate": 1.056888888888889e-05,
      "loss": 1.633,
      "step": 8873
    },
    {
      "epoch": 0.7888,
      "grad_norm": 1.4713350534439087,
      "learning_rate": 1.0564444444444446e-05,
      "loss": 1.3033,
      "step": 8874
    },
    {
      "epoch": 0.7888888888888889,
      "grad_norm": 1.6312824487686157,
      "learning_rate": 1.056e-05,
      "loss": 1.691,
      "step": 8875
    },
    {
      "epoch": 0.7889777777777778,
      "grad_norm": 2.0896146297454834,
      "learning_rate": 1.0555555555555555e-05,
      "loss": 1.6981,
      "step": 8876
    },
    {
      "epoch": 0.7890666666666667,
      "grad_norm": 1.4985607862472534,
      "learning_rate": 1.0551111111111112e-05,
      "loss": 1.4781,
      "step": 8877
    },
    {
      "epoch": 0.7891555555555556,
      "grad_norm": 1.5324122905731201,
      "learning_rate": 1.0546666666666667e-05,
      "loss": 1.4675,
      "step": 8878
    },
    {
      "epoch": 0.7892444444444444,
      "grad_norm": 1.6074326038360596,
      "learning_rate": 1.0542222222222223e-05,
      "loss": 1.7983,
      "step": 8879
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 1.5156110525131226,
      "learning_rate": 1.0537777777777778e-05,
      "loss": 1.6316,
      "step": 8880
    },
    {
      "epoch": 0.7894222222222222,
      "grad_norm": 1.669211983680725,
      "learning_rate": 1.0533333333333335e-05,
      "loss": 1.6867,
      "step": 8881
    },
    {
      "epoch": 0.7895111111111112,
      "grad_norm": 1.6607497930526733,
      "learning_rate": 1.052888888888889e-05,
      "loss": 1.5336,
      "step": 8882
    },
    {
      "epoch": 0.7896,
      "grad_norm": 1.222346305847168,
      "learning_rate": 1.0524444444444444e-05,
      "loss": 1.1973,
      "step": 8883
    },
    {
      "epoch": 0.7896888888888889,
      "grad_norm": 1.5600810050964355,
      "learning_rate": 1.0520000000000001e-05,
      "loss": 1.4602,
      "step": 8884
    },
    {
      "epoch": 0.7897777777777778,
      "grad_norm": 1.7533797025680542,
      "learning_rate": 1.0515555555555556e-05,
      "loss": 1.248,
      "step": 8885
    },
    {
      "epoch": 0.7898666666666667,
      "grad_norm": 1.5052437782287598,
      "learning_rate": 1.0511111111111112e-05,
      "loss": 1.4088,
      "step": 8886
    },
    {
      "epoch": 0.7899555555555555,
      "grad_norm": 1.5570496320724487,
      "learning_rate": 1.0506666666666667e-05,
      "loss": 1.6909,
      "step": 8887
    },
    {
      "epoch": 0.7900444444444444,
      "grad_norm": 1.6583679914474487,
      "learning_rate": 1.0502222222222224e-05,
      "loss": 1.4635,
      "step": 8888
    },
    {
      "epoch": 0.7901333333333334,
      "grad_norm": 1.6853265762329102,
      "learning_rate": 1.0497777777777779e-05,
      "loss": 1.7216,
      "step": 8889
    },
    {
      "epoch": 0.7902222222222223,
      "grad_norm": 1.7887094020843506,
      "learning_rate": 1.0493333333333333e-05,
      "loss": 1.4779,
      "step": 8890
    },
    {
      "epoch": 0.7903111111111111,
      "grad_norm": 1.875778317451477,
      "learning_rate": 1.048888888888889e-05,
      "loss": 1.4417,
      "step": 8891
    },
    {
      "epoch": 0.7904,
      "grad_norm": 1.5490785837173462,
      "learning_rate": 1.0484444444444445e-05,
      "loss": 1.5858,
      "step": 8892
    },
    {
      "epoch": 0.7904888888888889,
      "grad_norm": 1.5061380863189697,
      "learning_rate": 1.0480000000000001e-05,
      "loss": 1.5155,
      "step": 8893
    },
    {
      "epoch": 0.7905777777777778,
      "grad_norm": 1.5426526069641113,
      "learning_rate": 1.0475555555555556e-05,
      "loss": 1.384,
      "step": 8894
    },
    {
      "epoch": 0.7906666666666666,
      "grad_norm": 1.3581892251968384,
      "learning_rate": 1.0471111111111113e-05,
      "loss": 1.4792,
      "step": 8895
    },
    {
      "epoch": 0.7907555555555555,
      "grad_norm": 1.9268465042114258,
      "learning_rate": 1.0466666666666668e-05,
      "loss": 1.6415,
      "step": 8896
    },
    {
      "epoch": 0.7908444444444445,
      "grad_norm": 1.7236011028289795,
      "learning_rate": 1.0462222222222224e-05,
      "loss": 1.8044,
      "step": 8897
    },
    {
      "epoch": 0.7909333333333334,
      "grad_norm": 1.5696289539337158,
      "learning_rate": 1.0457777777777779e-05,
      "loss": 1.4971,
      "step": 8898
    },
    {
      "epoch": 0.7910222222222222,
      "grad_norm": 1.4172606468200684,
      "learning_rate": 1.0453333333333334e-05,
      "loss": 1.5267,
      "step": 8899
    },
    {
      "epoch": 0.7911111111111111,
      "grad_norm": 1.3638781309127808,
      "learning_rate": 1.044888888888889e-05,
      "loss": 1.3313,
      "step": 8900
    },
    {
      "epoch": 0.7912,
      "grad_norm": 1.4474337100982666,
      "learning_rate": 1.0444444444444445e-05,
      "loss": 1.5819,
      "step": 8901
    },
    {
      "epoch": 0.7912888888888889,
      "grad_norm": 1.5193736553192139,
      "learning_rate": 1.0440000000000002e-05,
      "loss": 1.5559,
      "step": 8902
    },
    {
      "epoch": 0.7913777777777777,
      "grad_norm": 1.8108808994293213,
      "learning_rate": 1.0435555555555555e-05,
      "loss": 1.5491,
      "step": 8903
    },
    {
      "epoch": 0.7914666666666667,
      "grad_norm": 1.6611685752868652,
      "learning_rate": 1.0431111111111111e-05,
      "loss": 1.2781,
      "step": 8904
    },
    {
      "epoch": 0.7915555555555556,
      "grad_norm": 1.5585830211639404,
      "learning_rate": 1.0426666666666666e-05,
      "loss": 1.6399,
      "step": 8905
    },
    {
      "epoch": 0.7916444444444445,
      "grad_norm": 1.5230485200881958,
      "learning_rate": 1.0422222222222223e-05,
      "loss": 1.2387,
      "step": 8906
    },
    {
      "epoch": 0.7917333333333333,
      "grad_norm": 1.4828981161117554,
      "learning_rate": 1.0417777777777778e-05,
      "loss": 1.5274,
      "step": 8907
    },
    {
      "epoch": 0.7918222222222222,
      "grad_norm": 1.3490794897079468,
      "learning_rate": 1.0413333333333332e-05,
      "loss": 1.5433,
      "step": 8908
    },
    {
      "epoch": 0.7919111111111111,
      "grad_norm": 1.9174597263336182,
      "learning_rate": 1.0408888888888889e-05,
      "loss": 1.6429,
      "step": 8909
    },
    {
      "epoch": 0.792,
      "grad_norm": 1.7445083856582642,
      "learning_rate": 1.0404444444444444e-05,
      "loss": 1.4919,
      "step": 8910
    },
    {
      "epoch": 0.7920888888888888,
      "grad_norm": 1.6596273183822632,
      "learning_rate": 1.04e-05,
      "loss": 1.5304,
      "step": 8911
    },
    {
      "epoch": 0.7921777777777778,
      "grad_norm": 1.5447502136230469,
      "learning_rate": 1.0395555555555555e-05,
      "loss": 1.6335,
      "step": 8912
    },
    {
      "epoch": 0.7922666666666667,
      "grad_norm": 1.4986052513122559,
      "learning_rate": 1.0391111111111112e-05,
      "loss": 1.4147,
      "step": 8913
    },
    {
      "epoch": 0.7923555555555556,
      "grad_norm": 1.530470609664917,
      "learning_rate": 1.0386666666666667e-05,
      "loss": 1.5307,
      "step": 8914
    },
    {
      "epoch": 0.7924444444444444,
      "grad_norm": 1.5731433629989624,
      "learning_rate": 1.0382222222222223e-05,
      "loss": 1.5536,
      "step": 8915
    },
    {
      "epoch": 0.7925333333333333,
      "grad_norm": 1.7403861284255981,
      "learning_rate": 1.0377777777777778e-05,
      "loss": 1.344,
      "step": 8916
    },
    {
      "epoch": 0.7926222222222222,
      "grad_norm": 1.5771268606185913,
      "learning_rate": 1.0373333333333333e-05,
      "loss": 1.4246,
      "step": 8917
    },
    {
      "epoch": 0.7927111111111111,
      "grad_norm": 1.5324467420578003,
      "learning_rate": 1.036888888888889e-05,
      "loss": 1.7401,
      "step": 8918
    },
    {
      "epoch": 0.7928,
      "grad_norm": 1.5036628246307373,
      "learning_rate": 1.0364444444444444e-05,
      "loss": 1.4839,
      "step": 8919
    },
    {
      "epoch": 0.7928888888888889,
      "grad_norm": 1.8187122344970703,
      "learning_rate": 1.036e-05,
      "loss": 1.3605,
      "step": 8920
    },
    {
      "epoch": 0.7929777777777778,
      "grad_norm": 1.5882383584976196,
      "learning_rate": 1.0355555555555556e-05,
      "loss": 1.6008,
      "step": 8921
    },
    {
      "epoch": 0.7930666666666667,
      "grad_norm": 1.5485233068466187,
      "learning_rate": 1.0351111111111112e-05,
      "loss": 1.5665,
      "step": 8922
    },
    {
      "epoch": 0.7931555555555555,
      "grad_norm": 1.3728179931640625,
      "learning_rate": 1.0346666666666667e-05,
      "loss": 1.4746,
      "step": 8923
    },
    {
      "epoch": 0.7932444444444444,
      "grad_norm": 1.4186800718307495,
      "learning_rate": 1.0342222222222222e-05,
      "loss": 1.6522,
      "step": 8924
    },
    {
      "epoch": 0.7933333333333333,
      "grad_norm": 1.8058185577392578,
      "learning_rate": 1.0337777777777778e-05,
      "loss": 1.7291,
      "step": 8925
    },
    {
      "epoch": 0.7934222222222223,
      "grad_norm": 1.5574522018432617,
      "learning_rate": 1.0333333333333333e-05,
      "loss": 1.5041,
      "step": 8926
    },
    {
      "epoch": 0.7935111111111111,
      "grad_norm": 1.499311923980713,
      "learning_rate": 1.032888888888889e-05,
      "loss": 1.4389,
      "step": 8927
    },
    {
      "epoch": 0.7936,
      "grad_norm": 1.6061915159225464,
      "learning_rate": 1.0324444444444445e-05,
      "loss": 1.4677,
      "step": 8928
    },
    {
      "epoch": 0.7936888888888889,
      "grad_norm": 1.2995573282241821,
      "learning_rate": 1.0320000000000001e-05,
      "loss": 1.2825,
      "step": 8929
    },
    {
      "epoch": 0.7937777777777778,
      "grad_norm": 1.5942940711975098,
      "learning_rate": 1.0315555555555556e-05,
      "loss": 1.3926,
      "step": 8930
    },
    {
      "epoch": 0.7938666666666667,
      "grad_norm": 1.4861892461776733,
      "learning_rate": 1.031111111111111e-05,
      "loss": 1.4591,
      "step": 8931
    },
    {
      "epoch": 0.7939555555555555,
      "grad_norm": 1.6508585214614868,
      "learning_rate": 1.0306666666666667e-05,
      "loss": 1.4579,
      "step": 8932
    },
    {
      "epoch": 0.7940444444444444,
      "grad_norm": 2.080364942550659,
      "learning_rate": 1.0302222222222222e-05,
      "loss": 1.484,
      "step": 8933
    },
    {
      "epoch": 0.7941333333333334,
      "grad_norm": 2.092284917831421,
      "learning_rate": 1.0297777777777779e-05,
      "loss": 1.4959,
      "step": 8934
    },
    {
      "epoch": 0.7942222222222223,
      "grad_norm": 1.5916823148727417,
      "learning_rate": 1.0293333333333334e-05,
      "loss": 1.6109,
      "step": 8935
    },
    {
      "epoch": 0.7943111111111111,
      "grad_norm": 2.1701793670654297,
      "learning_rate": 1.028888888888889e-05,
      "loss": 1.551,
      "step": 8936
    },
    {
      "epoch": 0.7944,
      "grad_norm": 1.6614720821380615,
      "learning_rate": 1.0284444444444445e-05,
      "loss": 1.5989,
      "step": 8937
    },
    {
      "epoch": 0.7944888888888889,
      "grad_norm": 1.9087177515029907,
      "learning_rate": 1.0280000000000002e-05,
      "loss": 1.5403,
      "step": 8938
    },
    {
      "epoch": 0.7945777777777778,
      "grad_norm": 2.290440559387207,
      "learning_rate": 1.0275555555555556e-05,
      "loss": 1.6704,
      "step": 8939
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 1.8100868463516235,
      "learning_rate": 1.0271111111111111e-05,
      "loss": 1.4095,
      "step": 8940
    },
    {
      "epoch": 0.7947555555555555,
      "grad_norm": 1.4256199598312378,
      "learning_rate": 1.0266666666666668e-05,
      "loss": 1.5278,
      "step": 8941
    },
    {
      "epoch": 0.7948444444444445,
      "grad_norm": 1.7755882740020752,
      "learning_rate": 1.0262222222222223e-05,
      "loss": 1.5261,
      "step": 8942
    },
    {
      "epoch": 0.7949333333333334,
      "grad_norm": 1.686611533164978,
      "learning_rate": 1.0257777777777779e-05,
      "loss": 1.6086,
      "step": 8943
    },
    {
      "epoch": 0.7950222222222222,
      "grad_norm": 1.486372947692871,
      "learning_rate": 1.0253333333333334e-05,
      "loss": 1.5552,
      "step": 8944
    },
    {
      "epoch": 0.7951111111111111,
      "grad_norm": 1.3085654973983765,
      "learning_rate": 1.024888888888889e-05,
      "loss": 1.4187,
      "step": 8945
    },
    {
      "epoch": 0.7952,
      "grad_norm": 1.342285394668579,
      "learning_rate": 1.0244444444444445e-05,
      "loss": 1.4179,
      "step": 8946
    },
    {
      "epoch": 0.7952888888888889,
      "grad_norm": 1.8343781232833862,
      "learning_rate": 1.024e-05,
      "loss": 1.8691,
      "step": 8947
    },
    {
      "epoch": 0.7953777777777777,
      "grad_norm": 1.4028199911117554,
      "learning_rate": 1.0235555555555557e-05,
      "loss": 1.3416,
      "step": 8948
    },
    {
      "epoch": 0.7954666666666667,
      "grad_norm": 1.5143252611160278,
      "learning_rate": 1.0231111111111112e-05,
      "loss": 1.5206,
      "step": 8949
    },
    {
      "epoch": 0.7955555555555556,
      "grad_norm": 1.338714599609375,
      "learning_rate": 1.0226666666666668e-05,
      "loss": 1.5025,
      "step": 8950
    },
    {
      "epoch": 0.7956444444444445,
      "grad_norm": 2.030766010284424,
      "learning_rate": 1.0222222222222223e-05,
      "loss": 1.6856,
      "step": 8951
    },
    {
      "epoch": 0.7957333333333333,
      "grad_norm": 1.5157616138458252,
      "learning_rate": 1.021777777777778e-05,
      "loss": 1.7472,
      "step": 8952
    },
    {
      "epoch": 0.7958222222222222,
      "grad_norm": 1.572533130645752,
      "learning_rate": 1.0213333333333334e-05,
      "loss": 1.6404,
      "step": 8953
    },
    {
      "epoch": 0.7959111111111111,
      "grad_norm": 1.4977041482925415,
      "learning_rate": 1.020888888888889e-05,
      "loss": 1.5383,
      "step": 8954
    },
    {
      "epoch": 0.796,
      "grad_norm": 1.863077998161316,
      "learning_rate": 1.0204444444444444e-05,
      "loss": 1.855,
      "step": 8955
    },
    {
      "epoch": 0.7960888888888888,
      "grad_norm": 1.4363478422164917,
      "learning_rate": 1.02e-05,
      "loss": 1.3642,
      "step": 8956
    },
    {
      "epoch": 0.7961777777777778,
      "grad_norm": 1.9095656871795654,
      "learning_rate": 1.0195555555555555e-05,
      "loss": 1.5918,
      "step": 8957
    },
    {
      "epoch": 0.7962666666666667,
      "grad_norm": 1.9122191667556763,
      "learning_rate": 1.019111111111111e-05,
      "loss": 1.7048,
      "step": 8958
    },
    {
      "epoch": 0.7963555555555556,
      "grad_norm": 1.7378325462341309,
      "learning_rate": 1.0186666666666667e-05,
      "loss": 1.6019,
      "step": 8959
    },
    {
      "epoch": 0.7964444444444444,
      "grad_norm": 1.6080715656280518,
      "learning_rate": 1.0182222222222222e-05,
      "loss": 1.643,
      "step": 8960
    },
    {
      "epoch": 0.7965333333333333,
      "grad_norm": 1.4712671041488647,
      "learning_rate": 1.0177777777777778e-05,
      "loss": 1.4173,
      "step": 8961
    },
    {
      "epoch": 0.7966222222222222,
      "grad_norm": 1.518484115600586,
      "learning_rate": 1.0173333333333333e-05,
      "loss": 1.4215,
      "step": 8962
    },
    {
      "epoch": 0.7967111111111111,
      "grad_norm": 1.8404686450958252,
      "learning_rate": 1.016888888888889e-05,
      "loss": 1.851,
      "step": 8963
    },
    {
      "epoch": 0.7968,
      "grad_norm": 1.452694058418274,
      "learning_rate": 1.0164444444444444e-05,
      "loss": 1.432,
      "step": 8964
    },
    {
      "epoch": 0.7968888888888889,
      "grad_norm": 1.9842867851257324,
      "learning_rate": 1.016e-05,
      "loss": 1.6771,
      "step": 8965
    },
    {
      "epoch": 0.7969777777777778,
      "grad_norm": 1.7847918272018433,
      "learning_rate": 1.0155555555555556e-05,
      "loss": 1.7629,
      "step": 8966
    },
    {
      "epoch": 0.7970666666666667,
      "grad_norm": 1.813720464706421,
      "learning_rate": 1.015111111111111e-05,
      "loss": 1.5855,
      "step": 8967
    },
    {
      "epoch": 0.7971555555555555,
      "grad_norm": 1.6979576349258423,
      "learning_rate": 1.0146666666666667e-05,
      "loss": 1.5883,
      "step": 8968
    },
    {
      "epoch": 0.7972444444444444,
      "grad_norm": 1.6980961561203003,
      "learning_rate": 1.0142222222222222e-05,
      "loss": 1.5685,
      "step": 8969
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 1.3245962858200073,
      "learning_rate": 1.0137777777777779e-05,
      "loss": 1.4978,
      "step": 8970
    },
    {
      "epoch": 0.7974222222222223,
      "grad_norm": 1.6187156438827515,
      "learning_rate": 1.0133333333333333e-05,
      "loss": 1.6269,
      "step": 8971
    },
    {
      "epoch": 0.7975111111111111,
      "grad_norm": 1.574377417564392,
      "learning_rate": 1.012888888888889e-05,
      "loss": 1.6948,
      "step": 8972
    },
    {
      "epoch": 0.7976,
      "grad_norm": 1.4916040897369385,
      "learning_rate": 1.0124444444444445e-05,
      "loss": 1.5183,
      "step": 8973
    },
    {
      "epoch": 0.7976888888888889,
      "grad_norm": 1.5906051397323608,
      "learning_rate": 1.012e-05,
      "loss": 1.6264,
      "step": 8974
    },
    {
      "epoch": 0.7977777777777778,
      "grad_norm": 1.336780071258545,
      "learning_rate": 1.0115555555555556e-05,
      "loss": 1.4506,
      "step": 8975
    },
    {
      "epoch": 0.7978666666666666,
      "grad_norm": 1.5701478719711304,
      "learning_rate": 1.0111111111111111e-05,
      "loss": 1.5834,
      "step": 8976
    },
    {
      "epoch": 0.7979555555555555,
      "grad_norm": 1.5003657341003418,
      "learning_rate": 1.0106666666666668e-05,
      "loss": 1.6017,
      "step": 8977
    },
    {
      "epoch": 0.7980444444444444,
      "grad_norm": 1.384417176246643,
      "learning_rate": 1.0102222222222222e-05,
      "loss": 1.6597,
      "step": 8978
    },
    {
      "epoch": 0.7981333333333334,
      "grad_norm": 1.7486287355422974,
      "learning_rate": 1.0097777777777779e-05,
      "loss": 1.4337,
      "step": 8979
    },
    {
      "epoch": 0.7982222222222223,
      "grad_norm": 1.4077637195587158,
      "learning_rate": 1.0093333333333334e-05,
      "loss": 1.4232,
      "step": 8980
    },
    {
      "epoch": 0.7983111111111111,
      "grad_norm": 1.673689365386963,
      "learning_rate": 1.0088888888888889e-05,
      "loss": 1.5727,
      "step": 8981
    },
    {
      "epoch": 0.7984,
      "grad_norm": 1.4226853847503662,
      "learning_rate": 1.0084444444444445e-05,
      "loss": 1.4473,
      "step": 8982
    },
    {
      "epoch": 0.7984888888888889,
      "grad_norm": 1.382137417793274,
      "learning_rate": 1.008e-05,
      "loss": 1.5824,
      "step": 8983
    },
    {
      "epoch": 0.7985777777777778,
      "grad_norm": 1.4727623462677002,
      "learning_rate": 1.0075555555555557e-05,
      "loss": 1.3286,
      "step": 8984
    },
    {
      "epoch": 0.7986666666666666,
      "grad_norm": 1.9751112461090088,
      "learning_rate": 1.0071111111111111e-05,
      "loss": 1.5523,
      "step": 8985
    },
    {
      "epoch": 0.7987555555555556,
      "grad_norm": 1.8601235151290894,
      "learning_rate": 1.0066666666666668e-05,
      "loss": 1.6928,
      "step": 8986
    },
    {
      "epoch": 0.7988444444444445,
      "grad_norm": 1.6857326030731201,
      "learning_rate": 1.0062222222222223e-05,
      "loss": 1.4564,
      "step": 8987
    },
    {
      "epoch": 0.7989333333333334,
      "grad_norm": 1.4454253911972046,
      "learning_rate": 1.0057777777777778e-05,
      "loss": 1.6281,
      "step": 8988
    },
    {
      "epoch": 0.7990222222222222,
      "grad_norm": 1.364020824432373,
      "learning_rate": 1.0053333333333334e-05,
      "loss": 1.6096,
      "step": 8989
    },
    {
      "epoch": 0.7991111111111111,
      "grad_norm": 1.7123090028762817,
      "learning_rate": 1.0048888888888889e-05,
      "loss": 1.6125,
      "step": 8990
    },
    {
      "epoch": 0.7992,
      "grad_norm": 1.905681848526001,
      "learning_rate": 1.0044444444444446e-05,
      "loss": 1.6761,
      "step": 8991
    },
    {
      "epoch": 0.7992888888888889,
      "grad_norm": 1.5148086547851562,
      "learning_rate": 1.004e-05,
      "loss": 1.4213,
      "step": 8992
    },
    {
      "epoch": 0.7993777777777777,
      "grad_norm": 1.40324068069458,
      "learning_rate": 1.0035555555555557e-05,
      "loss": 1.5877,
      "step": 8993
    },
    {
      "epoch": 0.7994666666666667,
      "grad_norm": 1.280358076095581,
      "learning_rate": 1.0031111111111112e-05,
      "loss": 1.4524,
      "step": 8994
    },
    {
      "epoch": 0.7995555555555556,
      "grad_norm": 1.7303240299224854,
      "learning_rate": 1.0026666666666668e-05,
      "loss": 1.5669,
      "step": 8995
    },
    {
      "epoch": 0.7996444444444445,
      "grad_norm": 1.4858949184417725,
      "learning_rate": 1.0022222222222223e-05,
      "loss": 1.6552,
      "step": 8996
    },
    {
      "epoch": 0.7997333333333333,
      "grad_norm": 1.7078174352645874,
      "learning_rate": 1.0017777777777778e-05,
      "loss": 1.773,
      "step": 8997
    },
    {
      "epoch": 0.7998222222222222,
      "grad_norm": 1.4455262422561646,
      "learning_rate": 1.0013333333333335e-05,
      "loss": 1.4876,
      "step": 8998
    },
    {
      "epoch": 0.7999111111111111,
      "grad_norm": 1.8483972549438477,
      "learning_rate": 1.000888888888889e-05,
      "loss": 1.6481,
      "step": 8999
    },
    {
      "epoch": 0.8,
      "grad_norm": 1.7950286865234375,
      "learning_rate": 1.0004444444444446e-05,
      "loss": 1.5384,
      "step": 9000
    },
    {
      "epoch": 0.8000888888888888,
      "grad_norm": 1.5728566646575928,
      "learning_rate": 1e-05,
      "loss": 1.4468,
      "step": 9001
    },
    {
      "epoch": 0.8001777777777778,
      "grad_norm": 1.4726864099502563,
      "learning_rate": 9.995555555555557e-06,
      "loss": 1.5757,
      "step": 9002
    },
    {
      "epoch": 0.8002666666666667,
      "grad_norm": 1.293054223060608,
      "learning_rate": 9.991111111111112e-06,
      "loss": 1.4236,
      "step": 9003
    },
    {
      "epoch": 0.8003555555555556,
      "grad_norm": 1.7628663778305054,
      "learning_rate": 9.986666666666667e-06,
      "loss": 1.6033,
      "step": 9004
    },
    {
      "epoch": 0.8004444444444444,
      "grad_norm": 1.5464822053909302,
      "learning_rate": 9.982222222222224e-06,
      "loss": 1.7068,
      "step": 9005
    },
    {
      "epoch": 0.8005333333333333,
      "grad_norm": 2.079606294631958,
      "learning_rate": 9.977777777777778e-06,
      "loss": 1.533,
      "step": 9006
    },
    {
      "epoch": 0.8006222222222222,
      "grad_norm": 1.3812401294708252,
      "learning_rate": 9.973333333333333e-06,
      "loss": 1.623,
      "step": 9007
    },
    {
      "epoch": 0.8007111111111112,
      "grad_norm": 1.6653188467025757,
      "learning_rate": 9.968888888888888e-06,
      "loss": 1.4105,
      "step": 9008
    },
    {
      "epoch": 0.8008,
      "grad_norm": 1.5202016830444336,
      "learning_rate": 9.964444444444445e-06,
      "loss": 1.4269,
      "step": 9009
    },
    {
      "epoch": 0.8008888888888889,
      "grad_norm": 1.5164449214935303,
      "learning_rate": 9.96e-06,
      "loss": 1.6537,
      "step": 9010
    },
    {
      "epoch": 0.8009777777777778,
      "grad_norm": 1.4953721761703491,
      "learning_rate": 9.955555555555556e-06,
      "loss": 1.5958,
      "step": 9011
    },
    {
      "epoch": 0.8010666666666667,
      "grad_norm": 2.2520456314086914,
      "learning_rate": 9.951111111111111e-06,
      "loss": 1.6445,
      "step": 9012
    },
    {
      "epoch": 0.8011555555555555,
      "grad_norm": 1.5576483011245728,
      "learning_rate": 9.946666666666667e-06,
      "loss": 1.5665,
      "step": 9013
    },
    {
      "epoch": 0.8012444444444444,
      "grad_norm": 1.6483434438705444,
      "learning_rate": 9.942222222222222e-06,
      "loss": 1.5301,
      "step": 9014
    },
    {
      "epoch": 0.8013333333333333,
      "grad_norm": 1.5205652713775635,
      "learning_rate": 9.937777777777777e-06,
      "loss": 1.6491,
      "step": 9015
    },
    {
      "epoch": 0.8014222222222223,
      "grad_norm": 1.4301631450653076,
      "learning_rate": 9.933333333333334e-06,
      "loss": 1.3823,
      "step": 9016
    },
    {
      "epoch": 0.8015111111111111,
      "grad_norm": 1.5315477848052979,
      "learning_rate": 9.928888888888889e-06,
      "loss": 1.3345,
      "step": 9017
    },
    {
      "epoch": 0.8016,
      "grad_norm": 1.5599327087402344,
      "learning_rate": 9.924444444444445e-06,
      "loss": 1.5723,
      "step": 9018
    },
    {
      "epoch": 0.8016888888888889,
      "grad_norm": 1.5717805624008179,
      "learning_rate": 9.92e-06,
      "loss": 1.4542,
      "step": 9019
    },
    {
      "epoch": 0.8017777777777778,
      "grad_norm": 1.6327165365219116,
      "learning_rate": 9.915555555555556e-06,
      "loss": 1.4375,
      "step": 9020
    },
    {
      "epoch": 0.8018666666666666,
      "grad_norm": 1.489326000213623,
      "learning_rate": 9.911111111111111e-06,
      "loss": 1.3817,
      "step": 9021
    },
    {
      "epoch": 0.8019555555555555,
      "grad_norm": 1.7218552827835083,
      "learning_rate": 9.906666666666666e-06,
      "loss": 1.5642,
      "step": 9022
    },
    {
      "epoch": 0.8020444444444444,
      "grad_norm": 1.580862283706665,
      "learning_rate": 9.902222222222223e-06,
      "loss": 1.4343,
      "step": 9023
    },
    {
      "epoch": 0.8021333333333334,
      "grad_norm": 1.3910162448883057,
      "learning_rate": 9.897777777777778e-06,
      "loss": 1.5232,
      "step": 9024
    },
    {
      "epoch": 0.8022222222222222,
      "grad_norm": 1.5602777004241943,
      "learning_rate": 9.893333333333334e-06,
      "loss": 1.4039,
      "step": 9025
    },
    {
      "epoch": 0.8023111111111111,
      "grad_norm": 1.8670762777328491,
      "learning_rate": 9.888888888888889e-06,
      "loss": 1.5578,
      "step": 9026
    },
    {
      "epoch": 0.8024,
      "grad_norm": 1.6281471252441406,
      "learning_rate": 9.884444444444445e-06,
      "loss": 1.6115,
      "step": 9027
    },
    {
      "epoch": 0.8024888888888889,
      "grad_norm": 1.5442665815353394,
      "learning_rate": 9.88e-06,
      "loss": 1.3215,
      "step": 9028
    },
    {
      "epoch": 0.8025777777777777,
      "grad_norm": 1.7194008827209473,
      "learning_rate": 9.875555555555555e-06,
      "loss": 1.6818,
      "step": 9029
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 1.7335113286972046,
      "learning_rate": 9.871111111111112e-06,
      "loss": 1.4532,
      "step": 9030
    },
    {
      "epoch": 0.8027555555555556,
      "grad_norm": 1.7665315866470337,
      "learning_rate": 9.866666666666667e-06,
      "loss": 1.5184,
      "step": 9031
    },
    {
      "epoch": 0.8028444444444445,
      "grad_norm": 1.956017017364502,
      "learning_rate": 9.862222222222223e-06,
      "loss": 1.6145,
      "step": 9032
    },
    {
      "epoch": 0.8029333333333334,
      "grad_norm": 1.578510046005249,
      "learning_rate": 9.857777777777778e-06,
      "loss": 1.3853,
      "step": 9033
    },
    {
      "epoch": 0.8030222222222222,
      "grad_norm": 1.5729029178619385,
      "learning_rate": 9.853333333333334e-06,
      "loss": 1.5072,
      "step": 9034
    },
    {
      "epoch": 0.8031111111111111,
      "grad_norm": 1.3975054025650024,
      "learning_rate": 9.84888888888889e-06,
      "loss": 1.3015,
      "step": 9035
    },
    {
      "epoch": 0.8032,
      "grad_norm": 1.5469961166381836,
      "learning_rate": 9.844444444444446e-06,
      "loss": 1.6215,
      "step": 9036
    },
    {
      "epoch": 0.8032888888888889,
      "grad_norm": 1.96392023563385,
      "learning_rate": 9.84e-06,
      "loss": 1.8122,
      "step": 9037
    },
    {
      "epoch": 0.8033777777777777,
      "grad_norm": 1.4657365083694458,
      "learning_rate": 9.835555555555556e-06,
      "loss": 1.4334,
      "step": 9038
    },
    {
      "epoch": 0.8034666666666667,
      "grad_norm": 1.5702948570251465,
      "learning_rate": 9.831111111111112e-06,
      "loss": 1.5963,
      "step": 9039
    },
    {
      "epoch": 0.8035555555555556,
      "grad_norm": 1.8592032194137573,
      "learning_rate": 9.826666666666667e-06,
      "loss": 1.5716,
      "step": 9040
    },
    {
      "epoch": 0.8036444444444445,
      "grad_norm": 1.5961902141571045,
      "learning_rate": 9.822222222222223e-06,
      "loss": 1.502,
      "step": 9041
    },
    {
      "epoch": 0.8037333333333333,
      "grad_norm": 1.5004552602767944,
      "learning_rate": 9.817777777777778e-06,
      "loss": 1.6728,
      "step": 9042
    },
    {
      "epoch": 0.8038222222222222,
      "grad_norm": 1.586686134338379,
      "learning_rate": 9.813333333333335e-06,
      "loss": 1.5698,
      "step": 9043
    },
    {
      "epoch": 0.8039111111111111,
      "grad_norm": 1.8454545736312866,
      "learning_rate": 9.80888888888889e-06,
      "loss": 1.1932,
      "step": 9044
    },
    {
      "epoch": 0.804,
      "grad_norm": 1.6055529117584229,
      "learning_rate": 9.804444444444444e-06,
      "loss": 1.5015,
      "step": 9045
    },
    {
      "epoch": 0.8040888888888889,
      "grad_norm": 1.452821135520935,
      "learning_rate": 9.800000000000001e-06,
      "loss": 1.3873,
      "step": 9046
    },
    {
      "epoch": 0.8041777777777778,
      "grad_norm": 1.6699472665786743,
      "learning_rate": 9.795555555555556e-06,
      "loss": 1.707,
      "step": 9047
    },
    {
      "epoch": 0.8042666666666667,
      "grad_norm": 1.9742634296417236,
      "learning_rate": 9.791111111111112e-06,
      "loss": 1.6745,
      "step": 9048
    },
    {
      "epoch": 0.8043555555555556,
      "grad_norm": 1.5730297565460205,
      "learning_rate": 9.786666666666667e-06,
      "loss": 1.5067,
      "step": 9049
    },
    {
      "epoch": 0.8044444444444444,
      "grad_norm": 1.7267166376113892,
      "learning_rate": 9.782222222222224e-06,
      "loss": 1.1956,
      "step": 9050
    },
    {
      "epoch": 0.8045333333333333,
      "grad_norm": 1.3723427057266235,
      "learning_rate": 9.777777777777779e-06,
      "loss": 1.2875,
      "step": 9051
    },
    {
      "epoch": 0.8046222222222222,
      "grad_norm": 1.4708609580993652,
      "learning_rate": 9.773333333333333e-06,
      "loss": 1.1721,
      "step": 9052
    },
    {
      "epoch": 0.8047111111111112,
      "grad_norm": 1.336409568786621,
      "learning_rate": 9.76888888888889e-06,
      "loss": 1.3586,
      "step": 9053
    },
    {
      "epoch": 0.8048,
      "grad_norm": 1.6103945970535278,
      "learning_rate": 9.764444444444445e-06,
      "loss": 1.4903,
      "step": 9054
    },
    {
      "epoch": 0.8048888888888889,
      "grad_norm": 1.54501211643219,
      "learning_rate": 9.760000000000001e-06,
      "loss": 1.4416,
      "step": 9055
    },
    {
      "epoch": 0.8049777777777778,
      "grad_norm": 1.438971996307373,
      "learning_rate": 9.755555555555556e-06,
      "loss": 1.6942,
      "step": 9056
    },
    {
      "epoch": 0.8050666666666667,
      "grad_norm": 1.7803634405136108,
      "learning_rate": 9.751111111111113e-06,
      "loss": 1.6637,
      "step": 9057
    },
    {
      "epoch": 0.8051555555555555,
      "grad_norm": 1.7759337425231934,
      "learning_rate": 9.746666666666666e-06,
      "loss": 1.4226,
      "step": 9058
    },
    {
      "epoch": 0.8052444444444444,
      "grad_norm": 1.890108346939087,
      "learning_rate": 9.742222222222222e-06,
      "loss": 1.6495,
      "step": 9059
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 1.7656785249710083,
      "learning_rate": 9.737777777777777e-06,
      "loss": 1.599,
      "step": 9060
    },
    {
      "epoch": 0.8054222222222223,
      "grad_norm": 1.8917046785354614,
      "learning_rate": 9.733333333333334e-06,
      "loss": 1.5964,
      "step": 9061
    },
    {
      "epoch": 0.8055111111111111,
      "grad_norm": 1.4568121433258057,
      "learning_rate": 9.728888888888889e-06,
      "loss": 1.3964,
      "step": 9062
    },
    {
      "epoch": 0.8056,
      "grad_norm": 1.6221935749053955,
      "learning_rate": 9.724444444444444e-06,
      "loss": 1.6745,
      "step": 9063
    },
    {
      "epoch": 0.8056888888888889,
      "grad_norm": 1.629906415939331,
      "learning_rate": 9.72e-06,
      "loss": 1.4397,
      "step": 9064
    },
    {
      "epoch": 0.8057777777777778,
      "grad_norm": 1.443924069404602,
      "learning_rate": 9.715555555555555e-06,
      "loss": 1.4391,
      "step": 9065
    },
    {
      "epoch": 0.8058666666666666,
      "grad_norm": 1.4358367919921875,
      "learning_rate": 9.711111111111111e-06,
      "loss": 1.3584,
      "step": 9066
    },
    {
      "epoch": 0.8059555555555555,
      "grad_norm": 1.7048457860946655,
      "learning_rate": 9.706666666666666e-06,
      "loss": 1.6335,
      "step": 9067
    },
    {
      "epoch": 0.8060444444444445,
      "grad_norm": 1.5660547018051147,
      "learning_rate": 9.702222222222223e-06,
      "loss": 1.4851,
      "step": 9068
    },
    {
      "epoch": 0.8061333333333334,
      "grad_norm": 1.610901951789856,
      "learning_rate": 9.697777777777778e-06,
      "loss": 1.3894,
      "step": 9069
    },
    {
      "epoch": 0.8062222222222222,
      "grad_norm": 1.5680584907531738,
      "learning_rate": 9.693333333333334e-06,
      "loss": 1.5777,
      "step": 9070
    },
    {
      "epoch": 0.8063111111111111,
      "grad_norm": 1.5547990798950195,
      "learning_rate": 9.688888888888889e-06,
      "loss": 1.468,
      "step": 9071
    },
    {
      "epoch": 0.8064,
      "grad_norm": 1.7409286499023438,
      "learning_rate": 9.684444444444444e-06,
      "loss": 1.3713,
      "step": 9072
    },
    {
      "epoch": 0.8064888888888889,
      "grad_norm": 1.5755436420440674,
      "learning_rate": 9.68e-06,
      "loss": 1.4792,
      "step": 9073
    },
    {
      "epoch": 0.8065777777777777,
      "grad_norm": 2.306636333465576,
      "learning_rate": 9.675555555555555e-06,
      "loss": 1.487,
      "step": 9074
    },
    {
      "epoch": 0.8066666666666666,
      "grad_norm": 2.290877103805542,
      "learning_rate": 9.671111111111112e-06,
      "loss": 1.7219,
      "step": 9075
    },
    {
      "epoch": 0.8067555555555556,
      "grad_norm": 1.387312412261963,
      "learning_rate": 9.666666666666667e-06,
      "loss": 1.3489,
      "step": 9076
    },
    {
      "epoch": 0.8068444444444445,
      "grad_norm": 1.7664556503295898,
      "learning_rate": 9.662222222222223e-06,
      "loss": 1.3683,
      "step": 9077
    },
    {
      "epoch": 0.8069333333333333,
      "grad_norm": 1.4341896772384644,
      "learning_rate": 9.657777777777778e-06,
      "loss": 1.5696,
      "step": 9078
    },
    {
      "epoch": 0.8070222222222222,
      "grad_norm": 1.316248893737793,
      "learning_rate": 9.653333333333333e-06,
      "loss": 1.6,
      "step": 9079
    },
    {
      "epoch": 0.8071111111111111,
      "grad_norm": 1.7834163904190063,
      "learning_rate": 9.64888888888889e-06,
      "loss": 1.5336,
      "step": 9080
    },
    {
      "epoch": 0.8072,
      "grad_norm": 1.458621621131897,
      "learning_rate": 9.644444444444444e-06,
      "loss": 1.5749,
      "step": 9081
    },
    {
      "epoch": 0.8072888888888888,
      "grad_norm": 1.4821170568466187,
      "learning_rate": 9.640000000000001e-06,
      "loss": 1.465,
      "step": 9082
    },
    {
      "epoch": 0.8073777777777777,
      "grad_norm": 1.5556461811065674,
      "learning_rate": 9.635555555555556e-06,
      "loss": 1.4897,
      "step": 9083
    },
    {
      "epoch": 0.8074666666666667,
      "grad_norm": 1.9292453527450562,
      "learning_rate": 9.631111111111112e-06,
      "loss": 1.4727,
      "step": 9084
    },
    {
      "epoch": 0.8075555555555556,
      "grad_norm": 1.6701765060424805,
      "learning_rate": 9.626666666666667e-06,
      "loss": 1.5026,
      "step": 9085
    },
    {
      "epoch": 0.8076444444444445,
      "grad_norm": 1.707627534866333,
      "learning_rate": 9.622222222222222e-06,
      "loss": 1.5585,
      "step": 9086
    },
    {
      "epoch": 0.8077333333333333,
      "grad_norm": 1.4083921909332275,
      "learning_rate": 9.617777777777778e-06,
      "loss": 1.4737,
      "step": 9087
    },
    {
      "epoch": 0.8078222222222222,
      "grad_norm": 1.4201667308807373,
      "learning_rate": 9.613333333333333e-06,
      "loss": 1.5328,
      "step": 9088
    },
    {
      "epoch": 0.8079111111111111,
      "grad_norm": 1.4316474199295044,
      "learning_rate": 9.60888888888889e-06,
      "loss": 1.4842,
      "step": 9089
    },
    {
      "epoch": 0.808,
      "grad_norm": 1.3293200731277466,
      "learning_rate": 9.604444444444445e-06,
      "loss": 1.2511,
      "step": 9090
    },
    {
      "epoch": 0.8080888888888889,
      "grad_norm": 1.5151535272598267,
      "learning_rate": 9.600000000000001e-06,
      "loss": 1.279,
      "step": 9091
    },
    {
      "epoch": 0.8081777777777778,
      "grad_norm": 1.8311142921447754,
      "learning_rate": 9.595555555555556e-06,
      "loss": 1.7334,
      "step": 9092
    },
    {
      "epoch": 0.8082666666666667,
      "grad_norm": 2.0974063873291016,
      "learning_rate": 9.591111111111113e-06,
      "loss": 1.5505,
      "step": 9093
    },
    {
      "epoch": 0.8083555555555556,
      "grad_norm": 2.321810722351074,
      "learning_rate": 9.586666666666667e-06,
      "loss": 1.8291,
      "step": 9094
    },
    {
      "epoch": 0.8084444444444444,
      "grad_norm": 1.7637979984283447,
      "learning_rate": 9.582222222222222e-06,
      "loss": 1.6702,
      "step": 9095
    },
    {
      "epoch": 0.8085333333333333,
      "grad_norm": 1.7316745519638062,
      "learning_rate": 9.577777777777779e-06,
      "loss": 1.664,
      "step": 9096
    },
    {
      "epoch": 0.8086222222222222,
      "grad_norm": 1.448968529701233,
      "learning_rate": 9.573333333333334e-06,
      "loss": 1.5039,
      "step": 9097
    },
    {
      "epoch": 0.8087111111111112,
      "grad_norm": 1.7765848636627197,
      "learning_rate": 9.56888888888889e-06,
      "loss": 1.2444,
      "step": 9098
    },
    {
      "epoch": 0.8088,
      "grad_norm": 1.9752603769302368,
      "learning_rate": 9.564444444444445e-06,
      "loss": 1.5455,
      "step": 9099
    },
    {
      "epoch": 0.8088888888888889,
      "grad_norm": 2.5014822483062744,
      "learning_rate": 9.560000000000002e-06,
      "loss": 1.8775,
      "step": 9100
    },
    {
      "epoch": 0.8089777777777778,
      "grad_norm": 1.4125257730484009,
      "learning_rate": 9.555555555555556e-06,
      "loss": 1.5048,
      "step": 9101
    },
    {
      "epoch": 0.8090666666666667,
      "grad_norm": 1.4385275840759277,
      "learning_rate": 9.551111111111111e-06,
      "loss": 1.3206,
      "step": 9102
    },
    {
      "epoch": 0.8091555555555555,
      "grad_norm": 1.5536391735076904,
      "learning_rate": 9.546666666666668e-06,
      "loss": 1.5212,
      "step": 9103
    },
    {
      "epoch": 0.8092444444444444,
      "grad_norm": 1.543021321296692,
      "learning_rate": 9.542222222222223e-06,
      "loss": 1.5648,
      "step": 9104
    },
    {
      "epoch": 0.8093333333333333,
      "grad_norm": 1.5002598762512207,
      "learning_rate": 9.53777777777778e-06,
      "loss": 1.2748,
      "step": 9105
    },
    {
      "epoch": 0.8094222222222223,
      "grad_norm": 1.5399813652038574,
      "learning_rate": 9.533333333333334e-06,
      "loss": 1.462,
      "step": 9106
    },
    {
      "epoch": 0.8095111111111111,
      "grad_norm": 1.4335962533950806,
      "learning_rate": 9.52888888888889e-06,
      "loss": 1.5093,
      "step": 9107
    },
    {
      "epoch": 0.8096,
      "grad_norm": 1.4647183418273926,
      "learning_rate": 9.524444444444445e-06,
      "loss": 1.7417,
      "step": 9108
    },
    {
      "epoch": 0.8096888888888889,
      "grad_norm": 1.4657374620437622,
      "learning_rate": 9.52e-06,
      "loss": 1.5549,
      "step": 9109
    },
    {
      "epoch": 0.8097777777777778,
      "grad_norm": 1.4733105897903442,
      "learning_rate": 9.515555555555555e-06,
      "loss": 1.7161,
      "step": 9110
    },
    {
      "epoch": 0.8098666666666666,
      "grad_norm": 1.4575655460357666,
      "learning_rate": 9.511111111111112e-06,
      "loss": 1.6507,
      "step": 9111
    },
    {
      "epoch": 0.8099555555555555,
      "grad_norm": 1.5438735485076904,
      "learning_rate": 9.506666666666667e-06,
      "loss": 1.5365,
      "step": 9112
    },
    {
      "epoch": 0.8100444444444445,
      "grad_norm": 1.4491608142852783,
      "learning_rate": 9.502222222222221e-06,
      "loss": 1.4117,
      "step": 9113
    },
    {
      "epoch": 0.8101333333333334,
      "grad_norm": 1.6074579954147339,
      "learning_rate": 9.497777777777778e-06,
      "loss": 1.4425,
      "step": 9114
    },
    {
      "epoch": 0.8102222222222222,
      "grad_norm": 1.9038993120193481,
      "learning_rate": 9.493333333333333e-06,
      "loss": 1.5527,
      "step": 9115
    },
    {
      "epoch": 0.8103111111111111,
      "grad_norm": 1.662041187286377,
      "learning_rate": 9.48888888888889e-06,
      "loss": 1.8354,
      "step": 9116
    },
    {
      "epoch": 0.8104,
      "grad_norm": 1.6817772388458252,
      "learning_rate": 9.484444444444444e-06,
      "loss": 1.5361,
      "step": 9117
    },
    {
      "epoch": 0.8104888888888889,
      "grad_norm": 1.463836431503296,
      "learning_rate": 9.48e-06,
      "loss": 1.4405,
      "step": 9118
    },
    {
      "epoch": 0.8105777777777777,
      "grad_norm": 1.5811349153518677,
      "learning_rate": 9.475555555555556e-06,
      "loss": 1.4315,
      "step": 9119
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 1.7918275594711304,
      "learning_rate": 9.47111111111111e-06,
      "loss": 1.6358,
      "step": 9120
    },
    {
      "epoch": 0.8107555555555556,
      "grad_norm": 1.4569780826568604,
      "learning_rate": 9.466666666666667e-06,
      "loss": 1.6466,
      "step": 9121
    },
    {
      "epoch": 0.8108444444444445,
      "grad_norm": 1.3796155452728271,
      "learning_rate": 9.462222222222222e-06,
      "loss": 1.3968,
      "step": 9122
    },
    {
      "epoch": 0.8109333333333333,
      "grad_norm": 1.4933892488479614,
      "learning_rate": 9.457777777777778e-06,
      "loss": 1.6159,
      "step": 9123
    },
    {
      "epoch": 0.8110222222222222,
      "grad_norm": 1.5349740982055664,
      "learning_rate": 9.453333333333333e-06,
      "loss": 1.5593,
      "step": 9124
    },
    {
      "epoch": 0.8111111111111111,
      "grad_norm": 1.4644938707351685,
      "learning_rate": 9.44888888888889e-06,
      "loss": 1.4268,
      "step": 9125
    },
    {
      "epoch": 0.8112,
      "grad_norm": 1.716935634613037,
      "learning_rate": 9.444444444444445e-06,
      "loss": 1.5547,
      "step": 9126
    },
    {
      "epoch": 0.8112888888888888,
      "grad_norm": 1.5310964584350586,
      "learning_rate": 9.44e-06,
      "loss": 1.6563,
      "step": 9127
    },
    {
      "epoch": 0.8113777777777778,
      "grad_norm": 1.6690093278884888,
      "learning_rate": 9.435555555555556e-06,
      "loss": 1.7748,
      "step": 9128
    },
    {
      "epoch": 0.8114666666666667,
      "grad_norm": 1.8412376642227173,
      "learning_rate": 9.43111111111111e-06,
      "loss": 1.6312,
      "step": 9129
    },
    {
      "epoch": 0.8115555555555556,
      "grad_norm": 1.7511329650878906,
      "learning_rate": 9.426666666666667e-06,
      "loss": 1.5184,
      "step": 9130
    },
    {
      "epoch": 0.8116444444444444,
      "grad_norm": 1.3052603006362915,
      "learning_rate": 9.422222222222222e-06,
      "loss": 1.3667,
      "step": 9131
    },
    {
      "epoch": 0.8117333333333333,
      "grad_norm": 1.5907748937606812,
      "learning_rate": 9.417777777777779e-06,
      "loss": 1.4076,
      "step": 9132
    },
    {
      "epoch": 0.8118222222222222,
      "grad_norm": 1.6109753847122192,
      "learning_rate": 9.413333333333334e-06,
      "loss": 1.4771,
      "step": 9133
    },
    {
      "epoch": 0.8119111111111111,
      "grad_norm": 1.7710461616516113,
      "learning_rate": 9.40888888888889e-06,
      "loss": 1.5814,
      "step": 9134
    },
    {
      "epoch": 0.812,
      "grad_norm": 1.5551916360855103,
      "learning_rate": 9.404444444444445e-06,
      "loss": 1.585,
      "step": 9135
    },
    {
      "epoch": 0.8120888888888889,
      "grad_norm": 1.6841564178466797,
      "learning_rate": 9.4e-06,
      "loss": 1.3684,
      "step": 9136
    },
    {
      "epoch": 0.8121777777777778,
      "grad_norm": 1.589252233505249,
      "learning_rate": 9.395555555555556e-06,
      "loss": 1.359,
      "step": 9137
    },
    {
      "epoch": 0.8122666666666667,
      "grad_norm": 1.4610035419464111,
      "learning_rate": 9.391111111111111e-06,
      "loss": 1.4479,
      "step": 9138
    },
    {
      "epoch": 0.8123555555555556,
      "grad_norm": 2.272216320037842,
      "learning_rate": 9.386666666666668e-06,
      "loss": 1.553,
      "step": 9139
    },
    {
      "epoch": 0.8124444444444444,
      "grad_norm": 1.4634307622909546,
      "learning_rate": 9.382222222222223e-06,
      "loss": 1.4649,
      "step": 9140
    },
    {
      "epoch": 0.8125333333333333,
      "grad_norm": 1.5237042903900146,
      "learning_rate": 9.377777777777779e-06,
      "loss": 1.6104,
      "step": 9141
    },
    {
      "epoch": 0.8126222222222222,
      "grad_norm": 1.454258918762207,
      "learning_rate": 9.373333333333334e-06,
      "loss": 1.6631,
      "step": 9142
    },
    {
      "epoch": 0.8127111111111112,
      "grad_norm": 1.3041588068008423,
      "learning_rate": 9.368888888888889e-06,
      "loss": 1.4315,
      "step": 9143
    },
    {
      "epoch": 0.8128,
      "grad_norm": 1.709931492805481,
      "learning_rate": 9.364444444444445e-06,
      "loss": 1.7181,
      "step": 9144
    },
    {
      "epoch": 0.8128888888888889,
      "grad_norm": 1.4185665845870972,
      "learning_rate": 9.36e-06,
      "loss": 1.4189,
      "step": 9145
    },
    {
      "epoch": 0.8129777777777778,
      "grad_norm": 1.4073714017868042,
      "learning_rate": 9.355555555555557e-06,
      "loss": 1.3234,
      "step": 9146
    },
    {
      "epoch": 0.8130666666666667,
      "grad_norm": 1.732537865638733,
      "learning_rate": 9.351111111111112e-06,
      "loss": 1.5473,
      "step": 9147
    },
    {
      "epoch": 0.8131555555555555,
      "grad_norm": 1.67427396774292,
      "learning_rate": 9.346666666666668e-06,
      "loss": 1.481,
      "step": 9148
    },
    {
      "epoch": 0.8132444444444444,
      "grad_norm": 1.7507843971252441,
      "learning_rate": 9.342222222222223e-06,
      "loss": 1.6231,
      "step": 9149
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 1.3652803897857666,
      "learning_rate": 9.337777777777778e-06,
      "loss": 1.3725,
      "step": 9150
    },
    {
      "epoch": 0.8134222222222223,
      "grad_norm": 1.6837072372436523,
      "learning_rate": 9.333333333333334e-06,
      "loss": 1.5001,
      "step": 9151
    },
    {
      "epoch": 0.8135111111111111,
      "grad_norm": 1.4271824359893799,
      "learning_rate": 9.32888888888889e-06,
      "loss": 1.3883,
      "step": 9152
    },
    {
      "epoch": 0.8136,
      "grad_norm": 1.5506266355514526,
      "learning_rate": 9.324444444444446e-06,
      "loss": 1.5595,
      "step": 9153
    },
    {
      "epoch": 0.8136888888888889,
      "grad_norm": 1.4619277715682983,
      "learning_rate": 9.32e-06,
      "loss": 1.4183,
      "step": 9154
    },
    {
      "epoch": 0.8137777777777778,
      "grad_norm": 1.6540940999984741,
      "learning_rate": 9.315555555555557e-06,
      "loss": 1.5594,
      "step": 9155
    },
    {
      "epoch": 0.8138666666666666,
      "grad_norm": 1.491321325302124,
      "learning_rate": 9.311111111111112e-06,
      "loss": 1.6422,
      "step": 9156
    },
    {
      "epoch": 0.8139555555555555,
      "grad_norm": 1.3758301734924316,
      "learning_rate": 9.306666666666668e-06,
      "loss": 1.4435,
      "step": 9157
    },
    {
      "epoch": 0.8140444444444445,
      "grad_norm": 1.4304064512252808,
      "learning_rate": 9.302222222222223e-06,
      "loss": 1.3558,
      "step": 9158
    },
    {
      "epoch": 0.8141333333333334,
      "grad_norm": 1.3436338901519775,
      "learning_rate": 9.297777777777778e-06,
      "loss": 1.2781,
      "step": 9159
    },
    {
      "epoch": 0.8142222222222222,
      "grad_norm": 1.5298312902450562,
      "learning_rate": 9.293333333333335e-06,
      "loss": 1.6367,
      "step": 9160
    },
    {
      "epoch": 0.8143111111111111,
      "grad_norm": 1.6911869049072266,
      "learning_rate": 9.288888888888888e-06,
      "loss": 1.3143,
      "step": 9161
    },
    {
      "epoch": 0.8144,
      "grad_norm": 1.3245854377746582,
      "learning_rate": 9.284444444444444e-06,
      "loss": 1.3605,
      "step": 9162
    },
    {
      "epoch": 0.8144888888888889,
      "grad_norm": 1.3853851556777954,
      "learning_rate": 9.28e-06,
      "loss": 1.1263,
      "step": 9163
    },
    {
      "epoch": 0.8145777777777777,
      "grad_norm": 1.4623010158538818,
      "learning_rate": 9.275555555555556e-06,
      "loss": 1.5735,
      "step": 9164
    },
    {
      "epoch": 0.8146666666666667,
      "grad_norm": 1.4026169776916504,
      "learning_rate": 9.27111111111111e-06,
      "loss": 1.5092,
      "step": 9165
    },
    {
      "epoch": 0.8147555555555556,
      "grad_norm": 1.5790683031082153,
      "learning_rate": 9.266666666666667e-06,
      "loss": 1.4543,
      "step": 9166
    },
    {
      "epoch": 0.8148444444444445,
      "grad_norm": 1.5480234622955322,
      "learning_rate": 9.262222222222222e-06,
      "loss": 1.3868,
      "step": 9167
    },
    {
      "epoch": 0.8149333333333333,
      "grad_norm": 1.9962623119354248,
      "learning_rate": 9.257777777777779e-06,
      "loss": 1.6208,
      "step": 9168
    },
    {
      "epoch": 0.8150222222222222,
      "grad_norm": 1.3720650672912598,
      "learning_rate": 9.253333333333333e-06,
      "loss": 1.4004,
      "step": 9169
    },
    {
      "epoch": 0.8151111111111111,
      "grad_norm": 1.4566563367843628,
      "learning_rate": 9.248888888888888e-06,
      "loss": 1.6191,
      "step": 9170
    },
    {
      "epoch": 0.8152,
      "grad_norm": 1.512011170387268,
      "learning_rate": 9.244444444444445e-06,
      "loss": 1.6043,
      "step": 9171
    },
    {
      "epoch": 0.8152888888888888,
      "grad_norm": 2.0643253326416016,
      "learning_rate": 9.24e-06,
      "loss": 1.57,
      "step": 9172
    },
    {
      "epoch": 0.8153777777777778,
      "grad_norm": 1.61554753780365,
      "learning_rate": 9.235555555555556e-06,
      "loss": 1.5614,
      "step": 9173
    },
    {
      "epoch": 0.8154666666666667,
      "grad_norm": 1.4636262655258179,
      "learning_rate": 9.231111111111111e-06,
      "loss": 1.5937,
      "step": 9174
    },
    {
      "epoch": 0.8155555555555556,
      "grad_norm": 1.5076731443405151,
      "learning_rate": 9.226666666666668e-06,
      "loss": 1.5446,
      "step": 9175
    },
    {
      "epoch": 0.8156444444444444,
      "grad_norm": 1.5623886585235596,
      "learning_rate": 9.222222222222222e-06,
      "loss": 1.5814,
      "step": 9176
    },
    {
      "epoch": 0.8157333333333333,
      "grad_norm": 1.6061941385269165,
      "learning_rate": 9.217777777777777e-06,
      "loss": 1.5622,
      "step": 9177
    },
    {
      "epoch": 0.8158222222222222,
      "grad_norm": 1.3858914375305176,
      "learning_rate": 9.213333333333334e-06,
      "loss": 1.4217,
      "step": 9178
    },
    {
      "epoch": 0.8159111111111111,
      "grad_norm": 1.3266206979751587,
      "learning_rate": 9.208888888888889e-06,
      "loss": 1.2682,
      "step": 9179
    },
    {
      "epoch": 0.816,
      "grad_norm": 1.4664665460586548,
      "learning_rate": 9.204444444444445e-06,
      "loss": 1.5068,
      "step": 9180
    },
    {
      "epoch": 0.8160888888888889,
      "grad_norm": 1.5020899772644043,
      "learning_rate": 9.2e-06,
      "loss": 1.8487,
      "step": 9181
    },
    {
      "epoch": 0.8161777777777778,
      "grad_norm": 1.6251577138900757,
      "learning_rate": 9.195555555555557e-06,
      "loss": 1.5493,
      "step": 9182
    },
    {
      "epoch": 0.8162666666666667,
      "grad_norm": 1.577027440071106,
      "learning_rate": 9.191111111111111e-06,
      "loss": 1.5061,
      "step": 9183
    },
    {
      "epoch": 0.8163555555555555,
      "grad_norm": 1.3546953201293945,
      "learning_rate": 9.186666666666666e-06,
      "loss": 1.4782,
      "step": 9184
    },
    {
      "epoch": 0.8164444444444444,
      "grad_norm": 1.4576066732406616,
      "learning_rate": 9.182222222222223e-06,
      "loss": 1.5517,
      "step": 9185
    },
    {
      "epoch": 0.8165333333333333,
      "grad_norm": 1.531751275062561,
      "learning_rate": 9.177777777777778e-06,
      "loss": 1.644,
      "step": 9186
    },
    {
      "epoch": 0.8166222222222222,
      "grad_norm": 1.6524379253387451,
      "learning_rate": 9.173333333333334e-06,
      "loss": 1.5529,
      "step": 9187
    },
    {
      "epoch": 0.8167111111111112,
      "grad_norm": 1.574312686920166,
      "learning_rate": 9.168888888888889e-06,
      "loss": 1.8409,
      "step": 9188
    },
    {
      "epoch": 0.8168,
      "grad_norm": 1.3838003873825073,
      "learning_rate": 9.164444444444446e-06,
      "loss": 1.3695,
      "step": 9189
    },
    {
      "epoch": 0.8168888888888889,
      "grad_norm": 1.5793910026550293,
      "learning_rate": 9.16e-06,
      "loss": 1.6779,
      "step": 9190
    },
    {
      "epoch": 0.8169777777777778,
      "grad_norm": 1.5188367366790771,
      "learning_rate": 9.155555555555557e-06,
      "loss": 1.4602,
      "step": 9191
    },
    {
      "epoch": 0.8170666666666667,
      "grad_norm": 1.6340782642364502,
      "learning_rate": 9.151111111111112e-06,
      "loss": 1.6636,
      "step": 9192
    },
    {
      "epoch": 0.8171555555555555,
      "grad_norm": 2.4168059825897217,
      "learning_rate": 9.146666666666667e-06,
      "loss": 1.5737,
      "step": 9193
    },
    {
      "epoch": 0.8172444444444444,
      "grad_norm": 1.6180986166000366,
      "learning_rate": 9.142222222222223e-06,
      "loss": 1.6359,
      "step": 9194
    },
    {
      "epoch": 0.8173333333333334,
      "grad_norm": 1.8857645988464355,
      "learning_rate": 9.137777777777778e-06,
      "loss": 1.4619,
      "step": 9195
    },
    {
      "epoch": 0.8174222222222223,
      "grad_norm": 1.3397369384765625,
      "learning_rate": 9.133333333333335e-06,
      "loss": 1.4164,
      "step": 9196
    },
    {
      "epoch": 0.8175111111111111,
      "grad_norm": 1.7202415466308594,
      "learning_rate": 9.12888888888889e-06,
      "loss": 1.5755,
      "step": 9197
    },
    {
      "epoch": 0.8176,
      "grad_norm": 2.508631706237793,
      "learning_rate": 9.124444444444446e-06,
      "loss": 1.5799,
      "step": 9198
    },
    {
      "epoch": 0.8176888888888889,
      "grad_norm": 1.5573478937149048,
      "learning_rate": 9.12e-06,
      "loss": 1.551,
      "step": 9199
    },
    {
      "epoch": 0.8177777777777778,
      "grad_norm": 1.337639570236206,
      "learning_rate": 9.115555555555556e-06,
      "loss": 1.335,
      "step": 9200
    },
    {
      "epoch": 0.8178666666666666,
      "grad_norm": 1.4523735046386719,
      "learning_rate": 9.111111111111112e-06,
      "loss": 1.6165,
      "step": 9201
    },
    {
      "epoch": 0.8179555555555555,
      "grad_norm": 1.6497162580490112,
      "learning_rate": 9.106666666666667e-06,
      "loss": 1.5787,
      "step": 9202
    },
    {
      "epoch": 0.8180444444444445,
      "grad_norm": 1.6305022239685059,
      "learning_rate": 9.102222222222224e-06,
      "loss": 1.5551,
      "step": 9203
    },
    {
      "epoch": 0.8181333333333334,
      "grad_norm": 1.6081451177597046,
      "learning_rate": 9.097777777777778e-06,
      "loss": 1.5033,
      "step": 9204
    },
    {
      "epoch": 0.8182222222222222,
      "grad_norm": 1.3927984237670898,
      "learning_rate": 9.093333333333335e-06,
      "loss": 1.3916,
      "step": 9205
    },
    {
      "epoch": 0.8183111111111111,
      "grad_norm": 1.6110684871673584,
      "learning_rate": 9.08888888888889e-06,
      "loss": 1.6296,
      "step": 9206
    },
    {
      "epoch": 0.8184,
      "grad_norm": 1.6003700494766235,
      "learning_rate": 9.084444444444445e-06,
      "loss": 1.5127,
      "step": 9207
    },
    {
      "epoch": 0.8184888888888889,
      "grad_norm": 1.593492031097412,
      "learning_rate": 9.080000000000001e-06,
      "loss": 1.4946,
      "step": 9208
    },
    {
      "epoch": 0.8185777777777777,
      "grad_norm": 1.4712648391723633,
      "learning_rate": 9.075555555555556e-06,
      "loss": 1.4947,
      "step": 9209
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 1.4753812551498413,
      "learning_rate": 9.071111111111113e-06,
      "loss": 1.6494,
      "step": 9210
    },
    {
      "epoch": 0.8187555555555556,
      "grad_norm": 1.63707435131073,
      "learning_rate": 9.066666666666667e-06,
      "loss": 1.6683,
      "step": 9211
    },
    {
      "epoch": 0.8188444444444445,
      "grad_norm": 1.6203879117965698,
      "learning_rate": 9.062222222222224e-06,
      "loss": 1.5168,
      "step": 9212
    },
    {
      "epoch": 0.8189333333333333,
      "grad_norm": 1.3520275354385376,
      "learning_rate": 9.057777777777777e-06,
      "loss": 1.5008,
      "step": 9213
    },
    {
      "epoch": 0.8190222222222222,
      "grad_norm": 1.4374734163284302,
      "learning_rate": 9.053333333333334e-06,
      "loss": 1.505,
      "step": 9214
    },
    {
      "epoch": 0.8191111111111111,
      "grad_norm": 1.531093955039978,
      "learning_rate": 9.048888888888888e-06,
      "loss": 1.4734,
      "step": 9215
    },
    {
      "epoch": 0.8192,
      "grad_norm": 1.6880990266799927,
      "learning_rate": 9.044444444444445e-06,
      "loss": 1.6978,
      "step": 9216
    },
    {
      "epoch": 0.8192888888888888,
      "grad_norm": 1.481935977935791,
      "learning_rate": 9.04e-06,
      "loss": 1.5408,
      "step": 9217
    },
    {
      "epoch": 0.8193777777777778,
      "grad_norm": 1.8399291038513184,
      "learning_rate": 9.035555555555555e-06,
      "loss": 1.557,
      "step": 9218
    },
    {
      "epoch": 0.8194666666666667,
      "grad_norm": 1.8335689306259155,
      "learning_rate": 9.031111111111111e-06,
      "loss": 1.4737,
      "step": 9219
    },
    {
      "epoch": 0.8195555555555556,
      "grad_norm": 1.622076392173767,
      "learning_rate": 9.026666666666666e-06,
      "loss": 1.3101,
      "step": 9220
    },
    {
      "epoch": 0.8196444444444444,
      "grad_norm": 1.8639216423034668,
      "learning_rate": 9.022222222222223e-06,
      "loss": 1.7533,
      "step": 9221
    },
    {
      "epoch": 0.8197333333333333,
      "grad_norm": 1.370593547821045,
      "learning_rate": 9.017777777777777e-06,
      "loss": 1.6137,
      "step": 9222
    },
    {
      "epoch": 0.8198222222222222,
      "grad_norm": 1.9533370733261108,
      "learning_rate": 9.013333333333334e-06,
      "loss": 1.2838,
      "step": 9223
    },
    {
      "epoch": 0.8199111111111111,
      "grad_norm": 1.9627587795257568,
      "learning_rate": 9.008888888888889e-06,
      "loss": 1.5729,
      "step": 9224
    },
    {
      "epoch": 0.82,
      "grad_norm": 1.3394156694412231,
      "learning_rate": 9.004444444444444e-06,
      "loss": 1.2801,
      "step": 9225
    },
    {
      "epoch": 0.8200888888888889,
      "grad_norm": 1.4481064081192017,
      "learning_rate": 9e-06,
      "loss": 1.4217,
      "step": 9226
    },
    {
      "epoch": 0.8201777777777778,
      "grad_norm": 1.5549087524414062,
      "learning_rate": 8.995555555555555e-06,
      "loss": 1.6048,
      "step": 9227
    },
    {
      "epoch": 0.8202666666666667,
      "grad_norm": 1.572350263595581,
      "learning_rate": 8.991111111111112e-06,
      "loss": 1.532,
      "step": 9228
    },
    {
      "epoch": 0.8203555555555555,
      "grad_norm": 1.8617037534713745,
      "learning_rate": 8.986666666666666e-06,
      "loss": 1.4915,
      "step": 9229
    },
    {
      "epoch": 0.8204444444444444,
      "grad_norm": 1.6743272542953491,
      "learning_rate": 8.982222222222223e-06,
      "loss": 1.4957,
      "step": 9230
    },
    {
      "epoch": 0.8205333333333333,
      "grad_norm": 1.3752143383026123,
      "learning_rate": 8.977777777777778e-06,
      "loss": 1.2453,
      "step": 9231
    },
    {
      "epoch": 0.8206222222222223,
      "grad_norm": 1.5510491132736206,
      "learning_rate": 8.973333333333334e-06,
      "loss": 1.412,
      "step": 9232
    },
    {
      "epoch": 0.8207111111111111,
      "grad_norm": 1.3030726909637451,
      "learning_rate": 8.96888888888889e-06,
      "loss": 1.3885,
      "step": 9233
    },
    {
      "epoch": 0.8208,
      "grad_norm": 1.3499728441238403,
      "learning_rate": 8.964444444444444e-06,
      "loss": 1.3682,
      "step": 9234
    },
    {
      "epoch": 0.8208888888888889,
      "grad_norm": 1.443800687789917,
      "learning_rate": 8.96e-06,
      "loss": 1.5526,
      "step": 9235
    },
    {
      "epoch": 0.8209777777777778,
      "grad_norm": 1.5452510118484497,
      "learning_rate": 8.955555555555555e-06,
      "loss": 1.5264,
      "step": 9236
    },
    {
      "epoch": 0.8210666666666666,
      "grad_norm": 1.4966456890106201,
      "learning_rate": 8.951111111111112e-06,
      "loss": 1.476,
      "step": 9237
    },
    {
      "epoch": 0.8211555555555555,
      "grad_norm": 1.4459474086761475,
      "learning_rate": 8.946666666666667e-06,
      "loss": 1.5386,
      "step": 9238
    },
    {
      "epoch": 0.8212444444444444,
      "grad_norm": 1.8428400754928589,
      "learning_rate": 8.942222222222223e-06,
      "loss": 1.5742,
      "step": 9239
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 1.4802929162979126,
      "learning_rate": 8.937777777777778e-06,
      "loss": 1.6274,
      "step": 9240
    },
    {
      "epoch": 0.8214222222222223,
      "grad_norm": 1.4221570491790771,
      "learning_rate": 8.933333333333333e-06,
      "loss": 1.4654,
      "step": 9241
    },
    {
      "epoch": 0.8215111111111111,
      "grad_norm": 1.7400625944137573,
      "learning_rate": 8.92888888888889e-06,
      "loss": 1.5326,
      "step": 9242
    },
    {
      "epoch": 0.8216,
      "grad_norm": 1.5322291851043701,
      "learning_rate": 8.924444444444444e-06,
      "loss": 1.4198,
      "step": 9243
    },
    {
      "epoch": 0.8216888888888889,
      "grad_norm": 1.3307465314865112,
      "learning_rate": 8.920000000000001e-06,
      "loss": 1.2009,
      "step": 9244
    },
    {
      "epoch": 0.8217777777777778,
      "grad_norm": 1.7915184497833252,
      "learning_rate": 8.915555555555556e-06,
      "loss": 1.689,
      "step": 9245
    },
    {
      "epoch": 0.8218666666666666,
      "grad_norm": 1.5339590311050415,
      "learning_rate": 8.911111111111112e-06,
      "loss": 1.4412,
      "step": 9246
    },
    {
      "epoch": 0.8219555555555556,
      "grad_norm": 1.4517115354537964,
      "learning_rate": 8.906666666666667e-06,
      "loss": 1.3812,
      "step": 9247
    },
    {
      "epoch": 0.8220444444444445,
      "grad_norm": 1.7763792276382446,
      "learning_rate": 8.902222222222222e-06,
      "loss": 1.6862,
      "step": 9248
    },
    {
      "epoch": 0.8221333333333334,
      "grad_norm": 1.682861328125,
      "learning_rate": 8.897777777777779e-06,
      "loss": 1.6268,
      "step": 9249
    },
    {
      "epoch": 0.8222222222222222,
      "grad_norm": 1.3723958730697632,
      "learning_rate": 8.893333333333333e-06,
      "loss": 1.4038,
      "step": 9250
    },
    {
      "epoch": 0.8223111111111111,
      "grad_norm": 1.8262394666671753,
      "learning_rate": 8.88888888888889e-06,
      "loss": 1.6281,
      "step": 9251
    },
    {
      "epoch": 0.8224,
      "grad_norm": 1.715782880783081,
      "learning_rate": 8.884444444444445e-06,
      "loss": 1.2854,
      "step": 9252
    },
    {
      "epoch": 0.8224888888888889,
      "grad_norm": 1.4090890884399414,
      "learning_rate": 8.880000000000001e-06,
      "loss": 1.3821,
      "step": 9253
    },
    {
      "epoch": 0.8225777777777777,
      "grad_norm": 1.5778251886367798,
      "learning_rate": 8.875555555555556e-06,
      "loss": 1.3618,
      "step": 9254
    },
    {
      "epoch": 0.8226666666666667,
      "grad_norm": 1.802303433418274,
      "learning_rate": 8.871111111111113e-06,
      "loss": 1.5736,
      "step": 9255
    },
    {
      "epoch": 0.8227555555555556,
      "grad_norm": 1.6301928758621216,
      "learning_rate": 8.866666666666668e-06,
      "loss": 1.7115,
      "step": 9256
    },
    {
      "epoch": 0.8228444444444445,
      "grad_norm": 1.7902883291244507,
      "learning_rate": 8.862222222222222e-06,
      "loss": 1.5283,
      "step": 9257
    },
    {
      "epoch": 0.8229333333333333,
      "grad_norm": 1.5661070346832275,
      "learning_rate": 8.857777777777779e-06,
      "loss": 1.6086,
      "step": 9258
    },
    {
      "epoch": 0.8230222222222222,
      "grad_norm": 1.8381024599075317,
      "learning_rate": 8.853333333333334e-06,
      "loss": 1.169,
      "step": 9259
    },
    {
      "epoch": 0.8231111111111111,
      "grad_norm": 1.6214901208877563,
      "learning_rate": 8.84888888888889e-06,
      "loss": 1.6152,
      "step": 9260
    },
    {
      "epoch": 0.8232,
      "grad_norm": 1.7201638221740723,
      "learning_rate": 8.844444444444445e-06,
      "loss": 1.6161,
      "step": 9261
    },
    {
      "epoch": 0.8232888888888888,
      "grad_norm": 2.023909568786621,
      "learning_rate": 8.840000000000002e-06,
      "loss": 1.3449,
      "step": 9262
    },
    {
      "epoch": 0.8233777777777778,
      "grad_norm": 1.3835769891738892,
      "learning_rate": 8.835555555555557e-06,
      "loss": 1.5234,
      "step": 9263
    },
    {
      "epoch": 0.8234666666666667,
      "grad_norm": 1.698322057723999,
      "learning_rate": 8.831111111111111e-06,
      "loss": 1.6235,
      "step": 9264
    },
    {
      "epoch": 0.8235555555555556,
      "grad_norm": 1.5069462060928345,
      "learning_rate": 8.826666666666666e-06,
      "loss": 1.5354,
      "step": 9265
    },
    {
      "epoch": 0.8236444444444444,
      "grad_norm": 1.4657660722732544,
      "learning_rate": 8.822222222222223e-06,
      "loss": 1.4748,
      "step": 9266
    },
    {
      "epoch": 0.8237333333333333,
      "grad_norm": 1.480634331703186,
      "learning_rate": 8.817777777777778e-06,
      "loss": 1.364,
      "step": 9267
    },
    {
      "epoch": 0.8238222222222222,
      "grad_norm": 1.6775681972503662,
      "learning_rate": 8.813333333333333e-06,
      "loss": 1.5204,
      "step": 9268
    },
    {
      "epoch": 0.8239111111111111,
      "grad_norm": 1.9606914520263672,
      "learning_rate": 8.808888888888889e-06,
      "loss": 1.7583,
      "step": 9269
    },
    {
      "epoch": 0.824,
      "grad_norm": 1.4872677326202393,
      "learning_rate": 8.804444444444444e-06,
      "loss": 1.6313,
      "step": 9270
    },
    {
      "epoch": 0.8240888888888889,
      "grad_norm": 1.6454784870147705,
      "learning_rate": 8.8e-06,
      "loss": 1.4189,
      "step": 9271
    },
    {
      "epoch": 0.8241777777777778,
      "grad_norm": 1.6492193937301636,
      "learning_rate": 8.795555555555555e-06,
      "loss": 1.5588,
      "step": 9272
    },
    {
      "epoch": 0.8242666666666667,
      "grad_norm": 1.5298595428466797,
      "learning_rate": 8.791111111111112e-06,
      "loss": 1.6148,
      "step": 9273
    },
    {
      "epoch": 0.8243555555555555,
      "grad_norm": 1.3414340019226074,
      "learning_rate": 8.786666666666667e-06,
      "loss": 1.6845,
      "step": 9274
    },
    {
      "epoch": 0.8244444444444444,
      "grad_norm": 1.3215785026550293,
      "learning_rate": 8.782222222222222e-06,
      "loss": 1.3187,
      "step": 9275
    },
    {
      "epoch": 0.8245333333333333,
      "grad_norm": 1.4323234558105469,
      "learning_rate": 8.777777777777778e-06,
      "loss": 1.3084,
      "step": 9276
    },
    {
      "epoch": 0.8246222222222223,
      "grad_norm": 1.6029523611068726,
      "learning_rate": 8.773333333333333e-06,
      "loss": 1.6246,
      "step": 9277
    },
    {
      "epoch": 0.8247111111111111,
      "grad_norm": 1.7202218770980835,
      "learning_rate": 8.76888888888889e-06,
      "loss": 1.5317,
      "step": 9278
    },
    {
      "epoch": 0.8248,
      "grad_norm": 1.5550692081451416,
      "learning_rate": 8.764444444444444e-06,
      "loss": 1.5027,
      "step": 9279
    },
    {
      "epoch": 0.8248888888888889,
      "grad_norm": 1.7212860584259033,
      "learning_rate": 8.76e-06,
      "loss": 1.6298,
      "step": 9280
    },
    {
      "epoch": 0.8249777777777778,
      "grad_norm": 1.4679946899414062,
      "learning_rate": 8.755555555555556e-06,
      "loss": 1.4998,
      "step": 9281
    },
    {
      "epoch": 0.8250666666666666,
      "grad_norm": 1.3769546747207642,
      "learning_rate": 8.75111111111111e-06,
      "loss": 1.414,
      "step": 9282
    },
    {
      "epoch": 0.8251555555555555,
      "grad_norm": 1.738635540008545,
      "learning_rate": 8.746666666666667e-06,
      "loss": 1.5627,
      "step": 9283
    },
    {
      "epoch": 0.8252444444444444,
      "grad_norm": 1.8346065282821655,
      "learning_rate": 8.742222222222222e-06,
      "loss": 1.6926,
      "step": 9284
    },
    {
      "epoch": 0.8253333333333334,
      "grad_norm": 1.542545199394226,
      "learning_rate": 8.737777777777778e-06,
      "loss": 1.4936,
      "step": 9285
    },
    {
      "epoch": 0.8254222222222222,
      "grad_norm": 1.6590996980667114,
      "learning_rate": 8.733333333333333e-06,
      "loss": 1.6733,
      "step": 9286
    },
    {
      "epoch": 0.8255111111111111,
      "grad_norm": 2.6199591159820557,
      "learning_rate": 8.72888888888889e-06,
      "loss": 1.7677,
      "step": 9287
    },
    {
      "epoch": 0.8256,
      "grad_norm": 1.6135947704315186,
      "learning_rate": 8.724444444444445e-06,
      "loss": 1.6747,
      "step": 9288
    },
    {
      "epoch": 0.8256888888888889,
      "grad_norm": 1.517878770828247,
      "learning_rate": 8.720000000000001e-06,
      "loss": 1.5964,
      "step": 9289
    },
    {
      "epoch": 0.8257777777777778,
      "grad_norm": 1.4606080055236816,
      "learning_rate": 8.715555555555556e-06,
      "loss": 1.7052,
      "step": 9290
    },
    {
      "epoch": 0.8258666666666666,
      "grad_norm": 1.4492813348770142,
      "learning_rate": 8.711111111111111e-06,
      "loss": 1.5708,
      "step": 9291
    },
    {
      "epoch": 0.8259555555555556,
      "grad_norm": 1.2986912727355957,
      "learning_rate": 8.706666666666667e-06,
      "loss": 1.1288,
      "step": 9292
    },
    {
      "epoch": 0.8260444444444445,
      "grad_norm": 1.498538851737976,
      "learning_rate": 8.702222222222222e-06,
      "loss": 1.5424,
      "step": 9293
    },
    {
      "epoch": 0.8261333333333334,
      "grad_norm": 1.3322572708129883,
      "learning_rate": 8.697777777777779e-06,
      "loss": 1.4877,
      "step": 9294
    },
    {
      "epoch": 0.8262222222222222,
      "grad_norm": 1.617087721824646,
      "learning_rate": 8.693333333333334e-06,
      "loss": 1.3794,
      "step": 9295
    },
    {
      "epoch": 0.8263111111111111,
      "grad_norm": 1.3908352851867676,
      "learning_rate": 8.68888888888889e-06,
      "loss": 1.4001,
      "step": 9296
    },
    {
      "epoch": 0.8264,
      "grad_norm": 1.6464993953704834,
      "learning_rate": 8.684444444444445e-06,
      "loss": 1.7966,
      "step": 9297
    },
    {
      "epoch": 0.8264888888888889,
      "grad_norm": 1.5408207178115845,
      "learning_rate": 8.68e-06,
      "loss": 1.437,
      "step": 9298
    },
    {
      "epoch": 0.8265777777777777,
      "grad_norm": 1.4197814464569092,
      "learning_rate": 8.675555555555556e-06,
      "loss": 1.4686,
      "step": 9299
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 1.332196831703186,
      "learning_rate": 8.671111111111111e-06,
      "loss": 1.3036,
      "step": 9300
    },
    {
      "epoch": 0.8267555555555556,
      "grad_norm": 1.975158452987671,
      "learning_rate": 8.666666666666668e-06,
      "loss": 1.7427,
      "step": 9301
    },
    {
      "epoch": 0.8268444444444445,
      "grad_norm": 1.853149175643921,
      "learning_rate": 8.662222222222223e-06,
      "loss": 1.4729,
      "step": 9302
    },
    {
      "epoch": 0.8269333333333333,
      "grad_norm": 1.5042330026626587,
      "learning_rate": 8.65777777777778e-06,
      "loss": 1.4695,
      "step": 9303
    },
    {
      "epoch": 0.8270222222222222,
      "grad_norm": 1.4891667366027832,
      "learning_rate": 8.653333333333334e-06,
      "loss": 1.2405,
      "step": 9304
    },
    {
      "epoch": 0.8271111111111111,
      "grad_norm": 1.5100561380386353,
      "learning_rate": 8.648888888888889e-06,
      "loss": 1.6333,
      "step": 9305
    },
    {
      "epoch": 0.8272,
      "grad_norm": 1.8388301134109497,
      "learning_rate": 8.644444444444445e-06,
      "loss": 1.448,
      "step": 9306
    },
    {
      "epoch": 0.8272888888888889,
      "grad_norm": 2.4960553646087646,
      "learning_rate": 8.64e-06,
      "loss": 1.6178,
      "step": 9307
    },
    {
      "epoch": 0.8273777777777778,
      "grad_norm": 1.6382482051849365,
      "learning_rate": 8.635555555555557e-06,
      "loss": 1.5436,
      "step": 9308
    },
    {
      "epoch": 0.8274666666666667,
      "grad_norm": 1.3521136045455933,
      "learning_rate": 8.631111111111112e-06,
      "loss": 1.4927,
      "step": 9309
    },
    {
      "epoch": 0.8275555555555556,
      "grad_norm": 1.5374184846878052,
      "learning_rate": 8.626666666666668e-06,
      "loss": 1.4915,
      "step": 9310
    },
    {
      "epoch": 0.8276444444444444,
      "grad_norm": 1.4598146677017212,
      "learning_rate": 8.622222222222223e-06,
      "loss": 1.6514,
      "step": 9311
    },
    {
      "epoch": 0.8277333333333333,
      "grad_norm": 1.4251620769500732,
      "learning_rate": 8.61777777777778e-06,
      "loss": 1.345,
      "step": 9312
    },
    {
      "epoch": 0.8278222222222222,
      "grad_norm": 1.4396424293518066,
      "learning_rate": 8.613333333333334e-06,
      "loss": 1.5069,
      "step": 9313
    },
    {
      "epoch": 0.8279111111111112,
      "grad_norm": 1.5630484819412231,
      "learning_rate": 8.60888888888889e-06,
      "loss": 1.7445,
      "step": 9314
    },
    {
      "epoch": 0.828,
      "grad_norm": 1.7562098503112793,
      "learning_rate": 8.604444444444446e-06,
      "loss": 1.559,
      "step": 9315
    },
    {
      "epoch": 0.8280888888888889,
      "grad_norm": 1.7096043825149536,
      "learning_rate": 8.599999999999999e-06,
      "loss": 1.5501,
      "step": 9316
    },
    {
      "epoch": 0.8281777777777778,
      "grad_norm": 1.808127522468567,
      "learning_rate": 8.595555555555556e-06,
      "loss": 1.5039,
      "step": 9317
    },
    {
      "epoch": 0.8282666666666667,
      "grad_norm": 1.4134047031402588,
      "learning_rate": 8.59111111111111e-06,
      "loss": 1.5222,
      "step": 9318
    },
    {
      "epoch": 0.8283555555555555,
      "grad_norm": 1.3307194709777832,
      "learning_rate": 8.586666666666667e-06,
      "loss": 1.4242,
      "step": 9319
    },
    {
      "epoch": 0.8284444444444444,
      "grad_norm": 1.3840755224227905,
      "learning_rate": 8.582222222222222e-06,
      "loss": 1.6363,
      "step": 9320
    },
    {
      "epoch": 0.8285333333333333,
      "grad_norm": 1.2750744819641113,
      "learning_rate": 8.577777777777778e-06,
      "loss": 1.4171,
      "step": 9321
    },
    {
      "epoch": 0.8286222222222223,
      "grad_norm": 1.5848567485809326,
      "learning_rate": 8.573333333333333e-06,
      "loss": 1.4512,
      "step": 9322
    },
    {
      "epoch": 0.8287111111111111,
      "grad_norm": 1.531749963760376,
      "learning_rate": 8.568888888888888e-06,
      "loss": 1.6498,
      "step": 9323
    },
    {
      "epoch": 0.8288,
      "grad_norm": 1.4321770668029785,
      "learning_rate": 8.564444444444445e-06,
      "loss": 1.5167,
      "step": 9324
    },
    {
      "epoch": 0.8288888888888889,
      "grad_norm": 1.797699213027954,
      "learning_rate": 8.56e-06,
      "loss": 1.6062,
      "step": 9325
    },
    {
      "epoch": 0.8289777777777778,
      "grad_norm": 1.4864712953567505,
      "learning_rate": 8.555555555555556e-06,
      "loss": 1.4264,
      "step": 9326
    },
    {
      "epoch": 0.8290666666666666,
      "grad_norm": 2.0547187328338623,
      "learning_rate": 8.55111111111111e-06,
      "loss": 1.5371,
      "step": 9327
    },
    {
      "epoch": 0.8291555555555555,
      "grad_norm": 2.0387589931488037,
      "learning_rate": 8.546666666666667e-06,
      "loss": 1.6937,
      "step": 9328
    },
    {
      "epoch": 0.8292444444444445,
      "grad_norm": 1.3716884851455688,
      "learning_rate": 8.542222222222222e-06,
      "loss": 1.4614,
      "step": 9329
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 2.067911386489868,
      "learning_rate": 8.537777777777779e-06,
      "loss": 1.5172,
      "step": 9330
    },
    {
      "epoch": 0.8294222222222222,
      "grad_norm": 1.568153738975525,
      "learning_rate": 8.533333333333334e-06,
      "loss": 1.6071,
      "step": 9331
    },
    {
      "epoch": 0.8295111111111111,
      "grad_norm": 1.8779594898223877,
      "learning_rate": 8.528888888888888e-06,
      "loss": 1.3564,
      "step": 9332
    },
    {
      "epoch": 0.8296,
      "grad_norm": 1.4973334074020386,
      "learning_rate": 8.524444444444445e-06,
      "loss": 1.5795,
      "step": 9333
    },
    {
      "epoch": 0.8296888888888889,
      "grad_norm": 1.4876848459243774,
      "learning_rate": 8.52e-06,
      "loss": 1.3886,
      "step": 9334
    },
    {
      "epoch": 0.8297777777777777,
      "grad_norm": 1.6597981452941895,
      "learning_rate": 8.515555555555556e-06,
      "loss": 1.6475,
      "step": 9335
    },
    {
      "epoch": 0.8298666666666666,
      "grad_norm": 1.4163657426834106,
      "learning_rate": 8.511111111111111e-06,
      "loss": 1.4896,
      "step": 9336
    },
    {
      "epoch": 0.8299555555555556,
      "grad_norm": 1.5209392309188843,
      "learning_rate": 8.506666666666668e-06,
      "loss": 1.4722,
      "step": 9337
    },
    {
      "epoch": 0.8300444444444445,
      "grad_norm": 1.4501090049743652,
      "learning_rate": 8.502222222222223e-06,
      "loss": 1.3875,
      "step": 9338
    },
    {
      "epoch": 0.8301333333333333,
      "grad_norm": 1.4771188497543335,
      "learning_rate": 8.497777777777777e-06,
      "loss": 1.7006,
      "step": 9339
    },
    {
      "epoch": 0.8302222222222222,
      "grad_norm": 1.6286851167678833,
      "learning_rate": 8.493333333333334e-06,
      "loss": 1.5503,
      "step": 9340
    },
    {
      "epoch": 0.8303111111111111,
      "grad_norm": 1.8070207834243774,
      "learning_rate": 8.488888888888889e-06,
      "loss": 1.603,
      "step": 9341
    },
    {
      "epoch": 0.8304,
      "grad_norm": 1.6461743116378784,
      "learning_rate": 8.484444444444445e-06,
      "loss": 1.6187,
      "step": 9342
    },
    {
      "epoch": 0.8304888888888889,
      "grad_norm": 1.5573266744613647,
      "learning_rate": 8.48e-06,
      "loss": 1.6128,
      "step": 9343
    },
    {
      "epoch": 0.8305777777777777,
      "grad_norm": 1.5128475427627563,
      "learning_rate": 8.475555555555557e-06,
      "loss": 1.5455,
      "step": 9344
    },
    {
      "epoch": 0.8306666666666667,
      "grad_norm": 2.040133476257324,
      "learning_rate": 8.471111111111112e-06,
      "loss": 1.8132,
      "step": 9345
    },
    {
      "epoch": 0.8307555555555556,
      "grad_norm": 1.7386778593063354,
      "learning_rate": 8.466666666666666e-06,
      "loss": 1.4613,
      "step": 9346
    },
    {
      "epoch": 0.8308444444444445,
      "grad_norm": 1.9490911960601807,
      "learning_rate": 8.462222222222223e-06,
      "loss": 1.5797,
      "step": 9347
    },
    {
      "epoch": 0.8309333333333333,
      "grad_norm": 1.481594443321228,
      "learning_rate": 8.457777777777778e-06,
      "loss": 1.672,
      "step": 9348
    },
    {
      "epoch": 0.8310222222222222,
      "grad_norm": 1.6259428262710571,
      "learning_rate": 8.453333333333334e-06,
      "loss": 1.3413,
      "step": 9349
    },
    {
      "epoch": 0.8311111111111111,
      "grad_norm": 2.1995749473571777,
      "learning_rate": 8.448888888888889e-06,
      "loss": 1.7997,
      "step": 9350
    },
    {
      "epoch": 0.8312,
      "grad_norm": 1.6408978700637817,
      "learning_rate": 8.444444444444446e-06,
      "loss": 1.5763,
      "step": 9351
    },
    {
      "epoch": 0.8312888888888889,
      "grad_norm": 1.372353434562683,
      "learning_rate": 8.44e-06,
      "loss": 1.3654,
      "step": 9352
    },
    {
      "epoch": 0.8313777777777778,
      "grad_norm": 1.5859931707382202,
      "learning_rate": 8.435555555555557e-06,
      "loss": 1.6042,
      "step": 9353
    },
    {
      "epoch": 0.8314666666666667,
      "grad_norm": 1.664333701133728,
      "learning_rate": 8.431111111111112e-06,
      "loss": 1.6227,
      "step": 9354
    },
    {
      "epoch": 0.8315555555555556,
      "grad_norm": 1.9110108613967896,
      "learning_rate": 8.426666666666667e-06,
      "loss": 1.5571,
      "step": 9355
    },
    {
      "epoch": 0.8316444444444444,
      "grad_norm": 1.538886308670044,
      "learning_rate": 8.422222222222223e-06,
      "loss": 1.4155,
      "step": 9356
    },
    {
      "epoch": 0.8317333333333333,
      "grad_norm": 1.8963996171951294,
      "learning_rate": 8.417777777777778e-06,
      "loss": 1.6518,
      "step": 9357
    },
    {
      "epoch": 0.8318222222222222,
      "grad_norm": 1.6597341299057007,
      "learning_rate": 8.413333333333335e-06,
      "loss": 1.6157,
      "step": 9358
    },
    {
      "epoch": 0.8319111111111112,
      "grad_norm": 1.527714490890503,
      "learning_rate": 8.40888888888889e-06,
      "loss": 1.5375,
      "step": 9359
    },
    {
      "epoch": 0.832,
      "grad_norm": 1.7191085815429688,
      "learning_rate": 8.404444444444446e-06,
      "loss": 1.6433,
      "step": 9360
    },
    {
      "epoch": 0.8320888888888889,
      "grad_norm": 1.5222527980804443,
      "learning_rate": 8.400000000000001e-06,
      "loss": 1.6047,
      "step": 9361
    },
    {
      "epoch": 0.8321777777777778,
      "grad_norm": 1.8114506006240845,
      "learning_rate": 8.395555555555556e-06,
      "loss": 1.568,
      "step": 9362
    },
    {
      "epoch": 0.8322666666666667,
      "grad_norm": 1.681287169456482,
      "learning_rate": 8.391111111111112e-06,
      "loss": 1.3782,
      "step": 9363
    },
    {
      "epoch": 0.8323555555555555,
      "grad_norm": 1.4029067754745483,
      "learning_rate": 8.386666666666667e-06,
      "loss": 1.4957,
      "step": 9364
    },
    {
      "epoch": 0.8324444444444444,
      "grad_norm": 1.5464727878570557,
      "learning_rate": 8.382222222222224e-06,
      "loss": 1.5226,
      "step": 9365
    },
    {
      "epoch": 0.8325333333333333,
      "grad_norm": 1.7026108503341675,
      "learning_rate": 8.377777777777779e-06,
      "loss": 1.6736,
      "step": 9366
    },
    {
      "epoch": 0.8326222222222223,
      "grad_norm": 1.69447660446167,
      "learning_rate": 8.373333333333335e-06,
      "loss": 1.445,
      "step": 9367
    },
    {
      "epoch": 0.8327111111111111,
      "grad_norm": 1.611517310142517,
      "learning_rate": 8.368888888888888e-06,
      "loss": 1.2877,
      "step": 9368
    },
    {
      "epoch": 0.8328,
      "grad_norm": 2.0725936889648438,
      "learning_rate": 8.364444444444445e-06,
      "loss": 1.7746,
      "step": 9369
    },
    {
      "epoch": 0.8328888888888889,
      "grad_norm": 1.4926810264587402,
      "learning_rate": 8.36e-06,
      "loss": 1.5407,
      "step": 9370
    },
    {
      "epoch": 0.8329777777777778,
      "grad_norm": 1.469131350517273,
      "learning_rate": 8.355555555555556e-06,
      "loss": 1.4761,
      "step": 9371
    },
    {
      "epoch": 0.8330666666666666,
      "grad_norm": 2.1474366188049316,
      "learning_rate": 8.351111111111111e-06,
      "loss": 1.6495,
      "step": 9372
    },
    {
      "epoch": 0.8331555555555555,
      "grad_norm": 1.7539530992507935,
      "learning_rate": 8.346666666666666e-06,
      "loss": 1.31,
      "step": 9373
    },
    {
      "epoch": 0.8332444444444445,
      "grad_norm": 1.9425214529037476,
      "learning_rate": 8.342222222222222e-06,
      "loss": 1.4709,
      "step": 9374
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 2.045252799987793,
      "learning_rate": 8.337777777777777e-06,
      "loss": 1.5883,
      "step": 9375
    },
    {
      "epoch": 0.8334222222222222,
      "grad_norm": 1.9315887689590454,
      "learning_rate": 8.333333333333334e-06,
      "loss": 1.7565,
      "step": 9376
    },
    {
      "epoch": 0.8335111111111111,
      "grad_norm": 1.8020720481872559,
      "learning_rate": 8.328888888888889e-06,
      "loss": 1.4027,
      "step": 9377
    },
    {
      "epoch": 0.8336,
      "grad_norm": 1.4369901418685913,
      "learning_rate": 8.324444444444445e-06,
      "loss": 1.4336,
      "step": 9378
    },
    {
      "epoch": 0.8336888888888889,
      "grad_norm": 1.805807113647461,
      "learning_rate": 8.32e-06,
      "loss": 1.7537,
      "step": 9379
    },
    {
      "epoch": 0.8337777777777777,
      "grad_norm": 1.4279601573944092,
      "learning_rate": 8.315555555555555e-06,
      "loss": 1.5527,
      "step": 9380
    },
    {
      "epoch": 0.8338666666666666,
      "grad_norm": 1.7732518911361694,
      "learning_rate": 8.311111111111111e-06,
      "loss": 1.4338,
      "step": 9381
    },
    {
      "epoch": 0.8339555555555556,
      "grad_norm": 1.3820993900299072,
      "learning_rate": 8.306666666666666e-06,
      "loss": 1.4285,
      "step": 9382
    },
    {
      "epoch": 0.8340444444444445,
      "grad_norm": 1.5394505262374878,
      "learning_rate": 8.302222222222223e-06,
      "loss": 1.4424,
      "step": 9383
    },
    {
      "epoch": 0.8341333333333333,
      "grad_norm": 1.7154452800750732,
      "learning_rate": 8.297777777777778e-06,
      "loss": 1.4454,
      "step": 9384
    },
    {
      "epoch": 0.8342222222222222,
      "grad_norm": 1.5751171112060547,
      "learning_rate": 8.293333333333334e-06,
      "loss": 1.5712,
      "step": 9385
    },
    {
      "epoch": 0.8343111111111111,
      "grad_norm": 1.5804145336151123,
      "learning_rate": 8.288888888888889e-06,
      "loss": 1.6373,
      "step": 9386
    },
    {
      "epoch": 0.8344,
      "grad_norm": 1.495412826538086,
      "learning_rate": 8.284444444444446e-06,
      "loss": 1.596,
      "step": 9387
    },
    {
      "epoch": 0.8344888888888888,
      "grad_norm": 1.555986762046814,
      "learning_rate": 8.28e-06,
      "loss": 1.4145,
      "step": 9388
    },
    {
      "epoch": 0.8345777777777778,
      "grad_norm": 1.3564376831054688,
      "learning_rate": 8.275555555555555e-06,
      "loss": 1.3682,
      "step": 9389
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 1.6766552925109863,
      "learning_rate": 8.271111111111112e-06,
      "loss": 1.7278,
      "step": 9390
    },
    {
      "epoch": 0.8347555555555556,
      "grad_norm": 1.6599642038345337,
      "learning_rate": 8.266666666666667e-06,
      "loss": 1.622,
      "step": 9391
    },
    {
      "epoch": 0.8348444444444444,
      "grad_norm": 1.529259443283081,
      "learning_rate": 8.262222222222223e-06,
      "loss": 1.3909,
      "step": 9392
    },
    {
      "epoch": 0.8349333333333333,
      "grad_norm": 1.3865066766738892,
      "learning_rate": 8.257777777777778e-06,
      "loss": 1.3495,
      "step": 9393
    },
    {
      "epoch": 0.8350222222222222,
      "grad_norm": 1.5038678646087646,
      "learning_rate": 8.253333333333334e-06,
      "loss": 1.5312,
      "step": 9394
    },
    {
      "epoch": 0.8351111111111111,
      "grad_norm": 1.568617343902588,
      "learning_rate": 8.24888888888889e-06,
      "loss": 1.5472,
      "step": 9395
    },
    {
      "epoch": 0.8352,
      "grad_norm": 1.5640811920166016,
      "learning_rate": 8.244444444444444e-06,
      "loss": 1.3157,
      "step": 9396
    },
    {
      "epoch": 0.8352888888888889,
      "grad_norm": 1.3849430084228516,
      "learning_rate": 8.24e-06,
      "loss": 1.3759,
      "step": 9397
    },
    {
      "epoch": 0.8353777777777778,
      "grad_norm": 1.9433540105819702,
      "learning_rate": 8.235555555555556e-06,
      "loss": 1.6055,
      "step": 9398
    },
    {
      "epoch": 0.8354666666666667,
      "grad_norm": 1.6905816793441772,
      "learning_rate": 8.231111111111112e-06,
      "loss": 1.5876,
      "step": 9399
    },
    {
      "epoch": 0.8355555555555556,
      "grad_norm": 1.4482940435409546,
      "learning_rate": 8.226666666666667e-06,
      "loss": 1.5452,
      "step": 9400
    },
    {
      "epoch": 0.8356444444444444,
      "grad_norm": 1.79533851146698,
      "learning_rate": 8.222222222222223e-06,
      "loss": 1.6754,
      "step": 9401
    },
    {
      "epoch": 0.8357333333333333,
      "grad_norm": 1.6054996252059937,
      "learning_rate": 8.217777777777778e-06,
      "loss": 1.4191,
      "step": 9402
    },
    {
      "epoch": 0.8358222222222222,
      "grad_norm": 1.4099700450897217,
      "learning_rate": 8.213333333333333e-06,
      "loss": 1.2668,
      "step": 9403
    },
    {
      "epoch": 0.8359111111111112,
      "grad_norm": 1.4918256998062134,
      "learning_rate": 8.20888888888889e-06,
      "loss": 1.4295,
      "step": 9404
    },
    {
      "epoch": 0.836,
      "grad_norm": 1.6167553663253784,
      "learning_rate": 8.204444444444445e-06,
      "loss": 1.6462,
      "step": 9405
    },
    {
      "epoch": 0.8360888888888889,
      "grad_norm": 1.4746984243392944,
      "learning_rate": 8.200000000000001e-06,
      "loss": 1.3914,
      "step": 9406
    },
    {
      "epoch": 0.8361777777777778,
      "grad_norm": 1.962527871131897,
      "learning_rate": 8.195555555555556e-06,
      "loss": 1.4743,
      "step": 9407
    },
    {
      "epoch": 0.8362666666666667,
      "grad_norm": 1.9636601209640503,
      "learning_rate": 8.191111111111112e-06,
      "loss": 1.5445,
      "step": 9408
    },
    {
      "epoch": 0.8363555555555555,
      "grad_norm": 1.467629075050354,
      "learning_rate": 8.186666666666667e-06,
      "loss": 1.5903,
      "step": 9409
    },
    {
      "epoch": 0.8364444444444444,
      "grad_norm": 1.888048768043518,
      "learning_rate": 8.182222222222224e-06,
      "loss": 1.5659,
      "step": 9410
    },
    {
      "epoch": 0.8365333333333334,
      "grad_norm": 1.5003385543823242,
      "learning_rate": 8.177777777777779e-06,
      "loss": 1.5431,
      "step": 9411
    },
    {
      "epoch": 0.8366222222222223,
      "grad_norm": 1.4489984512329102,
      "learning_rate": 8.173333333333334e-06,
      "loss": 1.5092,
      "step": 9412
    },
    {
      "epoch": 0.8367111111111111,
      "grad_norm": 1.4503309726715088,
      "learning_rate": 8.16888888888889e-06,
      "loss": 1.6241,
      "step": 9413
    },
    {
      "epoch": 0.8368,
      "grad_norm": 1.4875622987747192,
      "learning_rate": 8.164444444444445e-06,
      "loss": 1.5175,
      "step": 9414
    },
    {
      "epoch": 0.8368888888888889,
      "grad_norm": 1.4098416566848755,
      "learning_rate": 8.160000000000001e-06,
      "loss": 1.4223,
      "step": 9415
    },
    {
      "epoch": 0.8369777777777778,
      "grad_norm": 1.6632640361785889,
      "learning_rate": 8.155555555555556e-06,
      "loss": 1.4982,
      "step": 9416
    },
    {
      "epoch": 0.8370666666666666,
      "grad_norm": 1.5973886251449585,
      "learning_rate": 8.151111111111113e-06,
      "loss": 1.5938,
      "step": 9417
    },
    {
      "epoch": 0.8371555555555555,
      "grad_norm": 2.052701234817505,
      "learning_rate": 8.146666666666668e-06,
      "loss": 1.5874,
      "step": 9418
    },
    {
      "epoch": 0.8372444444444445,
      "grad_norm": 2.0791015625,
      "learning_rate": 8.142222222222223e-06,
      "loss": 1.4303,
      "step": 9419
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 2.1408188343048096,
      "learning_rate": 8.137777777777777e-06,
      "loss": 1.761,
      "step": 9420
    },
    {
      "epoch": 0.8374222222222222,
      "grad_norm": 1.5146353244781494,
      "learning_rate": 8.133333333333332e-06,
      "loss": 1.4459,
      "step": 9421
    },
    {
      "epoch": 0.8375111111111111,
      "grad_norm": 1.4303723573684692,
      "learning_rate": 8.128888888888889e-06,
      "loss": 1.5057,
      "step": 9422
    },
    {
      "epoch": 0.8376,
      "grad_norm": 1.5360604524612427,
      "learning_rate": 8.124444444444444e-06,
      "loss": 1.5396,
      "step": 9423
    },
    {
      "epoch": 0.8376888888888889,
      "grad_norm": 1.5654029846191406,
      "learning_rate": 8.12e-06,
      "loss": 1.5129,
      "step": 9424
    },
    {
      "epoch": 0.8377777777777777,
      "grad_norm": 1.6470623016357422,
      "learning_rate": 8.115555555555555e-06,
      "loss": 1.6421,
      "step": 9425
    },
    {
      "epoch": 0.8378666666666666,
      "grad_norm": 1.5945804119110107,
      "learning_rate": 8.111111111111112e-06,
      "loss": 1.3024,
      "step": 9426
    },
    {
      "epoch": 0.8379555555555556,
      "grad_norm": 1.6491923332214355,
      "learning_rate": 8.106666666666666e-06,
      "loss": 1.9235,
      "step": 9427
    },
    {
      "epoch": 0.8380444444444445,
      "grad_norm": 2.1076583862304688,
      "learning_rate": 8.102222222222223e-06,
      "loss": 1.3859,
      "step": 9428
    },
    {
      "epoch": 0.8381333333333333,
      "grad_norm": 1.4362820386886597,
      "learning_rate": 8.097777777777778e-06,
      "loss": 1.6105,
      "step": 9429
    },
    {
      "epoch": 0.8382222222222222,
      "grad_norm": 2.1999311447143555,
      "learning_rate": 8.093333333333333e-06,
      "loss": 1.8416,
      "step": 9430
    },
    {
      "epoch": 0.8383111111111111,
      "grad_norm": 1.510594367980957,
      "learning_rate": 8.08888888888889e-06,
      "loss": 1.7113,
      "step": 9431
    },
    {
      "epoch": 0.8384,
      "grad_norm": 1.5275886058807373,
      "learning_rate": 8.084444444444444e-06,
      "loss": 1.7585,
      "step": 9432
    },
    {
      "epoch": 0.8384888888888888,
      "grad_norm": 1.4896063804626465,
      "learning_rate": 8.08e-06,
      "loss": 1.3862,
      "step": 9433
    },
    {
      "epoch": 0.8385777777777778,
      "grad_norm": 1.5763922929763794,
      "learning_rate": 8.075555555555555e-06,
      "loss": 1.6163,
      "step": 9434
    },
    {
      "epoch": 0.8386666666666667,
      "grad_norm": 1.8726848363876343,
      "learning_rate": 8.071111111111112e-06,
      "loss": 1.6755,
      "step": 9435
    },
    {
      "epoch": 0.8387555555555556,
      "grad_norm": 1.6432348489761353,
      "learning_rate": 8.066666666666667e-06,
      "loss": 1.3701,
      "step": 9436
    },
    {
      "epoch": 0.8388444444444444,
      "grad_norm": 1.6736879348754883,
      "learning_rate": 8.062222222222222e-06,
      "loss": 1.5235,
      "step": 9437
    },
    {
      "epoch": 0.8389333333333333,
      "grad_norm": 1.5412328243255615,
      "learning_rate": 8.057777777777778e-06,
      "loss": 1.7777,
      "step": 9438
    },
    {
      "epoch": 0.8390222222222222,
      "grad_norm": 1.3921520709991455,
      "learning_rate": 8.053333333333333e-06,
      "loss": 1.5555,
      "step": 9439
    },
    {
      "epoch": 0.8391111111111111,
      "grad_norm": 1.3913421630859375,
      "learning_rate": 8.04888888888889e-06,
      "loss": 1.4556,
      "step": 9440
    },
    {
      "epoch": 0.8392,
      "grad_norm": 1.6212924718856812,
      "learning_rate": 8.044444444444444e-06,
      "loss": 1.6579,
      "step": 9441
    },
    {
      "epoch": 0.8392888888888889,
      "grad_norm": 1.795777440071106,
      "learning_rate": 8.040000000000001e-06,
      "loss": 1.6201,
      "step": 9442
    },
    {
      "epoch": 0.8393777777777778,
      "grad_norm": 2.2457480430603027,
      "learning_rate": 8.035555555555556e-06,
      "loss": 1.7503,
      "step": 9443
    },
    {
      "epoch": 0.8394666666666667,
      "grad_norm": 1.6016744375228882,
      "learning_rate": 8.03111111111111e-06,
      "loss": 1.7439,
      "step": 9444
    },
    {
      "epoch": 0.8395555555555556,
      "grad_norm": 1.342397689819336,
      "learning_rate": 8.026666666666667e-06,
      "loss": 1.4008,
      "step": 9445
    },
    {
      "epoch": 0.8396444444444444,
      "grad_norm": 1.451500415802002,
      "learning_rate": 8.022222222222222e-06,
      "loss": 1.5094,
      "step": 9446
    },
    {
      "epoch": 0.8397333333333333,
      "grad_norm": 1.4337321519851685,
      "learning_rate": 8.017777777777779e-06,
      "loss": 1.5263,
      "step": 9447
    },
    {
      "epoch": 0.8398222222222222,
      "grad_norm": 1.3593872785568237,
      "learning_rate": 8.013333333333333e-06,
      "loss": 1.4569,
      "step": 9448
    },
    {
      "epoch": 0.8399111111111112,
      "grad_norm": 1.403320550918579,
      "learning_rate": 8.00888888888889e-06,
      "loss": 1.3555,
      "step": 9449
    },
    {
      "epoch": 0.84,
      "grad_norm": 2.05334734916687,
      "learning_rate": 8.004444444444445e-06,
      "loss": 1.6802,
      "step": 9450
    },
    {
      "epoch": 0.8400888888888889,
      "grad_norm": 2.3621182441711426,
      "learning_rate": 8.000000000000001e-06,
      "loss": 1.9713,
      "step": 9451
    },
    {
      "epoch": 0.8401777777777778,
      "grad_norm": 1.5090007781982422,
      "learning_rate": 7.995555555555556e-06,
      "loss": 1.512,
      "step": 9452
    },
    {
      "epoch": 0.8402666666666667,
      "grad_norm": 2.1059012413024902,
      "learning_rate": 7.991111111111111e-06,
      "loss": 1.666,
      "step": 9453
    },
    {
      "epoch": 0.8403555555555555,
      "grad_norm": 1.711263656616211,
      "learning_rate": 7.986666666666668e-06,
      "loss": 1.6607,
      "step": 9454
    },
    {
      "epoch": 0.8404444444444444,
      "grad_norm": 1.5445401668548584,
      "learning_rate": 7.982222222222222e-06,
      "loss": 1.7434,
      "step": 9455
    },
    {
      "epoch": 0.8405333333333334,
      "grad_norm": 2.6053178310394287,
      "learning_rate": 7.977777777777779e-06,
      "loss": 1.6908,
      "step": 9456
    },
    {
      "epoch": 0.8406222222222223,
      "grad_norm": 1.5091909170150757,
      "learning_rate": 7.973333333333334e-06,
      "loss": 1.6535,
      "step": 9457
    },
    {
      "epoch": 0.8407111111111111,
      "grad_norm": 1.6150455474853516,
      "learning_rate": 7.96888888888889e-06,
      "loss": 1.6914,
      "step": 9458
    },
    {
      "epoch": 0.8408,
      "grad_norm": 1.5734412670135498,
      "learning_rate": 7.964444444444445e-06,
      "loss": 1.5062,
      "step": 9459
    },
    {
      "epoch": 0.8408888888888889,
      "grad_norm": 1.4518505334854126,
      "learning_rate": 7.96e-06,
      "loss": 1.5988,
      "step": 9460
    },
    {
      "epoch": 0.8409777777777778,
      "grad_norm": 1.392987608909607,
      "learning_rate": 7.955555555555557e-06,
      "loss": 1.64,
      "step": 9461
    },
    {
      "epoch": 0.8410666666666666,
      "grad_norm": 1.4901220798492432,
      "learning_rate": 7.951111111111111e-06,
      "loss": 1.4685,
      "step": 9462
    },
    {
      "epoch": 0.8411555555555555,
      "grad_norm": 1.5640935897827148,
      "learning_rate": 7.946666666666668e-06,
      "loss": 1.2468,
      "step": 9463
    },
    {
      "epoch": 0.8412444444444445,
      "grad_norm": 1.4848661422729492,
      "learning_rate": 7.942222222222223e-06,
      "loss": 1.6169,
      "step": 9464
    },
    {
      "epoch": 0.8413333333333334,
      "grad_norm": 1.8476566076278687,
      "learning_rate": 7.93777777777778e-06,
      "loss": 1.3346,
      "step": 9465
    },
    {
      "epoch": 0.8414222222222222,
      "grad_norm": 1.7067828178405762,
      "learning_rate": 7.933333333333334e-06,
      "loss": 1.6592,
      "step": 9466
    },
    {
      "epoch": 0.8415111111111111,
      "grad_norm": 1.553364872932434,
      "learning_rate": 7.928888888888889e-06,
      "loss": 1.6193,
      "step": 9467
    },
    {
      "epoch": 0.8416,
      "grad_norm": 1.4642552137374878,
      "learning_rate": 7.924444444444446e-06,
      "loss": 1.3531,
      "step": 9468
    },
    {
      "epoch": 0.8416888888888889,
      "grad_norm": 1.5964003801345825,
      "learning_rate": 7.92e-06,
      "loss": 1.4464,
      "step": 9469
    },
    {
      "epoch": 0.8417777777777777,
      "grad_norm": 1.9333080053329468,
      "learning_rate": 7.915555555555557e-06,
      "loss": 1.5873,
      "step": 9470
    },
    {
      "epoch": 0.8418666666666667,
      "grad_norm": 1.3400508165359497,
      "learning_rate": 7.91111111111111e-06,
      "loss": 1.2558,
      "step": 9471
    },
    {
      "epoch": 0.8419555555555556,
      "grad_norm": 1.4653722047805786,
      "learning_rate": 7.906666666666667e-06,
      "loss": 1.6584,
      "step": 9472
    },
    {
      "epoch": 0.8420444444444445,
      "grad_norm": 1.8993585109710693,
      "learning_rate": 7.902222222222221e-06,
      "loss": 1.6934,
      "step": 9473
    },
    {
      "epoch": 0.8421333333333333,
      "grad_norm": 1.4932974576950073,
      "learning_rate": 7.897777777777778e-06,
      "loss": 1.2538,
      "step": 9474
    },
    {
      "epoch": 0.8422222222222222,
      "grad_norm": 1.656748652458191,
      "learning_rate": 7.893333333333333e-06,
      "loss": 1.6763,
      "step": 9475
    },
    {
      "epoch": 0.8423111111111111,
      "grad_norm": 1.729502558708191,
      "learning_rate": 7.88888888888889e-06,
      "loss": 1.5863,
      "step": 9476
    },
    {
      "epoch": 0.8424,
      "grad_norm": 1.4010767936706543,
      "learning_rate": 7.884444444444444e-06,
      "loss": 1.5434,
      "step": 9477
    },
    {
      "epoch": 0.8424888888888888,
      "grad_norm": 1.5725879669189453,
      "learning_rate": 7.879999999999999e-06,
      "loss": 1.6984,
      "step": 9478
    },
    {
      "epoch": 0.8425777777777778,
      "grad_norm": 1.4121862649917603,
      "learning_rate": 7.875555555555556e-06,
      "loss": 1.2758,
      "step": 9479
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 1.6227420568466187,
      "learning_rate": 7.87111111111111e-06,
      "loss": 1.6491,
      "step": 9480
    },
    {
      "epoch": 0.8427555555555556,
      "grad_norm": 1.9139641523361206,
      "learning_rate": 7.866666666666667e-06,
      "loss": 1.5233,
      "step": 9481
    },
    {
      "epoch": 0.8428444444444444,
      "grad_norm": 1.4511563777923584,
      "learning_rate": 7.862222222222222e-06,
      "loss": 1.4452,
      "step": 9482
    },
    {
      "epoch": 0.8429333333333333,
      "grad_norm": 1.8702404499053955,
      "learning_rate": 7.857777777777778e-06,
      "loss": 1.4579,
      "step": 9483
    },
    {
      "epoch": 0.8430222222222222,
      "grad_norm": 1.6637343168258667,
      "learning_rate": 7.853333333333333e-06,
      "loss": 1.6817,
      "step": 9484
    },
    {
      "epoch": 0.8431111111111111,
      "grad_norm": 1.516683578491211,
      "learning_rate": 7.84888888888889e-06,
      "loss": 1.5657,
      "step": 9485
    },
    {
      "epoch": 0.8432,
      "grad_norm": 1.635931372642517,
      "learning_rate": 7.844444444444445e-06,
      "loss": 1.3185,
      "step": 9486
    },
    {
      "epoch": 0.8432888888888889,
      "grad_norm": 1.577996015548706,
      "learning_rate": 7.84e-06,
      "loss": 1.532,
      "step": 9487
    },
    {
      "epoch": 0.8433777777777778,
      "grad_norm": 1.5050159692764282,
      "learning_rate": 7.835555555555556e-06,
      "loss": 1.4569,
      "step": 9488
    },
    {
      "epoch": 0.8434666666666667,
      "grad_norm": 1.7114429473876953,
      "learning_rate": 7.831111111111111e-06,
      "loss": 1.4769,
      "step": 9489
    },
    {
      "epoch": 0.8435555555555555,
      "grad_norm": 1.7477552890777588,
      "learning_rate": 7.826666666666667e-06,
      "loss": 1.4901,
      "step": 9490
    },
    {
      "epoch": 0.8436444444444444,
      "grad_norm": 1.3909311294555664,
      "learning_rate": 7.822222222222222e-06,
      "loss": 1.3774,
      "step": 9491
    },
    {
      "epoch": 0.8437333333333333,
      "grad_norm": 1.5462757349014282,
      "learning_rate": 7.817777777777779e-06,
      "loss": 1.3062,
      "step": 9492
    },
    {
      "epoch": 0.8438222222222223,
      "grad_norm": 1.8148443698883057,
      "learning_rate": 7.813333333333334e-06,
      "loss": 1.5304,
      "step": 9493
    },
    {
      "epoch": 0.8439111111111111,
      "grad_norm": 1.5276473760604858,
      "learning_rate": 7.808888888888888e-06,
      "loss": 1.2589,
      "step": 9494
    },
    {
      "epoch": 0.844,
      "grad_norm": 2.016000270843506,
      "learning_rate": 7.804444444444445e-06,
      "loss": 1.4576,
      "step": 9495
    },
    {
      "epoch": 0.8440888888888889,
      "grad_norm": 1.7473034858703613,
      "learning_rate": 7.8e-06,
      "loss": 1.6995,
      "step": 9496
    },
    {
      "epoch": 0.8441777777777778,
      "grad_norm": 1.79918372631073,
      "learning_rate": 7.795555555555556e-06,
      "loss": 1.5503,
      "step": 9497
    },
    {
      "epoch": 0.8442666666666667,
      "grad_norm": 1.4568582773208618,
      "learning_rate": 7.791111111111111e-06,
      "loss": 1.4338,
      "step": 9498
    },
    {
      "epoch": 0.8443555555555555,
      "grad_norm": 1.4578133821487427,
      "learning_rate": 7.786666666666668e-06,
      "loss": 1.5084,
      "step": 9499
    },
    {
      "epoch": 0.8444444444444444,
      "grad_norm": 1.4087399244308472,
      "learning_rate": 7.782222222222223e-06,
      "loss": 1.2965,
      "step": 9500
    },
    {
      "epoch": 0.8445333333333334,
      "grad_norm": 1.6024796962738037,
      "learning_rate": 7.777777777777777e-06,
      "loss": 1.5621,
      "step": 9501
    },
    {
      "epoch": 0.8446222222222223,
      "grad_norm": 1.3598979711532593,
      "learning_rate": 7.773333333333334e-06,
      "loss": 1.4884,
      "step": 9502
    },
    {
      "epoch": 0.8447111111111111,
      "grad_norm": 1.6703659296035767,
      "learning_rate": 7.768888888888889e-06,
      "loss": 1.436,
      "step": 9503
    },
    {
      "epoch": 0.8448,
      "grad_norm": 1.46133291721344,
      "learning_rate": 7.764444444444445e-06,
      "loss": 1.5995,
      "step": 9504
    },
    {
      "epoch": 0.8448888888888889,
      "grad_norm": 1.4109069108963013,
      "learning_rate": 7.76e-06,
      "loss": 1.4243,
      "step": 9505
    },
    {
      "epoch": 0.8449777777777778,
      "grad_norm": 1.814054250717163,
      "learning_rate": 7.755555555555557e-06,
      "loss": 1.5036,
      "step": 9506
    },
    {
      "epoch": 0.8450666666666666,
      "grad_norm": 1.5052945613861084,
      "learning_rate": 7.751111111111112e-06,
      "loss": 1.4852,
      "step": 9507
    },
    {
      "epoch": 0.8451555555555555,
      "grad_norm": 1.5082638263702393,
      "learning_rate": 7.746666666666668e-06,
      "loss": 1.3777,
      "step": 9508
    },
    {
      "epoch": 0.8452444444444445,
      "grad_norm": 1.4697719812393188,
      "learning_rate": 7.742222222222223e-06,
      "loss": 1.5044,
      "step": 9509
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 1.619095802307129,
      "learning_rate": 7.737777777777778e-06,
      "loss": 1.6183,
      "step": 9510
    },
    {
      "epoch": 0.8454222222222222,
      "grad_norm": 1.7335838079452515,
      "learning_rate": 7.733333333333334e-06,
      "loss": 1.5722,
      "step": 9511
    },
    {
      "epoch": 0.8455111111111111,
      "grad_norm": 1.4177114963531494,
      "learning_rate": 7.72888888888889e-06,
      "loss": 1.4413,
      "step": 9512
    },
    {
      "epoch": 0.8456,
      "grad_norm": 1.4630539417266846,
      "learning_rate": 7.724444444444446e-06,
      "loss": 1.3984,
      "step": 9513
    },
    {
      "epoch": 0.8456888888888889,
      "grad_norm": 1.622336506843567,
      "learning_rate": 7.72e-06,
      "loss": 1.441,
      "step": 9514
    },
    {
      "epoch": 0.8457777777777777,
      "grad_norm": 1.6091264486312866,
      "learning_rate": 7.715555555555557e-06,
      "loss": 1.3689,
      "step": 9515
    },
    {
      "epoch": 0.8458666666666667,
      "grad_norm": 1.5390305519104004,
      "learning_rate": 7.711111111111112e-06,
      "loss": 1.5409,
      "step": 9516
    },
    {
      "epoch": 0.8459555555555556,
      "grad_norm": 1.4790115356445312,
      "learning_rate": 7.706666666666667e-06,
      "loss": 1.5042,
      "step": 9517
    },
    {
      "epoch": 0.8460444444444445,
      "grad_norm": 1.4254162311553955,
      "learning_rate": 7.702222222222223e-06,
      "loss": 1.5512,
      "step": 9518
    },
    {
      "epoch": 0.8461333333333333,
      "grad_norm": 1.6526682376861572,
      "learning_rate": 7.697777777777778e-06,
      "loss": 1.4052,
      "step": 9519
    },
    {
      "epoch": 0.8462222222222222,
      "grad_norm": 1.6757795810699463,
      "learning_rate": 7.693333333333335e-06,
      "loss": 1.4166,
      "step": 9520
    },
    {
      "epoch": 0.8463111111111111,
      "grad_norm": 1.605555772781372,
      "learning_rate": 7.68888888888889e-06,
      "loss": 1.6471,
      "step": 9521
    },
    {
      "epoch": 0.8464,
      "grad_norm": 1.508651614189148,
      "learning_rate": 7.684444444444446e-06,
      "loss": 1.6031,
      "step": 9522
    },
    {
      "epoch": 0.8464888888888888,
      "grad_norm": 1.8477115631103516,
      "learning_rate": 7.68e-06,
      "loss": 1.6437,
      "step": 9523
    },
    {
      "epoch": 0.8465777777777778,
      "grad_norm": 2.16162109375,
      "learning_rate": 7.675555555555556e-06,
      "loss": 1.349,
      "step": 9524
    },
    {
      "epoch": 0.8466666666666667,
      "grad_norm": 1.4502732753753662,
      "learning_rate": 7.67111111111111e-06,
      "loss": 1.5008,
      "step": 9525
    },
    {
      "epoch": 0.8467555555555556,
      "grad_norm": 1.6260507106781006,
      "learning_rate": 7.666666666666667e-06,
      "loss": 1.4666,
      "step": 9526
    },
    {
      "epoch": 0.8468444444444444,
      "grad_norm": 2.0592918395996094,
      "learning_rate": 7.662222222222222e-06,
      "loss": 1.5568,
      "step": 9527
    },
    {
      "epoch": 0.8469333333333333,
      "grad_norm": 1.6051057577133179,
      "learning_rate": 7.657777777777777e-06,
      "loss": 1.498,
      "step": 9528
    },
    {
      "epoch": 0.8470222222222222,
      "grad_norm": 1.7984968423843384,
      "learning_rate": 7.653333333333333e-06,
      "loss": 1.7287,
      "step": 9529
    },
    {
      "epoch": 0.8471111111111111,
      "grad_norm": 1.4026362895965576,
      "learning_rate": 7.648888888888888e-06,
      "loss": 1.3878,
      "step": 9530
    },
    {
      "epoch": 0.8472,
      "grad_norm": 1.3244009017944336,
      "learning_rate": 7.644444444444445e-06,
      "loss": 1.4398,
      "step": 9531
    },
    {
      "epoch": 0.8472888888888889,
      "grad_norm": 1.661163330078125,
      "learning_rate": 7.64e-06,
      "loss": 1.4525,
      "step": 9532
    },
    {
      "epoch": 0.8473777777777778,
      "grad_norm": 1.9052538871765137,
      "learning_rate": 7.635555555555556e-06,
      "loss": 1.5971,
      "step": 9533
    },
    {
      "epoch": 0.8474666666666667,
      "grad_norm": 1.5195461511611938,
      "learning_rate": 7.631111111111111e-06,
      "loss": 1.4368,
      "step": 9534
    },
    {
      "epoch": 0.8475555555555555,
      "grad_norm": 1.6577800512313843,
      "learning_rate": 7.626666666666667e-06,
      "loss": 1.5785,
      "step": 9535
    },
    {
      "epoch": 0.8476444444444444,
      "grad_norm": 1.6638247966766357,
      "learning_rate": 7.6222222222222225e-06,
      "loss": 1.511,
      "step": 9536
    },
    {
      "epoch": 0.8477333333333333,
      "grad_norm": 1.5157864093780518,
      "learning_rate": 7.617777777777778e-06,
      "loss": 1.4934,
      "step": 9537
    },
    {
      "epoch": 0.8478222222222223,
      "grad_norm": 1.7037179470062256,
      "learning_rate": 7.613333333333334e-06,
      "loss": 1.5381,
      "step": 9538
    },
    {
      "epoch": 0.8479111111111111,
      "grad_norm": 1.3473687171936035,
      "learning_rate": 7.608888888888889e-06,
      "loss": 1.4076,
      "step": 9539
    },
    {
      "epoch": 0.848,
      "grad_norm": 1.6785062551498413,
      "learning_rate": 7.604444444444444e-06,
      "loss": 1.5698,
      "step": 9540
    },
    {
      "epoch": 0.8480888888888889,
      "grad_norm": 1.480812430381775,
      "learning_rate": 7.6e-06,
      "loss": 1.5671,
      "step": 9541
    },
    {
      "epoch": 0.8481777777777778,
      "grad_norm": 1.6757410764694214,
      "learning_rate": 7.595555555555556e-06,
      "loss": 1.55,
      "step": 9542
    },
    {
      "epoch": 0.8482666666666666,
      "grad_norm": 1.2493337392807007,
      "learning_rate": 7.5911111111111115e-06,
      "loss": 1.2605,
      "step": 9543
    },
    {
      "epoch": 0.8483555555555555,
      "grad_norm": 1.485632061958313,
      "learning_rate": 7.586666666666667e-06,
      "loss": 1.4232,
      "step": 9544
    },
    {
      "epoch": 0.8484444444444444,
      "grad_norm": 1.3951027393341064,
      "learning_rate": 7.582222222222223e-06,
      "loss": 1.3101,
      "step": 9545
    },
    {
      "epoch": 0.8485333333333334,
      "grad_norm": 1.8395168781280518,
      "learning_rate": 7.577777777777778e-06,
      "loss": 1.6255,
      "step": 9546
    },
    {
      "epoch": 0.8486222222222222,
      "grad_norm": 1.6139845848083496,
      "learning_rate": 7.573333333333333e-06,
      "loss": 1.4051,
      "step": 9547
    },
    {
      "epoch": 0.8487111111111111,
      "grad_norm": 1.5575730800628662,
      "learning_rate": 7.568888888888889e-06,
      "loss": 1.4836,
      "step": 9548
    },
    {
      "epoch": 0.8488,
      "grad_norm": 1.603782296180725,
      "learning_rate": 7.564444444444445e-06,
      "loss": 1.4595,
      "step": 9549
    },
    {
      "epoch": 0.8488888888888889,
      "grad_norm": 1.6329690217971802,
      "learning_rate": 7.5600000000000005e-06,
      "loss": 1.4553,
      "step": 9550
    },
    {
      "epoch": 0.8489777777777778,
      "grad_norm": 1.584279179573059,
      "learning_rate": 7.555555555555556e-06,
      "loss": 1.6452,
      "step": 9551
    },
    {
      "epoch": 0.8490666666666666,
      "grad_norm": 1.573035717010498,
      "learning_rate": 7.551111111111112e-06,
      "loss": 1.4174,
      "step": 9552
    },
    {
      "epoch": 0.8491555555555556,
      "grad_norm": 1.5616430044174194,
      "learning_rate": 7.5466666666666675e-06,
      "loss": 1.4976,
      "step": 9553
    },
    {
      "epoch": 0.8492444444444445,
      "grad_norm": 1.7806004285812378,
      "learning_rate": 7.542222222222222e-06,
      "loss": 1.681,
      "step": 9554
    },
    {
      "epoch": 0.8493333333333334,
      "grad_norm": 1.8471601009368896,
      "learning_rate": 7.537777777777778e-06,
      "loss": 1.821,
      "step": 9555
    },
    {
      "epoch": 0.8494222222222222,
      "grad_norm": 1.4931334257125854,
      "learning_rate": 7.533333333333334e-06,
      "loss": 1.392,
      "step": 9556
    },
    {
      "epoch": 0.8495111111111111,
      "grad_norm": 1.378313422203064,
      "learning_rate": 7.5288888888888895e-06,
      "loss": 1.4647,
      "step": 9557
    },
    {
      "epoch": 0.8496,
      "grad_norm": 1.8665825128555298,
      "learning_rate": 7.524444444444445e-06,
      "loss": 1.4834,
      "step": 9558
    },
    {
      "epoch": 0.8496888888888889,
      "grad_norm": 1.835497260093689,
      "learning_rate": 7.520000000000001e-06,
      "loss": 1.4964,
      "step": 9559
    },
    {
      "epoch": 0.8497777777777777,
      "grad_norm": 1.4266691207885742,
      "learning_rate": 7.5155555555555565e-06,
      "loss": 1.3684,
      "step": 9560
    },
    {
      "epoch": 0.8498666666666667,
      "grad_norm": 1.4012762308120728,
      "learning_rate": 7.511111111111112e-06,
      "loss": 1.3564,
      "step": 9561
    },
    {
      "epoch": 0.8499555555555556,
      "grad_norm": 1.4780374765396118,
      "learning_rate": 7.506666666666667e-06,
      "loss": 1.5075,
      "step": 9562
    },
    {
      "epoch": 0.8500444444444445,
      "grad_norm": 1.6224937438964844,
      "learning_rate": 7.502222222222223e-06,
      "loss": 1.7331,
      "step": 9563
    },
    {
      "epoch": 0.8501333333333333,
      "grad_norm": 1.566523551940918,
      "learning_rate": 7.4977777777777785e-06,
      "loss": 1.7182,
      "step": 9564
    },
    {
      "epoch": 0.8502222222222222,
      "grad_norm": 1.83257257938385,
      "learning_rate": 7.493333333333334e-06,
      "loss": 1.7341,
      "step": 9565
    },
    {
      "epoch": 0.8503111111111111,
      "grad_norm": 1.617148756980896,
      "learning_rate": 7.48888888888889e-06,
      "loss": 1.442,
      "step": 9566
    },
    {
      "epoch": 0.8504,
      "grad_norm": 1.541393756866455,
      "learning_rate": 7.4844444444444455e-06,
      "loss": 1.5092,
      "step": 9567
    },
    {
      "epoch": 0.8504888888888888,
      "grad_norm": 1.5191409587860107,
      "learning_rate": 7.480000000000001e-06,
      "loss": 1.4836,
      "step": 9568
    },
    {
      "epoch": 0.8505777777777778,
      "grad_norm": 1.9341338872909546,
      "learning_rate": 7.475555555555556e-06,
      "loss": 1.5986,
      "step": 9569
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 1.5147732496261597,
      "learning_rate": 7.471111111111112e-06,
      "loss": 1.4481,
      "step": 9570
    },
    {
      "epoch": 0.8507555555555556,
      "grad_norm": 1.6288366317749023,
      "learning_rate": 7.4666666666666675e-06,
      "loss": 1.6798,
      "step": 9571
    },
    {
      "epoch": 0.8508444444444444,
      "grad_norm": 2.012495517730713,
      "learning_rate": 7.462222222222223e-06,
      "loss": 1.5543,
      "step": 9572
    },
    {
      "epoch": 0.8509333333333333,
      "grad_norm": 1.5398699045181274,
      "learning_rate": 7.457777777777779e-06,
      "loss": 1.5281,
      "step": 9573
    },
    {
      "epoch": 0.8510222222222222,
      "grad_norm": 1.641249656677246,
      "learning_rate": 7.453333333333333e-06,
      "loss": 1.4621,
      "step": 9574
    },
    {
      "epoch": 0.8511111111111112,
      "grad_norm": 1.534798264503479,
      "learning_rate": 7.4488888888888885e-06,
      "loss": 1.4675,
      "step": 9575
    },
    {
      "epoch": 0.8512,
      "grad_norm": 1.4695738554000854,
      "learning_rate": 7.444444444444444e-06,
      "loss": 1.5802,
      "step": 9576
    },
    {
      "epoch": 0.8512888888888889,
      "grad_norm": 1.5489734411239624,
      "learning_rate": 7.44e-06,
      "loss": 1.4301,
      "step": 9577
    },
    {
      "epoch": 0.8513777777777778,
      "grad_norm": 1.4681477546691895,
      "learning_rate": 7.435555555555556e-06,
      "loss": 1.5587,
      "step": 9578
    },
    {
      "epoch": 0.8514666666666667,
      "grad_norm": 1.6462665796279907,
      "learning_rate": 7.431111111111111e-06,
      "loss": 1.6304,
      "step": 9579
    },
    {
      "epoch": 0.8515555555555555,
      "grad_norm": 1.4858291149139404,
      "learning_rate": 7.426666666666666e-06,
      "loss": 1.4177,
      "step": 9580
    },
    {
      "epoch": 0.8516444444444444,
      "grad_norm": 1.6836708784103394,
      "learning_rate": 7.422222222222222e-06,
      "loss": 1.4983,
      "step": 9581
    },
    {
      "epoch": 0.8517333333333333,
      "grad_norm": 1.673979640007019,
      "learning_rate": 7.4177777777777775e-06,
      "loss": 1.513,
      "step": 9582
    },
    {
      "epoch": 0.8518222222222223,
      "grad_norm": 1.5883976221084595,
      "learning_rate": 7.413333333333333e-06,
      "loss": 1.5298,
      "step": 9583
    },
    {
      "epoch": 0.8519111111111111,
      "grad_norm": 1.6569702625274658,
      "learning_rate": 7.408888888888889e-06,
      "loss": 1.8239,
      "step": 9584
    },
    {
      "epoch": 0.852,
      "grad_norm": 1.6874454021453857,
      "learning_rate": 7.404444444444445e-06,
      "loss": 1.4472,
      "step": 9585
    },
    {
      "epoch": 0.8520888888888889,
      "grad_norm": 1.49809730052948,
      "learning_rate": 7.4e-06,
      "loss": 1.3978,
      "step": 9586
    },
    {
      "epoch": 0.8521777777777778,
      "grad_norm": 1.4458707571029663,
      "learning_rate": 7.395555555555556e-06,
      "loss": 1.6467,
      "step": 9587
    },
    {
      "epoch": 0.8522666666666666,
      "grad_norm": 1.6125340461730957,
      "learning_rate": 7.391111111111111e-06,
      "loss": 1.5204,
      "step": 9588
    },
    {
      "epoch": 0.8523555555555555,
      "grad_norm": 1.5420048236846924,
      "learning_rate": 7.3866666666666665e-06,
      "loss": 1.4838,
      "step": 9589
    },
    {
      "epoch": 0.8524444444444444,
      "grad_norm": 1.2828811407089233,
      "learning_rate": 7.382222222222222e-06,
      "loss": 1.3574,
      "step": 9590
    },
    {
      "epoch": 0.8525333333333334,
      "grad_norm": 1.664289116859436,
      "learning_rate": 7.377777777777778e-06,
      "loss": 1.3894,
      "step": 9591
    },
    {
      "epoch": 0.8526222222222222,
      "grad_norm": 1.3459641933441162,
      "learning_rate": 7.373333333333334e-06,
      "loss": 1.2849,
      "step": 9592
    },
    {
      "epoch": 0.8527111111111111,
      "grad_norm": 1.4767823219299316,
      "learning_rate": 7.368888888888889e-06,
      "loss": 1.4876,
      "step": 9593
    },
    {
      "epoch": 0.8528,
      "grad_norm": 1.7575474977493286,
      "learning_rate": 7.364444444444445e-06,
      "loss": 1.698,
      "step": 9594
    },
    {
      "epoch": 0.8528888888888889,
      "grad_norm": 1.729256272315979,
      "learning_rate": 7.36e-06,
      "loss": 1.5838,
      "step": 9595
    },
    {
      "epoch": 0.8529777777777777,
      "grad_norm": 2.327476739883423,
      "learning_rate": 7.3555555555555555e-06,
      "loss": 1.6414,
      "step": 9596
    },
    {
      "epoch": 0.8530666666666666,
      "grad_norm": 1.4309523105621338,
      "learning_rate": 7.351111111111111e-06,
      "loss": 1.5066,
      "step": 9597
    },
    {
      "epoch": 0.8531555555555556,
      "grad_norm": 1.4761841297149658,
      "learning_rate": 7.346666666666667e-06,
      "loss": 1.528,
      "step": 9598
    },
    {
      "epoch": 0.8532444444444445,
      "grad_norm": 1.8173960447311401,
      "learning_rate": 7.342222222222223e-06,
      "loss": 1.2921,
      "step": 9599
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 1.6059212684631348,
      "learning_rate": 7.337777777777778e-06,
      "loss": 1.755,
      "step": 9600
    },
    {
      "epoch": 0.8534222222222222,
      "grad_norm": 1.8386867046356201,
      "learning_rate": 7.333333333333334e-06,
      "loss": 1.635,
      "step": 9601
    },
    {
      "epoch": 0.8535111111111111,
      "grad_norm": 1.6440434455871582,
      "learning_rate": 7.32888888888889e-06,
      "loss": 1.7107,
      "step": 9602
    },
    {
      "epoch": 0.8536,
      "grad_norm": 2.086348056793213,
      "learning_rate": 7.3244444444444445e-06,
      "loss": 1.5307,
      "step": 9603
    },
    {
      "epoch": 0.8536888888888889,
      "grad_norm": 1.9493756294250488,
      "learning_rate": 7.32e-06,
      "loss": 1.655,
      "step": 9604
    },
    {
      "epoch": 0.8537777777777777,
      "grad_norm": 1.3236345052719116,
      "learning_rate": 7.315555555555556e-06,
      "loss": 1.4563,
      "step": 9605
    },
    {
      "epoch": 0.8538666666666667,
      "grad_norm": 1.5369614362716675,
      "learning_rate": 7.311111111111112e-06,
      "loss": 1.529,
      "step": 9606
    },
    {
      "epoch": 0.8539555555555556,
      "grad_norm": 1.7321873903274536,
      "learning_rate": 7.306666666666667e-06,
      "loss": 1.4689,
      "step": 9607
    },
    {
      "epoch": 0.8540444444444445,
      "grad_norm": 1.6156400442123413,
      "learning_rate": 7.302222222222223e-06,
      "loss": 1.4718,
      "step": 9608
    },
    {
      "epoch": 0.8541333333333333,
      "grad_norm": 1.8325233459472656,
      "learning_rate": 7.297777777777779e-06,
      "loss": 1.5322,
      "step": 9609
    },
    {
      "epoch": 0.8542222222222222,
      "grad_norm": 1.4406116008758545,
      "learning_rate": 7.293333333333334e-06,
      "loss": 1.436,
      "step": 9610
    },
    {
      "epoch": 0.8543111111111111,
      "grad_norm": 1.4215476512908936,
      "learning_rate": 7.288888888888889e-06,
      "loss": 1.421,
      "step": 9611
    },
    {
      "epoch": 0.8544,
      "grad_norm": 2.1403677463531494,
      "learning_rate": 7.284444444444445e-06,
      "loss": 1.5224,
      "step": 9612
    },
    {
      "epoch": 0.8544888888888889,
      "grad_norm": 2.0307111740112305,
      "learning_rate": 7.280000000000001e-06,
      "loss": 1.5492,
      "step": 9613
    },
    {
      "epoch": 0.8545777777777778,
      "grad_norm": 1.716797947883606,
      "learning_rate": 7.275555555555556e-06,
      "loss": 1.6276,
      "step": 9614
    },
    {
      "epoch": 0.8546666666666667,
      "grad_norm": 1.6011115312576294,
      "learning_rate": 7.271111111111112e-06,
      "loss": 1.6807,
      "step": 9615
    },
    {
      "epoch": 0.8547555555555556,
      "grad_norm": 1.6377965211868286,
      "learning_rate": 7.266666666666668e-06,
      "loss": 1.4405,
      "step": 9616
    },
    {
      "epoch": 0.8548444444444444,
      "grad_norm": 1.3848419189453125,
      "learning_rate": 7.262222222222223e-06,
      "loss": 1.4307,
      "step": 9617
    },
    {
      "epoch": 0.8549333333333333,
      "grad_norm": 1.3993167877197266,
      "learning_rate": 7.257777777777778e-06,
      "loss": 1.4858,
      "step": 9618
    },
    {
      "epoch": 0.8550222222222222,
      "grad_norm": 1.6175392866134644,
      "learning_rate": 7.253333333333334e-06,
      "loss": 1.5157,
      "step": 9619
    },
    {
      "epoch": 0.8551111111111112,
      "grad_norm": 1.8680016994476318,
      "learning_rate": 7.24888888888889e-06,
      "loss": 1.6938,
      "step": 9620
    },
    {
      "epoch": 0.8552,
      "grad_norm": 1.4809443950653076,
      "learning_rate": 7.244444444444445e-06,
      "loss": 1.5017,
      "step": 9621
    },
    {
      "epoch": 0.8552888888888889,
      "grad_norm": 1.5123567581176758,
      "learning_rate": 7.240000000000001e-06,
      "loss": 1.4015,
      "step": 9622
    },
    {
      "epoch": 0.8553777777777778,
      "grad_norm": 1.7630811929702759,
      "learning_rate": 7.235555555555557e-06,
      "loss": 1.5487,
      "step": 9623
    },
    {
      "epoch": 0.8554666666666667,
      "grad_norm": 1.650024175643921,
      "learning_rate": 7.231111111111112e-06,
      "loss": 1.4359,
      "step": 9624
    },
    {
      "epoch": 0.8555555555555555,
      "grad_norm": 1.4762603044509888,
      "learning_rate": 7.226666666666668e-06,
      "loss": 1.5337,
      "step": 9625
    },
    {
      "epoch": 0.8556444444444444,
      "grad_norm": 1.727406620979309,
      "learning_rate": 7.222222222222222e-06,
      "loss": 1.2141,
      "step": 9626
    },
    {
      "epoch": 0.8557333333333333,
      "grad_norm": 1.638594150543213,
      "learning_rate": 7.217777777777778e-06,
      "loss": 1.6274,
      "step": 9627
    },
    {
      "epoch": 0.8558222222222223,
      "grad_norm": 1.4509724378585815,
      "learning_rate": 7.2133333333333334e-06,
      "loss": 1.5379,
      "step": 9628
    },
    {
      "epoch": 0.8559111111111111,
      "grad_norm": 1.5920473337173462,
      "learning_rate": 7.208888888888888e-06,
      "loss": 1.592,
      "step": 9629
    },
    {
      "epoch": 0.856,
      "grad_norm": 1.6080052852630615,
      "learning_rate": 7.204444444444444e-06,
      "loss": 1.5405,
      "step": 9630
    },
    {
      "epoch": 0.8560888888888889,
      "grad_norm": 1.6985539197921753,
      "learning_rate": 7.2e-06,
      "loss": 1.6091,
      "step": 9631
    },
    {
      "epoch": 0.8561777777777778,
      "grad_norm": 1.6797292232513428,
      "learning_rate": 7.195555555555555e-06,
      "loss": 1.4258,
      "step": 9632
    },
    {
      "epoch": 0.8562666666666666,
      "grad_norm": 1.3476873636245728,
      "learning_rate": 7.191111111111111e-06,
      "loss": 1.3178,
      "step": 9633
    },
    {
      "epoch": 0.8563555555555555,
      "grad_norm": 1.8021297454833984,
      "learning_rate": 7.186666666666667e-06,
      "loss": 1.2647,
      "step": 9634
    },
    {
      "epoch": 0.8564444444444445,
      "grad_norm": 1.8390343189239502,
      "learning_rate": 7.1822222222222224e-06,
      "loss": 1.3828,
      "step": 9635
    },
    {
      "epoch": 0.8565333333333334,
      "grad_norm": 1.3756279945373535,
      "learning_rate": 7.177777777777778e-06,
      "loss": 1.4707,
      "step": 9636
    },
    {
      "epoch": 0.8566222222222222,
      "grad_norm": 1.4289345741271973,
      "learning_rate": 7.173333333333333e-06,
      "loss": 1.4194,
      "step": 9637
    },
    {
      "epoch": 0.8567111111111111,
      "grad_norm": 1.480078101158142,
      "learning_rate": 7.168888888888889e-06,
      "loss": 1.3679,
      "step": 9638
    },
    {
      "epoch": 0.8568,
      "grad_norm": 1.982816219329834,
      "learning_rate": 7.164444444444444e-06,
      "loss": 1.5593,
      "step": 9639
    },
    {
      "epoch": 0.8568888888888889,
      "grad_norm": 1.6461706161499023,
      "learning_rate": 7.16e-06,
      "loss": 1.5757,
      "step": 9640
    },
    {
      "epoch": 0.8569777777777777,
      "grad_norm": 1.6262513399124146,
      "learning_rate": 7.155555555555556e-06,
      "loss": 1.4608,
      "step": 9641
    },
    {
      "epoch": 0.8570666666666666,
      "grad_norm": 1.6330465078353882,
      "learning_rate": 7.1511111111111114e-06,
      "loss": 1.5948,
      "step": 9642
    },
    {
      "epoch": 0.8571555555555556,
      "grad_norm": 1.6205642223358154,
      "learning_rate": 7.146666666666667e-06,
      "loss": 1.7792,
      "step": 9643
    },
    {
      "epoch": 0.8572444444444445,
      "grad_norm": 1.40877103805542,
      "learning_rate": 7.142222222222222e-06,
      "loss": 1.5009,
      "step": 9644
    },
    {
      "epoch": 0.8573333333333333,
      "grad_norm": 1.376509666442871,
      "learning_rate": 7.137777777777778e-06,
      "loss": 1.3875,
      "step": 9645
    },
    {
      "epoch": 0.8574222222222222,
      "grad_norm": 1.6098544597625732,
      "learning_rate": 7.133333333333333e-06,
      "loss": 1.435,
      "step": 9646
    },
    {
      "epoch": 0.8575111111111111,
      "grad_norm": 1.8312991857528687,
      "learning_rate": 7.128888888888889e-06,
      "loss": 1.6968,
      "step": 9647
    },
    {
      "epoch": 0.8576,
      "grad_norm": 1.5310760736465454,
      "learning_rate": 7.124444444444445e-06,
      "loss": 1.5275,
      "step": 9648
    },
    {
      "epoch": 0.8576888888888888,
      "grad_norm": 1.4169025421142578,
      "learning_rate": 7.1200000000000004e-06,
      "loss": 1.5825,
      "step": 9649
    },
    {
      "epoch": 0.8577777777777778,
      "grad_norm": 1.4617794752120972,
      "learning_rate": 7.115555555555556e-06,
      "loss": 1.2541,
      "step": 9650
    },
    {
      "epoch": 0.8578666666666667,
      "grad_norm": 1.5388455390930176,
      "learning_rate": 7.111111111111112e-06,
      "loss": 1.644,
      "step": 9651
    },
    {
      "epoch": 0.8579555555555556,
      "grad_norm": 3.887110471725464,
      "learning_rate": 7.106666666666667e-06,
      "loss": 1.6228,
      "step": 9652
    },
    {
      "epoch": 0.8580444444444445,
      "grad_norm": 1.4941308498382568,
      "learning_rate": 7.102222222222222e-06,
      "loss": 1.4517,
      "step": 9653
    },
    {
      "epoch": 0.8581333333333333,
      "grad_norm": 1.52925705909729,
      "learning_rate": 7.097777777777778e-06,
      "loss": 1.5303,
      "step": 9654
    },
    {
      "epoch": 0.8582222222222222,
      "grad_norm": 1.6706079244613647,
      "learning_rate": 7.093333333333334e-06,
      "loss": 1.5827,
      "step": 9655
    },
    {
      "epoch": 0.8583111111111111,
      "grad_norm": 2.2714245319366455,
      "learning_rate": 7.0888888888888894e-06,
      "loss": 1.6687,
      "step": 9656
    },
    {
      "epoch": 0.8584,
      "grad_norm": 1.6094413995742798,
      "learning_rate": 7.084444444444445e-06,
      "loss": 1.6555,
      "step": 9657
    },
    {
      "epoch": 0.8584888888888889,
      "grad_norm": 1.4462943077087402,
      "learning_rate": 7.080000000000001e-06,
      "loss": 1.3931,
      "step": 9658
    },
    {
      "epoch": 0.8585777777777778,
      "grad_norm": 1.4295921325683594,
      "learning_rate": 7.0755555555555565e-06,
      "loss": 1.4265,
      "step": 9659
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 1.456990361213684,
      "learning_rate": 7.071111111111111e-06,
      "loss": 1.5481,
      "step": 9660
    },
    {
      "epoch": 0.8587555555555556,
      "grad_norm": 1.654322862625122,
      "learning_rate": 7.066666666666667e-06,
      "loss": 1.5534,
      "step": 9661
    },
    {
      "epoch": 0.8588444444444444,
      "grad_norm": 1.4085109233856201,
      "learning_rate": 7.062222222222223e-06,
      "loss": 1.5047,
      "step": 9662
    },
    {
      "epoch": 0.8589333333333333,
      "grad_norm": 1.870367169380188,
      "learning_rate": 7.0577777777777784e-06,
      "loss": 1.5748,
      "step": 9663
    },
    {
      "epoch": 0.8590222222222222,
      "grad_norm": 1.5606577396392822,
      "learning_rate": 7.053333333333334e-06,
      "loss": 1.498,
      "step": 9664
    },
    {
      "epoch": 0.8591111111111112,
      "grad_norm": 1.455522060394287,
      "learning_rate": 7.04888888888889e-06,
      "loss": 1.2535,
      "step": 9665
    },
    {
      "epoch": 0.8592,
      "grad_norm": 1.797713279724121,
      "learning_rate": 7.0444444444444455e-06,
      "loss": 1.6279,
      "step": 9666
    },
    {
      "epoch": 0.8592888888888889,
      "grad_norm": 1.4549657106399536,
      "learning_rate": 7.04e-06,
      "loss": 1.3147,
      "step": 9667
    },
    {
      "epoch": 0.8593777777777778,
      "grad_norm": 1.4882501363754272,
      "learning_rate": 7.035555555555556e-06,
      "loss": 1.5156,
      "step": 9668
    },
    {
      "epoch": 0.8594666666666667,
      "grad_norm": 1.8299404382705688,
      "learning_rate": 7.031111111111112e-06,
      "loss": 1.4303,
      "step": 9669
    },
    {
      "epoch": 0.8595555555555555,
      "grad_norm": 1.6755619049072266,
      "learning_rate": 7.0266666666666674e-06,
      "loss": 1.5691,
      "step": 9670
    },
    {
      "epoch": 0.8596444444444444,
      "grad_norm": 1.5602411031723022,
      "learning_rate": 7.022222222222223e-06,
      "loss": 1.5831,
      "step": 9671
    },
    {
      "epoch": 0.8597333333333333,
      "grad_norm": 1.6765813827514648,
      "learning_rate": 7.017777777777779e-06,
      "loss": 1.6065,
      "step": 9672
    },
    {
      "epoch": 0.8598222222222223,
      "grad_norm": 1.730633020401001,
      "learning_rate": 7.0133333333333345e-06,
      "loss": 1.4228,
      "step": 9673
    },
    {
      "epoch": 0.8599111111111111,
      "grad_norm": 1.3944848775863647,
      "learning_rate": 7.00888888888889e-06,
      "loss": 1.5297,
      "step": 9674
    },
    {
      "epoch": 0.86,
      "grad_norm": 1.7118877172470093,
      "learning_rate": 7.004444444444445e-06,
      "loss": 1.3913,
      "step": 9675
    },
    {
      "epoch": 0.8600888888888889,
      "grad_norm": 6.145051956176758,
      "learning_rate": 7.000000000000001e-06,
      "loss": 1.849,
      "step": 9676
    },
    {
      "epoch": 0.8601777777777778,
      "grad_norm": 1.5731819868087769,
      "learning_rate": 6.9955555555555564e-06,
      "loss": 1.5087,
      "step": 9677
    },
    {
      "epoch": 0.8602666666666666,
      "grad_norm": 1.6536362171173096,
      "learning_rate": 6.9911111111111104e-06,
      "loss": 1.4838,
      "step": 9678
    },
    {
      "epoch": 0.8603555555555555,
      "grad_norm": 1.7462927103042603,
      "learning_rate": 6.986666666666666e-06,
      "loss": 1.6798,
      "step": 9679
    },
    {
      "epoch": 0.8604444444444445,
      "grad_norm": 1.4649158716201782,
      "learning_rate": 6.982222222222222e-06,
      "loss": 1.5955,
      "step": 9680
    },
    {
      "epoch": 0.8605333333333334,
      "grad_norm": 1.7768176794052124,
      "learning_rate": 6.9777777777777775e-06,
      "loss": 1.4342,
      "step": 9681
    },
    {
      "epoch": 0.8606222222222222,
      "grad_norm": 1.9726184606552124,
      "learning_rate": 6.973333333333333e-06,
      "loss": 1.6881,
      "step": 9682
    },
    {
      "epoch": 0.8607111111111111,
      "grad_norm": 1.4174703359603882,
      "learning_rate": 6.968888888888889e-06,
      "loss": 1.3159,
      "step": 9683
    },
    {
      "epoch": 0.8608,
      "grad_norm": 1.626206874847412,
      "learning_rate": 6.964444444444445e-06,
      "loss": 1.4897,
      "step": 9684
    },
    {
      "epoch": 0.8608888888888889,
      "grad_norm": 1.9236994981765747,
      "learning_rate": 6.9599999999999994e-06,
      "loss": 1.8192,
      "step": 9685
    },
    {
      "epoch": 0.8609777777777777,
      "grad_norm": 2.0615625381469727,
      "learning_rate": 6.955555555555555e-06,
      "loss": 1.9091,
      "step": 9686
    },
    {
      "epoch": 0.8610666666666666,
      "grad_norm": 2.1136698722839355,
      "learning_rate": 6.951111111111111e-06,
      "loss": 1.4841,
      "step": 9687
    },
    {
      "epoch": 0.8611555555555556,
      "grad_norm": 1.459301471710205,
      "learning_rate": 6.9466666666666665e-06,
      "loss": 1.4312,
      "step": 9688
    },
    {
      "epoch": 0.8612444444444445,
      "grad_norm": 1.432437777519226,
      "learning_rate": 6.942222222222222e-06,
      "loss": 1.249,
      "step": 9689
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 1.5468968152999878,
      "learning_rate": 6.937777777777778e-06,
      "loss": 1.5,
      "step": 9690
    },
    {
      "epoch": 0.8614222222222222,
      "grad_norm": 1.4988089799880981,
      "learning_rate": 6.933333333333334e-06,
      "loss": 1.5831,
      "step": 9691
    },
    {
      "epoch": 0.8615111111111111,
      "grad_norm": 1.476730227470398,
      "learning_rate": 6.928888888888889e-06,
      "loss": 1.3809,
      "step": 9692
    },
    {
      "epoch": 0.8616,
      "grad_norm": 1.4415392875671387,
      "learning_rate": 6.924444444444444e-06,
      "loss": 1.4641,
      "step": 9693
    },
    {
      "epoch": 0.8616888888888888,
      "grad_norm": 1.4009602069854736,
      "learning_rate": 6.92e-06,
      "loss": 1.335,
      "step": 9694
    },
    {
      "epoch": 0.8617777777777778,
      "grad_norm": 1.3974800109863281,
      "learning_rate": 6.9155555555555555e-06,
      "loss": 1.2778,
      "step": 9695
    },
    {
      "epoch": 0.8618666666666667,
      "grad_norm": 1.5993732213974,
      "learning_rate": 6.911111111111111e-06,
      "loss": 1.6366,
      "step": 9696
    },
    {
      "epoch": 0.8619555555555556,
      "grad_norm": 1.4274827241897583,
      "learning_rate": 6.906666666666667e-06,
      "loss": 1.2889,
      "step": 9697
    },
    {
      "epoch": 0.8620444444444444,
      "grad_norm": 1.6027064323425293,
      "learning_rate": 6.902222222222223e-06,
      "loss": 1.3373,
      "step": 9698
    },
    {
      "epoch": 0.8621333333333333,
      "grad_norm": 1.696826457977295,
      "learning_rate": 6.897777777777778e-06,
      "loss": 1.5395,
      "step": 9699
    },
    {
      "epoch": 0.8622222222222222,
      "grad_norm": 1.574414849281311,
      "learning_rate": 6.893333333333334e-06,
      "loss": 1.5604,
      "step": 9700
    },
    {
      "epoch": 0.8623111111111111,
      "grad_norm": 1.583525538444519,
      "learning_rate": 6.888888888888889e-06,
      "loss": 1.6379,
      "step": 9701
    },
    {
      "epoch": 0.8624,
      "grad_norm": 1.8602893352508545,
      "learning_rate": 6.8844444444444445e-06,
      "loss": 1.7396,
      "step": 9702
    },
    {
      "epoch": 0.8624888888888889,
      "grad_norm": 1.5792969465255737,
      "learning_rate": 6.88e-06,
      "loss": 1.6209,
      "step": 9703
    },
    {
      "epoch": 0.8625777777777778,
      "grad_norm": 1.7109477519989014,
      "learning_rate": 6.875555555555556e-06,
      "loss": 1.4201,
      "step": 9704
    },
    {
      "epoch": 0.8626666666666667,
      "grad_norm": 1.5122376680374146,
      "learning_rate": 6.871111111111112e-06,
      "loss": 1.405,
      "step": 9705
    },
    {
      "epoch": 0.8627555555555556,
      "grad_norm": 2.423300266265869,
      "learning_rate": 6.866666666666667e-06,
      "loss": 1.4123,
      "step": 9706
    },
    {
      "epoch": 0.8628444444444444,
      "grad_norm": 1.7955482006072998,
      "learning_rate": 6.862222222222223e-06,
      "loss": 1.3766,
      "step": 9707
    },
    {
      "epoch": 0.8629333333333333,
      "grad_norm": 2.100677967071533,
      "learning_rate": 6.857777777777779e-06,
      "loss": 1.693,
      "step": 9708
    },
    {
      "epoch": 0.8630222222222222,
      "grad_norm": 1.9635826349258423,
      "learning_rate": 6.8533333333333335e-06,
      "loss": 1.4102,
      "step": 9709
    },
    {
      "epoch": 0.8631111111111112,
      "grad_norm": 1.4283970594406128,
      "learning_rate": 6.848888888888889e-06,
      "loss": 1.1721,
      "step": 9710
    },
    {
      "epoch": 0.8632,
      "grad_norm": 2.034397602081299,
      "learning_rate": 6.844444444444445e-06,
      "loss": 1.717,
      "step": 9711
    },
    {
      "epoch": 0.8632888888888889,
      "grad_norm": 1.588853120803833,
      "learning_rate": 6.840000000000001e-06,
      "loss": 1.4972,
      "step": 9712
    },
    {
      "epoch": 0.8633777777777778,
      "grad_norm": 1.6247055530548096,
      "learning_rate": 6.835555555555556e-06,
      "loss": 1.2856,
      "step": 9713
    },
    {
      "epoch": 0.8634666666666667,
      "grad_norm": 2.035452127456665,
      "learning_rate": 6.831111111111112e-06,
      "loss": 1.5201,
      "step": 9714
    },
    {
      "epoch": 0.8635555555555555,
      "grad_norm": 1.8397358655929565,
      "learning_rate": 6.826666666666668e-06,
      "loss": 1.7199,
      "step": 9715
    },
    {
      "epoch": 0.8636444444444444,
      "grad_norm": 1.4487354755401611,
      "learning_rate": 6.8222222222222225e-06,
      "loss": 1.3551,
      "step": 9716
    },
    {
      "epoch": 0.8637333333333334,
      "grad_norm": 1.583788514137268,
      "learning_rate": 6.817777777777778e-06,
      "loss": 1.6409,
      "step": 9717
    },
    {
      "epoch": 0.8638222222222223,
      "grad_norm": 1.5602343082427979,
      "learning_rate": 6.813333333333334e-06,
      "loss": 1.5389,
      "step": 9718
    },
    {
      "epoch": 0.8639111111111111,
      "grad_norm": 1.8959590196609497,
      "learning_rate": 6.80888888888889e-06,
      "loss": 1.5878,
      "step": 9719
    },
    {
      "epoch": 0.864,
      "grad_norm": 2.045958995819092,
      "learning_rate": 6.804444444444445e-06,
      "loss": 1.5905,
      "step": 9720
    },
    {
      "epoch": 0.8640888888888889,
      "grad_norm": 1.4765598773956299,
      "learning_rate": 6.800000000000001e-06,
      "loss": 1.5276,
      "step": 9721
    },
    {
      "epoch": 0.8641777777777778,
      "grad_norm": 1.5884144306182861,
      "learning_rate": 6.795555555555557e-06,
      "loss": 1.4933,
      "step": 9722
    },
    {
      "epoch": 0.8642666666666666,
      "grad_norm": 1.6613918542861938,
      "learning_rate": 6.791111111111112e-06,
      "loss": 1.5122,
      "step": 9723
    },
    {
      "epoch": 0.8643555555555555,
      "grad_norm": 1.4742940664291382,
      "learning_rate": 6.786666666666667e-06,
      "loss": 1.5579,
      "step": 9724
    },
    {
      "epoch": 0.8644444444444445,
      "grad_norm": 1.529033899307251,
      "learning_rate": 6.782222222222223e-06,
      "loss": 1.4473,
      "step": 9725
    },
    {
      "epoch": 0.8645333333333334,
      "grad_norm": 1.8367445468902588,
      "learning_rate": 6.777777777777779e-06,
      "loss": 1.6128,
      "step": 9726
    },
    {
      "epoch": 0.8646222222222222,
      "grad_norm": 1.9442970752716064,
      "learning_rate": 6.773333333333334e-06,
      "loss": 1.6196,
      "step": 9727
    },
    {
      "epoch": 0.8647111111111111,
      "grad_norm": 1.609988808631897,
      "learning_rate": 6.76888888888889e-06,
      "loss": 1.5492,
      "step": 9728
    },
    {
      "epoch": 0.8648,
      "grad_norm": 1.7534799575805664,
      "learning_rate": 6.764444444444444e-06,
      "loss": 1.5914,
      "step": 9729
    },
    {
      "epoch": 0.8648888888888889,
      "grad_norm": 1.9765567779541016,
      "learning_rate": 6.76e-06,
      "loss": 1.5842,
      "step": 9730
    },
    {
      "epoch": 0.8649777777777777,
      "grad_norm": 1.6571478843688965,
      "learning_rate": 6.755555555555555e-06,
      "loss": 1.4348,
      "step": 9731
    },
    {
      "epoch": 0.8650666666666667,
      "grad_norm": 2.0632872581481934,
      "learning_rate": 6.751111111111111e-06,
      "loss": 1.58,
      "step": 9732
    },
    {
      "epoch": 0.8651555555555556,
      "grad_norm": 1.5005074739456177,
      "learning_rate": 6.746666666666667e-06,
      "loss": 1.3079,
      "step": 9733
    },
    {
      "epoch": 0.8652444444444445,
      "grad_norm": 1.4807709455490112,
      "learning_rate": 6.7422222222222216e-06,
      "loss": 1.69,
      "step": 9734
    },
    {
      "epoch": 0.8653333333333333,
      "grad_norm": 2.0009162425994873,
      "learning_rate": 6.737777777777777e-06,
      "loss": 1.3872,
      "step": 9735
    },
    {
      "epoch": 0.8654222222222222,
      "grad_norm": 1.6742056608200073,
      "learning_rate": 6.733333333333333e-06,
      "loss": 1.5011,
      "step": 9736
    },
    {
      "epoch": 0.8655111111111111,
      "grad_norm": 1.423758864402771,
      "learning_rate": 6.728888888888889e-06,
      "loss": 1.394,
      "step": 9737
    },
    {
      "epoch": 0.8656,
      "grad_norm": 1.6787383556365967,
      "learning_rate": 6.724444444444444e-06,
      "loss": 1.4236,
      "step": 9738
    },
    {
      "epoch": 0.8656888888888888,
      "grad_norm": 1.5330919027328491,
      "learning_rate": 6.72e-06,
      "loss": 1.5515,
      "step": 9739
    },
    {
      "epoch": 0.8657777777777778,
      "grad_norm": 1.498892903327942,
      "learning_rate": 6.715555555555556e-06,
      "loss": 1.3316,
      "step": 9740
    },
    {
      "epoch": 0.8658666666666667,
      "grad_norm": 1.637425184249878,
      "learning_rate": 6.711111111111111e-06,
      "loss": 1.4599,
      "step": 9741
    },
    {
      "epoch": 0.8659555555555556,
      "grad_norm": 1.505174160003662,
      "learning_rate": 6.706666666666666e-06,
      "loss": 1.6583,
      "step": 9742
    },
    {
      "epoch": 0.8660444444444444,
      "grad_norm": 1.4861633777618408,
      "learning_rate": 6.702222222222222e-06,
      "loss": 1.5381,
      "step": 9743
    },
    {
      "epoch": 0.8661333333333333,
      "grad_norm": 1.6649147272109985,
      "learning_rate": 6.697777777777778e-06,
      "loss": 1.6577,
      "step": 9744
    },
    {
      "epoch": 0.8662222222222222,
      "grad_norm": 1.751874566078186,
      "learning_rate": 6.693333333333333e-06,
      "loss": 1.591,
      "step": 9745
    },
    {
      "epoch": 0.8663111111111111,
      "grad_norm": 1.7240548133850098,
      "learning_rate": 6.688888888888889e-06,
      "loss": 1.5661,
      "step": 9746
    },
    {
      "epoch": 0.8664,
      "grad_norm": 1.2797205448150635,
      "learning_rate": 6.684444444444445e-06,
      "loss": 1.0573,
      "step": 9747
    },
    {
      "epoch": 0.8664888888888889,
      "grad_norm": 1.5267283916473389,
      "learning_rate": 6.68e-06,
      "loss": 1.5587,
      "step": 9748
    },
    {
      "epoch": 0.8665777777777778,
      "grad_norm": 1.542533040046692,
      "learning_rate": 6.675555555555556e-06,
      "loss": 1.4686,
      "step": 9749
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 1.5936393737792969,
      "learning_rate": 6.671111111111111e-06,
      "loss": 1.6585,
      "step": 9750
    },
    {
      "epoch": 0.8667555555555555,
      "grad_norm": 1.5187433958053589,
      "learning_rate": 6.666666666666667e-06,
      "loss": 1.2754,
      "step": 9751
    },
    {
      "epoch": 0.8668444444444444,
      "grad_norm": 1.5349899530410767,
      "learning_rate": 6.662222222222222e-06,
      "loss": 1.4944,
      "step": 9752
    },
    {
      "epoch": 0.8669333333333333,
      "grad_norm": 1.3250491619110107,
      "learning_rate": 6.657777777777778e-06,
      "loss": 1.4033,
      "step": 9753
    },
    {
      "epoch": 0.8670222222222222,
      "grad_norm": 1.8076694011688232,
      "learning_rate": 6.653333333333334e-06,
      "loss": 1.6129,
      "step": 9754
    },
    {
      "epoch": 0.8671111111111112,
      "grad_norm": 1.852041244506836,
      "learning_rate": 6.648888888888889e-06,
      "loss": 1.7412,
      "step": 9755
    },
    {
      "epoch": 0.8672,
      "grad_norm": 1.5142539739608765,
      "learning_rate": 6.644444444444445e-06,
      "loss": 1.3931,
      "step": 9756
    },
    {
      "epoch": 0.8672888888888889,
      "grad_norm": 1.5329248905181885,
      "learning_rate": 6.640000000000001e-06,
      "loss": 1.5078,
      "step": 9757
    },
    {
      "epoch": 0.8673777777777778,
      "grad_norm": 2.0102903842926025,
      "learning_rate": 6.635555555555556e-06,
      "loss": 1.5147,
      "step": 9758
    },
    {
      "epoch": 0.8674666666666667,
      "grad_norm": 1.433871865272522,
      "learning_rate": 6.631111111111111e-06,
      "loss": 1.4903,
      "step": 9759
    },
    {
      "epoch": 0.8675555555555555,
      "grad_norm": 1.6612730026245117,
      "learning_rate": 6.626666666666667e-06,
      "loss": 1.7158,
      "step": 9760
    },
    {
      "epoch": 0.8676444444444444,
      "grad_norm": 1.7512403726577759,
      "learning_rate": 6.622222222222223e-06,
      "loss": 1.4929,
      "step": 9761
    },
    {
      "epoch": 0.8677333333333334,
      "grad_norm": 1.814970850944519,
      "learning_rate": 6.617777777777778e-06,
      "loss": 1.5498,
      "step": 9762
    },
    {
      "epoch": 0.8678222222222223,
      "grad_norm": 2.0203936100006104,
      "learning_rate": 6.613333333333334e-06,
      "loss": 1.5457,
      "step": 9763
    },
    {
      "epoch": 0.8679111111111111,
      "grad_norm": 1.6722313165664673,
      "learning_rate": 6.60888888888889e-06,
      "loss": 1.5626,
      "step": 9764
    },
    {
      "epoch": 0.868,
      "grad_norm": 1.824385404586792,
      "learning_rate": 6.604444444444445e-06,
      "loss": 1.7718,
      "step": 9765
    },
    {
      "epoch": 0.8680888888888889,
      "grad_norm": 1.4785130023956299,
      "learning_rate": 6.6e-06,
      "loss": 1.5069,
      "step": 9766
    },
    {
      "epoch": 0.8681777777777778,
      "grad_norm": 2.1422226428985596,
      "learning_rate": 6.595555555555556e-06,
      "loss": 1.6612,
      "step": 9767
    },
    {
      "epoch": 0.8682666666666666,
      "grad_norm": 1.7015864849090576,
      "learning_rate": 6.591111111111112e-06,
      "loss": 1.6305,
      "step": 9768
    },
    {
      "epoch": 0.8683555555555555,
      "grad_norm": 1.6784664392471313,
      "learning_rate": 6.586666666666667e-06,
      "loss": 1.77,
      "step": 9769
    },
    {
      "epoch": 0.8684444444444445,
      "grad_norm": 1.8641750812530518,
      "learning_rate": 6.582222222222223e-06,
      "loss": 1.8348,
      "step": 9770
    },
    {
      "epoch": 0.8685333333333334,
      "grad_norm": 1.6036841869354248,
      "learning_rate": 6.577777777777779e-06,
      "loss": 1.6038,
      "step": 9771
    },
    {
      "epoch": 0.8686222222222222,
      "grad_norm": 1.493812084197998,
      "learning_rate": 6.5733333333333345e-06,
      "loss": 1.5718,
      "step": 9772
    },
    {
      "epoch": 0.8687111111111111,
      "grad_norm": 1.5977460145950317,
      "learning_rate": 6.568888888888889e-06,
      "loss": 1.5261,
      "step": 9773
    },
    {
      "epoch": 0.8688,
      "grad_norm": 1.67660653591156,
      "learning_rate": 6.564444444444445e-06,
      "loss": 1.3429,
      "step": 9774
    },
    {
      "epoch": 0.8688888888888889,
      "grad_norm": 1.3921146392822266,
      "learning_rate": 6.560000000000001e-06,
      "loss": 1.6054,
      "step": 9775
    },
    {
      "epoch": 0.8689777777777777,
      "grad_norm": 1.6841214895248413,
      "learning_rate": 6.555555555555556e-06,
      "loss": 1.6892,
      "step": 9776
    },
    {
      "epoch": 0.8690666666666667,
      "grad_norm": 1.5655548572540283,
      "learning_rate": 6.551111111111112e-06,
      "loss": 1.7216,
      "step": 9777
    },
    {
      "epoch": 0.8691555555555556,
      "grad_norm": 1.343508005142212,
      "learning_rate": 6.546666666666668e-06,
      "loss": 1.4889,
      "step": 9778
    },
    {
      "epoch": 0.8692444444444445,
      "grad_norm": 1.5671192407608032,
      "learning_rate": 6.5422222222222235e-06,
      "loss": 1.5918,
      "step": 9779
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 1.5689882040023804,
      "learning_rate": 6.537777777777779e-06,
      "loss": 1.6428,
      "step": 9780
    },
    {
      "epoch": 0.8694222222222222,
      "grad_norm": 1.608270525932312,
      "learning_rate": 6.533333333333333e-06,
      "loss": 1.6935,
      "step": 9781
    },
    {
      "epoch": 0.8695111111111111,
      "grad_norm": 1.5326366424560547,
      "learning_rate": 6.528888888888889e-06,
      "loss": 1.4848,
      "step": 9782
    },
    {
      "epoch": 0.8696,
      "grad_norm": 2.199484348297119,
      "learning_rate": 6.524444444444444e-06,
      "loss": 1.8051,
      "step": 9783
    },
    {
      "epoch": 0.8696888888888888,
      "grad_norm": 1.7871356010437012,
      "learning_rate": 6.519999999999999e-06,
      "loss": 1.4884,
      "step": 9784
    },
    {
      "epoch": 0.8697777777777778,
      "grad_norm": 1.8558770418167114,
      "learning_rate": 6.515555555555555e-06,
      "loss": 1.4534,
      "step": 9785
    },
    {
      "epoch": 0.8698666666666667,
      "grad_norm": 1.489812970161438,
      "learning_rate": 6.511111111111111e-06,
      "loss": 1.4729,
      "step": 9786
    },
    {
      "epoch": 0.8699555555555556,
      "grad_norm": 1.9627246856689453,
      "learning_rate": 6.5066666666666665e-06,
      "loss": 1.6412,
      "step": 9787
    },
    {
      "epoch": 0.8700444444444444,
      "grad_norm": 2.034416675567627,
      "learning_rate": 6.502222222222222e-06,
      "loss": 1.3859,
      "step": 9788
    },
    {
      "epoch": 0.8701333333333333,
      "grad_norm": 1.7049756050109863,
      "learning_rate": 6.497777777777778e-06,
      "loss": 1.6797,
      "step": 9789
    },
    {
      "epoch": 0.8702222222222222,
      "grad_norm": 2.717458724975586,
      "learning_rate": 6.4933333333333336e-06,
      "loss": 1.5706,
      "step": 9790
    },
    {
      "epoch": 0.8703111111111111,
      "grad_norm": 1.4136836528778076,
      "learning_rate": 6.488888888888888e-06,
      "loss": 1.7291,
      "step": 9791
    },
    {
      "epoch": 0.8704,
      "grad_norm": 1.6704953908920288,
      "learning_rate": 6.484444444444444e-06,
      "loss": 1.5458,
      "step": 9792
    },
    {
      "epoch": 0.8704888888888889,
      "grad_norm": 1.57513427734375,
      "learning_rate": 6.48e-06,
      "loss": 1.5345,
      "step": 9793
    },
    {
      "epoch": 0.8705777777777778,
      "grad_norm": 1.7956215143203735,
      "learning_rate": 6.4755555555555555e-06,
      "loss": 1.634,
      "step": 9794
    },
    {
      "epoch": 0.8706666666666667,
      "grad_norm": 1.5039912462234497,
      "learning_rate": 6.471111111111111e-06,
      "loss": 1.4217,
      "step": 9795
    },
    {
      "epoch": 0.8707555555555555,
      "grad_norm": 1.657741904258728,
      "learning_rate": 6.466666666666667e-06,
      "loss": 1.7012,
      "step": 9796
    },
    {
      "epoch": 0.8708444444444444,
      "grad_norm": 1.3496601581573486,
      "learning_rate": 6.4622222222222226e-06,
      "loss": 1.1774,
      "step": 9797
    },
    {
      "epoch": 0.8709333333333333,
      "grad_norm": 2.1440436840057373,
      "learning_rate": 6.457777777777778e-06,
      "loss": 1.5986,
      "step": 9798
    },
    {
      "epoch": 0.8710222222222223,
      "grad_norm": 1.5371900796890259,
      "learning_rate": 6.453333333333333e-06,
      "loss": 1.4595,
      "step": 9799
    },
    {
      "epoch": 0.8711111111111111,
      "grad_norm": 1.623429298400879,
      "learning_rate": 6.448888888888889e-06,
      "loss": 1.5731,
      "step": 9800
    },
    {
      "epoch": 0.8712,
      "grad_norm": 1.5879265069961548,
      "learning_rate": 6.4444444444444445e-06,
      "loss": 1.5698,
      "step": 9801
    },
    {
      "epoch": 0.8712888888888889,
      "grad_norm": 1.9664762020111084,
      "learning_rate": 6.44e-06,
      "loss": 1.5316,
      "step": 9802
    },
    {
      "epoch": 0.8713777777777778,
      "grad_norm": 1.5030707120895386,
      "learning_rate": 6.435555555555556e-06,
      "loss": 1.3473,
      "step": 9803
    },
    {
      "epoch": 0.8714666666666666,
      "grad_norm": 1.5412819385528564,
      "learning_rate": 6.4311111111111116e-06,
      "loss": 1.5431,
      "step": 9804
    },
    {
      "epoch": 0.8715555555555555,
      "grad_norm": 1.5924458503723145,
      "learning_rate": 6.426666666666667e-06,
      "loss": 1.4957,
      "step": 9805
    },
    {
      "epoch": 0.8716444444444444,
      "grad_norm": 1.7583564519882202,
      "learning_rate": 6.422222222222223e-06,
      "loss": 1.6442,
      "step": 9806
    },
    {
      "epoch": 0.8717333333333334,
      "grad_norm": 1.5755233764648438,
      "learning_rate": 6.417777777777778e-06,
      "loss": 1.4871,
      "step": 9807
    },
    {
      "epoch": 0.8718222222222223,
      "grad_norm": 1.3703792095184326,
      "learning_rate": 6.4133333333333335e-06,
      "loss": 1.3147,
      "step": 9808
    },
    {
      "epoch": 0.8719111111111111,
      "grad_norm": 2.577098846435547,
      "learning_rate": 6.408888888888889e-06,
      "loss": 1.7832,
      "step": 9809
    },
    {
      "epoch": 0.872,
      "grad_norm": 1.4055229425430298,
      "learning_rate": 6.404444444444445e-06,
      "loss": 1.4111,
      "step": 9810
    },
    {
      "epoch": 0.8720888888888889,
      "grad_norm": 3.0294694900512695,
      "learning_rate": 6.4000000000000006e-06,
      "loss": 1.6337,
      "step": 9811
    },
    {
      "epoch": 0.8721777777777778,
      "grad_norm": 1.7816948890686035,
      "learning_rate": 6.395555555555556e-06,
      "loss": 1.6057,
      "step": 9812
    },
    {
      "epoch": 0.8722666666666666,
      "grad_norm": 1.6684134006500244,
      "learning_rate": 6.391111111111112e-06,
      "loss": 1.5302,
      "step": 9813
    },
    {
      "epoch": 0.8723555555555556,
      "grad_norm": 1.504926323890686,
      "learning_rate": 6.386666666666667e-06,
      "loss": 1.5663,
      "step": 9814
    },
    {
      "epoch": 0.8724444444444445,
      "grad_norm": 1.644675374031067,
      "learning_rate": 6.3822222222222225e-06,
      "loss": 1.6133,
      "step": 9815
    },
    {
      "epoch": 0.8725333333333334,
      "grad_norm": 1.4607861042022705,
      "learning_rate": 6.377777777777778e-06,
      "loss": 1.4238,
      "step": 9816
    },
    {
      "epoch": 0.8726222222222222,
      "grad_norm": 1.6211071014404297,
      "learning_rate": 6.373333333333334e-06,
      "loss": 1.5067,
      "step": 9817
    },
    {
      "epoch": 0.8727111111111111,
      "grad_norm": 1.6597185134887695,
      "learning_rate": 6.3688888888888896e-06,
      "loss": 1.8255,
      "step": 9818
    },
    {
      "epoch": 0.8728,
      "grad_norm": 1.6048235893249512,
      "learning_rate": 6.364444444444445e-06,
      "loss": 1.6613,
      "step": 9819
    },
    {
      "epoch": 0.8728888888888889,
      "grad_norm": 1.374135136604309,
      "learning_rate": 6.360000000000001e-06,
      "loss": 1.4072,
      "step": 9820
    },
    {
      "epoch": 0.8729777777777777,
      "grad_norm": 1.6454277038574219,
      "learning_rate": 6.355555555555557e-06,
      "loss": 1.5996,
      "step": 9821
    },
    {
      "epoch": 0.8730666666666667,
      "grad_norm": 1.7139203548431396,
      "learning_rate": 6.3511111111111115e-06,
      "loss": 1.6286,
      "step": 9822
    },
    {
      "epoch": 0.8731555555555556,
      "grad_norm": 1.676604151725769,
      "learning_rate": 6.346666666666667e-06,
      "loss": 1.4946,
      "step": 9823
    },
    {
      "epoch": 0.8732444444444445,
      "grad_norm": 1.5116510391235352,
      "learning_rate": 6.342222222222223e-06,
      "loss": 1.4381,
      "step": 9824
    },
    {
      "epoch": 0.8733333333333333,
      "grad_norm": 1.7015854120254517,
      "learning_rate": 6.3377777777777786e-06,
      "loss": 1.4992,
      "step": 9825
    },
    {
      "epoch": 0.8734222222222222,
      "grad_norm": 1.6592485904693604,
      "learning_rate": 6.333333333333334e-06,
      "loss": 1.702,
      "step": 9826
    },
    {
      "epoch": 0.8735111111111111,
      "grad_norm": 1.5484788417816162,
      "learning_rate": 6.32888888888889e-06,
      "loss": 1.5116,
      "step": 9827
    },
    {
      "epoch": 0.8736,
      "grad_norm": 1.540969967842102,
      "learning_rate": 6.324444444444446e-06,
      "loss": 1.4434,
      "step": 9828
    },
    {
      "epoch": 0.8736888888888888,
      "grad_norm": 1.985695481300354,
      "learning_rate": 6.320000000000001e-06,
      "loss": 1.5076,
      "step": 9829
    },
    {
      "epoch": 0.8737777777777778,
      "grad_norm": 1.5580253601074219,
      "learning_rate": 6.315555555555556e-06,
      "loss": 1.3208,
      "step": 9830
    },
    {
      "epoch": 0.8738666666666667,
      "grad_norm": 1.4937195777893066,
      "learning_rate": 6.311111111111112e-06,
      "loss": 1.4183,
      "step": 9831
    },
    {
      "epoch": 0.8739555555555556,
      "grad_norm": 1.4709488153457642,
      "learning_rate": 6.306666666666666e-06,
      "loss": 1.413,
      "step": 9832
    },
    {
      "epoch": 0.8740444444444444,
      "grad_norm": 1.2833279371261597,
      "learning_rate": 6.3022222222222216e-06,
      "loss": 1.5418,
      "step": 9833
    },
    {
      "epoch": 0.8741333333333333,
      "grad_norm": 1.325659990310669,
      "learning_rate": 6.297777777777777e-06,
      "loss": 1.3335,
      "step": 9834
    },
    {
      "epoch": 0.8742222222222222,
      "grad_norm": 1.4385076761245728,
      "learning_rate": 6.293333333333333e-06,
      "loss": 1.5797,
      "step": 9835
    },
    {
      "epoch": 0.8743111111111111,
      "grad_norm": 1.8606244325637817,
      "learning_rate": 6.288888888888889e-06,
      "loss": 1.4949,
      "step": 9836
    },
    {
      "epoch": 0.8744,
      "grad_norm": 1.4403905868530273,
      "learning_rate": 6.284444444444444e-06,
      "loss": 1.5174,
      "step": 9837
    },
    {
      "epoch": 0.8744888888888889,
      "grad_norm": 1.58940589427948,
      "learning_rate": 6.28e-06,
      "loss": 1.4977,
      "step": 9838
    },
    {
      "epoch": 0.8745777777777778,
      "grad_norm": 1.460829496383667,
      "learning_rate": 6.275555555555556e-06,
      "loss": 1.5133,
      "step": 9839
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 1.4678592681884766,
      "learning_rate": 6.2711111111111105e-06,
      "loss": 1.6293,
      "step": 9840
    },
    {
      "epoch": 0.8747555555555555,
      "grad_norm": 2.1026134490966797,
      "learning_rate": 6.266666666666666e-06,
      "loss": 1.7483,
      "step": 9841
    },
    {
      "epoch": 0.8748444444444444,
      "grad_norm": 1.7983760833740234,
      "learning_rate": 6.262222222222222e-06,
      "loss": 1.6302,
      "step": 9842
    },
    {
      "epoch": 0.8749333333333333,
      "grad_norm": 1.5472193956375122,
      "learning_rate": 6.257777777777778e-06,
      "loss": 1.737,
      "step": 9843
    },
    {
      "epoch": 0.8750222222222223,
      "grad_norm": 1.5330063104629517,
      "learning_rate": 6.253333333333333e-06,
      "loss": 1.4692,
      "step": 9844
    },
    {
      "epoch": 0.8751111111111111,
      "grad_norm": 1.5856139659881592,
      "learning_rate": 6.248888888888889e-06,
      "loss": 1.601,
      "step": 9845
    },
    {
      "epoch": 0.8752,
      "grad_norm": 1.7073670625686646,
      "learning_rate": 6.244444444444445e-06,
      "loss": 1.4319,
      "step": 9846
    },
    {
      "epoch": 0.8752888888888889,
      "grad_norm": 1.5871182680130005,
      "learning_rate": 6.24e-06,
      "loss": 1.4354,
      "step": 9847
    },
    {
      "epoch": 0.8753777777777778,
      "grad_norm": 1.497513771057129,
      "learning_rate": 6.235555555555555e-06,
      "loss": 1.3789,
      "step": 9848
    },
    {
      "epoch": 0.8754666666666666,
      "grad_norm": 1.4335777759552002,
      "learning_rate": 6.231111111111111e-06,
      "loss": 1.6383,
      "step": 9849
    },
    {
      "epoch": 0.8755555555555555,
      "grad_norm": 1.322094202041626,
      "learning_rate": 6.226666666666667e-06,
      "loss": 1.3685,
      "step": 9850
    },
    {
      "epoch": 0.8756444444444444,
      "grad_norm": 1.24299955368042,
      "learning_rate": 6.222222222222222e-06,
      "loss": 1.393,
      "step": 9851
    },
    {
      "epoch": 0.8757333333333334,
      "grad_norm": 1.4148688316345215,
      "learning_rate": 6.217777777777778e-06,
      "loss": 1.3443,
      "step": 9852
    },
    {
      "epoch": 0.8758222222222222,
      "grad_norm": 1.4865787029266357,
      "learning_rate": 6.213333333333334e-06,
      "loss": 1.4075,
      "step": 9853
    },
    {
      "epoch": 0.8759111111111111,
      "grad_norm": 1.5692270994186401,
      "learning_rate": 6.208888888888889e-06,
      "loss": 1.4424,
      "step": 9854
    },
    {
      "epoch": 0.876,
      "grad_norm": 1.4439603090286255,
      "learning_rate": 6.204444444444445e-06,
      "loss": 1.6122,
      "step": 9855
    },
    {
      "epoch": 0.8760888888888889,
      "grad_norm": 1.3767590522766113,
      "learning_rate": 6.2e-06,
      "loss": 1.6309,
      "step": 9856
    },
    {
      "epoch": 0.8761777777777778,
      "grad_norm": 1.5532305240631104,
      "learning_rate": 6.195555555555556e-06,
      "loss": 1.6748,
      "step": 9857
    },
    {
      "epoch": 0.8762666666666666,
      "grad_norm": 1.9949924945831299,
      "learning_rate": 6.191111111111111e-06,
      "loss": 1.5296,
      "step": 9858
    },
    {
      "epoch": 0.8763555555555556,
      "grad_norm": 1.4651354551315308,
      "learning_rate": 6.186666666666667e-06,
      "loss": 1.5661,
      "step": 9859
    },
    {
      "epoch": 0.8764444444444445,
      "grad_norm": 1.3904528617858887,
      "learning_rate": 6.182222222222223e-06,
      "loss": 1.4714,
      "step": 9860
    },
    {
      "epoch": 0.8765333333333334,
      "grad_norm": 1.487670660018921,
      "learning_rate": 6.177777777777778e-06,
      "loss": 1.3966,
      "step": 9861
    },
    {
      "epoch": 0.8766222222222222,
      "grad_norm": 1.6072843074798584,
      "learning_rate": 6.173333333333334e-06,
      "loss": 1.5568,
      "step": 9862
    },
    {
      "epoch": 0.8767111111111111,
      "grad_norm": 1.320170283317566,
      "learning_rate": 6.168888888888889e-06,
      "loss": 1.304,
      "step": 9863
    },
    {
      "epoch": 0.8768,
      "grad_norm": 1.2561607360839844,
      "learning_rate": 6.164444444444445e-06,
      "loss": 1.2396,
      "step": 9864
    },
    {
      "epoch": 0.8768888888888889,
      "grad_norm": 1.5372745990753174,
      "learning_rate": 6.16e-06,
      "loss": 1.4114,
      "step": 9865
    },
    {
      "epoch": 0.8769777777777777,
      "grad_norm": 1.4741289615631104,
      "learning_rate": 6.155555555555556e-06,
      "loss": 1.4623,
      "step": 9866
    },
    {
      "epoch": 0.8770666666666667,
      "grad_norm": 1.4404575824737549,
      "learning_rate": 6.151111111111112e-06,
      "loss": 1.5652,
      "step": 9867
    },
    {
      "epoch": 0.8771555555555556,
      "grad_norm": 1.7600144147872925,
      "learning_rate": 6.146666666666667e-06,
      "loss": 1.5983,
      "step": 9868
    },
    {
      "epoch": 0.8772444444444445,
      "grad_norm": 2.8159537315368652,
      "learning_rate": 6.142222222222223e-06,
      "loss": 1.6202,
      "step": 9869
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 1.366668462753296,
      "learning_rate": 6.137777777777779e-06,
      "loss": 1.406,
      "step": 9870
    },
    {
      "epoch": 0.8774222222222222,
      "grad_norm": 1.4724326133728027,
      "learning_rate": 6.133333333333334e-06,
      "loss": 1.5577,
      "step": 9871
    },
    {
      "epoch": 0.8775111111111111,
      "grad_norm": 1.393235206604004,
      "learning_rate": 6.1288888888888885e-06,
      "loss": 1.3138,
      "step": 9872
    },
    {
      "epoch": 0.8776,
      "grad_norm": 1.4228715896606445,
      "learning_rate": 6.124444444444444e-06,
      "loss": 1.3483,
      "step": 9873
    },
    {
      "epoch": 0.8776888888888889,
      "grad_norm": 1.4335521459579468,
      "learning_rate": 6.12e-06,
      "loss": 1.5816,
      "step": 9874
    },
    {
      "epoch": 0.8777777777777778,
      "grad_norm": 1.6680686473846436,
      "learning_rate": 6.1155555555555555e-06,
      "loss": 1.5721,
      "step": 9875
    },
    {
      "epoch": 0.8778666666666667,
      "grad_norm": 1.6278222799301147,
      "learning_rate": 6.111111111111111e-06,
      "loss": 1.4351,
      "step": 9876
    },
    {
      "epoch": 0.8779555555555556,
      "grad_norm": 1.4665213823318481,
      "learning_rate": 6.106666666666667e-06,
      "loss": 1.3527,
      "step": 9877
    },
    {
      "epoch": 0.8780444444444444,
      "grad_norm": 1.4941163063049316,
      "learning_rate": 6.102222222222223e-06,
      "loss": 1.462,
      "step": 9878
    },
    {
      "epoch": 0.8781333333333333,
      "grad_norm": 1.484336495399475,
      "learning_rate": 6.097777777777778e-06,
      "loss": 1.3644,
      "step": 9879
    },
    {
      "epoch": 0.8782222222222222,
      "grad_norm": 1.899990200996399,
      "learning_rate": 6.093333333333333e-06,
      "loss": 1.656,
      "step": 9880
    },
    {
      "epoch": 0.8783111111111112,
      "grad_norm": 1.4691802263259888,
      "learning_rate": 6.088888888888889e-06,
      "loss": 1.4196,
      "step": 9881
    },
    {
      "epoch": 0.8784,
      "grad_norm": 1.6355946063995361,
      "learning_rate": 6.0844444444444445e-06,
      "loss": 1.4459,
      "step": 9882
    },
    {
      "epoch": 0.8784888888888889,
      "grad_norm": 1.4200143814086914,
      "learning_rate": 6.08e-06,
      "loss": 1.5862,
      "step": 9883
    },
    {
      "epoch": 0.8785777777777778,
      "grad_norm": 1.615980625152588,
      "learning_rate": 6.075555555555556e-06,
      "loss": 1.5925,
      "step": 9884
    },
    {
      "epoch": 0.8786666666666667,
      "grad_norm": 1.807757019996643,
      "learning_rate": 6.071111111111112e-06,
      "loss": 1.5378,
      "step": 9885
    },
    {
      "epoch": 0.8787555555555555,
      "grad_norm": 1.4908133745193481,
      "learning_rate": 6.066666666666667e-06,
      "loss": 1.589,
      "step": 9886
    },
    {
      "epoch": 0.8788444444444444,
      "grad_norm": 1.3725875616073608,
      "learning_rate": 6.062222222222223e-06,
      "loss": 1.4818,
      "step": 9887
    },
    {
      "epoch": 0.8789333333333333,
      "grad_norm": 1.4387085437774658,
      "learning_rate": 6.057777777777778e-06,
      "loss": 1.3166,
      "step": 9888
    },
    {
      "epoch": 0.8790222222222223,
      "grad_norm": 1.3729352951049805,
      "learning_rate": 6.0533333333333335e-06,
      "loss": 1.5139,
      "step": 9889
    },
    {
      "epoch": 0.8791111111111111,
      "grad_norm": 1.5950627326965332,
      "learning_rate": 6.048888888888889e-06,
      "loss": 1.3481,
      "step": 9890
    },
    {
      "epoch": 0.8792,
      "grad_norm": 1.6940460205078125,
      "learning_rate": 6.044444444444445e-06,
      "loss": 1.6933,
      "step": 9891
    },
    {
      "epoch": 0.8792888888888889,
      "grad_norm": 1.5075017213821411,
      "learning_rate": 6.040000000000001e-06,
      "loss": 1.6022,
      "step": 9892
    },
    {
      "epoch": 0.8793777777777778,
      "grad_norm": 1.6496535539627075,
      "learning_rate": 6.035555555555556e-06,
      "loss": 1.7025,
      "step": 9893
    },
    {
      "epoch": 0.8794666666666666,
      "grad_norm": 1.4553066492080688,
      "learning_rate": 6.031111111111112e-06,
      "loss": 1.5543,
      "step": 9894
    },
    {
      "epoch": 0.8795555555555555,
      "grad_norm": 1.397718906402588,
      "learning_rate": 6.026666666666667e-06,
      "loss": 1.4717,
      "step": 9895
    },
    {
      "epoch": 0.8796444444444445,
      "grad_norm": 1.5142024755477905,
      "learning_rate": 6.0222222222222225e-06,
      "loss": 1.4065,
      "step": 9896
    },
    {
      "epoch": 0.8797333333333334,
      "grad_norm": 1.8384143114089966,
      "learning_rate": 6.017777777777777e-06,
      "loss": 1.7243,
      "step": 9897
    },
    {
      "epoch": 0.8798222222222222,
      "grad_norm": 1.5485455989837646,
      "learning_rate": 6.013333333333333e-06,
      "loss": 1.5557,
      "step": 9898
    },
    {
      "epoch": 0.8799111111111111,
      "grad_norm": 1.7555394172668457,
      "learning_rate": 6.008888888888889e-06,
      "loss": 1.534,
      "step": 9899
    },
    {
      "epoch": 0.88,
      "grad_norm": 1.7168885469436646,
      "learning_rate": 6.0044444444444445e-06,
      "loss": 1.5575,
      "step": 9900
    },
    {
      "epoch": 0.8800888888888889,
      "grad_norm": 1.610262155532837,
      "learning_rate": 6e-06,
      "loss": 1.5106,
      "step": 9901
    },
    {
      "epoch": 0.8801777777777777,
      "grad_norm": 1.6029971837997437,
      "learning_rate": 5.995555555555556e-06,
      "loss": 1.4258,
      "step": 9902
    },
    {
      "epoch": 0.8802666666666666,
      "grad_norm": 1.4839807748794556,
      "learning_rate": 5.9911111111111115e-06,
      "loss": 1.5724,
      "step": 9903
    },
    {
      "epoch": 0.8803555555555556,
      "grad_norm": 1.8770686388015747,
      "learning_rate": 5.986666666666667e-06,
      "loss": 1.8159,
      "step": 9904
    },
    {
      "epoch": 0.8804444444444445,
      "grad_norm": 1.5188837051391602,
      "learning_rate": 5.982222222222222e-06,
      "loss": 1.6163,
      "step": 9905
    },
    {
      "epoch": 0.8805333333333333,
      "grad_norm": 1.3521475791931152,
      "learning_rate": 5.977777777777778e-06,
      "loss": 1.5914,
      "step": 9906
    },
    {
      "epoch": 0.8806222222222222,
      "grad_norm": 1.681862473487854,
      "learning_rate": 5.9733333333333335e-06,
      "loss": 1.6866,
      "step": 9907
    },
    {
      "epoch": 0.8807111111111111,
      "grad_norm": 1.3569599390029907,
      "learning_rate": 5.968888888888889e-06,
      "loss": 1.4286,
      "step": 9908
    },
    {
      "epoch": 0.8808,
      "grad_norm": 1.3417587280273438,
      "learning_rate": 5.964444444444445e-06,
      "loss": 1.5881,
      "step": 9909
    },
    {
      "epoch": 0.8808888888888889,
      "grad_norm": 1.5985641479492188,
      "learning_rate": 5.9600000000000005e-06,
      "loss": 1.4502,
      "step": 9910
    },
    {
      "epoch": 0.8809777777777777,
      "grad_norm": 1.842373251914978,
      "learning_rate": 5.955555555555556e-06,
      "loss": 1.5338,
      "step": 9911
    },
    {
      "epoch": 0.8810666666666667,
      "grad_norm": 1.5592889785766602,
      "learning_rate": 5.951111111111111e-06,
      "loss": 1.6131,
      "step": 9912
    },
    {
      "epoch": 0.8811555555555556,
      "grad_norm": 1.492374300956726,
      "learning_rate": 5.946666666666667e-06,
      "loss": 1.4807,
      "step": 9913
    },
    {
      "epoch": 0.8812444444444445,
      "grad_norm": 1.3969608545303345,
      "learning_rate": 5.9422222222222225e-06,
      "loss": 1.5543,
      "step": 9914
    },
    {
      "epoch": 0.8813333333333333,
      "grad_norm": 1.5183862447738647,
      "learning_rate": 5.937777777777778e-06,
      "loss": 1.5222,
      "step": 9915
    },
    {
      "epoch": 0.8814222222222222,
      "grad_norm": 1.5030583143234253,
      "learning_rate": 5.933333333333334e-06,
      "loss": 1.5603,
      "step": 9916
    },
    {
      "epoch": 0.8815111111111111,
      "grad_norm": 1.3031580448150635,
      "learning_rate": 5.9288888888888895e-06,
      "loss": 1.2322,
      "step": 9917
    },
    {
      "epoch": 0.8816,
      "grad_norm": 1.7840274572372437,
      "learning_rate": 5.924444444444445e-06,
      "loss": 1.639,
      "step": 9918
    },
    {
      "epoch": 0.8816888888888889,
      "grad_norm": 1.356174111366272,
      "learning_rate": 5.920000000000001e-06,
      "loss": 1.3632,
      "step": 9919
    },
    {
      "epoch": 0.8817777777777778,
      "grad_norm": 1.2652225494384766,
      "learning_rate": 5.915555555555556e-06,
      "loss": 1.3496,
      "step": 9920
    },
    {
      "epoch": 0.8818666666666667,
      "grad_norm": 1.4634064435958862,
      "learning_rate": 5.9111111111111115e-06,
      "loss": 1.6216,
      "step": 9921
    },
    {
      "epoch": 0.8819555555555556,
      "grad_norm": 1.5974661111831665,
      "learning_rate": 5.906666666666667e-06,
      "loss": 1.5741,
      "step": 9922
    },
    {
      "epoch": 0.8820444444444444,
      "grad_norm": 1.3444132804870605,
      "learning_rate": 5.902222222222222e-06,
      "loss": 1.4681,
      "step": 9923
    },
    {
      "epoch": 0.8821333333333333,
      "grad_norm": 1.4576503038406372,
      "learning_rate": 5.897777777777778e-06,
      "loss": 1.3987,
      "step": 9924
    },
    {
      "epoch": 0.8822222222222222,
      "grad_norm": 1.7633332014083862,
      "learning_rate": 5.893333333333333e-06,
      "loss": 1.3639,
      "step": 9925
    },
    {
      "epoch": 0.8823111111111112,
      "grad_norm": 1.4578853845596313,
      "learning_rate": 5.888888888888889e-06,
      "loss": 1.5826,
      "step": 9926
    },
    {
      "epoch": 0.8824,
      "grad_norm": 1.8987126350402832,
      "learning_rate": 5.884444444444445e-06,
      "loss": 1.437,
      "step": 9927
    },
    {
      "epoch": 0.8824888888888889,
      "grad_norm": 1.3906047344207764,
      "learning_rate": 5.8800000000000005e-06,
      "loss": 1.4415,
      "step": 9928
    },
    {
      "epoch": 0.8825777777777778,
      "grad_norm": 2.1439316272735596,
      "learning_rate": 5.875555555555555e-06,
      "loss": 1.3415,
      "step": 9929
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 2.281630277633667,
      "learning_rate": 5.871111111111111e-06,
      "loss": 1.7812,
      "step": 9930
    },
    {
      "epoch": 0.8827555555555555,
      "grad_norm": 1.4547184705734253,
      "learning_rate": 5.866666666666667e-06,
      "loss": 1.6478,
      "step": 9931
    },
    {
      "epoch": 0.8828444444444444,
      "grad_norm": 1.3899728059768677,
      "learning_rate": 5.862222222222222e-06,
      "loss": 1.494,
      "step": 9932
    },
    {
      "epoch": 0.8829333333333333,
      "grad_norm": 1.3905850648880005,
      "learning_rate": 5.857777777777778e-06,
      "loss": 1.6597,
      "step": 9933
    },
    {
      "epoch": 0.8830222222222223,
      "grad_norm": 1.8073937892913818,
      "learning_rate": 5.853333333333334e-06,
      "loss": 1.4524,
      "step": 9934
    },
    {
      "epoch": 0.8831111111111111,
      "grad_norm": 1.8120026588439941,
      "learning_rate": 5.8488888888888895e-06,
      "loss": 1.5434,
      "step": 9935
    },
    {
      "epoch": 0.8832,
      "grad_norm": 1.6009759902954102,
      "learning_rate": 5.844444444444445e-06,
      "loss": 1.4586,
      "step": 9936
    },
    {
      "epoch": 0.8832888888888889,
      "grad_norm": 1.4282032251358032,
      "learning_rate": 5.84e-06,
      "loss": 1.5225,
      "step": 9937
    },
    {
      "epoch": 0.8833777777777778,
      "grad_norm": 1.6708095073699951,
      "learning_rate": 5.835555555555556e-06,
      "loss": 1.6315,
      "step": 9938
    },
    {
      "epoch": 0.8834666666666666,
      "grad_norm": 1.65192711353302,
      "learning_rate": 5.831111111111111e-06,
      "loss": 1.7873,
      "step": 9939
    },
    {
      "epoch": 0.8835555555555555,
      "grad_norm": 1.6452085971832275,
      "learning_rate": 5.826666666666667e-06,
      "loss": 1.5371,
      "step": 9940
    },
    {
      "epoch": 0.8836444444444445,
      "grad_norm": 1.453200340270996,
      "learning_rate": 5.822222222222223e-06,
      "loss": 1.4368,
      "step": 9941
    },
    {
      "epoch": 0.8837333333333334,
      "grad_norm": 1.3815844058990479,
      "learning_rate": 5.8177777777777785e-06,
      "loss": 1.4217,
      "step": 9942
    },
    {
      "epoch": 0.8838222222222222,
      "grad_norm": 1.4470107555389404,
      "learning_rate": 5.813333333333334e-06,
      "loss": 1.503,
      "step": 9943
    },
    {
      "epoch": 0.8839111111111111,
      "grad_norm": 1.8236243724822998,
      "learning_rate": 5.808888888888889e-06,
      "loss": 1.4405,
      "step": 9944
    },
    {
      "epoch": 0.884,
      "grad_norm": 1.399674654006958,
      "learning_rate": 5.804444444444445e-06,
      "loss": 1.6053,
      "step": 9945
    },
    {
      "epoch": 0.8840888888888889,
      "grad_norm": 1.3792001008987427,
      "learning_rate": 5.8e-06,
      "loss": 1.492,
      "step": 9946
    },
    {
      "epoch": 0.8841777777777777,
      "grad_norm": 1.4766051769256592,
      "learning_rate": 5.795555555555556e-06,
      "loss": 1.3279,
      "step": 9947
    },
    {
      "epoch": 0.8842666666666666,
      "grad_norm": 2.323286533355713,
      "learning_rate": 5.791111111111111e-06,
      "loss": 1.4792,
      "step": 9948
    },
    {
      "epoch": 0.8843555555555556,
      "grad_norm": 1.4800540208816528,
      "learning_rate": 5.786666666666667e-06,
      "loss": 1.5089,
      "step": 9949
    },
    {
      "epoch": 0.8844444444444445,
      "grad_norm": 1.8108571767807007,
      "learning_rate": 5.782222222222222e-06,
      "loss": 1.2794,
      "step": 9950
    },
    {
      "epoch": 0.8845333333333333,
      "grad_norm": 1.5559083223342896,
      "learning_rate": 5.777777777777778e-06,
      "loss": 1.5835,
      "step": 9951
    },
    {
      "epoch": 0.8846222222222222,
      "grad_norm": 1.5199456214904785,
      "learning_rate": 5.773333333333334e-06,
      "loss": 1.4333,
      "step": 9952
    },
    {
      "epoch": 0.8847111111111111,
      "grad_norm": 1.6096566915512085,
      "learning_rate": 5.768888888888889e-06,
      "loss": 1.5891,
      "step": 9953
    },
    {
      "epoch": 0.8848,
      "grad_norm": 1.5748239755630493,
      "learning_rate": 5.764444444444444e-06,
      "loss": 1.4043,
      "step": 9954
    },
    {
      "epoch": 0.8848888888888888,
      "grad_norm": 1.4478569030761719,
      "learning_rate": 5.76e-06,
      "loss": 1.5558,
      "step": 9955
    },
    {
      "epoch": 0.8849777777777778,
      "grad_norm": 1.8234127759933472,
      "learning_rate": 5.755555555555556e-06,
      "loss": 1.4349,
      "step": 9956
    },
    {
      "epoch": 0.8850666666666667,
      "grad_norm": 1.8420376777648926,
      "learning_rate": 5.751111111111111e-06,
      "loss": 1.5782,
      "step": 9957
    },
    {
      "epoch": 0.8851555555555556,
      "grad_norm": 2.0036368370056152,
      "learning_rate": 5.746666666666667e-06,
      "loss": 1.5182,
      "step": 9958
    },
    {
      "epoch": 0.8852444444444444,
      "grad_norm": 1.5757337808609009,
      "learning_rate": 5.742222222222223e-06,
      "loss": 1.6284,
      "step": 9959
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 1.3312199115753174,
      "learning_rate": 5.737777777777778e-06,
      "loss": 1.3552,
      "step": 9960
    },
    {
      "epoch": 0.8854222222222222,
      "grad_norm": 2.5367650985717773,
      "learning_rate": 5.733333333333333e-06,
      "loss": 1.531,
      "step": 9961
    },
    {
      "epoch": 0.8855111111111111,
      "grad_norm": 1.4876562356948853,
      "learning_rate": 5.728888888888889e-06,
      "loss": 1.5383,
      "step": 9962
    },
    {
      "epoch": 0.8856,
      "grad_norm": 1.549034833908081,
      "learning_rate": 5.724444444444445e-06,
      "loss": 1.6833,
      "step": 9963
    },
    {
      "epoch": 0.8856888888888889,
      "grad_norm": 1.5428507328033447,
      "learning_rate": 5.72e-06,
      "loss": 1.3189,
      "step": 9964
    },
    {
      "epoch": 0.8857777777777778,
      "grad_norm": 1.3604906797409058,
      "learning_rate": 5.715555555555556e-06,
      "loss": 1.5381,
      "step": 9965
    },
    {
      "epoch": 0.8858666666666667,
      "grad_norm": 1.3515434265136719,
      "learning_rate": 5.711111111111112e-06,
      "loss": 1.4596,
      "step": 9966
    },
    {
      "epoch": 0.8859555555555556,
      "grad_norm": 1.3604904413223267,
      "learning_rate": 5.706666666666667e-06,
      "loss": 1.5451,
      "step": 9967
    },
    {
      "epoch": 0.8860444444444444,
      "grad_norm": 1.8586857318878174,
      "learning_rate": 5.702222222222223e-06,
      "loss": 1.5712,
      "step": 9968
    },
    {
      "epoch": 0.8861333333333333,
      "grad_norm": 1.569105625152588,
      "learning_rate": 5.697777777777778e-06,
      "loss": 1.5082,
      "step": 9969
    },
    {
      "epoch": 0.8862222222222222,
      "grad_norm": 1.6432957649230957,
      "learning_rate": 5.693333333333334e-06,
      "loss": 1.66,
      "step": 9970
    },
    {
      "epoch": 0.8863111111111112,
      "grad_norm": 1.2344715595245361,
      "learning_rate": 5.688888888888889e-06,
      "loss": 1.2479,
      "step": 9971
    },
    {
      "epoch": 0.8864,
      "grad_norm": 1.6829569339752197,
      "learning_rate": 5.684444444444445e-06,
      "loss": 1.9591,
      "step": 9972
    },
    {
      "epoch": 0.8864888888888889,
      "grad_norm": 1.8056607246398926,
      "learning_rate": 5.680000000000001e-06,
      "loss": 1.4499,
      "step": 9973
    },
    {
      "epoch": 0.8865777777777778,
      "grad_norm": 1.4506118297576904,
      "learning_rate": 5.6755555555555555e-06,
      "loss": 1.3244,
      "step": 9974
    },
    {
      "epoch": 0.8866666666666667,
      "grad_norm": 1.3622034788131714,
      "learning_rate": 5.671111111111111e-06,
      "loss": 1.5266,
      "step": 9975
    },
    {
      "epoch": 0.8867555555555555,
      "grad_norm": 1.4822803735733032,
      "learning_rate": 5.666666666666667e-06,
      "loss": 1.3296,
      "step": 9976
    },
    {
      "epoch": 0.8868444444444444,
      "grad_norm": 1.747532606124878,
      "learning_rate": 5.662222222222223e-06,
      "loss": 1.6556,
      "step": 9977
    },
    {
      "epoch": 0.8869333333333334,
      "grad_norm": 1.7519205808639526,
      "learning_rate": 5.6577777777777774e-06,
      "loss": 1.6872,
      "step": 9978
    },
    {
      "epoch": 0.8870222222222223,
      "grad_norm": 1.5559518337249756,
      "learning_rate": 5.653333333333333e-06,
      "loss": 1.5804,
      "step": 9979
    },
    {
      "epoch": 0.8871111111111111,
      "grad_norm": 1.7819010019302368,
      "learning_rate": 5.648888888888889e-06,
      "loss": 1.6496,
      "step": 9980
    },
    {
      "epoch": 0.8872,
      "grad_norm": 1.4634567499160767,
      "learning_rate": 5.6444444444444445e-06,
      "loss": 1.4624,
      "step": 9981
    },
    {
      "epoch": 0.8872888888888889,
      "grad_norm": 2.0363659858703613,
      "learning_rate": 5.64e-06,
      "loss": 1.5224,
      "step": 9982
    },
    {
      "epoch": 0.8873777777777778,
      "grad_norm": 1.5835901498794556,
      "learning_rate": 5.635555555555556e-06,
      "loss": 1.4179,
      "step": 9983
    },
    {
      "epoch": 0.8874666666666666,
      "grad_norm": 1.605396032333374,
      "learning_rate": 5.631111111111112e-06,
      "loss": 1.66,
      "step": 9984
    },
    {
      "epoch": 0.8875555555555555,
      "grad_norm": 1.6566733121871948,
      "learning_rate": 5.626666666666667e-06,
      "loss": 1.535,
      "step": 9985
    },
    {
      "epoch": 0.8876444444444445,
      "grad_norm": 2.1084063053131104,
      "learning_rate": 5.622222222222222e-06,
      "loss": 1.8653,
      "step": 9986
    },
    {
      "epoch": 0.8877333333333334,
      "grad_norm": 1.5328344106674194,
      "learning_rate": 5.617777777777778e-06,
      "loss": 1.6186,
      "step": 9987
    },
    {
      "epoch": 0.8878222222222222,
      "grad_norm": 1.658260464668274,
      "learning_rate": 5.6133333333333335e-06,
      "loss": 1.625,
      "step": 9988
    },
    {
      "epoch": 0.8879111111111111,
      "grad_norm": 1.5643221139907837,
      "learning_rate": 5.608888888888889e-06,
      "loss": 1.4944,
      "step": 9989
    },
    {
      "epoch": 0.888,
      "grad_norm": 1.3904712200164795,
      "learning_rate": 5.604444444444445e-06,
      "loss": 1.4193,
      "step": 9990
    },
    {
      "epoch": 0.8880888888888889,
      "grad_norm": 1.3560181856155396,
      "learning_rate": 5.600000000000001e-06,
      "loss": 1.2893,
      "step": 9991
    },
    {
      "epoch": 0.8881777777777777,
      "grad_norm": 1.5966989994049072,
      "learning_rate": 5.595555555555556e-06,
      "loss": 1.3777,
      "step": 9992
    },
    {
      "epoch": 0.8882666666666666,
      "grad_norm": 1.6045888662338257,
      "learning_rate": 5.591111111111111e-06,
      "loss": 1.3215,
      "step": 9993
    },
    {
      "epoch": 0.8883555555555556,
      "grad_norm": 1.875367522239685,
      "learning_rate": 5.586666666666667e-06,
      "loss": 1.6948,
      "step": 9994
    },
    {
      "epoch": 0.8884444444444445,
      "grad_norm": 1.7563297748565674,
      "learning_rate": 5.5822222222222225e-06,
      "loss": 1.6182,
      "step": 9995
    },
    {
      "epoch": 0.8885333333333333,
      "grad_norm": 1.554068922996521,
      "learning_rate": 5.577777777777778e-06,
      "loss": 1.6087,
      "step": 9996
    },
    {
      "epoch": 0.8886222222222222,
      "grad_norm": 1.552046537399292,
      "learning_rate": 5.573333333333334e-06,
      "loss": 1.356,
      "step": 9997
    },
    {
      "epoch": 0.8887111111111111,
      "grad_norm": 1.679267406463623,
      "learning_rate": 5.56888888888889e-06,
      "loss": 1.8588,
      "step": 9998
    },
    {
      "epoch": 0.8888,
      "grad_norm": 1.8163059949874878,
      "learning_rate": 5.564444444444445e-06,
      "loss": 1.8016,
      "step": 9999
    },
    {
      "epoch": 0.8888888888888888,
      "grad_norm": 1.3975937366485596,
      "learning_rate": 5.56e-06,
      "loss": 1.4398,
      "step": 10000
    },
    {
      "epoch": 0.8889777777777778,
      "grad_norm": 1.474548101425171,
      "learning_rate": 5.555555555555556e-06,
      "loss": 1.6806,
      "step": 10001
    },
    {
      "epoch": 0.8890666666666667,
      "grad_norm": 1.6471991539001465,
      "learning_rate": 5.5511111111111115e-06,
      "loss": 1.5289,
      "step": 10002
    },
    {
      "epoch": 0.8891555555555556,
      "grad_norm": 1.6978635787963867,
      "learning_rate": 5.546666666666666e-06,
      "loss": 1.4553,
      "step": 10003
    },
    {
      "epoch": 0.8892444444444444,
      "grad_norm": 1.463626503944397,
      "learning_rate": 5.542222222222222e-06,
      "loss": 1.3953,
      "step": 10004
    },
    {
      "epoch": 0.8893333333333333,
      "grad_norm": 1.4589354991912842,
      "learning_rate": 5.537777777777778e-06,
      "loss": 1.4946,
      "step": 10005
    },
    {
      "epoch": 0.8894222222222222,
      "grad_norm": 1.512957215309143,
      "learning_rate": 5.5333333333333334e-06,
      "loss": 1.4502,
      "step": 10006
    },
    {
      "epoch": 0.8895111111111111,
      "grad_norm": 1.4252065420150757,
      "learning_rate": 5.528888888888889e-06,
      "loss": 1.6342,
      "step": 10007
    },
    {
      "epoch": 0.8896,
      "grad_norm": 1.6339250802993774,
      "learning_rate": 5.524444444444445e-06,
      "loss": 1.542,
      "step": 10008
    },
    {
      "epoch": 0.8896888888888889,
      "grad_norm": 1.433919072151184,
      "learning_rate": 5.5200000000000005e-06,
      "loss": 1.3854,
      "step": 10009
    },
    {
      "epoch": 0.8897777777777778,
      "grad_norm": 1.6302603483200073,
      "learning_rate": 5.515555555555555e-06,
      "loss": 1.6342,
      "step": 10010
    },
    {
      "epoch": 0.8898666666666667,
      "grad_norm": 1.4774466753005981,
      "learning_rate": 5.511111111111111e-06,
      "loss": 1.4999,
      "step": 10011
    },
    {
      "epoch": 0.8899555555555556,
      "grad_norm": 1.3894059658050537,
      "learning_rate": 5.506666666666667e-06,
      "loss": 1.7648,
      "step": 10012
    },
    {
      "epoch": 0.8900444444444444,
      "grad_norm": 1.5765173435211182,
      "learning_rate": 5.5022222222222224e-06,
      "loss": 1.4197,
      "step": 10013
    },
    {
      "epoch": 0.8901333333333333,
      "grad_norm": 1.5123118162155151,
      "learning_rate": 5.497777777777778e-06,
      "loss": 1.5875,
      "step": 10014
    },
    {
      "epoch": 0.8902222222222222,
      "grad_norm": 1.5264301300048828,
      "learning_rate": 5.493333333333334e-06,
      "loss": 1.5015,
      "step": 10015
    },
    {
      "epoch": 0.8903111111111112,
      "grad_norm": 1.9342021942138672,
      "learning_rate": 5.4888888888888895e-06,
      "loss": 1.5076,
      "step": 10016
    },
    {
      "epoch": 0.8904,
      "grad_norm": 1.4540398120880127,
      "learning_rate": 5.484444444444445e-06,
      "loss": 1.3497,
      "step": 10017
    },
    {
      "epoch": 0.8904888888888889,
      "grad_norm": 2.0972039699554443,
      "learning_rate": 5.48e-06,
      "loss": 1.4517,
      "step": 10018
    },
    {
      "epoch": 0.8905777777777778,
      "grad_norm": 1.497133731842041,
      "learning_rate": 5.475555555555556e-06,
      "loss": 1.3861,
      "step": 10019
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 1.6408113241195679,
      "learning_rate": 5.4711111111111114e-06,
      "loss": 1.5979,
      "step": 10020
    },
    {
      "epoch": 0.8907555555555555,
      "grad_norm": 1.921340823173523,
      "learning_rate": 5.466666666666667e-06,
      "loss": 1.3932,
      "step": 10021
    },
    {
      "epoch": 0.8908444444444444,
      "grad_norm": 1.5705231428146362,
      "learning_rate": 5.462222222222223e-06,
      "loss": 1.4954,
      "step": 10022
    },
    {
      "epoch": 0.8909333333333334,
      "grad_norm": 1.387281060218811,
      "learning_rate": 5.4577777777777785e-06,
      "loss": 1.399,
      "step": 10023
    },
    {
      "epoch": 0.8910222222222223,
      "grad_norm": 1.4239087104797363,
      "learning_rate": 5.453333333333334e-06,
      "loss": 1.3656,
      "step": 10024
    },
    {
      "epoch": 0.8911111111111111,
      "grad_norm": 1.5724581480026245,
      "learning_rate": 5.44888888888889e-06,
      "loss": 1.4675,
      "step": 10025
    },
    {
      "epoch": 0.8912,
      "grad_norm": 1.653059959411621,
      "learning_rate": 5.444444444444445e-06,
      "loss": 1.4551,
      "step": 10026
    },
    {
      "epoch": 0.8912888888888889,
      "grad_norm": 1.509965419769287,
      "learning_rate": 5.44e-06,
      "loss": 1.2207,
      "step": 10027
    },
    {
      "epoch": 0.8913777777777778,
      "grad_norm": 1.6123517751693726,
      "learning_rate": 5.435555555555555e-06,
      "loss": 1.5805,
      "step": 10028
    },
    {
      "epoch": 0.8914666666666666,
      "grad_norm": 1.6331455707550049,
      "learning_rate": 5.431111111111111e-06,
      "loss": 1.4227,
      "step": 10029
    },
    {
      "epoch": 0.8915555555555555,
      "grad_norm": 1.4006059169769287,
      "learning_rate": 5.426666666666667e-06,
      "loss": 1.4709,
      "step": 10030
    },
    {
      "epoch": 0.8916444444444445,
      "grad_norm": 1.6278936862945557,
      "learning_rate": 5.422222222222222e-06,
      "loss": 1.4532,
      "step": 10031
    },
    {
      "epoch": 0.8917333333333334,
      "grad_norm": 1.5257971286773682,
      "learning_rate": 5.417777777777778e-06,
      "loss": 1.5715,
      "step": 10032
    },
    {
      "epoch": 0.8918222222222222,
      "grad_norm": 1.7495499849319458,
      "learning_rate": 5.413333333333334e-06,
      "loss": 1.5521,
      "step": 10033
    },
    {
      "epoch": 0.8919111111111111,
      "grad_norm": 1.8380085229873657,
      "learning_rate": 5.4088888888888894e-06,
      "loss": 1.5169,
      "step": 10034
    },
    {
      "epoch": 0.892,
      "grad_norm": 1.5376087427139282,
      "learning_rate": 5.404444444444444e-06,
      "loss": 1.4117,
      "step": 10035
    },
    {
      "epoch": 0.8920888888888889,
      "grad_norm": 1.6761581897735596,
      "learning_rate": 5.4e-06,
      "loss": 1.5177,
      "step": 10036
    },
    {
      "epoch": 0.8921777777777777,
      "grad_norm": 1.7966524362564087,
      "learning_rate": 5.395555555555556e-06,
      "loss": 1.7549,
      "step": 10037
    },
    {
      "epoch": 0.8922666666666667,
      "grad_norm": 1.3593934774398804,
      "learning_rate": 5.391111111111111e-06,
      "loss": 1.356,
      "step": 10038
    },
    {
      "epoch": 0.8923555555555556,
      "grad_norm": 1.7497525215148926,
      "learning_rate": 5.386666666666667e-06,
      "loss": 1.5216,
      "step": 10039
    },
    {
      "epoch": 0.8924444444444445,
      "grad_norm": 1.5420271158218384,
      "learning_rate": 5.382222222222223e-06,
      "loss": 1.3602,
      "step": 10040
    },
    {
      "epoch": 0.8925333333333333,
      "grad_norm": 1.7360033988952637,
      "learning_rate": 5.3777777777777784e-06,
      "loss": 1.5439,
      "step": 10041
    },
    {
      "epoch": 0.8926222222222222,
      "grad_norm": 2.0579400062561035,
      "learning_rate": 5.373333333333333e-06,
      "loss": 1.6232,
      "step": 10042
    },
    {
      "epoch": 0.8927111111111111,
      "grad_norm": 1.909892201423645,
      "learning_rate": 5.368888888888889e-06,
      "loss": 1.1652,
      "step": 10043
    },
    {
      "epoch": 0.8928,
      "grad_norm": 1.9129832983016968,
      "learning_rate": 5.364444444444445e-06,
      "loss": 1.6592,
      "step": 10044
    },
    {
      "epoch": 0.8928888888888888,
      "grad_norm": 1.5456511974334717,
      "learning_rate": 5.36e-06,
      "loss": 1.507,
      "step": 10045
    },
    {
      "epoch": 0.8929777777777778,
      "grad_norm": 1.644099235534668,
      "learning_rate": 5.355555555555556e-06,
      "loss": 1.637,
      "step": 10046
    },
    {
      "epoch": 0.8930666666666667,
      "grad_norm": 1.5744580030441284,
      "learning_rate": 5.351111111111112e-06,
      "loss": 1.5493,
      "step": 10047
    },
    {
      "epoch": 0.8931555555555556,
      "grad_norm": 1.3903377056121826,
      "learning_rate": 5.3466666666666674e-06,
      "loss": 1.3351,
      "step": 10048
    },
    {
      "epoch": 0.8932444444444444,
      "grad_norm": 1.987792730331421,
      "learning_rate": 5.342222222222223e-06,
      "loss": 1.718,
      "step": 10049
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 1.4088683128356934,
      "learning_rate": 5.337777777777778e-06,
      "loss": 1.392,
      "step": 10050
    },
    {
      "epoch": 0.8934222222222222,
      "grad_norm": 1.450575351715088,
      "learning_rate": 5.333333333333334e-06,
      "loss": 1.3547,
      "step": 10051
    },
    {
      "epoch": 0.8935111111111111,
      "grad_norm": 1.4600956439971924,
      "learning_rate": 5.3288888888888885e-06,
      "loss": 1.6771,
      "step": 10052
    },
    {
      "epoch": 0.8936,
      "grad_norm": 1.4110846519470215,
      "learning_rate": 5.324444444444444e-06,
      "loss": 1.4149,
      "step": 10053
    },
    {
      "epoch": 0.8936888888888889,
      "grad_norm": 1.7262732982635498,
      "learning_rate": 5.32e-06,
      "loss": 1.6492,
      "step": 10054
    },
    {
      "epoch": 0.8937777777777778,
      "grad_norm": 1.6181377172470093,
      "learning_rate": 5.315555555555556e-06,
      "loss": 1.3072,
      "step": 10055
    },
    {
      "epoch": 0.8938666666666667,
      "grad_norm": 1.581586480140686,
      "learning_rate": 5.311111111111111e-06,
      "loss": 1.5189,
      "step": 10056
    },
    {
      "epoch": 0.8939555555555555,
      "grad_norm": 1.3035385608673096,
      "learning_rate": 5.306666666666667e-06,
      "loss": 1.3698,
      "step": 10057
    },
    {
      "epoch": 0.8940444444444444,
      "grad_norm": 1.4838941097259521,
      "learning_rate": 5.302222222222223e-06,
      "loss": 1.5787,
      "step": 10058
    },
    {
      "epoch": 0.8941333333333333,
      "grad_norm": 1.6864867210388184,
      "learning_rate": 5.2977777777777775e-06,
      "loss": 1.5109,
      "step": 10059
    },
    {
      "epoch": 0.8942222222222223,
      "grad_norm": 1.6728962659835815,
      "learning_rate": 5.293333333333333e-06,
      "loss": 1.511,
      "step": 10060
    },
    {
      "epoch": 0.8943111111111111,
      "grad_norm": 1.3613234758377075,
      "learning_rate": 5.288888888888889e-06,
      "loss": 1.1177,
      "step": 10061
    },
    {
      "epoch": 0.8944,
      "grad_norm": 1.7571521997451782,
      "learning_rate": 5.284444444444445e-06,
      "loss": 1.4134,
      "step": 10062
    },
    {
      "epoch": 0.8944888888888889,
      "grad_norm": 1.5928312540054321,
      "learning_rate": 5.28e-06,
      "loss": 1.4909,
      "step": 10063
    },
    {
      "epoch": 0.8945777777777778,
      "grad_norm": 1.7249717712402344,
      "learning_rate": 5.275555555555556e-06,
      "loss": 1.5767,
      "step": 10064
    },
    {
      "epoch": 0.8946666666666667,
      "grad_norm": 1.468546986579895,
      "learning_rate": 5.271111111111112e-06,
      "loss": 1.56,
      "step": 10065
    },
    {
      "epoch": 0.8947555555555555,
      "grad_norm": 1.4843707084655762,
      "learning_rate": 5.266666666666667e-06,
      "loss": 1.5801,
      "step": 10066
    },
    {
      "epoch": 0.8948444444444444,
      "grad_norm": 1.4089435338974,
      "learning_rate": 5.262222222222222e-06,
      "loss": 1.5239,
      "step": 10067
    },
    {
      "epoch": 0.8949333333333334,
      "grad_norm": 1.7841867208480835,
      "learning_rate": 5.257777777777778e-06,
      "loss": 1.3628,
      "step": 10068
    },
    {
      "epoch": 0.8950222222222223,
      "grad_norm": 1.6243687868118286,
      "learning_rate": 5.2533333333333336e-06,
      "loss": 1.4106,
      "step": 10069
    },
    {
      "epoch": 0.8951111111111111,
      "grad_norm": 1.8153434991836548,
      "learning_rate": 5.248888888888889e-06,
      "loss": 1.5205,
      "step": 10070
    },
    {
      "epoch": 0.8952,
      "grad_norm": 1.4669142961502075,
      "learning_rate": 5.244444444444445e-06,
      "loss": 1.5612,
      "step": 10071
    },
    {
      "epoch": 0.8952888888888889,
      "grad_norm": 1.5197126865386963,
      "learning_rate": 5.240000000000001e-06,
      "loss": 1.4992,
      "step": 10072
    },
    {
      "epoch": 0.8953777777777778,
      "grad_norm": 1.3778456449508667,
      "learning_rate": 5.235555555555556e-06,
      "loss": 1.4798,
      "step": 10073
    },
    {
      "epoch": 0.8954666666666666,
      "grad_norm": 1.6783310174942017,
      "learning_rate": 5.231111111111112e-06,
      "loss": 1.5678,
      "step": 10074
    },
    {
      "epoch": 0.8955555555555555,
      "grad_norm": 1.4562382698059082,
      "learning_rate": 5.226666666666667e-06,
      "loss": 1.3361,
      "step": 10075
    },
    {
      "epoch": 0.8956444444444445,
      "grad_norm": 1.6641181707382202,
      "learning_rate": 5.2222222222222226e-06,
      "loss": 1.6999,
      "step": 10076
    },
    {
      "epoch": 0.8957333333333334,
      "grad_norm": 2.1039319038391113,
      "learning_rate": 5.217777777777777e-06,
      "loss": 1.807,
      "step": 10077
    },
    {
      "epoch": 0.8958222222222222,
      "grad_norm": 1.4062514305114746,
      "learning_rate": 5.213333333333333e-06,
      "loss": 1.4813,
      "step": 10078
    },
    {
      "epoch": 0.8959111111111111,
      "grad_norm": 1.8148090839385986,
      "learning_rate": 5.208888888888889e-06,
      "loss": 1.6335,
      "step": 10079
    },
    {
      "epoch": 0.896,
      "grad_norm": 1.8757548332214355,
      "learning_rate": 5.2044444444444445e-06,
      "loss": 1.6049,
      "step": 10080
    },
    {
      "epoch": 0.8960888888888889,
      "grad_norm": 1.330783724784851,
      "learning_rate": 5.2e-06,
      "loss": 1.5183,
      "step": 10081
    },
    {
      "epoch": 0.8961777777777777,
      "grad_norm": 1.3605519533157349,
      "learning_rate": 5.195555555555556e-06,
      "loss": 1.4818,
      "step": 10082
    },
    {
      "epoch": 0.8962666666666667,
      "grad_norm": 1.4945573806762695,
      "learning_rate": 5.1911111111111116e-06,
      "loss": 1.4475,
      "step": 10083
    },
    {
      "epoch": 0.8963555555555556,
      "grad_norm": 1.5056062936782837,
      "learning_rate": 5.186666666666666e-06,
      "loss": 1.5437,
      "step": 10084
    },
    {
      "epoch": 0.8964444444444445,
      "grad_norm": 1.7674201726913452,
      "learning_rate": 5.182222222222222e-06,
      "loss": 1.5706,
      "step": 10085
    },
    {
      "epoch": 0.8965333333333333,
      "grad_norm": 1.5282586812973022,
      "learning_rate": 5.177777777777778e-06,
      "loss": 1.3473,
      "step": 10086
    },
    {
      "epoch": 0.8966222222222222,
      "grad_norm": 1.492759346961975,
      "learning_rate": 5.1733333333333335e-06,
      "loss": 1.525,
      "step": 10087
    },
    {
      "epoch": 0.8967111111111111,
      "grad_norm": 1.5917558670043945,
      "learning_rate": 5.168888888888889e-06,
      "loss": 1.4015,
      "step": 10088
    },
    {
      "epoch": 0.8968,
      "grad_norm": 1.4631054401397705,
      "learning_rate": 5.164444444444445e-06,
      "loss": 1.5315,
      "step": 10089
    },
    {
      "epoch": 0.8968888888888888,
      "grad_norm": 1.5684094429016113,
      "learning_rate": 5.1600000000000006e-06,
      "loss": 1.4194,
      "step": 10090
    },
    {
      "epoch": 0.8969777777777778,
      "grad_norm": 1.5724608898162842,
      "learning_rate": 5.155555555555555e-06,
      "loss": 1.5129,
      "step": 10091
    },
    {
      "epoch": 0.8970666666666667,
      "grad_norm": 1.768566608428955,
      "learning_rate": 5.151111111111111e-06,
      "loss": 1.515,
      "step": 10092
    },
    {
      "epoch": 0.8971555555555556,
      "grad_norm": 1.5988742113113403,
      "learning_rate": 5.146666666666667e-06,
      "loss": 1.3486,
      "step": 10093
    },
    {
      "epoch": 0.8972444444444444,
      "grad_norm": 1.4819722175598145,
      "learning_rate": 5.1422222222222225e-06,
      "loss": 1.3213,
      "step": 10094
    },
    {
      "epoch": 0.8973333333333333,
      "grad_norm": 1.6633782386779785,
      "learning_rate": 5.137777777777778e-06,
      "loss": 1.4989,
      "step": 10095
    },
    {
      "epoch": 0.8974222222222222,
      "grad_norm": 1.539286494255066,
      "learning_rate": 5.133333333333334e-06,
      "loss": 1.6192,
      "step": 10096
    },
    {
      "epoch": 0.8975111111111111,
      "grad_norm": 1.4276057481765747,
      "learning_rate": 5.1288888888888896e-06,
      "loss": 1.3671,
      "step": 10097
    },
    {
      "epoch": 0.8976,
      "grad_norm": 1.5296990871429443,
      "learning_rate": 5.124444444444445e-06,
      "loss": 1.5306,
      "step": 10098
    },
    {
      "epoch": 0.8976888888888889,
      "grad_norm": 1.6762109994888306,
      "learning_rate": 5.12e-06,
      "loss": 1.5922,
      "step": 10099
    },
    {
      "epoch": 0.8977777777777778,
      "grad_norm": 1.534867286682129,
      "learning_rate": 5.115555555555556e-06,
      "loss": 1.5159,
      "step": 10100
    },
    {
      "epoch": 0.8978666666666667,
      "grad_norm": 1.680757999420166,
      "learning_rate": 5.1111111111111115e-06,
      "loss": 1.5967,
      "step": 10101
    },
    {
      "epoch": 0.8979555555555555,
      "grad_norm": 1.513485312461853,
      "learning_rate": 5.106666666666667e-06,
      "loss": 1.3102,
      "step": 10102
    },
    {
      "epoch": 0.8980444444444444,
      "grad_norm": 1.5142512321472168,
      "learning_rate": 5.102222222222222e-06,
      "loss": 1.4266,
      "step": 10103
    },
    {
      "epoch": 0.8981333333333333,
      "grad_norm": 1.5106760263442993,
      "learning_rate": 5.097777777777778e-06,
      "loss": 1.4105,
      "step": 10104
    },
    {
      "epoch": 0.8982222222222223,
      "grad_norm": 1.469455361366272,
      "learning_rate": 5.093333333333333e-06,
      "loss": 1.4325,
      "step": 10105
    },
    {
      "epoch": 0.8983111111111111,
      "grad_norm": 2.050020456314087,
      "learning_rate": 5.088888888888889e-06,
      "loss": 1.5778,
      "step": 10106
    },
    {
      "epoch": 0.8984,
      "grad_norm": 1.3557751178741455,
      "learning_rate": 5.084444444444445e-06,
      "loss": 1.4243,
      "step": 10107
    },
    {
      "epoch": 0.8984888888888889,
      "grad_norm": 2.0847339630126953,
      "learning_rate": 5.08e-06,
      "loss": 1.8234,
      "step": 10108
    },
    {
      "epoch": 0.8985777777777778,
      "grad_norm": 1.3998972177505493,
      "learning_rate": 5.075555555555555e-06,
      "loss": 1.543,
      "step": 10109
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 1.5002658367156982,
      "learning_rate": 5.071111111111111e-06,
      "loss": 1.3239,
      "step": 10110
    },
    {
      "epoch": 0.8987555555555555,
      "grad_norm": 1.9278548955917358,
      "learning_rate": 5.066666666666667e-06,
      "loss": 1.5388,
      "step": 10111
    },
    {
      "epoch": 0.8988444444444444,
      "grad_norm": 1.5305646657943726,
      "learning_rate": 5.062222222222222e-06,
      "loss": 1.5058,
      "step": 10112
    },
    {
      "epoch": 0.8989333333333334,
      "grad_norm": 2.087221384048462,
      "learning_rate": 5.057777777777778e-06,
      "loss": 1.603,
      "step": 10113
    },
    {
      "epoch": 0.8990222222222222,
      "grad_norm": 2.051729202270508,
      "learning_rate": 5.053333333333334e-06,
      "loss": 1.7302,
      "step": 10114
    },
    {
      "epoch": 0.8991111111111111,
      "grad_norm": 1.4984123706817627,
      "learning_rate": 5.0488888888888895e-06,
      "loss": 1.43,
      "step": 10115
    },
    {
      "epoch": 0.8992,
      "grad_norm": 1.5914231538772583,
      "learning_rate": 5.044444444444444e-06,
      "loss": 1.4841,
      "step": 10116
    },
    {
      "epoch": 0.8992888888888889,
      "grad_norm": 1.527816653251648,
      "learning_rate": 5.04e-06,
      "loss": 1.6751,
      "step": 10117
    },
    {
      "epoch": 0.8993777777777778,
      "grad_norm": 1.4718966484069824,
      "learning_rate": 5.035555555555556e-06,
      "loss": 1.4309,
      "step": 10118
    },
    {
      "epoch": 0.8994666666666666,
      "grad_norm": 1.9074283838272095,
      "learning_rate": 5.031111111111111e-06,
      "loss": 1.5715,
      "step": 10119
    },
    {
      "epoch": 0.8995555555555556,
      "grad_norm": 1.4807766675949097,
      "learning_rate": 5.026666666666667e-06,
      "loss": 1.3749,
      "step": 10120
    },
    {
      "epoch": 0.8996444444444445,
      "grad_norm": 1.438285231590271,
      "learning_rate": 5.022222222222223e-06,
      "loss": 1.5636,
      "step": 10121
    },
    {
      "epoch": 0.8997333333333334,
      "grad_norm": 1.4084863662719727,
      "learning_rate": 5.0177777777777785e-06,
      "loss": 1.6115,
      "step": 10122
    },
    {
      "epoch": 0.8998222222222222,
      "grad_norm": 1.7360166311264038,
      "learning_rate": 5.013333333333334e-06,
      "loss": 1.6487,
      "step": 10123
    },
    {
      "epoch": 0.8999111111111111,
      "grad_norm": 1.5146923065185547,
      "learning_rate": 5.008888888888889e-06,
      "loss": 1.4731,
      "step": 10124
    },
    {
      "epoch": 0.9,
      "grad_norm": 1.4792375564575195,
      "learning_rate": 5.004444444444445e-06,
      "loss": 1.2758,
      "step": 10125
    },
    {
      "epoch": 0.9000888888888889,
      "grad_norm": 1.9459710121154785,
      "learning_rate": 5e-06,
      "loss": 1.6108,
      "step": 10126
    },
    {
      "epoch": 0.9001777777777777,
      "grad_norm": 1.5333349704742432,
      "learning_rate": 4.995555555555556e-06,
      "loss": 1.2852,
      "step": 10127
    },
    {
      "epoch": 0.9002666666666667,
      "grad_norm": 1.6005380153656006,
      "learning_rate": 4.991111111111112e-06,
      "loss": 1.4322,
      "step": 10128
    },
    {
      "epoch": 0.9003555555555556,
      "grad_norm": 2.3632209300994873,
      "learning_rate": 4.986666666666667e-06,
      "loss": 1.6401,
      "step": 10129
    },
    {
      "epoch": 0.9004444444444445,
      "grad_norm": 1.8002411127090454,
      "learning_rate": 4.982222222222222e-06,
      "loss": 1.7128,
      "step": 10130
    },
    {
      "epoch": 0.9005333333333333,
      "grad_norm": 1.650547981262207,
      "learning_rate": 4.977777777777778e-06,
      "loss": 1.519,
      "step": 10131
    },
    {
      "epoch": 0.9006222222222222,
      "grad_norm": 1.6213957071304321,
      "learning_rate": 4.973333333333334e-06,
      "loss": 1.4788,
      "step": 10132
    },
    {
      "epoch": 0.9007111111111111,
      "grad_norm": 2.1765081882476807,
      "learning_rate": 4.9688888888888886e-06,
      "loss": 1.5994,
      "step": 10133
    },
    {
      "epoch": 0.9008,
      "grad_norm": 1.5837604999542236,
      "learning_rate": 4.964444444444444e-06,
      "loss": 1.5497,
      "step": 10134
    },
    {
      "epoch": 0.9008888888888889,
      "grad_norm": 2.2058658599853516,
      "learning_rate": 4.96e-06,
      "loss": 1.7452,
      "step": 10135
    },
    {
      "epoch": 0.9009777777777778,
      "grad_norm": 1.4587255716323853,
      "learning_rate": 4.955555555555556e-06,
      "loss": 1.4517,
      "step": 10136
    },
    {
      "epoch": 0.9010666666666667,
      "grad_norm": 1.7962604761123657,
      "learning_rate": 4.951111111111111e-06,
      "loss": 1.5174,
      "step": 10137
    },
    {
      "epoch": 0.9011555555555556,
      "grad_norm": 1.5097795724868774,
      "learning_rate": 4.946666666666667e-06,
      "loss": 1.3852,
      "step": 10138
    },
    {
      "epoch": 0.9012444444444444,
      "grad_norm": 1.6413650512695312,
      "learning_rate": 4.942222222222223e-06,
      "loss": 1.5494,
      "step": 10139
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 1.8608299493789673,
      "learning_rate": 4.9377777777777776e-06,
      "loss": 1.4632,
      "step": 10140
    },
    {
      "epoch": 0.9014222222222222,
      "grad_norm": 1.481461524963379,
      "learning_rate": 4.933333333333333e-06,
      "loss": 1.3735,
      "step": 10141
    },
    {
      "epoch": 0.9015111111111112,
      "grad_norm": 1.441385269165039,
      "learning_rate": 4.928888888888889e-06,
      "loss": 1.5694,
      "step": 10142
    },
    {
      "epoch": 0.9016,
      "grad_norm": 2.537170648574829,
      "learning_rate": 4.924444444444445e-06,
      "loss": 1.4511,
      "step": 10143
    },
    {
      "epoch": 0.9016888888888889,
      "grad_norm": 1.4423840045928955,
      "learning_rate": 4.92e-06,
      "loss": 1.3775,
      "step": 10144
    },
    {
      "epoch": 0.9017777777777778,
      "grad_norm": 1.8613895177841187,
      "learning_rate": 4.915555555555556e-06,
      "loss": 1.4652,
      "step": 10145
    },
    {
      "epoch": 0.9018666666666667,
      "grad_norm": 1.4656296968460083,
      "learning_rate": 4.911111111111112e-06,
      "loss": 1.3435,
      "step": 10146
    },
    {
      "epoch": 0.9019555555555555,
      "grad_norm": 1.609368085861206,
      "learning_rate": 4.906666666666667e-06,
      "loss": 1.5301,
      "step": 10147
    },
    {
      "epoch": 0.9020444444444444,
      "grad_norm": 1.3450871706008911,
      "learning_rate": 4.902222222222222e-06,
      "loss": 1.2373,
      "step": 10148
    },
    {
      "epoch": 0.9021333333333333,
      "grad_norm": 1.4065766334533691,
      "learning_rate": 4.897777777777778e-06,
      "loss": 1.6745,
      "step": 10149
    },
    {
      "epoch": 0.9022222222222223,
      "grad_norm": 1.5073769092559814,
      "learning_rate": 4.893333333333334e-06,
      "loss": 1.7146,
      "step": 10150
    },
    {
      "epoch": 0.9023111111111111,
      "grad_norm": 1.455664873123169,
      "learning_rate": 4.888888888888889e-06,
      "loss": 1.4398,
      "step": 10151
    },
    {
      "epoch": 0.9024,
      "grad_norm": 1.3230845928192139,
      "learning_rate": 4.884444444444445e-06,
      "loss": 1.3064,
      "step": 10152
    },
    {
      "epoch": 0.9024888888888889,
      "grad_norm": 1.633831262588501,
      "learning_rate": 4.880000000000001e-06,
      "loss": 1.3982,
      "step": 10153
    },
    {
      "epoch": 0.9025777777777778,
      "grad_norm": 1.6633728742599487,
      "learning_rate": 4.875555555555556e-06,
      "loss": 1.5313,
      "step": 10154
    },
    {
      "epoch": 0.9026666666666666,
      "grad_norm": 1.3588567972183228,
      "learning_rate": 4.871111111111111e-06,
      "loss": 1.4149,
      "step": 10155
    },
    {
      "epoch": 0.9027555555555555,
      "grad_norm": 1.4915783405303955,
      "learning_rate": 4.866666666666667e-06,
      "loss": 1.5901,
      "step": 10156
    },
    {
      "epoch": 0.9028444444444444,
      "grad_norm": 1.3308628797531128,
      "learning_rate": 4.862222222222222e-06,
      "loss": 1.5358,
      "step": 10157
    },
    {
      "epoch": 0.9029333333333334,
      "grad_norm": 1.546655297279358,
      "learning_rate": 4.8577777777777775e-06,
      "loss": 1.6396,
      "step": 10158
    },
    {
      "epoch": 0.9030222222222222,
      "grad_norm": 1.4289499521255493,
      "learning_rate": 4.853333333333333e-06,
      "loss": 1.7235,
      "step": 10159
    },
    {
      "epoch": 0.9031111111111111,
      "grad_norm": 1.8951033353805542,
      "learning_rate": 4.848888888888889e-06,
      "loss": 1.6154,
      "step": 10160
    },
    {
      "epoch": 0.9032,
      "grad_norm": 1.4957131147384644,
      "learning_rate": 4.8444444444444446e-06,
      "loss": 1.5001,
      "step": 10161
    },
    {
      "epoch": 0.9032888888888889,
      "grad_norm": 1.302216649055481,
      "learning_rate": 4.84e-06,
      "loss": 1.4245,
      "step": 10162
    },
    {
      "epoch": 0.9033777777777777,
      "grad_norm": 1.6710964441299438,
      "learning_rate": 4.835555555555556e-06,
      "loss": 1.2842,
      "step": 10163
    },
    {
      "epoch": 0.9034666666666666,
      "grad_norm": 1.5338244438171387,
      "learning_rate": 4.831111111111112e-06,
      "loss": 1.4742,
      "step": 10164
    },
    {
      "epoch": 0.9035555555555556,
      "grad_norm": 1.4473376274108887,
      "learning_rate": 4.8266666666666665e-06,
      "loss": 1.5,
      "step": 10165
    },
    {
      "epoch": 0.9036444444444445,
      "grad_norm": 1.9608759880065918,
      "learning_rate": 4.822222222222222e-06,
      "loss": 1.4323,
      "step": 10166
    },
    {
      "epoch": 0.9037333333333334,
      "grad_norm": 1.5524872541427612,
      "learning_rate": 4.817777777777778e-06,
      "loss": 1.4495,
      "step": 10167
    },
    {
      "epoch": 0.9038222222222222,
      "grad_norm": 1.274047613143921,
      "learning_rate": 4.8133333333333336e-06,
      "loss": 1.428,
      "step": 10168
    },
    {
      "epoch": 0.9039111111111111,
      "grad_norm": 1.7507472038269043,
      "learning_rate": 4.808888888888889e-06,
      "loss": 1.5705,
      "step": 10169
    },
    {
      "epoch": 0.904,
      "grad_norm": 1.5034399032592773,
      "learning_rate": 4.804444444444445e-06,
      "loss": 1.6565,
      "step": 10170
    },
    {
      "epoch": 0.9040888888888889,
      "grad_norm": 2.0039820671081543,
      "learning_rate": 4.800000000000001e-06,
      "loss": 1.5619,
      "step": 10171
    },
    {
      "epoch": 0.9041777777777777,
      "grad_norm": 1.7357463836669922,
      "learning_rate": 4.795555555555556e-06,
      "loss": 1.6281,
      "step": 10172
    },
    {
      "epoch": 0.9042666666666667,
      "grad_norm": 2.0120043754577637,
      "learning_rate": 4.791111111111111e-06,
      "loss": 1.8265,
      "step": 10173
    },
    {
      "epoch": 0.9043555555555556,
      "grad_norm": 1.3897550106048584,
      "learning_rate": 4.786666666666667e-06,
      "loss": 1.4891,
      "step": 10174
    },
    {
      "epoch": 0.9044444444444445,
      "grad_norm": 2.259751796722412,
      "learning_rate": 4.7822222222222226e-06,
      "loss": 1.4459,
      "step": 10175
    },
    {
      "epoch": 0.9045333333333333,
      "grad_norm": 1.4656323194503784,
      "learning_rate": 4.777777777777778e-06,
      "loss": 1.4474,
      "step": 10176
    },
    {
      "epoch": 0.9046222222222222,
      "grad_norm": 1.6518268585205078,
      "learning_rate": 4.773333333333334e-06,
      "loss": 1.544,
      "step": 10177
    },
    {
      "epoch": 0.9047111111111111,
      "grad_norm": 1.4696531295776367,
      "learning_rate": 4.76888888888889e-06,
      "loss": 1.5237,
      "step": 10178
    },
    {
      "epoch": 0.9048,
      "grad_norm": 1.49986732006073,
      "learning_rate": 4.764444444444445e-06,
      "loss": 1.4055,
      "step": 10179
    },
    {
      "epoch": 0.9048888888888889,
      "grad_norm": 1.5324795246124268,
      "learning_rate": 4.76e-06,
      "loss": 1.3503,
      "step": 10180
    },
    {
      "epoch": 0.9049777777777778,
      "grad_norm": 1.8538185358047485,
      "learning_rate": 4.755555555555556e-06,
      "loss": 1.497,
      "step": 10181
    },
    {
      "epoch": 0.9050666666666667,
      "grad_norm": 1.4753233194351196,
      "learning_rate": 4.751111111111111e-06,
      "loss": 1.4611,
      "step": 10182
    },
    {
      "epoch": 0.9051555555555556,
      "grad_norm": 1.3566218614578247,
      "learning_rate": 4.746666666666666e-06,
      "loss": 1.4964,
      "step": 10183
    },
    {
      "epoch": 0.9052444444444444,
      "grad_norm": 1.6597976684570312,
      "learning_rate": 4.742222222222222e-06,
      "loss": 1.3582,
      "step": 10184
    },
    {
      "epoch": 0.9053333333333333,
      "grad_norm": 1.4299672842025757,
      "learning_rate": 4.737777777777778e-06,
      "loss": 1.5823,
      "step": 10185
    },
    {
      "epoch": 0.9054222222222222,
      "grad_norm": 1.8792555332183838,
      "learning_rate": 4.7333333333333335e-06,
      "loss": 1.7163,
      "step": 10186
    },
    {
      "epoch": 0.9055111111111112,
      "grad_norm": 1.5772517919540405,
      "learning_rate": 4.728888888888889e-06,
      "loss": 1.6014,
      "step": 10187
    },
    {
      "epoch": 0.9056,
      "grad_norm": 1.4959654808044434,
      "learning_rate": 4.724444444444445e-06,
      "loss": 1.7278,
      "step": 10188
    },
    {
      "epoch": 0.9056888888888889,
      "grad_norm": 1.5712374448776245,
      "learning_rate": 4.72e-06,
      "loss": 1.5022,
      "step": 10189
    },
    {
      "epoch": 0.9057777777777778,
      "grad_norm": 1.3683823347091675,
      "learning_rate": 4.715555555555555e-06,
      "loss": 1.3416,
      "step": 10190
    },
    {
      "epoch": 0.9058666666666667,
      "grad_norm": 1.3566036224365234,
      "learning_rate": 4.711111111111111e-06,
      "loss": 1.3739,
      "step": 10191
    },
    {
      "epoch": 0.9059555555555555,
      "grad_norm": 1.8535939455032349,
      "learning_rate": 4.706666666666667e-06,
      "loss": 1.7988,
      "step": 10192
    },
    {
      "epoch": 0.9060444444444444,
      "grad_norm": 1.8799757957458496,
      "learning_rate": 4.7022222222222225e-06,
      "loss": 1.488,
      "step": 10193
    },
    {
      "epoch": 0.9061333333333333,
      "grad_norm": 1.44867742061615,
      "learning_rate": 4.697777777777778e-06,
      "loss": 1.4916,
      "step": 10194
    },
    {
      "epoch": 0.9062222222222223,
      "grad_norm": 1.6264142990112305,
      "learning_rate": 4.693333333333334e-06,
      "loss": 1.4731,
      "step": 10195
    },
    {
      "epoch": 0.9063111111111111,
      "grad_norm": 1.502440094947815,
      "learning_rate": 4.6888888888888895e-06,
      "loss": 1.5463,
      "step": 10196
    },
    {
      "epoch": 0.9064,
      "grad_norm": 1.5580625534057617,
      "learning_rate": 4.684444444444444e-06,
      "loss": 1.548,
      "step": 10197
    },
    {
      "epoch": 0.9064888888888889,
      "grad_norm": 1.3622262477874756,
      "learning_rate": 4.68e-06,
      "loss": 1.3573,
      "step": 10198
    },
    {
      "epoch": 0.9065777777777778,
      "grad_norm": 1.723122000694275,
      "learning_rate": 4.675555555555556e-06,
      "loss": 1.4472,
      "step": 10199
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 1.4488816261291504,
      "learning_rate": 4.6711111111111115e-06,
      "loss": 1.2448,
      "step": 10200
    },
    {
      "epoch": 0.9067555555555555,
      "grad_norm": 1.3435958623886108,
      "learning_rate": 4.666666666666667e-06,
      "loss": 1.4339,
      "step": 10201
    },
    {
      "epoch": 0.9068444444444445,
      "grad_norm": 1.3387808799743652,
      "learning_rate": 4.662222222222223e-06,
      "loss": 1.5,
      "step": 10202
    },
    {
      "epoch": 0.9069333333333334,
      "grad_norm": 1.541968584060669,
      "learning_rate": 4.6577777777777785e-06,
      "loss": 1.4735,
      "step": 10203
    },
    {
      "epoch": 0.9070222222222222,
      "grad_norm": 1.542572259902954,
      "learning_rate": 4.653333333333334e-06,
      "loss": 1.4637,
      "step": 10204
    },
    {
      "epoch": 0.9071111111111111,
      "grad_norm": 1.802656650543213,
      "learning_rate": 4.648888888888889e-06,
      "loss": 1.5861,
      "step": 10205
    },
    {
      "epoch": 0.9072,
      "grad_norm": 1.350258708000183,
      "learning_rate": 4.644444444444444e-06,
      "loss": 1.3825,
      "step": 10206
    },
    {
      "epoch": 0.9072888888888889,
      "grad_norm": 1.519718050956726,
      "learning_rate": 4.64e-06,
      "loss": 1.4773,
      "step": 10207
    },
    {
      "epoch": 0.9073777777777777,
      "grad_norm": 1.7751216888427734,
      "learning_rate": 4.635555555555555e-06,
      "loss": 1.5825,
      "step": 10208
    },
    {
      "epoch": 0.9074666666666666,
      "grad_norm": 1.4397374391555786,
      "learning_rate": 4.631111111111111e-06,
      "loss": 1.3253,
      "step": 10209
    },
    {
      "epoch": 0.9075555555555556,
      "grad_norm": 1.3790009021759033,
      "learning_rate": 4.626666666666667e-06,
      "loss": 1.2657,
      "step": 10210
    },
    {
      "epoch": 0.9076444444444445,
      "grad_norm": 1.5314894914627075,
      "learning_rate": 4.622222222222222e-06,
      "loss": 1.6577,
      "step": 10211
    },
    {
      "epoch": 0.9077333333333333,
      "grad_norm": 2.3326947689056396,
      "learning_rate": 4.617777777777778e-06,
      "loss": 1.4067,
      "step": 10212
    },
    {
      "epoch": 0.9078222222222222,
      "grad_norm": 1.5124239921569824,
      "learning_rate": 4.613333333333334e-06,
      "loss": 1.6892,
      "step": 10213
    },
    {
      "epoch": 0.9079111111111111,
      "grad_norm": 1.633447527885437,
      "learning_rate": 4.608888888888889e-06,
      "loss": 1.4487,
      "step": 10214
    },
    {
      "epoch": 0.908,
      "grad_norm": 1.4751118421554565,
      "learning_rate": 4.604444444444444e-06,
      "loss": 1.4359,
      "step": 10215
    },
    {
      "epoch": 0.9080888888888888,
      "grad_norm": 1.8978891372680664,
      "learning_rate": 4.6e-06,
      "loss": 1.6565,
      "step": 10216
    },
    {
      "epoch": 0.9081777777777778,
      "grad_norm": 1.4265989065170288,
      "learning_rate": 4.595555555555556e-06,
      "loss": 1.4057,
      "step": 10217
    },
    {
      "epoch": 0.9082666666666667,
      "grad_norm": 1.6157677173614502,
      "learning_rate": 4.591111111111111e-06,
      "loss": 1.4236,
      "step": 10218
    },
    {
      "epoch": 0.9083555555555556,
      "grad_norm": 1.458175778388977,
      "learning_rate": 4.586666666666667e-06,
      "loss": 1.6357,
      "step": 10219
    },
    {
      "epoch": 0.9084444444444445,
      "grad_norm": 1.6139194965362549,
      "learning_rate": 4.582222222222223e-06,
      "loss": 1.488,
      "step": 10220
    },
    {
      "epoch": 0.9085333333333333,
      "grad_norm": 3.897951364517212,
      "learning_rate": 4.5777777777777785e-06,
      "loss": 1.9441,
      "step": 10221
    },
    {
      "epoch": 0.9086222222222222,
      "grad_norm": 1.8582390546798706,
      "learning_rate": 4.573333333333333e-06,
      "loss": 1.2683,
      "step": 10222
    },
    {
      "epoch": 0.9087111111111111,
      "grad_norm": 1.7320274114608765,
      "learning_rate": 4.568888888888889e-06,
      "loss": 1.4745,
      "step": 10223
    },
    {
      "epoch": 0.9088,
      "grad_norm": 1.5503321886062622,
      "learning_rate": 4.564444444444445e-06,
      "loss": 1.4453,
      "step": 10224
    },
    {
      "epoch": 0.9088888888888889,
      "grad_norm": 1.5565046072006226,
      "learning_rate": 4.56e-06,
      "loss": 1.595,
      "step": 10225
    },
    {
      "epoch": 0.9089777777777778,
      "grad_norm": 1.4361637830734253,
      "learning_rate": 4.555555555555556e-06,
      "loss": 1.4166,
      "step": 10226
    },
    {
      "epoch": 0.9090666666666667,
      "grad_norm": 1.6318594217300415,
      "learning_rate": 4.551111111111112e-06,
      "loss": 1.4451,
      "step": 10227
    },
    {
      "epoch": 0.9091555555555556,
      "grad_norm": 1.533577561378479,
      "learning_rate": 4.5466666666666675e-06,
      "loss": 1.5389,
      "step": 10228
    },
    {
      "epoch": 0.9092444444444444,
      "grad_norm": 1.6315313577651978,
      "learning_rate": 4.542222222222222e-06,
      "loss": 1.5123,
      "step": 10229
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 1.652083158493042,
      "learning_rate": 4.537777777777778e-06,
      "loss": 1.4571,
      "step": 10230
    },
    {
      "epoch": 0.9094222222222222,
      "grad_norm": 1.7889691591262817,
      "learning_rate": 4.533333333333334e-06,
      "loss": 1.5705,
      "step": 10231
    },
    {
      "epoch": 0.9095111111111112,
      "grad_norm": 1.6627691984176636,
      "learning_rate": 4.5288888888888885e-06,
      "loss": 1.4245,
      "step": 10232
    },
    {
      "epoch": 0.9096,
      "grad_norm": 1.469436764717102,
      "learning_rate": 4.524444444444444e-06,
      "loss": 1.6053,
      "step": 10233
    },
    {
      "epoch": 0.9096888888888889,
      "grad_norm": 2.2945685386657715,
      "learning_rate": 4.52e-06,
      "loss": 1.7332,
      "step": 10234
    },
    {
      "epoch": 0.9097777777777778,
      "grad_norm": 1.3934732675552368,
      "learning_rate": 4.515555555555556e-06,
      "loss": 1.5892,
      "step": 10235
    },
    {
      "epoch": 0.9098666666666667,
      "grad_norm": 1.8154270648956299,
      "learning_rate": 4.511111111111111e-06,
      "loss": 1.4881,
      "step": 10236
    },
    {
      "epoch": 0.9099555555555555,
      "grad_norm": 1.5774258375167847,
      "learning_rate": 4.506666666666667e-06,
      "loss": 1.4936,
      "step": 10237
    },
    {
      "epoch": 0.9100444444444444,
      "grad_norm": 1.498023271560669,
      "learning_rate": 4.502222222222222e-06,
      "loss": 1.6607,
      "step": 10238
    },
    {
      "epoch": 0.9101333333333333,
      "grad_norm": 1.6396931409835815,
      "learning_rate": 4.4977777777777775e-06,
      "loss": 1.6429,
      "step": 10239
    },
    {
      "epoch": 0.9102222222222223,
      "grad_norm": 1.3963593244552612,
      "learning_rate": 4.493333333333333e-06,
      "loss": 1.5341,
      "step": 10240
    },
    {
      "epoch": 0.9103111111111111,
      "grad_norm": 1.574578881263733,
      "learning_rate": 4.488888888888889e-06,
      "loss": 1.7024,
      "step": 10241
    },
    {
      "epoch": 0.9104,
      "grad_norm": 1.5808321237564087,
      "learning_rate": 4.484444444444445e-06,
      "loss": 1.5742,
      "step": 10242
    },
    {
      "epoch": 0.9104888888888889,
      "grad_norm": 1.9159984588623047,
      "learning_rate": 4.48e-06,
      "loss": 1.4438,
      "step": 10243
    },
    {
      "epoch": 0.9105777777777778,
      "grad_norm": 1.4271230697631836,
      "learning_rate": 4.475555555555556e-06,
      "loss": 1.4285,
      "step": 10244
    },
    {
      "epoch": 0.9106666666666666,
      "grad_norm": 1.3527988195419312,
      "learning_rate": 4.471111111111112e-06,
      "loss": 1.3046,
      "step": 10245
    },
    {
      "epoch": 0.9107555555555555,
      "grad_norm": 1.6990842819213867,
      "learning_rate": 4.4666666666666665e-06,
      "loss": 1.4475,
      "step": 10246
    },
    {
      "epoch": 0.9108444444444445,
      "grad_norm": 1.6043555736541748,
      "learning_rate": 4.462222222222222e-06,
      "loss": 1.4372,
      "step": 10247
    },
    {
      "epoch": 0.9109333333333334,
      "grad_norm": 1.7384525537490845,
      "learning_rate": 4.457777777777778e-06,
      "loss": 1.5873,
      "step": 10248
    },
    {
      "epoch": 0.9110222222222222,
      "grad_norm": 1.9482407569885254,
      "learning_rate": 4.453333333333334e-06,
      "loss": 1.4163,
      "step": 10249
    },
    {
      "epoch": 0.9111111111111111,
      "grad_norm": 1.5883336067199707,
      "learning_rate": 4.448888888888889e-06,
      "loss": 1.3544,
      "step": 10250
    },
    {
      "epoch": 0.9112,
      "grad_norm": 2.0662689208984375,
      "learning_rate": 4.444444444444445e-06,
      "loss": 1.6692,
      "step": 10251
    },
    {
      "epoch": 0.9112888888888889,
      "grad_norm": 1.638759970664978,
      "learning_rate": 4.440000000000001e-06,
      "loss": 1.3668,
      "step": 10252
    },
    {
      "epoch": 0.9113777777777777,
      "grad_norm": 1.5120558738708496,
      "learning_rate": 4.435555555555556e-06,
      "loss": 1.4822,
      "step": 10253
    },
    {
      "epoch": 0.9114666666666666,
      "grad_norm": 1.5532326698303223,
      "learning_rate": 4.431111111111111e-06,
      "loss": 1.491,
      "step": 10254
    },
    {
      "epoch": 0.9115555555555556,
      "grad_norm": 2.8043839931488037,
      "learning_rate": 4.426666666666667e-06,
      "loss": 1.766,
      "step": 10255
    },
    {
      "epoch": 0.9116444444444445,
      "grad_norm": 1.8636071681976318,
      "learning_rate": 4.422222222222223e-06,
      "loss": 1.58,
      "step": 10256
    },
    {
      "epoch": 0.9117333333333333,
      "grad_norm": 1.4951322078704834,
      "learning_rate": 4.417777777777778e-06,
      "loss": 1.3351,
      "step": 10257
    },
    {
      "epoch": 0.9118222222222222,
      "grad_norm": 1.294424295425415,
      "learning_rate": 4.413333333333333e-06,
      "loss": 1.3222,
      "step": 10258
    },
    {
      "epoch": 0.9119111111111111,
      "grad_norm": 1.538650631904602,
      "learning_rate": 4.408888888888889e-06,
      "loss": 1.6464,
      "step": 10259
    },
    {
      "epoch": 0.912,
      "grad_norm": 1.4045536518096924,
      "learning_rate": 4.4044444444444445e-06,
      "loss": 1.3524,
      "step": 10260
    },
    {
      "epoch": 0.9120888888888888,
      "grad_norm": 1.5922000408172607,
      "learning_rate": 4.4e-06,
      "loss": 1.5948,
      "step": 10261
    },
    {
      "epoch": 0.9121777777777778,
      "grad_norm": 1.4679275751113892,
      "learning_rate": 4.395555555555556e-06,
      "loss": 1.5371,
      "step": 10262
    },
    {
      "epoch": 0.9122666666666667,
      "grad_norm": 1.6307053565979004,
      "learning_rate": 4.391111111111111e-06,
      "loss": 1.2378,
      "step": 10263
    },
    {
      "epoch": 0.9123555555555556,
      "grad_norm": 1.415930986404419,
      "learning_rate": 4.3866666666666665e-06,
      "loss": 1.6775,
      "step": 10264
    },
    {
      "epoch": 0.9124444444444444,
      "grad_norm": 1.5408278703689575,
      "learning_rate": 4.382222222222222e-06,
      "loss": 1.5167,
      "step": 10265
    },
    {
      "epoch": 0.9125333333333333,
      "grad_norm": 1.3253265619277954,
      "learning_rate": 4.377777777777778e-06,
      "loss": 1.2753,
      "step": 10266
    },
    {
      "epoch": 0.9126222222222222,
      "grad_norm": 1.5604130029678345,
      "learning_rate": 4.3733333333333335e-06,
      "loss": 1.5441,
      "step": 10267
    },
    {
      "epoch": 0.9127111111111111,
      "grad_norm": 1.4165198802947998,
      "learning_rate": 4.368888888888889e-06,
      "loss": 1.4408,
      "step": 10268
    },
    {
      "epoch": 0.9128,
      "grad_norm": 1.535436749458313,
      "learning_rate": 4.364444444444445e-06,
      "loss": 1.6597,
      "step": 10269
    },
    {
      "epoch": 0.9128888888888889,
      "grad_norm": 1.4356385469436646,
      "learning_rate": 4.360000000000001e-06,
      "loss": 1.4349,
      "step": 10270
    },
    {
      "epoch": 0.9129777777777778,
      "grad_norm": 1.9929394721984863,
      "learning_rate": 4.3555555555555555e-06,
      "loss": 1.5706,
      "step": 10271
    },
    {
      "epoch": 0.9130666666666667,
      "grad_norm": 1.3864085674285889,
      "learning_rate": 4.351111111111111e-06,
      "loss": 1.3032,
      "step": 10272
    },
    {
      "epoch": 0.9131555555555556,
      "grad_norm": 1.47181236743927,
      "learning_rate": 4.346666666666667e-06,
      "loss": 1.3995,
      "step": 10273
    },
    {
      "epoch": 0.9132444444444444,
      "grad_norm": 1.5365217924118042,
      "learning_rate": 4.3422222222222225e-06,
      "loss": 1.5054,
      "step": 10274
    },
    {
      "epoch": 0.9133333333333333,
      "grad_norm": 1.8009486198425293,
      "learning_rate": 4.337777777777778e-06,
      "loss": 1.3317,
      "step": 10275
    },
    {
      "epoch": 0.9134222222222222,
      "grad_norm": 1.7314283847808838,
      "learning_rate": 4.333333333333334e-06,
      "loss": 1.5296,
      "step": 10276
    },
    {
      "epoch": 0.9135111111111112,
      "grad_norm": 1.4808474779129028,
      "learning_rate": 4.32888888888889e-06,
      "loss": 1.6336,
      "step": 10277
    },
    {
      "epoch": 0.9136,
      "grad_norm": 1.8823368549346924,
      "learning_rate": 4.3244444444444445e-06,
      "loss": 1.3872,
      "step": 10278
    },
    {
      "epoch": 0.9136888888888889,
      "grad_norm": 1.4138373136520386,
      "learning_rate": 4.32e-06,
      "loss": 1.4519,
      "step": 10279
    },
    {
      "epoch": 0.9137777777777778,
      "grad_norm": 1.7786887884140015,
      "learning_rate": 4.315555555555556e-06,
      "loss": 1.7473,
      "step": 10280
    },
    {
      "epoch": 0.9138666666666667,
      "grad_norm": 1.9058821201324463,
      "learning_rate": 4.3111111111111115e-06,
      "loss": 1.7696,
      "step": 10281
    },
    {
      "epoch": 0.9139555555555555,
      "grad_norm": 1.6341882944107056,
      "learning_rate": 4.306666666666667e-06,
      "loss": 1.3639,
      "step": 10282
    },
    {
      "epoch": 0.9140444444444444,
      "grad_norm": 1.7665942907333374,
      "learning_rate": 4.302222222222223e-06,
      "loss": 1.6768,
      "step": 10283
    },
    {
      "epoch": 0.9141333333333334,
      "grad_norm": 1.3624526262283325,
      "learning_rate": 4.297777777777778e-06,
      "loss": 1.3505,
      "step": 10284
    },
    {
      "epoch": 0.9142222222222223,
      "grad_norm": 1.5707701444625854,
      "learning_rate": 4.2933333333333334e-06,
      "loss": 1.4583,
      "step": 10285
    },
    {
      "epoch": 0.9143111111111111,
      "grad_norm": 1.9023147821426392,
      "learning_rate": 4.288888888888889e-06,
      "loss": 1.5695,
      "step": 10286
    },
    {
      "epoch": 0.9144,
      "grad_norm": 1.8016358613967896,
      "learning_rate": 4.284444444444444e-06,
      "loss": 1.5214,
      "step": 10287
    },
    {
      "epoch": 0.9144888888888889,
      "grad_norm": 1.2893404960632324,
      "learning_rate": 4.28e-06,
      "loss": 1.3564,
      "step": 10288
    },
    {
      "epoch": 0.9145777777777778,
      "grad_norm": 1.4491468667984009,
      "learning_rate": 4.275555555555555e-06,
      "loss": 1.553,
      "step": 10289
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 1.332350254058838,
      "learning_rate": 4.271111111111111e-06,
      "loss": 1.3925,
      "step": 10290
    },
    {
      "epoch": 0.9147555555555555,
      "grad_norm": 1.4464809894561768,
      "learning_rate": 4.266666666666667e-06,
      "loss": 1.6411,
      "step": 10291
    },
    {
      "epoch": 0.9148444444444445,
      "grad_norm": 1.6060301065444946,
      "learning_rate": 4.2622222222222224e-06,
      "loss": 1.2988,
      "step": 10292
    },
    {
      "epoch": 0.9149333333333334,
      "grad_norm": 1.627246618270874,
      "learning_rate": 4.257777777777778e-06,
      "loss": 1.5162,
      "step": 10293
    },
    {
      "epoch": 0.9150222222222222,
      "grad_norm": 1.8362674713134766,
      "learning_rate": 4.253333333333334e-06,
      "loss": 1.6088,
      "step": 10294
    },
    {
      "epoch": 0.9151111111111111,
      "grad_norm": 1.9691247940063477,
      "learning_rate": 4.248888888888889e-06,
      "loss": 1.4412,
      "step": 10295
    },
    {
      "epoch": 0.9152,
      "grad_norm": 1.8113033771514893,
      "learning_rate": 4.244444444444444e-06,
      "loss": 1.3463,
      "step": 10296
    },
    {
      "epoch": 0.9152888888888889,
      "grad_norm": 1.7917839288711548,
      "learning_rate": 4.24e-06,
      "loss": 1.5831,
      "step": 10297
    },
    {
      "epoch": 0.9153777777777777,
      "grad_norm": 1.5593727827072144,
      "learning_rate": 4.235555555555556e-06,
      "loss": 1.528,
      "step": 10298
    },
    {
      "epoch": 0.9154666666666667,
      "grad_norm": 1.4424914121627808,
      "learning_rate": 4.2311111111111114e-06,
      "loss": 1.4378,
      "step": 10299
    },
    {
      "epoch": 0.9155555555555556,
      "grad_norm": 1.3629149198532104,
      "learning_rate": 4.226666666666667e-06,
      "loss": 1.2851,
      "step": 10300
    },
    {
      "epoch": 0.9156444444444445,
      "grad_norm": 1.947627305984497,
      "learning_rate": 4.222222222222223e-06,
      "loss": 1.3117,
      "step": 10301
    },
    {
      "epoch": 0.9157333333333333,
      "grad_norm": 1.5297441482543945,
      "learning_rate": 4.2177777777777785e-06,
      "loss": 1.5725,
      "step": 10302
    },
    {
      "epoch": 0.9158222222222222,
      "grad_norm": 1.7865833044052124,
      "learning_rate": 4.213333333333333e-06,
      "loss": 1.3634,
      "step": 10303
    },
    {
      "epoch": 0.9159111111111111,
      "grad_norm": 1.6231951713562012,
      "learning_rate": 4.208888888888889e-06,
      "loss": 1.7411,
      "step": 10304
    },
    {
      "epoch": 0.916,
      "grad_norm": 1.540924310684204,
      "learning_rate": 4.204444444444445e-06,
      "loss": 1.5883,
      "step": 10305
    },
    {
      "epoch": 0.9160888888888888,
      "grad_norm": 1.7539094686508179,
      "learning_rate": 4.2000000000000004e-06,
      "loss": 1.559,
      "step": 10306
    },
    {
      "epoch": 0.9161777777777778,
      "grad_norm": 1.4817959070205688,
      "learning_rate": 4.195555555555556e-06,
      "loss": 1.4915,
      "step": 10307
    },
    {
      "epoch": 0.9162666666666667,
      "grad_norm": 1.6032763719558716,
      "learning_rate": 4.191111111111112e-06,
      "loss": 1.6819,
      "step": 10308
    },
    {
      "epoch": 0.9163555555555556,
      "grad_norm": 1.657898187637329,
      "learning_rate": 4.1866666666666675e-06,
      "loss": 1.587,
      "step": 10309
    },
    {
      "epoch": 0.9164444444444444,
      "grad_norm": 1.916056513786316,
      "learning_rate": 4.182222222222222e-06,
      "loss": 1.4561,
      "step": 10310
    },
    {
      "epoch": 0.9165333333333333,
      "grad_norm": 1.723393201828003,
      "learning_rate": 4.177777777777778e-06,
      "loss": 1.5111,
      "step": 10311
    },
    {
      "epoch": 0.9166222222222222,
      "grad_norm": 1.5237915515899658,
      "learning_rate": 4.173333333333333e-06,
      "loss": 1.5921,
      "step": 10312
    },
    {
      "epoch": 0.9167111111111111,
      "grad_norm": 1.4925284385681152,
      "learning_rate": 4.168888888888889e-06,
      "loss": 1.5234,
      "step": 10313
    },
    {
      "epoch": 0.9168,
      "grad_norm": 1.4191248416900635,
      "learning_rate": 4.164444444444444e-06,
      "loss": 1.4731,
      "step": 10314
    },
    {
      "epoch": 0.9168888888888889,
      "grad_norm": 1.5518391132354736,
      "learning_rate": 4.16e-06,
      "loss": 1.578,
      "step": 10315
    },
    {
      "epoch": 0.9169777777777778,
      "grad_norm": 1.7223217487335205,
      "learning_rate": 4.155555555555556e-06,
      "loss": 1.5588,
      "step": 10316
    },
    {
      "epoch": 0.9170666666666667,
      "grad_norm": 1.376091718673706,
      "learning_rate": 4.151111111111111e-06,
      "loss": 1.5403,
      "step": 10317
    },
    {
      "epoch": 0.9171555555555555,
      "grad_norm": 2.0943429470062256,
      "learning_rate": 4.146666666666667e-06,
      "loss": 1.6516,
      "step": 10318
    },
    {
      "epoch": 0.9172444444444444,
      "grad_norm": 1.913814902305603,
      "learning_rate": 4.142222222222223e-06,
      "loss": 1.6479,
      "step": 10319
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 2.220710515975952,
      "learning_rate": 4.137777777777778e-06,
      "loss": 1.6619,
      "step": 10320
    },
    {
      "epoch": 0.9174222222222223,
      "grad_norm": 1.4664430618286133,
      "learning_rate": 4.133333333333333e-06,
      "loss": 1.6101,
      "step": 10321
    },
    {
      "epoch": 0.9175111111111112,
      "grad_norm": 1.5958763360977173,
      "learning_rate": 4.128888888888889e-06,
      "loss": 1.4626,
      "step": 10322
    },
    {
      "epoch": 0.9176,
      "grad_norm": 1.7454379796981812,
      "learning_rate": 4.124444444444445e-06,
      "loss": 1.6769,
      "step": 10323
    },
    {
      "epoch": 0.9176888888888889,
      "grad_norm": 1.490264654159546,
      "learning_rate": 4.12e-06,
      "loss": 1.6393,
      "step": 10324
    },
    {
      "epoch": 0.9177777777777778,
      "grad_norm": 1.399394154548645,
      "learning_rate": 4.115555555555556e-06,
      "loss": 1.2896,
      "step": 10325
    },
    {
      "epoch": 0.9178666666666667,
      "grad_norm": 2.055453062057495,
      "learning_rate": 4.111111111111112e-06,
      "loss": 1.482,
      "step": 10326
    },
    {
      "epoch": 0.9179555555555555,
      "grad_norm": 1.9363458156585693,
      "learning_rate": 4.106666666666667e-06,
      "loss": 1.6411,
      "step": 10327
    },
    {
      "epoch": 0.9180444444444444,
      "grad_norm": 1.9152156114578247,
      "learning_rate": 4.102222222222222e-06,
      "loss": 1.5609,
      "step": 10328
    },
    {
      "epoch": 0.9181333333333334,
      "grad_norm": 1.6818269491195679,
      "learning_rate": 4.097777777777778e-06,
      "loss": 1.5055,
      "step": 10329
    },
    {
      "epoch": 0.9182222222222223,
      "grad_norm": 1.5634112358093262,
      "learning_rate": 4.093333333333334e-06,
      "loss": 1.4302,
      "step": 10330
    },
    {
      "epoch": 0.9183111111111111,
      "grad_norm": 1.4081192016601562,
      "learning_rate": 4.088888888888889e-06,
      "loss": 1.3077,
      "step": 10331
    },
    {
      "epoch": 0.9184,
      "grad_norm": 1.8915753364562988,
      "learning_rate": 4.084444444444445e-06,
      "loss": 1.7148,
      "step": 10332
    },
    {
      "epoch": 0.9184888888888889,
      "grad_norm": 1.592604637145996,
      "learning_rate": 4.080000000000001e-06,
      "loss": 1.5919,
      "step": 10333
    },
    {
      "epoch": 0.9185777777777778,
      "grad_norm": 1.4118539094924927,
      "learning_rate": 4.0755555555555564e-06,
      "loss": 1.4092,
      "step": 10334
    },
    {
      "epoch": 0.9186666666666666,
      "grad_norm": 1.4898408651351929,
      "learning_rate": 4.071111111111111e-06,
      "loss": 1.6517,
      "step": 10335
    },
    {
      "epoch": 0.9187555555555555,
      "grad_norm": 1.731602668762207,
      "learning_rate": 4.066666666666666e-06,
      "loss": 1.5409,
      "step": 10336
    },
    {
      "epoch": 0.9188444444444445,
      "grad_norm": 1.5544445514678955,
      "learning_rate": 4.062222222222222e-06,
      "loss": 1.4882,
      "step": 10337
    },
    {
      "epoch": 0.9189333333333334,
      "grad_norm": 1.5508190393447876,
      "learning_rate": 4.0577777777777775e-06,
      "loss": 1.5754,
      "step": 10338
    },
    {
      "epoch": 0.9190222222222222,
      "grad_norm": 2.0606391429901123,
      "learning_rate": 4.053333333333333e-06,
      "loss": 1.3208,
      "step": 10339
    },
    {
      "epoch": 0.9191111111111111,
      "grad_norm": 1.597734808921814,
      "learning_rate": 4.048888888888889e-06,
      "loss": 1.5748,
      "step": 10340
    },
    {
      "epoch": 0.9192,
      "grad_norm": 1.9004491567611694,
      "learning_rate": 4.044444444444445e-06,
      "loss": 1.5067,
      "step": 10341
    },
    {
      "epoch": 0.9192888888888889,
      "grad_norm": 1.392095685005188,
      "learning_rate": 4.04e-06,
      "loss": 1.5348,
      "step": 10342
    },
    {
      "epoch": 0.9193777777777777,
      "grad_norm": 1.5376375913619995,
      "learning_rate": 4.035555555555556e-06,
      "loss": 1.5741,
      "step": 10343
    },
    {
      "epoch": 0.9194666666666667,
      "grad_norm": 1.4546196460723877,
      "learning_rate": 4.031111111111111e-06,
      "loss": 1.4487,
      "step": 10344
    },
    {
      "epoch": 0.9195555555555556,
      "grad_norm": 1.5516148805618286,
      "learning_rate": 4.0266666666666665e-06,
      "loss": 1.5,
      "step": 10345
    },
    {
      "epoch": 0.9196444444444445,
      "grad_norm": 1.5605854988098145,
      "learning_rate": 4.022222222222222e-06,
      "loss": 1.403,
      "step": 10346
    },
    {
      "epoch": 0.9197333333333333,
      "grad_norm": 1.3462387323379517,
      "learning_rate": 4.017777777777778e-06,
      "loss": 1.5498,
      "step": 10347
    },
    {
      "epoch": 0.9198222222222222,
      "grad_norm": 1.6836199760437012,
      "learning_rate": 4.013333333333334e-06,
      "loss": 1.514,
      "step": 10348
    },
    {
      "epoch": 0.9199111111111111,
      "grad_norm": 1.5185397863388062,
      "learning_rate": 4.008888888888889e-06,
      "loss": 1.595,
      "step": 10349
    },
    {
      "epoch": 0.92,
      "grad_norm": 1.5224422216415405,
      "learning_rate": 4.004444444444445e-06,
      "loss": 1.6004,
      "step": 10350
    },
    {
      "epoch": 0.9200888888888888,
      "grad_norm": 1.5576667785644531,
      "learning_rate": 4.000000000000001e-06,
      "loss": 1.4852,
      "step": 10351
    },
    {
      "epoch": 0.9201777777777778,
      "grad_norm": 1.6533671617507935,
      "learning_rate": 3.9955555555555555e-06,
      "loss": 1.6249,
      "step": 10352
    },
    {
      "epoch": 0.9202666666666667,
      "grad_norm": 1.265060305595398,
      "learning_rate": 3.991111111111111e-06,
      "loss": 1.2724,
      "step": 10353
    },
    {
      "epoch": 0.9203555555555556,
      "grad_norm": 1.827193021774292,
      "learning_rate": 3.986666666666667e-06,
      "loss": 1.6573,
      "step": 10354
    },
    {
      "epoch": 0.9204444444444444,
      "grad_norm": 1.7176895141601562,
      "learning_rate": 3.982222222222223e-06,
      "loss": 1.6025,
      "step": 10355
    },
    {
      "epoch": 0.9205333333333333,
      "grad_norm": 1.5465608835220337,
      "learning_rate": 3.977777777777778e-06,
      "loss": 1.6624,
      "step": 10356
    },
    {
      "epoch": 0.9206222222222222,
      "grad_norm": 1.6221303939819336,
      "learning_rate": 3.973333333333334e-06,
      "loss": 1.546,
      "step": 10357
    },
    {
      "epoch": 0.9207111111111111,
      "grad_norm": 1.4134458303451538,
      "learning_rate": 3.96888888888889e-06,
      "loss": 1.5245,
      "step": 10358
    },
    {
      "epoch": 0.9208,
      "grad_norm": 1.4820635318756104,
      "learning_rate": 3.9644444444444445e-06,
      "loss": 1.2499,
      "step": 10359
    },
    {
      "epoch": 0.9208888888888889,
      "grad_norm": 1.5460402965545654,
      "learning_rate": 3.96e-06,
      "loss": 1.5365,
      "step": 10360
    },
    {
      "epoch": 0.9209777777777778,
      "grad_norm": 1.567629098892212,
      "learning_rate": 3.955555555555555e-06,
      "loss": 1.3578,
      "step": 10361
    },
    {
      "epoch": 0.9210666666666667,
      "grad_norm": 1.9181665182113647,
      "learning_rate": 3.951111111111111e-06,
      "loss": 1.4311,
      "step": 10362
    },
    {
      "epoch": 0.9211555555555555,
      "grad_norm": 1.2868927717208862,
      "learning_rate": 3.9466666666666664e-06,
      "loss": 1.1543,
      "step": 10363
    },
    {
      "epoch": 0.9212444444444444,
      "grad_norm": 1.432843565940857,
      "learning_rate": 3.942222222222222e-06,
      "loss": 1.4534,
      "step": 10364
    },
    {
      "epoch": 0.9213333333333333,
      "grad_norm": 1.6066073179244995,
      "learning_rate": 3.937777777777778e-06,
      "loss": 1.525,
      "step": 10365
    },
    {
      "epoch": 0.9214222222222223,
      "grad_norm": 1.4007086753845215,
      "learning_rate": 3.9333333333333335e-06,
      "loss": 1.4413,
      "step": 10366
    },
    {
      "epoch": 0.9215111111111111,
      "grad_norm": 1.3097953796386719,
      "learning_rate": 3.928888888888889e-06,
      "loss": 1.1932,
      "step": 10367
    },
    {
      "epoch": 0.9216,
      "grad_norm": 1.503308892250061,
      "learning_rate": 3.924444444444445e-06,
      "loss": 1.6288,
      "step": 10368
    },
    {
      "epoch": 0.9216888888888889,
      "grad_norm": 1.4878329038619995,
      "learning_rate": 3.92e-06,
      "loss": 1.4915,
      "step": 10369
    },
    {
      "epoch": 0.9217777777777778,
      "grad_norm": 1.4374836683273315,
      "learning_rate": 3.9155555555555554e-06,
      "loss": 1.4372,
      "step": 10370
    },
    {
      "epoch": 0.9218666666666666,
      "grad_norm": 2.2313971519470215,
      "learning_rate": 3.911111111111111e-06,
      "loss": 1.5177,
      "step": 10371
    },
    {
      "epoch": 0.9219555555555555,
      "grad_norm": 1.4890683889389038,
      "learning_rate": 3.906666666666667e-06,
      "loss": 1.4743,
      "step": 10372
    },
    {
      "epoch": 0.9220444444444444,
      "grad_norm": 2.2424705028533936,
      "learning_rate": 3.9022222222222225e-06,
      "loss": 1.4994,
      "step": 10373
    },
    {
      "epoch": 0.9221333333333334,
      "grad_norm": 1.5600864887237549,
      "learning_rate": 3.897777777777778e-06,
      "loss": 1.5841,
      "step": 10374
    },
    {
      "epoch": 0.9222222222222223,
      "grad_norm": 1.5928901433944702,
      "learning_rate": 3.893333333333334e-06,
      "loss": 1.6729,
      "step": 10375
    },
    {
      "epoch": 0.9223111111111111,
      "grad_norm": 1.431954264640808,
      "learning_rate": 3.888888888888889e-06,
      "loss": 1.4475,
      "step": 10376
    },
    {
      "epoch": 0.9224,
      "grad_norm": 1.9180728197097778,
      "learning_rate": 3.8844444444444444e-06,
      "loss": 1.5937,
      "step": 10377
    },
    {
      "epoch": 0.9224888888888889,
      "grad_norm": 1.5889164209365845,
      "learning_rate": 3.88e-06,
      "loss": 1.6095,
      "step": 10378
    },
    {
      "epoch": 0.9225777777777778,
      "grad_norm": 1.9779870510101318,
      "learning_rate": 3.875555555555556e-06,
      "loss": 1.7866,
      "step": 10379
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 1.5613179206848145,
      "learning_rate": 3.8711111111111115e-06,
      "loss": 1.5527,
      "step": 10380
    },
    {
      "epoch": 0.9227555555555556,
      "grad_norm": 1.6285054683685303,
      "learning_rate": 3.866666666666667e-06,
      "loss": 1.5369,
      "step": 10381
    },
    {
      "epoch": 0.9228444444444445,
      "grad_norm": 1.6948825120925903,
      "learning_rate": 3.862222222222223e-06,
      "loss": 1.505,
      "step": 10382
    },
    {
      "epoch": 0.9229333333333334,
      "grad_norm": 1.3710333108901978,
      "learning_rate": 3.857777777777779e-06,
      "loss": 1.4381,
      "step": 10383
    },
    {
      "epoch": 0.9230222222222222,
      "grad_norm": 1.3967294692993164,
      "learning_rate": 3.8533333333333334e-06,
      "loss": 1.6553,
      "step": 10384
    },
    {
      "epoch": 0.9231111111111111,
      "grad_norm": 1.2791184186935425,
      "learning_rate": 3.848888888888889e-06,
      "loss": 1.2833,
      "step": 10385
    },
    {
      "epoch": 0.9232,
      "grad_norm": 1.702424168586731,
      "learning_rate": 3.844444444444445e-06,
      "loss": 1.5683,
      "step": 10386
    },
    {
      "epoch": 0.9232888888888889,
      "grad_norm": 1.3850200176239014,
      "learning_rate": 3.84e-06,
      "loss": 1.4451,
      "step": 10387
    },
    {
      "epoch": 0.9233777777777777,
      "grad_norm": 1.6172014474868774,
      "learning_rate": 3.835555555555555e-06,
      "loss": 1.6254,
      "step": 10388
    },
    {
      "epoch": 0.9234666666666667,
      "grad_norm": 1.6055184602737427,
      "learning_rate": 3.831111111111111e-06,
      "loss": 1.382,
      "step": 10389
    },
    {
      "epoch": 0.9235555555555556,
      "grad_norm": 1.870058536529541,
      "learning_rate": 3.826666666666667e-06,
      "loss": 1.4686,
      "step": 10390
    },
    {
      "epoch": 0.9236444444444445,
      "grad_norm": 1.5162419080734253,
      "learning_rate": 3.8222222222222224e-06,
      "loss": 1.6665,
      "step": 10391
    },
    {
      "epoch": 0.9237333333333333,
      "grad_norm": 1.7355587482452393,
      "learning_rate": 3.817777777777778e-06,
      "loss": 1.5425,
      "step": 10392
    },
    {
      "epoch": 0.9238222222222222,
      "grad_norm": 1.3996214866638184,
      "learning_rate": 3.8133333333333334e-06,
      "loss": 1.3159,
      "step": 10393
    },
    {
      "epoch": 0.9239111111111111,
      "grad_norm": 1.3317961692810059,
      "learning_rate": 3.808888888888889e-06,
      "loss": 1.5105,
      "step": 10394
    },
    {
      "epoch": 0.924,
      "grad_norm": 1.6128818988800049,
      "learning_rate": 3.8044444444444443e-06,
      "loss": 1.4665,
      "step": 10395
    },
    {
      "epoch": 0.9240888888888888,
      "grad_norm": 2.280843496322632,
      "learning_rate": 3.8e-06,
      "loss": 1.6379,
      "step": 10396
    },
    {
      "epoch": 0.9241777777777778,
      "grad_norm": 1.6626625061035156,
      "learning_rate": 3.7955555555555557e-06,
      "loss": 1.4079,
      "step": 10397
    },
    {
      "epoch": 0.9242666666666667,
      "grad_norm": 1.482406497001648,
      "learning_rate": 3.7911111111111114e-06,
      "loss": 1.3731,
      "step": 10398
    },
    {
      "epoch": 0.9243555555555556,
      "grad_norm": 1.481707215309143,
      "learning_rate": 3.7866666666666667e-06,
      "loss": 1.2507,
      "step": 10399
    },
    {
      "epoch": 0.9244444444444444,
      "grad_norm": 1.3486040830612183,
      "learning_rate": 3.7822222222222224e-06,
      "loss": 1.5061,
      "step": 10400
    },
    {
      "epoch": 0.9245333333333333,
      "grad_norm": 1.4965542554855347,
      "learning_rate": 3.777777777777778e-06,
      "loss": 1.6423,
      "step": 10401
    },
    {
      "epoch": 0.9246222222222222,
      "grad_norm": 1.8333673477172852,
      "learning_rate": 3.7733333333333338e-06,
      "loss": 1.6832,
      "step": 10402
    },
    {
      "epoch": 0.9247111111111112,
      "grad_norm": 1.45490562915802,
      "learning_rate": 3.768888888888889e-06,
      "loss": 1.6627,
      "step": 10403
    },
    {
      "epoch": 0.9248,
      "grad_norm": 1.5431989431381226,
      "learning_rate": 3.7644444444444447e-06,
      "loss": 1.4816,
      "step": 10404
    },
    {
      "epoch": 0.9248888888888889,
      "grad_norm": 1.45562744140625,
      "learning_rate": 3.7600000000000004e-06,
      "loss": 1.3629,
      "step": 10405
    },
    {
      "epoch": 0.9249777777777778,
      "grad_norm": 1.6095956563949585,
      "learning_rate": 3.755555555555556e-06,
      "loss": 1.3004,
      "step": 10406
    },
    {
      "epoch": 0.9250666666666667,
      "grad_norm": 1.6891348361968994,
      "learning_rate": 3.7511111111111114e-06,
      "loss": 1.5442,
      "step": 10407
    },
    {
      "epoch": 0.9251555555555555,
      "grad_norm": 1.4912443161010742,
      "learning_rate": 3.746666666666667e-06,
      "loss": 1.7248,
      "step": 10408
    },
    {
      "epoch": 0.9252444444444444,
      "grad_norm": 1.4561246633529663,
      "learning_rate": 3.7422222222222228e-06,
      "loss": 1.4486,
      "step": 10409
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 2.580996036529541,
      "learning_rate": 3.737777777777778e-06,
      "loss": 1.5414,
      "step": 10410
    },
    {
      "epoch": 0.9254222222222223,
      "grad_norm": 1.5623360872268677,
      "learning_rate": 3.7333333333333337e-06,
      "loss": 1.4381,
      "step": 10411
    },
    {
      "epoch": 0.9255111111111111,
      "grad_norm": 1.4083161354064941,
      "learning_rate": 3.7288888888888894e-06,
      "loss": 1.3936,
      "step": 10412
    },
    {
      "epoch": 0.9256,
      "grad_norm": 1.725456714630127,
      "learning_rate": 3.7244444444444443e-06,
      "loss": 1.4918,
      "step": 10413
    },
    {
      "epoch": 0.9256888888888889,
      "grad_norm": 1.5953090190887451,
      "learning_rate": 3.72e-06,
      "loss": 1.5615,
      "step": 10414
    },
    {
      "epoch": 0.9257777777777778,
      "grad_norm": 2.0901153087615967,
      "learning_rate": 3.7155555555555557e-06,
      "loss": 1.3721,
      "step": 10415
    },
    {
      "epoch": 0.9258666666666666,
      "grad_norm": 1.5127923488616943,
      "learning_rate": 3.711111111111111e-06,
      "loss": 1.4254,
      "step": 10416
    },
    {
      "epoch": 0.9259555555555555,
      "grad_norm": 1.2873203754425049,
      "learning_rate": 3.7066666666666666e-06,
      "loss": 1.2377,
      "step": 10417
    },
    {
      "epoch": 0.9260444444444444,
      "grad_norm": 1.9000824689865112,
      "learning_rate": 3.7022222222222223e-06,
      "loss": 1.3778,
      "step": 10418
    },
    {
      "epoch": 0.9261333333333334,
      "grad_norm": 1.4139257669448853,
      "learning_rate": 3.697777777777778e-06,
      "loss": 1.398,
      "step": 10419
    },
    {
      "epoch": 0.9262222222222222,
      "grad_norm": 1.7004480361938477,
      "learning_rate": 3.6933333333333333e-06,
      "loss": 1.4664,
      "step": 10420
    },
    {
      "epoch": 0.9263111111111111,
      "grad_norm": 1.7128527164459229,
      "learning_rate": 3.688888888888889e-06,
      "loss": 1.5976,
      "step": 10421
    },
    {
      "epoch": 0.9264,
      "grad_norm": 1.740451693534851,
      "learning_rate": 3.6844444444444446e-06,
      "loss": 1.5317,
      "step": 10422
    },
    {
      "epoch": 0.9264888888888889,
      "grad_norm": 1.5191985368728638,
      "learning_rate": 3.68e-06,
      "loss": 1.5779,
      "step": 10423
    },
    {
      "epoch": 0.9265777777777777,
      "grad_norm": 1.6023147106170654,
      "learning_rate": 3.6755555555555556e-06,
      "loss": 1.435,
      "step": 10424
    },
    {
      "epoch": 0.9266666666666666,
      "grad_norm": 1.5671465396881104,
      "learning_rate": 3.6711111111111113e-06,
      "loss": 1.491,
      "step": 10425
    },
    {
      "epoch": 0.9267555555555556,
      "grad_norm": 1.502295970916748,
      "learning_rate": 3.666666666666667e-06,
      "loss": 1.2793,
      "step": 10426
    },
    {
      "epoch": 0.9268444444444445,
      "grad_norm": 1.5661669969558716,
      "learning_rate": 3.6622222222222223e-06,
      "loss": 1.3458,
      "step": 10427
    },
    {
      "epoch": 0.9269333333333334,
      "grad_norm": 1.4319616556167603,
      "learning_rate": 3.657777777777778e-06,
      "loss": 1.5483,
      "step": 10428
    },
    {
      "epoch": 0.9270222222222222,
      "grad_norm": 1.6151067018508911,
      "learning_rate": 3.6533333333333336e-06,
      "loss": 1.4546,
      "step": 10429
    },
    {
      "epoch": 0.9271111111111111,
      "grad_norm": 1.3708186149597168,
      "learning_rate": 3.6488888888888893e-06,
      "loss": 1.4717,
      "step": 10430
    },
    {
      "epoch": 0.9272,
      "grad_norm": 1.4968502521514893,
      "learning_rate": 3.6444444444444446e-06,
      "loss": 1.5579,
      "step": 10431
    },
    {
      "epoch": 0.9272888888888889,
      "grad_norm": 1.528783917427063,
      "learning_rate": 3.6400000000000003e-06,
      "loss": 1.5663,
      "step": 10432
    },
    {
      "epoch": 0.9273777777777777,
      "grad_norm": 1.831018090248108,
      "learning_rate": 3.635555555555556e-06,
      "loss": 1.4036,
      "step": 10433
    },
    {
      "epoch": 0.9274666666666667,
      "grad_norm": 1.785933256149292,
      "learning_rate": 3.6311111111111117e-06,
      "loss": 1.5233,
      "step": 10434
    },
    {
      "epoch": 0.9275555555555556,
      "grad_norm": 1.6038012504577637,
      "learning_rate": 3.626666666666667e-06,
      "loss": 1.4508,
      "step": 10435
    },
    {
      "epoch": 0.9276444444444445,
      "grad_norm": 1.7170252799987793,
      "learning_rate": 3.6222222222222226e-06,
      "loss": 1.4615,
      "step": 10436
    },
    {
      "epoch": 0.9277333333333333,
      "grad_norm": 1.6505497694015503,
      "learning_rate": 3.6177777777777783e-06,
      "loss": 1.6716,
      "step": 10437
    },
    {
      "epoch": 0.9278222222222222,
      "grad_norm": 1.7214478254318237,
      "learning_rate": 3.613333333333334e-06,
      "loss": 1.3652,
      "step": 10438
    },
    {
      "epoch": 0.9279111111111111,
      "grad_norm": 1.4187710285186768,
      "learning_rate": 3.608888888888889e-06,
      "loss": 1.6236,
      "step": 10439
    },
    {
      "epoch": 0.928,
      "grad_norm": 1.489090085029602,
      "learning_rate": 3.604444444444444e-06,
      "loss": 1.6249,
      "step": 10440
    },
    {
      "epoch": 0.9280888888888889,
      "grad_norm": 1.4413806200027466,
      "learning_rate": 3.6e-06,
      "loss": 1.4281,
      "step": 10441
    },
    {
      "epoch": 0.9281777777777778,
      "grad_norm": 1.5949925184249878,
      "learning_rate": 3.5955555555555555e-06,
      "loss": 1.687,
      "step": 10442
    },
    {
      "epoch": 0.9282666666666667,
      "grad_norm": 1.6184568405151367,
      "learning_rate": 3.5911111111111112e-06,
      "loss": 1.6101,
      "step": 10443
    },
    {
      "epoch": 0.9283555555555556,
      "grad_norm": 1.4814316034317017,
      "learning_rate": 3.5866666666666665e-06,
      "loss": 1.5333,
      "step": 10444
    },
    {
      "epoch": 0.9284444444444444,
      "grad_norm": 1.495807409286499,
      "learning_rate": 3.582222222222222e-06,
      "loss": 1.5527,
      "step": 10445
    },
    {
      "epoch": 0.9285333333333333,
      "grad_norm": 2.358649253845215,
      "learning_rate": 3.577777777777778e-06,
      "loss": 1.6208,
      "step": 10446
    },
    {
      "epoch": 0.9286222222222222,
      "grad_norm": 1.3798779249191284,
      "learning_rate": 3.5733333333333336e-06,
      "loss": 1.3408,
      "step": 10447
    },
    {
      "epoch": 0.9287111111111112,
      "grad_norm": 1.43532133102417,
      "learning_rate": 3.568888888888889e-06,
      "loss": 1.3695,
      "step": 10448
    },
    {
      "epoch": 0.9288,
      "grad_norm": 1.4899035692214966,
      "learning_rate": 3.5644444444444445e-06,
      "loss": 1.5269,
      "step": 10449
    },
    {
      "epoch": 0.9288888888888889,
      "grad_norm": 1.9168603420257568,
      "learning_rate": 3.5600000000000002e-06,
      "loss": 1.5173,
      "step": 10450
    },
    {
      "epoch": 0.9289777777777778,
      "grad_norm": 1.572563886642456,
      "learning_rate": 3.555555555555556e-06,
      "loss": 1.5291,
      "step": 10451
    },
    {
      "epoch": 0.9290666666666667,
      "grad_norm": 1.332048773765564,
      "learning_rate": 3.551111111111111e-06,
      "loss": 1.5319,
      "step": 10452
    },
    {
      "epoch": 0.9291555555555555,
      "grad_norm": 1.5911115407943726,
      "learning_rate": 3.546666666666667e-06,
      "loss": 1.28,
      "step": 10453
    },
    {
      "epoch": 0.9292444444444444,
      "grad_norm": 1.395534634590149,
      "learning_rate": 3.5422222222222226e-06,
      "loss": 1.4847,
      "step": 10454
    },
    {
      "epoch": 0.9293333333333333,
      "grad_norm": 1.590848684310913,
      "learning_rate": 3.5377777777777783e-06,
      "loss": 1.5234,
      "step": 10455
    },
    {
      "epoch": 0.9294222222222223,
      "grad_norm": 1.4182332754135132,
      "learning_rate": 3.5333333333333335e-06,
      "loss": 1.5158,
      "step": 10456
    },
    {
      "epoch": 0.9295111111111111,
      "grad_norm": 1.5058763027191162,
      "learning_rate": 3.5288888888888892e-06,
      "loss": 1.6591,
      "step": 10457
    },
    {
      "epoch": 0.9296,
      "grad_norm": 1.4232202768325806,
      "learning_rate": 3.524444444444445e-06,
      "loss": 1.615,
      "step": 10458
    },
    {
      "epoch": 0.9296888888888889,
      "grad_norm": 1.5828367471694946,
      "learning_rate": 3.52e-06,
      "loss": 1.4131,
      "step": 10459
    },
    {
      "epoch": 0.9297777777777778,
      "grad_norm": 1.8671451807022095,
      "learning_rate": 3.515555555555556e-06,
      "loss": 1.4904,
      "step": 10460
    },
    {
      "epoch": 0.9298666666666666,
      "grad_norm": 1.3975886106491089,
      "learning_rate": 3.5111111111111116e-06,
      "loss": 1.3213,
      "step": 10461
    },
    {
      "epoch": 0.9299555555555555,
      "grad_norm": 1.5163127183914185,
      "learning_rate": 3.5066666666666673e-06,
      "loss": 1.4318,
      "step": 10462
    },
    {
      "epoch": 0.9300444444444445,
      "grad_norm": 1.6602230072021484,
      "learning_rate": 3.5022222222222225e-06,
      "loss": 1.5467,
      "step": 10463
    },
    {
      "epoch": 0.9301333333333334,
      "grad_norm": 1.804870843887329,
      "learning_rate": 3.4977777777777782e-06,
      "loss": 1.3686,
      "step": 10464
    },
    {
      "epoch": 0.9302222222222222,
      "grad_norm": 1.6388270854949951,
      "learning_rate": 3.493333333333333e-06,
      "loss": 1.2768,
      "step": 10465
    },
    {
      "epoch": 0.9303111111111111,
      "grad_norm": 2.0123424530029297,
      "learning_rate": 3.4888888888888888e-06,
      "loss": 1.4357,
      "step": 10466
    },
    {
      "epoch": 0.9304,
      "grad_norm": 1.683577299118042,
      "learning_rate": 3.4844444444444444e-06,
      "loss": 1.556,
      "step": 10467
    },
    {
      "epoch": 0.9304888888888889,
      "grad_norm": 2.107617139816284,
      "learning_rate": 3.4799999999999997e-06,
      "loss": 1.5299,
      "step": 10468
    },
    {
      "epoch": 0.9305777777777777,
      "grad_norm": 1.3987361192703247,
      "learning_rate": 3.4755555555555554e-06,
      "loss": 1.5818,
      "step": 10469
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 1.4037506580352783,
      "learning_rate": 3.471111111111111e-06,
      "loss": 1.2824,
      "step": 10470
    },
    {
      "epoch": 0.9307555555555556,
      "grad_norm": 1.4921982288360596,
      "learning_rate": 3.466666666666667e-06,
      "loss": 1.5972,
      "step": 10471
    },
    {
      "epoch": 0.9308444444444445,
      "grad_norm": 1.3987104892730713,
      "learning_rate": 3.462222222222222e-06,
      "loss": 1.6607,
      "step": 10472
    },
    {
      "epoch": 0.9309333333333333,
      "grad_norm": 1.5496184825897217,
      "learning_rate": 3.4577777777777778e-06,
      "loss": 1.4502,
      "step": 10473
    },
    {
      "epoch": 0.9310222222222222,
      "grad_norm": 1.489147424697876,
      "learning_rate": 3.4533333333333334e-06,
      "loss": 1.3754,
      "step": 10474
    },
    {
      "epoch": 0.9311111111111111,
      "grad_norm": 1.8233760595321655,
      "learning_rate": 3.448888888888889e-06,
      "loss": 1.5995,
      "step": 10475
    },
    {
      "epoch": 0.9312,
      "grad_norm": 1.4764084815979004,
      "learning_rate": 3.4444444444444444e-06,
      "loss": 1.5405,
      "step": 10476
    },
    {
      "epoch": 0.9312888888888889,
      "grad_norm": 1.4912399053573608,
      "learning_rate": 3.44e-06,
      "loss": 1.4314,
      "step": 10477
    },
    {
      "epoch": 0.9313777777777777,
      "grad_norm": 1.4687409400939941,
      "learning_rate": 3.435555555555556e-06,
      "loss": 1.56,
      "step": 10478
    },
    {
      "epoch": 0.9314666666666667,
      "grad_norm": 1.5615358352661133,
      "learning_rate": 3.4311111111111115e-06,
      "loss": 1.4583,
      "step": 10479
    },
    {
      "epoch": 0.9315555555555556,
      "grad_norm": 1.512068510055542,
      "learning_rate": 3.4266666666666668e-06,
      "loss": 1.6835,
      "step": 10480
    },
    {
      "epoch": 0.9316444444444445,
      "grad_norm": 1.4768537282943726,
      "learning_rate": 3.4222222222222224e-06,
      "loss": 1.581,
      "step": 10481
    },
    {
      "epoch": 0.9317333333333333,
      "grad_norm": 1.4884041547775269,
      "learning_rate": 3.417777777777778e-06,
      "loss": 1.6748,
      "step": 10482
    },
    {
      "epoch": 0.9318222222222222,
      "grad_norm": 1.38185453414917,
      "learning_rate": 3.413333333333334e-06,
      "loss": 1.462,
      "step": 10483
    },
    {
      "epoch": 0.9319111111111111,
      "grad_norm": 1.73784601688385,
      "learning_rate": 3.408888888888889e-06,
      "loss": 1.3834,
      "step": 10484
    },
    {
      "epoch": 0.932,
      "grad_norm": 1.6492810249328613,
      "learning_rate": 3.404444444444445e-06,
      "loss": 1.5629,
      "step": 10485
    },
    {
      "epoch": 0.9320888888888889,
      "grad_norm": 1.7536982297897339,
      "learning_rate": 3.4000000000000005e-06,
      "loss": 1.649,
      "step": 10486
    },
    {
      "epoch": 0.9321777777777778,
      "grad_norm": 1.4523810148239136,
      "learning_rate": 3.395555555555556e-06,
      "loss": 1.6611,
      "step": 10487
    },
    {
      "epoch": 0.9322666666666667,
      "grad_norm": 2.017993688583374,
      "learning_rate": 3.3911111111111114e-06,
      "loss": 1.5168,
      "step": 10488
    },
    {
      "epoch": 0.9323555555555556,
      "grad_norm": 1.7287206649780273,
      "learning_rate": 3.386666666666667e-06,
      "loss": 1.6201,
      "step": 10489
    },
    {
      "epoch": 0.9324444444444444,
      "grad_norm": 1.3053001165390015,
      "learning_rate": 3.382222222222222e-06,
      "loss": 1.1774,
      "step": 10490
    },
    {
      "epoch": 0.9325333333333333,
      "grad_norm": 1.4164230823516846,
      "learning_rate": 3.3777777777777777e-06,
      "loss": 1.4842,
      "step": 10491
    },
    {
      "epoch": 0.9326222222222222,
      "grad_norm": 2.0837273597717285,
      "learning_rate": 3.3733333333333334e-06,
      "loss": 1.6422,
      "step": 10492
    },
    {
      "epoch": 0.9327111111111112,
      "grad_norm": 1.8008919954299927,
      "learning_rate": 3.3688888888888886e-06,
      "loss": 1.4339,
      "step": 10493
    },
    {
      "epoch": 0.9328,
      "grad_norm": 1.5039801597595215,
      "learning_rate": 3.3644444444444443e-06,
      "loss": 1.1995,
      "step": 10494
    },
    {
      "epoch": 0.9328888888888889,
      "grad_norm": 1.4725713729858398,
      "learning_rate": 3.36e-06,
      "loss": 1.434,
      "step": 10495
    },
    {
      "epoch": 0.9329777777777778,
      "grad_norm": 1.4800028800964355,
      "learning_rate": 3.3555555555555557e-06,
      "loss": 1.4819,
      "step": 10496
    },
    {
      "epoch": 0.9330666666666667,
      "grad_norm": 1.4511204957962036,
      "learning_rate": 3.351111111111111e-06,
      "loss": 1.232,
      "step": 10497
    },
    {
      "epoch": 0.9331555555555555,
      "grad_norm": 1.571256160736084,
      "learning_rate": 3.3466666666666667e-06,
      "loss": 1.4849,
      "step": 10498
    },
    {
      "epoch": 0.9332444444444444,
      "grad_norm": 1.5913934707641602,
      "learning_rate": 3.3422222222222224e-06,
      "loss": 1.4571,
      "step": 10499
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 1.3305648565292358,
      "learning_rate": 3.337777777777778e-06,
      "loss": 1.4454,
      "step": 10500
    },
    {
      "epoch": 0.9334222222222223,
      "grad_norm": 1.6826459169387817,
      "learning_rate": 3.3333333333333333e-06,
      "loss": 1.5618,
      "step": 10501
    },
    {
      "epoch": 0.9335111111111111,
      "grad_norm": 2.2379305362701416,
      "learning_rate": 3.328888888888889e-06,
      "loss": 1.6768,
      "step": 10502
    },
    {
      "epoch": 0.9336,
      "grad_norm": 1.3893407583236694,
      "learning_rate": 3.3244444444444447e-06,
      "loss": 1.6059,
      "step": 10503
    },
    {
      "epoch": 0.9336888888888889,
      "grad_norm": 2.163074254989624,
      "learning_rate": 3.3200000000000004e-06,
      "loss": 1.5213,
      "step": 10504
    },
    {
      "epoch": 0.9337777777777778,
      "grad_norm": 1.590369701385498,
      "learning_rate": 3.3155555555555557e-06,
      "loss": 1.5024,
      "step": 10505
    },
    {
      "epoch": 0.9338666666666666,
      "grad_norm": 1.6192727088928223,
      "learning_rate": 3.3111111111111114e-06,
      "loss": 1.4837,
      "step": 10506
    },
    {
      "epoch": 0.9339555555555555,
      "grad_norm": 1.8721637725830078,
      "learning_rate": 3.306666666666667e-06,
      "loss": 1.5443,
      "step": 10507
    },
    {
      "epoch": 0.9340444444444445,
      "grad_norm": 1.2905614376068115,
      "learning_rate": 3.3022222222222223e-06,
      "loss": 1.6104,
      "step": 10508
    },
    {
      "epoch": 0.9341333333333334,
      "grad_norm": 1.5674515962600708,
      "learning_rate": 3.297777777777778e-06,
      "loss": 1.643,
      "step": 10509
    },
    {
      "epoch": 0.9342222222222222,
      "grad_norm": 1.6106622219085693,
      "learning_rate": 3.2933333333333337e-06,
      "loss": 1.3127,
      "step": 10510
    },
    {
      "epoch": 0.9343111111111111,
      "grad_norm": 1.5896649360656738,
      "learning_rate": 3.2888888888888894e-06,
      "loss": 1.5791,
      "step": 10511
    },
    {
      "epoch": 0.9344,
      "grad_norm": 1.3833060264587402,
      "learning_rate": 3.2844444444444447e-06,
      "loss": 1.3262,
      "step": 10512
    },
    {
      "epoch": 0.9344888888888889,
      "grad_norm": 1.4796104431152344,
      "learning_rate": 3.2800000000000004e-06,
      "loss": 1.6359,
      "step": 10513
    },
    {
      "epoch": 0.9345777777777777,
      "grad_norm": 1.628888487815857,
      "learning_rate": 3.275555555555556e-06,
      "loss": 1.5834,
      "step": 10514
    },
    {
      "epoch": 0.9346666666666666,
      "grad_norm": 2.0248265266418457,
      "learning_rate": 3.2711111111111117e-06,
      "loss": 1.6483,
      "step": 10515
    },
    {
      "epoch": 0.9347555555555556,
      "grad_norm": 1.6676229238510132,
      "learning_rate": 3.2666666666666666e-06,
      "loss": 1.6472,
      "step": 10516
    },
    {
      "epoch": 0.9348444444444445,
      "grad_norm": 1.4597318172454834,
      "learning_rate": 3.262222222222222e-06,
      "loss": 1.5703,
      "step": 10517
    },
    {
      "epoch": 0.9349333333333333,
      "grad_norm": 1.515756607055664,
      "learning_rate": 3.2577777777777776e-06,
      "loss": 1.4877,
      "step": 10518
    },
    {
      "epoch": 0.9350222222222222,
      "grad_norm": 1.4149917364120483,
      "learning_rate": 3.2533333333333332e-06,
      "loss": 1.377,
      "step": 10519
    },
    {
      "epoch": 0.9351111111111111,
      "grad_norm": 2.0835137367248535,
      "learning_rate": 3.248888888888889e-06,
      "loss": 1.5996,
      "step": 10520
    },
    {
      "epoch": 0.9352,
      "grad_norm": 2.1806440353393555,
      "learning_rate": 3.244444444444444e-06,
      "loss": 1.4568,
      "step": 10521
    },
    {
      "epoch": 0.9352888888888888,
      "grad_norm": 1.7791483402252197,
      "learning_rate": 3.24e-06,
      "loss": 1.4307,
      "step": 10522
    },
    {
      "epoch": 0.9353777777777778,
      "grad_norm": 1.4645482301712036,
      "learning_rate": 3.2355555555555556e-06,
      "loss": 1.4658,
      "step": 10523
    },
    {
      "epoch": 0.9354666666666667,
      "grad_norm": 1.2965115308761597,
      "learning_rate": 3.2311111111111113e-06,
      "loss": 1.3749,
      "step": 10524
    },
    {
      "epoch": 0.9355555555555556,
      "grad_norm": 1.3443597555160522,
      "learning_rate": 3.2266666666666665e-06,
      "loss": 1.4928,
      "step": 10525
    },
    {
      "epoch": 0.9356444444444444,
      "grad_norm": 1.395851492881775,
      "learning_rate": 3.2222222222222222e-06,
      "loss": 1.4907,
      "step": 10526
    },
    {
      "epoch": 0.9357333333333333,
      "grad_norm": 1.265881896018982,
      "learning_rate": 3.217777777777778e-06,
      "loss": 1.1032,
      "step": 10527
    },
    {
      "epoch": 0.9358222222222222,
      "grad_norm": 1.5605762004852295,
      "learning_rate": 3.2133333333333336e-06,
      "loss": 1.4655,
      "step": 10528
    },
    {
      "epoch": 0.9359111111111111,
      "grad_norm": 1.6904785633087158,
      "learning_rate": 3.208888888888889e-06,
      "loss": 1.3956,
      "step": 10529
    },
    {
      "epoch": 0.936,
      "grad_norm": 1.6297017335891724,
      "learning_rate": 3.2044444444444446e-06,
      "loss": 1.5576,
      "step": 10530
    },
    {
      "epoch": 0.9360888888888889,
      "grad_norm": 1.5007189512252808,
      "learning_rate": 3.2000000000000003e-06,
      "loss": 1.5124,
      "step": 10531
    },
    {
      "epoch": 0.9361777777777778,
      "grad_norm": 2.1315388679504395,
      "learning_rate": 3.195555555555556e-06,
      "loss": 1.6533,
      "step": 10532
    },
    {
      "epoch": 0.9362666666666667,
      "grad_norm": 1.5849673748016357,
      "learning_rate": 3.1911111111111112e-06,
      "loss": 1.4518,
      "step": 10533
    },
    {
      "epoch": 0.9363555555555556,
      "grad_norm": 1.3717625141143799,
      "learning_rate": 3.186666666666667e-06,
      "loss": 1.4657,
      "step": 10534
    },
    {
      "epoch": 0.9364444444444444,
      "grad_norm": 1.467010259628296,
      "learning_rate": 3.1822222222222226e-06,
      "loss": 1.5483,
      "step": 10535
    },
    {
      "epoch": 0.9365333333333333,
      "grad_norm": 1.6818199157714844,
      "learning_rate": 3.1777777777777783e-06,
      "loss": 1.6053,
      "step": 10536
    },
    {
      "epoch": 0.9366222222222222,
      "grad_norm": 1.4495166540145874,
      "learning_rate": 3.1733333333333336e-06,
      "loss": 1.3315,
      "step": 10537
    },
    {
      "epoch": 0.9367111111111112,
      "grad_norm": 1.8730593919754028,
      "learning_rate": 3.1688888888888893e-06,
      "loss": 1.6784,
      "step": 10538
    },
    {
      "epoch": 0.9368,
      "grad_norm": 1.377321720123291,
      "learning_rate": 3.164444444444445e-06,
      "loss": 1.424,
      "step": 10539
    },
    {
      "epoch": 0.9368888888888889,
      "grad_norm": 1.4437683820724487,
      "learning_rate": 3.1600000000000007e-06,
      "loss": 1.4238,
      "step": 10540
    },
    {
      "epoch": 0.9369777777777778,
      "grad_norm": 1.3417284488677979,
      "learning_rate": 3.155555555555556e-06,
      "loss": 1.3374,
      "step": 10541
    },
    {
      "epoch": 0.9370666666666667,
      "grad_norm": 1.4168704748153687,
      "learning_rate": 3.1511111111111108e-06,
      "loss": 1.2963,
      "step": 10542
    },
    {
      "epoch": 0.9371555555555555,
      "grad_norm": 1.5477436780929565,
      "learning_rate": 3.1466666666666665e-06,
      "loss": 1.6432,
      "step": 10543
    },
    {
      "epoch": 0.9372444444444444,
      "grad_norm": 1.7608864307403564,
      "learning_rate": 3.142222222222222e-06,
      "loss": 1.7919,
      "step": 10544
    },
    {
      "epoch": 0.9373333333333334,
      "grad_norm": 1.677707314491272,
      "learning_rate": 3.137777777777778e-06,
      "loss": 1.4829,
      "step": 10545
    },
    {
      "epoch": 0.9374222222222223,
      "grad_norm": 1.7699954509735107,
      "learning_rate": 3.133333333333333e-06,
      "loss": 1.4023,
      "step": 10546
    },
    {
      "epoch": 0.9375111111111111,
      "grad_norm": 1.7206683158874512,
      "learning_rate": 3.128888888888889e-06,
      "loss": 1.4986,
      "step": 10547
    },
    {
      "epoch": 0.9376,
      "grad_norm": 1.799844741821289,
      "learning_rate": 3.1244444444444445e-06,
      "loss": 1.4347,
      "step": 10548
    },
    {
      "epoch": 0.9376888888888889,
      "grad_norm": 1.3370004892349243,
      "learning_rate": 3.12e-06,
      "loss": 1.637,
      "step": 10549
    },
    {
      "epoch": 0.9377777777777778,
      "grad_norm": 1.5460082292556763,
      "learning_rate": 3.1155555555555555e-06,
      "loss": 1.3818,
      "step": 10550
    },
    {
      "epoch": 0.9378666666666666,
      "grad_norm": 1.4702246189117432,
      "learning_rate": 3.111111111111111e-06,
      "loss": 1.3945,
      "step": 10551
    },
    {
      "epoch": 0.9379555555555555,
      "grad_norm": 1.568803310394287,
      "learning_rate": 3.106666666666667e-06,
      "loss": 1.5973,
      "step": 10552
    },
    {
      "epoch": 0.9380444444444445,
      "grad_norm": 1.3885440826416016,
      "learning_rate": 3.1022222222222225e-06,
      "loss": 1.5199,
      "step": 10553
    },
    {
      "epoch": 0.9381333333333334,
      "grad_norm": 1.491001844406128,
      "learning_rate": 3.097777777777778e-06,
      "loss": 1.2155,
      "step": 10554
    },
    {
      "epoch": 0.9382222222222222,
      "grad_norm": 2.0012309551239014,
      "learning_rate": 3.0933333333333335e-06,
      "loss": 1.5979,
      "step": 10555
    },
    {
      "epoch": 0.9383111111111111,
      "grad_norm": 1.6380809545516968,
      "learning_rate": 3.088888888888889e-06,
      "loss": 1.6898,
      "step": 10556
    },
    {
      "epoch": 0.9384,
      "grad_norm": 1.6713361740112305,
      "learning_rate": 3.0844444444444445e-06,
      "loss": 1.7186,
      "step": 10557
    },
    {
      "epoch": 0.9384888888888889,
      "grad_norm": 1.4946067333221436,
      "learning_rate": 3.08e-06,
      "loss": 1.2611,
      "step": 10558
    },
    {
      "epoch": 0.9385777777777777,
      "grad_norm": 1.5742794275283813,
      "learning_rate": 3.075555555555556e-06,
      "loss": 1.3255,
      "step": 10559
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 1.768297553062439,
      "learning_rate": 3.0711111111111115e-06,
      "loss": 1.592,
      "step": 10560
    },
    {
      "epoch": 0.9387555555555556,
      "grad_norm": 1.8793185949325562,
      "learning_rate": 3.066666666666667e-06,
      "loss": 1.3965,
      "step": 10561
    },
    {
      "epoch": 0.9388444444444445,
      "grad_norm": 1.5778329372406006,
      "learning_rate": 3.062222222222222e-06,
      "loss": 1.606,
      "step": 10562
    },
    {
      "epoch": 0.9389333333333333,
      "grad_norm": 1.612249732017517,
      "learning_rate": 3.0577777777777778e-06,
      "loss": 1.8359,
      "step": 10563
    },
    {
      "epoch": 0.9390222222222222,
      "grad_norm": 1.763279914855957,
      "learning_rate": 3.0533333333333335e-06,
      "loss": 1.7577,
      "step": 10564
    },
    {
      "epoch": 0.9391111111111111,
      "grad_norm": 1.3986153602600098,
      "learning_rate": 3.048888888888889e-06,
      "loss": 1.4794,
      "step": 10565
    },
    {
      "epoch": 0.9392,
      "grad_norm": 1.500583529472351,
      "learning_rate": 3.0444444444444444e-06,
      "loss": 1.4448,
      "step": 10566
    },
    {
      "epoch": 0.9392888888888888,
      "grad_norm": 1.4589933156967163,
      "learning_rate": 3.04e-06,
      "loss": 1.6786,
      "step": 10567
    },
    {
      "epoch": 0.9393777777777778,
      "grad_norm": 1.5134788751602173,
      "learning_rate": 3.035555555555556e-06,
      "loss": 1.462,
      "step": 10568
    },
    {
      "epoch": 0.9394666666666667,
      "grad_norm": 1.3384274244308472,
      "learning_rate": 3.0311111111111115e-06,
      "loss": 1.3184,
      "step": 10569
    },
    {
      "epoch": 0.9395555555555556,
      "grad_norm": 1.5875537395477295,
      "learning_rate": 3.0266666666666668e-06,
      "loss": 1.6116,
      "step": 10570
    },
    {
      "epoch": 0.9396444444444444,
      "grad_norm": 1.4887175559997559,
      "learning_rate": 3.0222222222222225e-06,
      "loss": 1.6078,
      "step": 10571
    },
    {
      "epoch": 0.9397333333333333,
      "grad_norm": 1.6166698932647705,
      "learning_rate": 3.017777777777778e-06,
      "loss": 1.5539,
      "step": 10572
    },
    {
      "epoch": 0.9398222222222222,
      "grad_norm": 1.37568199634552,
      "learning_rate": 3.0133333333333334e-06,
      "loss": 1.4677,
      "step": 10573
    },
    {
      "epoch": 0.9399111111111111,
      "grad_norm": 2.250636100769043,
      "learning_rate": 3.0088888888888887e-06,
      "loss": 1.6523,
      "step": 10574
    },
    {
      "epoch": 0.94,
      "grad_norm": 1.6872013807296753,
      "learning_rate": 3.0044444444444444e-06,
      "loss": 1.7294,
      "step": 10575
    },
    {
      "epoch": 0.9400888888888889,
      "grad_norm": 1.6320310831069946,
      "learning_rate": 3e-06,
      "loss": 1.6523,
      "step": 10576
    },
    {
      "epoch": 0.9401777777777778,
      "grad_norm": 1.4241729974746704,
      "learning_rate": 2.9955555555555558e-06,
      "loss": 1.427,
      "step": 10577
    },
    {
      "epoch": 0.9402666666666667,
      "grad_norm": 1.6806128025054932,
      "learning_rate": 2.991111111111111e-06,
      "loss": 1.5352,
      "step": 10578
    },
    {
      "epoch": 0.9403555555555555,
      "grad_norm": 1.4147757291793823,
      "learning_rate": 2.9866666666666667e-06,
      "loss": 1.3325,
      "step": 10579
    },
    {
      "epoch": 0.9404444444444444,
      "grad_norm": 1.354662537574768,
      "learning_rate": 2.9822222222222224e-06,
      "loss": 1.407,
      "step": 10580
    },
    {
      "epoch": 0.9405333333333333,
      "grad_norm": 1.7034469842910767,
      "learning_rate": 2.977777777777778e-06,
      "loss": 1.615,
      "step": 10581
    },
    {
      "epoch": 0.9406222222222222,
      "grad_norm": 1.6608119010925293,
      "learning_rate": 2.9733333333333334e-06,
      "loss": 1.4687,
      "step": 10582
    },
    {
      "epoch": 0.9407111111111112,
      "grad_norm": 1.7235596179962158,
      "learning_rate": 2.968888888888889e-06,
      "loss": 1.4446,
      "step": 10583
    },
    {
      "epoch": 0.9408,
      "grad_norm": 2.1078643798828125,
      "learning_rate": 2.9644444444444448e-06,
      "loss": 1.2516,
      "step": 10584
    },
    {
      "epoch": 0.9408888888888889,
      "grad_norm": 1.7234793901443481,
      "learning_rate": 2.9600000000000005e-06,
      "loss": 1.4731,
      "step": 10585
    },
    {
      "epoch": 0.9409777777777778,
      "grad_norm": 1.524033546447754,
      "learning_rate": 2.9555555555555557e-06,
      "loss": 1.4758,
      "step": 10586
    },
    {
      "epoch": 0.9410666666666667,
      "grad_norm": 1.391177773475647,
      "learning_rate": 2.951111111111111e-06,
      "loss": 1.4432,
      "step": 10587
    },
    {
      "epoch": 0.9411555555555555,
      "grad_norm": 1.4715039730072021,
      "learning_rate": 2.9466666666666667e-06,
      "loss": 1.3505,
      "step": 10588
    },
    {
      "epoch": 0.9412444444444444,
      "grad_norm": 1.663057804107666,
      "learning_rate": 2.9422222222222224e-06,
      "loss": 1.6132,
      "step": 10589
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 1.379421591758728,
      "learning_rate": 2.9377777777777776e-06,
      "loss": 1.4606,
      "step": 10590
    },
    {
      "epoch": 0.9414222222222223,
      "grad_norm": 1.523045539855957,
      "learning_rate": 2.9333333333333333e-06,
      "loss": 1.5444,
      "step": 10591
    },
    {
      "epoch": 0.9415111111111111,
      "grad_norm": 1.8876478672027588,
      "learning_rate": 2.928888888888889e-06,
      "loss": 1.4794,
      "step": 10592
    },
    {
      "epoch": 0.9416,
      "grad_norm": 1.7181034088134766,
      "learning_rate": 2.9244444444444447e-06,
      "loss": 1.5184,
      "step": 10593
    },
    {
      "epoch": 0.9416888888888889,
      "grad_norm": 1.367586374282837,
      "learning_rate": 2.92e-06,
      "loss": 1.5612,
      "step": 10594
    },
    {
      "epoch": 0.9417777777777778,
      "grad_norm": 1.8986661434173584,
      "learning_rate": 2.9155555555555557e-06,
      "loss": 1.6357,
      "step": 10595
    },
    {
      "epoch": 0.9418666666666666,
      "grad_norm": 1.4864624738693237,
      "learning_rate": 2.9111111111111114e-06,
      "loss": 1.7055,
      "step": 10596
    },
    {
      "epoch": 0.9419555555555555,
      "grad_norm": 1.3921005725860596,
      "learning_rate": 2.906666666666667e-06,
      "loss": 1.4733,
      "step": 10597
    },
    {
      "epoch": 0.9420444444444445,
      "grad_norm": 1.856658935546875,
      "learning_rate": 2.9022222222222223e-06,
      "loss": 1.5367,
      "step": 10598
    },
    {
      "epoch": 0.9421333333333334,
      "grad_norm": 1.5126538276672363,
      "learning_rate": 2.897777777777778e-06,
      "loss": 1.4644,
      "step": 10599
    },
    {
      "epoch": 0.9422222222222222,
      "grad_norm": 1.6130341291427612,
      "learning_rate": 2.8933333333333333e-06,
      "loss": 1.4366,
      "step": 10600
    },
    {
      "epoch": 0.9423111111111111,
      "grad_norm": 1.380142092704773,
      "learning_rate": 2.888888888888889e-06,
      "loss": 1.4877,
      "step": 10601
    },
    {
      "epoch": 0.9424,
      "grad_norm": 1.6071600914001465,
      "learning_rate": 2.8844444444444447e-06,
      "loss": 1.5148,
      "step": 10602
    },
    {
      "epoch": 0.9424888888888889,
      "grad_norm": 1.4553343057632446,
      "learning_rate": 2.88e-06,
      "loss": 1.4941,
      "step": 10603
    },
    {
      "epoch": 0.9425777777777777,
      "grad_norm": 1.4925085306167603,
      "learning_rate": 2.8755555555555556e-06,
      "loss": 1.2837,
      "step": 10604
    },
    {
      "epoch": 0.9426666666666667,
      "grad_norm": 1.5009897947311401,
      "learning_rate": 2.8711111111111113e-06,
      "loss": 1.7929,
      "step": 10605
    },
    {
      "epoch": 0.9427555555555556,
      "grad_norm": 1.4542981386184692,
      "learning_rate": 2.8666666666666666e-06,
      "loss": 1.5879,
      "step": 10606
    },
    {
      "epoch": 0.9428444444444445,
      "grad_norm": 1.3776170015335083,
      "learning_rate": 2.8622222222222223e-06,
      "loss": 1.436,
      "step": 10607
    },
    {
      "epoch": 0.9429333333333333,
      "grad_norm": 1.4953999519348145,
      "learning_rate": 2.857777777777778e-06,
      "loss": 1.5719,
      "step": 10608
    },
    {
      "epoch": 0.9430222222222222,
      "grad_norm": 1.6169207096099854,
      "learning_rate": 2.8533333333333337e-06,
      "loss": 1.5134,
      "step": 10609
    },
    {
      "epoch": 0.9431111111111111,
      "grad_norm": 1.7486040592193604,
      "learning_rate": 2.848888888888889e-06,
      "loss": 1.6968,
      "step": 10610
    },
    {
      "epoch": 0.9432,
      "grad_norm": 1.853380799293518,
      "learning_rate": 2.8444444444444446e-06,
      "loss": 1.3796,
      "step": 10611
    },
    {
      "epoch": 0.9432888888888888,
      "grad_norm": 1.736693024635315,
      "learning_rate": 2.8400000000000003e-06,
      "loss": 1.5598,
      "step": 10612
    },
    {
      "epoch": 0.9433777777777778,
      "grad_norm": 1.5049535036087036,
      "learning_rate": 2.8355555555555556e-06,
      "loss": 1.3918,
      "step": 10613
    },
    {
      "epoch": 0.9434666666666667,
      "grad_norm": 1.6766120195388794,
      "learning_rate": 2.8311111111111113e-06,
      "loss": 1.3767,
      "step": 10614
    },
    {
      "epoch": 0.9435555555555556,
      "grad_norm": 1.6421420574188232,
      "learning_rate": 2.8266666666666666e-06,
      "loss": 1.5231,
      "step": 10615
    },
    {
      "epoch": 0.9436444444444444,
      "grad_norm": 1.8614044189453125,
      "learning_rate": 2.8222222222222223e-06,
      "loss": 1.5613,
      "step": 10616
    },
    {
      "epoch": 0.9437333333333333,
      "grad_norm": 1.4174914360046387,
      "learning_rate": 2.817777777777778e-06,
      "loss": 1.4388,
      "step": 10617
    },
    {
      "epoch": 0.9438222222222222,
      "grad_norm": 1.2568899393081665,
      "learning_rate": 2.8133333333333336e-06,
      "loss": 1.3653,
      "step": 10618
    },
    {
      "epoch": 0.9439111111111111,
      "grad_norm": 1.6829593181610107,
      "learning_rate": 2.808888888888889e-06,
      "loss": 1.6951,
      "step": 10619
    },
    {
      "epoch": 0.944,
      "grad_norm": 1.8804017305374146,
      "learning_rate": 2.8044444444444446e-06,
      "loss": 1.683,
      "step": 10620
    },
    {
      "epoch": 0.9440888888888889,
      "grad_norm": 1.4511597156524658,
      "learning_rate": 2.8000000000000003e-06,
      "loss": 1.2858,
      "step": 10621
    },
    {
      "epoch": 0.9441777777777778,
      "grad_norm": 1.5851627588272095,
      "learning_rate": 2.7955555555555556e-06,
      "loss": 1.4722,
      "step": 10622
    },
    {
      "epoch": 0.9442666666666667,
      "grad_norm": 1.5541250705718994,
      "learning_rate": 2.7911111111111113e-06,
      "loss": 1.7158,
      "step": 10623
    },
    {
      "epoch": 0.9443555555555555,
      "grad_norm": 1.3916237354278564,
      "learning_rate": 2.786666666666667e-06,
      "loss": 1.3445,
      "step": 10624
    },
    {
      "epoch": 0.9444444444444444,
      "grad_norm": 1.465808391571045,
      "learning_rate": 2.7822222222222226e-06,
      "loss": 1.57,
      "step": 10625
    },
    {
      "epoch": 0.9445333333333333,
      "grad_norm": 1.5233526229858398,
      "learning_rate": 2.777777777777778e-06,
      "loss": 1.3748,
      "step": 10626
    },
    {
      "epoch": 0.9446222222222223,
      "grad_norm": 2.0580594539642334,
      "learning_rate": 2.773333333333333e-06,
      "loss": 1.7865,
      "step": 10627
    },
    {
      "epoch": 0.9447111111111111,
      "grad_norm": 1.475400686264038,
      "learning_rate": 2.768888888888889e-06,
      "loss": 1.3635,
      "step": 10628
    },
    {
      "epoch": 0.9448,
      "grad_norm": 1.8197733163833618,
      "learning_rate": 2.7644444444444446e-06,
      "loss": 1.465,
      "step": 10629
    },
    {
      "epoch": 0.9448888888888889,
      "grad_norm": 1.5996737480163574,
      "learning_rate": 2.7600000000000003e-06,
      "loss": 1.4313,
      "step": 10630
    },
    {
      "epoch": 0.9449777777777778,
      "grad_norm": 1.7737547159194946,
      "learning_rate": 2.7555555555555555e-06,
      "loss": 1.4165,
      "step": 10631
    },
    {
      "epoch": 0.9450666666666667,
      "grad_norm": 1.3967807292938232,
      "learning_rate": 2.7511111111111112e-06,
      "loss": 1.3639,
      "step": 10632
    },
    {
      "epoch": 0.9451555555555555,
      "grad_norm": 1.7066856622695923,
      "learning_rate": 2.746666666666667e-06,
      "loss": 1.5172,
      "step": 10633
    },
    {
      "epoch": 0.9452444444444444,
      "grad_norm": 1.7167962789535522,
      "learning_rate": 2.7422222222222226e-06,
      "loss": 1.6447,
      "step": 10634
    },
    {
      "epoch": 0.9453333333333334,
      "grad_norm": 1.4996767044067383,
      "learning_rate": 2.737777777777778e-06,
      "loss": 1.5728,
      "step": 10635
    },
    {
      "epoch": 0.9454222222222223,
      "grad_norm": 1.6456403732299805,
      "learning_rate": 2.7333333333333336e-06,
      "loss": 1.5992,
      "step": 10636
    },
    {
      "epoch": 0.9455111111111111,
      "grad_norm": 1.6491000652313232,
      "learning_rate": 2.7288888888888893e-06,
      "loss": 1.6605,
      "step": 10637
    },
    {
      "epoch": 0.9456,
      "grad_norm": 1.997005581855774,
      "learning_rate": 2.724444444444445e-06,
      "loss": 1.6396,
      "step": 10638
    },
    {
      "epoch": 0.9456888888888889,
      "grad_norm": 1.6992920637130737,
      "learning_rate": 2.72e-06,
      "loss": 1.3015,
      "step": 10639
    },
    {
      "epoch": 0.9457777777777778,
      "grad_norm": 1.567097783088684,
      "learning_rate": 2.7155555555555555e-06,
      "loss": 1.5523,
      "step": 10640
    },
    {
      "epoch": 0.9458666666666666,
      "grad_norm": 1.3637158870697021,
      "learning_rate": 2.711111111111111e-06,
      "loss": 1.4894,
      "step": 10641
    },
    {
      "epoch": 0.9459555555555555,
      "grad_norm": 1.5031896829605103,
      "learning_rate": 2.706666666666667e-06,
      "loss": 1.5522,
      "step": 10642
    },
    {
      "epoch": 0.9460444444444445,
      "grad_norm": 1.5295451879501343,
      "learning_rate": 2.702222222222222e-06,
      "loss": 1.4535,
      "step": 10643
    },
    {
      "epoch": 0.9461333333333334,
      "grad_norm": 1.4860138893127441,
      "learning_rate": 2.697777777777778e-06,
      "loss": 1.5066,
      "step": 10644
    },
    {
      "epoch": 0.9462222222222222,
      "grad_norm": 1.3415008783340454,
      "learning_rate": 2.6933333333333335e-06,
      "loss": 1.3912,
      "step": 10645
    },
    {
      "epoch": 0.9463111111111111,
      "grad_norm": 1.780893325805664,
      "learning_rate": 2.6888888888888892e-06,
      "loss": 1.6455,
      "step": 10646
    },
    {
      "epoch": 0.9464,
      "grad_norm": 1.5628437995910645,
      "learning_rate": 2.6844444444444445e-06,
      "loss": 1.6179,
      "step": 10647
    },
    {
      "epoch": 0.9464888888888889,
      "grad_norm": 1.5095309019088745,
      "learning_rate": 2.68e-06,
      "loss": 1.5229,
      "step": 10648
    },
    {
      "epoch": 0.9465777777777777,
      "grad_norm": 1.385970115661621,
      "learning_rate": 2.675555555555556e-06,
      "loss": 1.4099,
      "step": 10649
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 1.9178290367126465,
      "learning_rate": 2.6711111111111116e-06,
      "loss": 1.7556,
      "step": 10650
    },
    {
      "epoch": 0.9467555555555556,
      "grad_norm": 1.5130473375320435,
      "learning_rate": 2.666666666666667e-06,
      "loss": 1.3369,
      "step": 10651
    },
    {
      "epoch": 0.9468444444444445,
      "grad_norm": 1.6766904592514038,
      "learning_rate": 2.662222222222222e-06,
      "loss": 1.6038,
      "step": 10652
    },
    {
      "epoch": 0.9469333333333333,
      "grad_norm": 1.6022310256958008,
      "learning_rate": 2.657777777777778e-06,
      "loss": 1.5998,
      "step": 10653
    },
    {
      "epoch": 0.9470222222222222,
      "grad_norm": 1.6603955030441284,
      "learning_rate": 2.6533333333333335e-06,
      "loss": 1.5869,
      "step": 10654
    },
    {
      "epoch": 0.9471111111111111,
      "grad_norm": 1.4222673177719116,
      "learning_rate": 2.6488888888888888e-06,
      "loss": 1.262,
      "step": 10655
    },
    {
      "epoch": 0.9472,
      "grad_norm": 1.4586381912231445,
      "learning_rate": 2.6444444444444444e-06,
      "loss": 1.3409,
      "step": 10656
    },
    {
      "epoch": 0.9472888888888888,
      "grad_norm": 1.4581599235534668,
      "learning_rate": 2.64e-06,
      "loss": 1.6801,
      "step": 10657
    },
    {
      "epoch": 0.9473777777777778,
      "grad_norm": 1.5503480434417725,
      "learning_rate": 2.635555555555556e-06,
      "loss": 1.7791,
      "step": 10658
    },
    {
      "epoch": 0.9474666666666667,
      "grad_norm": 1.622443437576294,
      "learning_rate": 2.631111111111111e-06,
      "loss": 1.5046,
      "step": 10659
    },
    {
      "epoch": 0.9475555555555556,
      "grad_norm": 1.488263487815857,
      "learning_rate": 2.6266666666666668e-06,
      "loss": 1.5167,
      "step": 10660
    },
    {
      "epoch": 0.9476444444444444,
      "grad_norm": 1.5950500965118408,
      "learning_rate": 2.6222222222222225e-06,
      "loss": 1.6738,
      "step": 10661
    },
    {
      "epoch": 0.9477333333333333,
      "grad_norm": 1.4147380590438843,
      "learning_rate": 2.617777777777778e-06,
      "loss": 1.5604,
      "step": 10662
    },
    {
      "epoch": 0.9478222222222222,
      "grad_norm": 1.6497251987457275,
      "learning_rate": 2.6133333333333334e-06,
      "loss": 1.5424,
      "step": 10663
    },
    {
      "epoch": 0.9479111111111111,
      "grad_norm": 1.453475832939148,
      "learning_rate": 2.6088888888888887e-06,
      "loss": 1.486,
      "step": 10664
    },
    {
      "epoch": 0.948,
      "grad_norm": 1.6476353406906128,
      "learning_rate": 2.6044444444444444e-06,
      "loss": 1.6929,
      "step": 10665
    },
    {
      "epoch": 0.9480888888888889,
      "grad_norm": 1.6519441604614258,
      "learning_rate": 2.6e-06,
      "loss": 1.6743,
      "step": 10666
    },
    {
      "epoch": 0.9481777777777778,
      "grad_norm": 1.3594422340393066,
      "learning_rate": 2.5955555555555558e-06,
      "loss": 1.3772,
      "step": 10667
    },
    {
      "epoch": 0.9482666666666667,
      "grad_norm": 1.4923378229141235,
      "learning_rate": 2.591111111111111e-06,
      "loss": 1.4505,
      "step": 10668
    },
    {
      "epoch": 0.9483555555555555,
      "grad_norm": 1.2750301361083984,
      "learning_rate": 2.5866666666666667e-06,
      "loss": 1.4563,
      "step": 10669
    },
    {
      "epoch": 0.9484444444444444,
      "grad_norm": 1.7865407466888428,
      "learning_rate": 2.5822222222222224e-06,
      "loss": 1.6965,
      "step": 10670
    },
    {
      "epoch": 0.9485333333333333,
      "grad_norm": 1.5032973289489746,
      "learning_rate": 2.5777777777777777e-06,
      "loss": 1.384,
      "step": 10671
    },
    {
      "epoch": 0.9486222222222223,
      "grad_norm": 1.682248592376709,
      "learning_rate": 2.5733333333333334e-06,
      "loss": 1.4742,
      "step": 10672
    },
    {
      "epoch": 0.9487111111111111,
      "grad_norm": 1.7011369466781616,
      "learning_rate": 2.568888888888889e-06,
      "loss": 1.4464,
      "step": 10673
    },
    {
      "epoch": 0.9488,
      "grad_norm": 1.6604887247085571,
      "learning_rate": 2.5644444444444448e-06,
      "loss": 1.3792,
      "step": 10674
    },
    {
      "epoch": 0.9488888888888889,
      "grad_norm": 1.581587314605713,
      "learning_rate": 2.56e-06,
      "loss": 1.473,
      "step": 10675
    },
    {
      "epoch": 0.9489777777777778,
      "grad_norm": 2.0519561767578125,
      "learning_rate": 2.5555555555555557e-06,
      "loss": 1.7632,
      "step": 10676
    },
    {
      "epoch": 0.9490666666666666,
      "grad_norm": 1.4817835092544556,
      "learning_rate": 2.551111111111111e-06,
      "loss": 1.4578,
      "step": 10677
    },
    {
      "epoch": 0.9491555555555555,
      "grad_norm": 1.5403454303741455,
      "learning_rate": 2.5466666666666667e-06,
      "loss": 1.7024,
      "step": 10678
    },
    {
      "epoch": 0.9492444444444444,
      "grad_norm": 1.4665597677230835,
      "learning_rate": 2.5422222222222224e-06,
      "loss": 1.4931,
      "step": 10679
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 2.046008586883545,
      "learning_rate": 2.5377777777777777e-06,
      "loss": 1.5258,
      "step": 10680
    },
    {
      "epoch": 0.9494222222222222,
      "grad_norm": 1.8405230045318604,
      "learning_rate": 2.5333333333333334e-06,
      "loss": 1.8196,
      "step": 10681
    },
    {
      "epoch": 0.9495111111111111,
      "grad_norm": 1.8955663442611694,
      "learning_rate": 2.528888888888889e-06,
      "loss": 1.7889,
      "step": 10682
    },
    {
      "epoch": 0.9496,
      "grad_norm": 1.4876960515975952,
      "learning_rate": 2.5244444444444447e-06,
      "loss": 1.4124,
      "step": 10683
    },
    {
      "epoch": 0.9496888888888889,
      "grad_norm": 1.330671787261963,
      "learning_rate": 2.52e-06,
      "loss": 1.5887,
      "step": 10684
    },
    {
      "epoch": 0.9497777777777778,
      "grad_norm": 1.4168378114700317,
      "learning_rate": 2.5155555555555557e-06,
      "loss": 1.3917,
      "step": 10685
    },
    {
      "epoch": 0.9498666666666666,
      "grad_norm": 1.6360548734664917,
      "learning_rate": 2.5111111111111114e-06,
      "loss": 1.6306,
      "step": 10686
    },
    {
      "epoch": 0.9499555555555556,
      "grad_norm": 1.4569495916366577,
      "learning_rate": 2.506666666666667e-06,
      "loss": 1.5726,
      "step": 10687
    },
    {
      "epoch": 0.9500444444444445,
      "grad_norm": 1.5758006572723389,
      "learning_rate": 2.5022222222222224e-06,
      "loss": 1.43,
      "step": 10688
    },
    {
      "epoch": 0.9501333333333334,
      "grad_norm": 1.5767929553985596,
      "learning_rate": 2.497777777777778e-06,
      "loss": 1.457,
      "step": 10689
    },
    {
      "epoch": 0.9502222222222222,
      "grad_norm": 1.5157489776611328,
      "learning_rate": 2.4933333333333333e-06,
      "loss": 1.5414,
      "step": 10690
    },
    {
      "epoch": 0.9503111111111111,
      "grad_norm": 1.7243528366088867,
      "learning_rate": 2.488888888888889e-06,
      "loss": 1.3532,
      "step": 10691
    },
    {
      "epoch": 0.9504,
      "grad_norm": 1.3685894012451172,
      "learning_rate": 2.4844444444444443e-06,
      "loss": 1.3344,
      "step": 10692
    },
    {
      "epoch": 0.9504888888888889,
      "grad_norm": 2.068035840988159,
      "learning_rate": 2.48e-06,
      "loss": 1.5558,
      "step": 10693
    },
    {
      "epoch": 0.9505777777777777,
      "grad_norm": 1.7164080142974854,
      "learning_rate": 2.4755555555555557e-06,
      "loss": 1.5003,
      "step": 10694
    },
    {
      "epoch": 0.9506666666666667,
      "grad_norm": 1.9203439950942993,
      "learning_rate": 2.4711111111111114e-06,
      "loss": 1.7739,
      "step": 10695
    },
    {
      "epoch": 0.9507555555555556,
      "grad_norm": 1.419480800628662,
      "learning_rate": 2.4666666666666666e-06,
      "loss": 1.3698,
      "step": 10696
    },
    {
      "epoch": 0.9508444444444445,
      "grad_norm": 1.5495094060897827,
      "learning_rate": 2.4622222222222223e-06,
      "loss": 1.4112,
      "step": 10697
    },
    {
      "epoch": 0.9509333333333333,
      "grad_norm": 1.4496233463287354,
      "learning_rate": 2.457777777777778e-06,
      "loss": 1.5038,
      "step": 10698
    },
    {
      "epoch": 0.9510222222222222,
      "grad_norm": 1.5337461233139038,
      "learning_rate": 2.4533333333333337e-06,
      "loss": 1.4813,
      "step": 10699
    },
    {
      "epoch": 0.9511111111111111,
      "grad_norm": 1.7102715969085693,
      "learning_rate": 2.448888888888889e-06,
      "loss": 1.4377,
      "step": 10700
    },
    {
      "epoch": 0.9512,
      "grad_norm": 1.6533160209655762,
      "learning_rate": 2.4444444444444447e-06,
      "loss": 1.5674,
      "step": 10701
    },
    {
      "epoch": 0.9512888888888889,
      "grad_norm": 1.7124344110488892,
      "learning_rate": 2.4400000000000004e-06,
      "loss": 1.6085,
      "step": 10702
    },
    {
      "epoch": 0.9513777777777778,
      "grad_norm": 1.7341567277908325,
      "learning_rate": 2.4355555555555556e-06,
      "loss": 1.4511,
      "step": 10703
    },
    {
      "epoch": 0.9514666666666667,
      "grad_norm": 1.4312469959259033,
      "learning_rate": 2.431111111111111e-06,
      "loss": 1.0584,
      "step": 10704
    },
    {
      "epoch": 0.9515555555555556,
      "grad_norm": 1.3561124801635742,
      "learning_rate": 2.4266666666666666e-06,
      "loss": 1.3435,
      "step": 10705
    },
    {
      "epoch": 0.9516444444444444,
      "grad_norm": 1.5667152404785156,
      "learning_rate": 2.4222222222222223e-06,
      "loss": 1.5434,
      "step": 10706
    },
    {
      "epoch": 0.9517333333333333,
      "grad_norm": 1.426377296447754,
      "learning_rate": 2.417777777777778e-06,
      "loss": 1.6365,
      "step": 10707
    },
    {
      "epoch": 0.9518222222222222,
      "grad_norm": 1.7954204082489014,
      "learning_rate": 2.4133333333333332e-06,
      "loss": 1.521,
      "step": 10708
    },
    {
      "epoch": 0.9519111111111112,
      "grad_norm": 1.4341099262237549,
      "learning_rate": 2.408888888888889e-06,
      "loss": 1.6574,
      "step": 10709
    },
    {
      "epoch": 0.952,
      "grad_norm": 1.4002338647842407,
      "learning_rate": 2.4044444444444446e-06,
      "loss": 1.4866,
      "step": 10710
    },
    {
      "epoch": 0.9520888888888889,
      "grad_norm": 1.3841108083724976,
      "learning_rate": 2.4000000000000003e-06,
      "loss": 1.454,
      "step": 10711
    },
    {
      "epoch": 0.9521777777777778,
      "grad_norm": 1.4289220571517944,
      "learning_rate": 2.3955555555555556e-06,
      "loss": 1.4837,
      "step": 10712
    },
    {
      "epoch": 0.9522666666666667,
      "grad_norm": 1.6109037399291992,
      "learning_rate": 2.3911111111111113e-06,
      "loss": 1.7031,
      "step": 10713
    },
    {
      "epoch": 0.9523555555555555,
      "grad_norm": 1.6721922159194946,
      "learning_rate": 2.386666666666667e-06,
      "loss": 1.3768,
      "step": 10714
    },
    {
      "epoch": 0.9524444444444444,
      "grad_norm": 1.5619556903839111,
      "learning_rate": 2.3822222222222227e-06,
      "loss": 1.4307,
      "step": 10715
    },
    {
      "epoch": 0.9525333333333333,
      "grad_norm": 1.715943455696106,
      "learning_rate": 2.377777777777778e-06,
      "loss": 1.4855,
      "step": 10716
    },
    {
      "epoch": 0.9526222222222223,
      "grad_norm": 1.5344165563583374,
      "learning_rate": 2.373333333333333e-06,
      "loss": 1.6176,
      "step": 10717
    },
    {
      "epoch": 0.9527111111111111,
      "grad_norm": 1.554605484008789,
      "learning_rate": 2.368888888888889e-06,
      "loss": 1.6241,
      "step": 10718
    },
    {
      "epoch": 0.9528,
      "grad_norm": 1.7639557123184204,
      "learning_rate": 2.3644444444444446e-06,
      "loss": 1.4914,
      "step": 10719
    },
    {
      "epoch": 0.9528888888888889,
      "grad_norm": 1.6704857349395752,
      "learning_rate": 2.36e-06,
      "loss": 1.6728,
      "step": 10720
    },
    {
      "epoch": 0.9529777777777778,
      "grad_norm": 1.774604082107544,
      "learning_rate": 2.3555555555555555e-06,
      "loss": 1.4358,
      "step": 10721
    },
    {
      "epoch": 0.9530666666666666,
      "grad_norm": 1.4933444261550903,
      "learning_rate": 2.3511111111111112e-06,
      "loss": 1.4257,
      "step": 10722
    },
    {
      "epoch": 0.9531555555555555,
      "grad_norm": 1.7388415336608887,
      "learning_rate": 2.346666666666667e-06,
      "loss": 1.5383,
      "step": 10723
    },
    {
      "epoch": 0.9532444444444444,
      "grad_norm": 1.3456729650497437,
      "learning_rate": 2.342222222222222e-06,
      "loss": 1.4705,
      "step": 10724
    },
    {
      "epoch": 0.9533333333333334,
      "grad_norm": 1.6544857025146484,
      "learning_rate": 2.337777777777778e-06,
      "loss": 1.6075,
      "step": 10725
    },
    {
      "epoch": 0.9534222222222222,
      "grad_norm": 1.7331743240356445,
      "learning_rate": 2.3333333333333336e-06,
      "loss": 1.4834,
      "step": 10726
    },
    {
      "epoch": 0.9535111111111111,
      "grad_norm": 1.5695462226867676,
      "learning_rate": 2.3288888888888893e-06,
      "loss": 1.5674,
      "step": 10727
    },
    {
      "epoch": 0.9536,
      "grad_norm": 1.3568131923675537,
      "learning_rate": 2.3244444444444445e-06,
      "loss": 1.4087,
      "step": 10728
    },
    {
      "epoch": 0.9536888888888889,
      "grad_norm": 1.4204906225204468,
      "learning_rate": 2.32e-06,
      "loss": 1.5121,
      "step": 10729
    },
    {
      "epoch": 0.9537777777777777,
      "grad_norm": 1.425315260887146,
      "learning_rate": 2.3155555555555555e-06,
      "loss": 1.4469,
      "step": 10730
    },
    {
      "epoch": 0.9538666666666666,
      "grad_norm": 1.2762904167175293,
      "learning_rate": 2.311111111111111e-06,
      "loss": 1.2885,
      "step": 10731
    },
    {
      "epoch": 0.9539555555555556,
      "grad_norm": 1.5153580904006958,
      "learning_rate": 2.306666666666667e-06,
      "loss": 1.3306,
      "step": 10732
    },
    {
      "epoch": 0.9540444444444445,
      "grad_norm": 1.725703477859497,
      "learning_rate": 2.302222222222222e-06,
      "loss": 1.5948,
      "step": 10733
    },
    {
      "epoch": 0.9541333333333334,
      "grad_norm": 1.6351354122161865,
      "learning_rate": 2.297777777777778e-06,
      "loss": 1.4549,
      "step": 10734
    },
    {
      "epoch": 0.9542222222222222,
      "grad_norm": 1.9514001607894897,
      "learning_rate": 2.2933333333333335e-06,
      "loss": 1.7007,
      "step": 10735
    },
    {
      "epoch": 0.9543111111111111,
      "grad_norm": 1.4112968444824219,
      "learning_rate": 2.2888888888888892e-06,
      "loss": 1.3224,
      "step": 10736
    },
    {
      "epoch": 0.9544,
      "grad_norm": 1.5921460390090942,
      "learning_rate": 2.2844444444444445e-06,
      "loss": 1.5614,
      "step": 10737
    },
    {
      "epoch": 0.9544888888888889,
      "grad_norm": 1.439820647239685,
      "learning_rate": 2.28e-06,
      "loss": 1.3894,
      "step": 10738
    },
    {
      "epoch": 0.9545777777777777,
      "grad_norm": 1.5760530233383179,
      "learning_rate": 2.275555555555556e-06,
      "loss": 1.5362,
      "step": 10739
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 1.4782745838165283,
      "learning_rate": 2.271111111111111e-06,
      "loss": 1.6082,
      "step": 10740
    },
    {
      "epoch": 0.9547555555555556,
      "grad_norm": 1.5742161273956299,
      "learning_rate": 2.266666666666667e-06,
      "loss": 1.454,
      "step": 10741
    },
    {
      "epoch": 0.9548444444444445,
      "grad_norm": 2.37564754486084,
      "learning_rate": 2.262222222222222e-06,
      "loss": 1.5148,
      "step": 10742
    },
    {
      "epoch": 0.9549333333333333,
      "grad_norm": 1.7177616357803345,
      "learning_rate": 2.257777777777778e-06,
      "loss": 1.6815,
      "step": 10743
    },
    {
      "epoch": 0.9550222222222222,
      "grad_norm": 2.145779609680176,
      "learning_rate": 2.2533333333333335e-06,
      "loss": 1.6925,
      "step": 10744
    },
    {
      "epoch": 0.9551111111111111,
      "grad_norm": 1.4870253801345825,
      "learning_rate": 2.2488888888888888e-06,
      "loss": 1.4858,
      "step": 10745
    },
    {
      "epoch": 0.9552,
      "grad_norm": 1.6542047262191772,
      "learning_rate": 2.2444444444444445e-06,
      "loss": 1.5997,
      "step": 10746
    },
    {
      "epoch": 0.9552888888888889,
      "grad_norm": 1.5509282350540161,
      "learning_rate": 2.24e-06,
      "loss": 1.4475,
      "step": 10747
    },
    {
      "epoch": 0.9553777777777778,
      "grad_norm": 1.4442206621170044,
      "learning_rate": 2.235555555555556e-06,
      "loss": 1.3192,
      "step": 10748
    },
    {
      "epoch": 0.9554666666666667,
      "grad_norm": 1.577483892440796,
      "learning_rate": 2.231111111111111e-06,
      "loss": 1.5494,
      "step": 10749
    },
    {
      "epoch": 0.9555555555555556,
      "grad_norm": 1.5229649543762207,
      "learning_rate": 2.226666666666667e-06,
      "loss": 1.4058,
      "step": 10750
    },
    {
      "epoch": 0.9556444444444444,
      "grad_norm": 1.7473894357681274,
      "learning_rate": 2.2222222222222225e-06,
      "loss": 1.5396,
      "step": 10751
    },
    {
      "epoch": 0.9557333333333333,
      "grad_norm": 1.5224292278289795,
      "learning_rate": 2.217777777777778e-06,
      "loss": 1.5337,
      "step": 10752
    },
    {
      "epoch": 0.9558222222222222,
      "grad_norm": 1.8267866373062134,
      "learning_rate": 2.2133333333333335e-06,
      "loss": 1.525,
      "step": 10753
    },
    {
      "epoch": 0.9559111111111112,
      "grad_norm": 1.3764714002609253,
      "learning_rate": 2.208888888888889e-06,
      "loss": 1.2968,
      "step": 10754
    },
    {
      "epoch": 0.956,
      "grad_norm": 1.352096438407898,
      "learning_rate": 2.2044444444444444e-06,
      "loss": 1.2413,
      "step": 10755
    },
    {
      "epoch": 0.9560888888888889,
      "grad_norm": 1.9355404376983643,
      "learning_rate": 2.2e-06,
      "loss": 1.5615,
      "step": 10756
    },
    {
      "epoch": 0.9561777777777778,
      "grad_norm": 1.7734322547912598,
      "learning_rate": 2.1955555555555554e-06,
      "loss": 1.5544,
      "step": 10757
    },
    {
      "epoch": 0.9562666666666667,
      "grad_norm": 1.5800180435180664,
      "learning_rate": 2.191111111111111e-06,
      "loss": 1.6022,
      "step": 10758
    },
    {
      "epoch": 0.9563555555555555,
      "grad_norm": 1.6498537063598633,
      "learning_rate": 2.1866666666666668e-06,
      "loss": 1.6061,
      "step": 10759
    },
    {
      "epoch": 0.9564444444444444,
      "grad_norm": 1.4162529706954956,
      "learning_rate": 2.1822222222222225e-06,
      "loss": 1.4552,
      "step": 10760
    },
    {
      "epoch": 0.9565333333333333,
      "grad_norm": 1.4547723531723022,
      "learning_rate": 2.1777777777777777e-06,
      "loss": 1.6007,
      "step": 10761
    },
    {
      "epoch": 0.9566222222222223,
      "grad_norm": 1.4472862482070923,
      "learning_rate": 2.1733333333333334e-06,
      "loss": 1.4,
      "step": 10762
    },
    {
      "epoch": 0.9567111111111111,
      "grad_norm": 1.581111192703247,
      "learning_rate": 2.168888888888889e-06,
      "loss": 1.6169,
      "step": 10763
    },
    {
      "epoch": 0.9568,
      "grad_norm": 1.2987335920333862,
      "learning_rate": 2.164444444444445e-06,
      "loss": 1.2212,
      "step": 10764
    },
    {
      "epoch": 0.9568888888888889,
      "grad_norm": 1.427995204925537,
      "learning_rate": 2.16e-06,
      "loss": 1.4577,
      "step": 10765
    },
    {
      "epoch": 0.9569777777777778,
      "grad_norm": 1.5618149042129517,
      "learning_rate": 2.1555555555555558e-06,
      "loss": 1.2869,
      "step": 10766
    },
    {
      "epoch": 0.9570666666666666,
      "grad_norm": 1.5344123840332031,
      "learning_rate": 2.1511111111111115e-06,
      "loss": 1.3609,
      "step": 10767
    },
    {
      "epoch": 0.9571555555555555,
      "grad_norm": 1.6025574207305908,
      "learning_rate": 2.1466666666666667e-06,
      "loss": 1.4908,
      "step": 10768
    },
    {
      "epoch": 0.9572444444444445,
      "grad_norm": 2.166337728500366,
      "learning_rate": 2.142222222222222e-06,
      "loss": 1.7844,
      "step": 10769
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 1.5024381875991821,
      "learning_rate": 2.1377777777777777e-06,
      "loss": 1.71,
      "step": 10770
    },
    {
      "epoch": 0.9574222222222222,
      "grad_norm": 1.5624204874038696,
      "learning_rate": 2.1333333333333334e-06,
      "loss": 1.3824,
      "step": 10771
    },
    {
      "epoch": 0.9575111111111111,
      "grad_norm": 1.3669476509094238,
      "learning_rate": 2.128888888888889e-06,
      "loss": 1.4577,
      "step": 10772
    },
    {
      "epoch": 0.9576,
      "grad_norm": 1.4697282314300537,
      "learning_rate": 2.1244444444444443e-06,
      "loss": 1.5113,
      "step": 10773
    },
    {
      "epoch": 0.9576888888888889,
      "grad_norm": 1.3369828462600708,
      "learning_rate": 2.12e-06,
      "loss": 1.4446,
      "step": 10774
    },
    {
      "epoch": 0.9577777777777777,
      "grad_norm": 1.34084951877594,
      "learning_rate": 2.1155555555555557e-06,
      "loss": 1.3785,
      "step": 10775
    },
    {
      "epoch": 0.9578666666666666,
      "grad_norm": 1.4013028144836426,
      "learning_rate": 2.1111111111111114e-06,
      "loss": 1.5108,
      "step": 10776
    },
    {
      "epoch": 0.9579555555555556,
      "grad_norm": 1.8226473331451416,
      "learning_rate": 2.1066666666666667e-06,
      "loss": 1.3708,
      "step": 10777
    },
    {
      "epoch": 0.9580444444444445,
      "grad_norm": 1.5414897203445435,
      "learning_rate": 2.1022222222222224e-06,
      "loss": 1.5269,
      "step": 10778
    },
    {
      "epoch": 0.9581333333333333,
      "grad_norm": 1.2869561910629272,
      "learning_rate": 2.097777777777778e-06,
      "loss": 1.5843,
      "step": 10779
    },
    {
      "epoch": 0.9582222222222222,
      "grad_norm": 1.4270343780517578,
      "learning_rate": 2.0933333333333338e-06,
      "loss": 1.4441,
      "step": 10780
    },
    {
      "epoch": 0.9583111111111111,
      "grad_norm": 1.6177335977554321,
      "learning_rate": 2.088888888888889e-06,
      "loss": 1.3368,
      "step": 10781
    },
    {
      "epoch": 0.9584,
      "grad_norm": 1.540215015411377,
      "learning_rate": 2.0844444444444443e-06,
      "loss": 1.4073,
      "step": 10782
    },
    {
      "epoch": 0.9584888888888888,
      "grad_norm": 2.6431026458740234,
      "learning_rate": 2.08e-06,
      "loss": 1.5699,
      "step": 10783
    },
    {
      "epoch": 0.9585777777777778,
      "grad_norm": 1.6056478023529053,
      "learning_rate": 2.0755555555555557e-06,
      "loss": 1.5597,
      "step": 10784
    },
    {
      "epoch": 0.9586666666666667,
      "grad_norm": 1.495658278465271,
      "learning_rate": 2.0711111111111114e-06,
      "loss": 1.7069,
      "step": 10785
    },
    {
      "epoch": 0.9587555555555556,
      "grad_norm": 1.7017298936843872,
      "learning_rate": 2.0666666666666666e-06,
      "loss": 1.4253,
      "step": 10786
    },
    {
      "epoch": 0.9588444444444445,
      "grad_norm": 1.4278569221496582,
      "learning_rate": 2.0622222222222223e-06,
      "loss": 1.7165,
      "step": 10787
    },
    {
      "epoch": 0.9589333333333333,
      "grad_norm": 1.6400388479232788,
      "learning_rate": 2.057777777777778e-06,
      "loss": 1.5162,
      "step": 10788
    },
    {
      "epoch": 0.9590222222222222,
      "grad_norm": 1.6323662996292114,
      "learning_rate": 2.0533333333333333e-06,
      "loss": 1.6196,
      "step": 10789
    },
    {
      "epoch": 0.9591111111111111,
      "grad_norm": 1.4282331466674805,
      "learning_rate": 2.048888888888889e-06,
      "loss": 1.5952,
      "step": 10790
    },
    {
      "epoch": 0.9592,
      "grad_norm": 1.6583384275436401,
      "learning_rate": 2.0444444444444447e-06,
      "loss": 1.6544,
      "step": 10791
    },
    {
      "epoch": 0.9592888888888889,
      "grad_norm": 1.7300230264663696,
      "learning_rate": 2.0400000000000004e-06,
      "loss": 1.4602,
      "step": 10792
    },
    {
      "epoch": 0.9593777777777778,
      "grad_norm": 1.4181665182113647,
      "learning_rate": 2.0355555555555556e-06,
      "loss": 1.6023,
      "step": 10793
    },
    {
      "epoch": 0.9594666666666667,
      "grad_norm": 1.8002902269363403,
      "learning_rate": 2.031111111111111e-06,
      "loss": 1.6488,
      "step": 10794
    },
    {
      "epoch": 0.9595555555555556,
      "grad_norm": 1.675014615058899,
      "learning_rate": 2.0266666666666666e-06,
      "loss": 1.6034,
      "step": 10795
    },
    {
      "epoch": 0.9596444444444444,
      "grad_norm": 1.729440689086914,
      "learning_rate": 2.0222222222222223e-06,
      "loss": 1.3856,
      "step": 10796
    },
    {
      "epoch": 0.9597333333333333,
      "grad_norm": 1.5064228773117065,
      "learning_rate": 2.017777777777778e-06,
      "loss": 1.5989,
      "step": 10797
    },
    {
      "epoch": 0.9598222222222222,
      "grad_norm": 1.3356740474700928,
      "learning_rate": 2.0133333333333333e-06,
      "loss": 1.4411,
      "step": 10798
    },
    {
      "epoch": 0.9599111111111112,
      "grad_norm": 1.5473148822784424,
      "learning_rate": 2.008888888888889e-06,
      "loss": 1.4813,
      "step": 10799
    },
    {
      "epoch": 0.96,
      "grad_norm": 1.5387893915176392,
      "learning_rate": 2.0044444444444446e-06,
      "loss": 1.5794,
      "step": 10800
    },
    {
      "epoch": 0.9600888888888889,
      "grad_norm": 1.5068976879119873,
      "learning_rate": 2.0000000000000003e-06,
      "loss": 1.4966,
      "step": 10801
    },
    {
      "epoch": 0.9601777777777778,
      "grad_norm": 1.5455211400985718,
      "learning_rate": 1.9955555555555556e-06,
      "loss": 1.5219,
      "step": 10802
    },
    {
      "epoch": 0.9602666666666667,
      "grad_norm": 1.770080804824829,
      "learning_rate": 1.9911111111111113e-06,
      "loss": 1.4651,
      "step": 10803
    },
    {
      "epoch": 0.9603555555555555,
      "grad_norm": 1.5487977266311646,
      "learning_rate": 1.986666666666667e-06,
      "loss": 1.4467,
      "step": 10804
    },
    {
      "epoch": 0.9604444444444444,
      "grad_norm": 1.52704918384552,
      "learning_rate": 1.9822222222222223e-06,
      "loss": 1.5144,
      "step": 10805
    },
    {
      "epoch": 0.9605333333333334,
      "grad_norm": 1.4190003871917725,
      "learning_rate": 1.9777777777777775e-06,
      "loss": 1.354,
      "step": 10806
    },
    {
      "epoch": 0.9606222222222223,
      "grad_norm": 1.7653076648712158,
      "learning_rate": 1.9733333333333332e-06,
      "loss": 1.3507,
      "step": 10807
    },
    {
      "epoch": 0.9607111111111111,
      "grad_norm": 1.6728795766830444,
      "learning_rate": 1.968888888888889e-06,
      "loss": 1.4041,
      "step": 10808
    },
    {
      "epoch": 0.9608,
      "grad_norm": 2.0985770225524902,
      "learning_rate": 1.9644444444444446e-06,
      "loss": 1.8337,
      "step": 10809
    },
    {
      "epoch": 0.9608888888888889,
      "grad_norm": 1.3870242834091187,
      "learning_rate": 1.96e-06,
      "loss": 1.403,
      "step": 10810
    },
    {
      "epoch": 0.9609777777777778,
      "grad_norm": 2.2679948806762695,
      "learning_rate": 1.9555555555555556e-06,
      "loss": 1.6241,
      "step": 10811
    },
    {
      "epoch": 0.9610666666666666,
      "grad_norm": 1.6299422979354858,
      "learning_rate": 1.9511111111111113e-06,
      "loss": 1.5833,
      "step": 10812
    },
    {
      "epoch": 0.9611555555555555,
      "grad_norm": 1.5538324117660522,
      "learning_rate": 1.946666666666667e-06,
      "loss": 1.6222,
      "step": 10813
    },
    {
      "epoch": 0.9612444444444445,
      "grad_norm": 1.6346369981765747,
      "learning_rate": 1.9422222222222222e-06,
      "loss": 1.4016,
      "step": 10814
    },
    {
      "epoch": 0.9613333333333334,
      "grad_norm": 1.4475433826446533,
      "learning_rate": 1.937777777777778e-06,
      "loss": 1.5583,
      "step": 10815
    },
    {
      "epoch": 0.9614222222222222,
      "grad_norm": 1.6895254850387573,
      "learning_rate": 1.9333333333333336e-06,
      "loss": 1.4176,
      "step": 10816
    },
    {
      "epoch": 0.9615111111111111,
      "grad_norm": 1.6937501430511475,
      "learning_rate": 1.9288888888888893e-06,
      "loss": 1.5885,
      "step": 10817
    },
    {
      "epoch": 0.9616,
      "grad_norm": 1.6056381464004517,
      "learning_rate": 1.9244444444444446e-06,
      "loss": 1.5737,
      "step": 10818
    },
    {
      "epoch": 0.9616888888888889,
      "grad_norm": 1.4838305711746216,
      "learning_rate": 1.92e-06,
      "loss": 1.5622,
      "step": 10819
    },
    {
      "epoch": 0.9617777777777777,
      "grad_norm": 1.5206153392791748,
      "learning_rate": 1.9155555555555555e-06,
      "loss": 1.4749,
      "step": 10820
    },
    {
      "epoch": 0.9618666666666666,
      "grad_norm": 1.2612982988357544,
      "learning_rate": 1.9111111111111112e-06,
      "loss": 1.2381,
      "step": 10821
    },
    {
      "epoch": 0.9619555555555556,
      "grad_norm": 1.584215760231018,
      "learning_rate": 1.9066666666666667e-06,
      "loss": 1.3183,
      "step": 10822
    },
    {
      "epoch": 0.9620444444444445,
      "grad_norm": 1.5348994731903076,
      "learning_rate": 1.9022222222222222e-06,
      "loss": 1.5803,
      "step": 10823
    },
    {
      "epoch": 0.9621333333333333,
      "grad_norm": 1.5777058601379395,
      "learning_rate": 1.8977777777777779e-06,
      "loss": 1.5181,
      "step": 10824
    },
    {
      "epoch": 0.9622222222222222,
      "grad_norm": 1.548860788345337,
      "learning_rate": 1.8933333333333333e-06,
      "loss": 1.4593,
      "step": 10825
    },
    {
      "epoch": 0.9623111111111111,
      "grad_norm": 1.4665250778198242,
      "learning_rate": 1.888888888888889e-06,
      "loss": 1.3882,
      "step": 10826
    },
    {
      "epoch": 0.9624,
      "grad_norm": 1.5534018278121948,
      "learning_rate": 1.8844444444444445e-06,
      "loss": 1.6334,
      "step": 10827
    },
    {
      "epoch": 0.9624888888888888,
      "grad_norm": 1.3941943645477295,
      "learning_rate": 1.8800000000000002e-06,
      "loss": 1.4078,
      "step": 10828
    },
    {
      "epoch": 0.9625777777777778,
      "grad_norm": 1.547271728515625,
      "learning_rate": 1.8755555555555557e-06,
      "loss": 1.5685,
      "step": 10829
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 1.3918354511260986,
      "learning_rate": 1.8711111111111114e-06,
      "loss": 1.6719,
      "step": 10830
    },
    {
      "epoch": 0.9627555555555556,
      "grad_norm": 1.7522152662277222,
      "learning_rate": 1.8666666666666669e-06,
      "loss": 1.5821,
      "step": 10831
    },
    {
      "epoch": 0.9628444444444444,
      "grad_norm": 1.4539247751235962,
      "learning_rate": 1.8622222222222221e-06,
      "loss": 1.6772,
      "step": 10832
    },
    {
      "epoch": 0.9629333333333333,
      "grad_norm": 1.4046467542648315,
      "learning_rate": 1.8577777777777778e-06,
      "loss": 1.4566,
      "step": 10833
    },
    {
      "epoch": 0.9630222222222222,
      "grad_norm": 1.5889230966567993,
      "learning_rate": 1.8533333333333333e-06,
      "loss": 1.5282,
      "step": 10834
    },
    {
      "epoch": 0.9631111111111111,
      "grad_norm": 1.869422435760498,
      "learning_rate": 1.848888888888889e-06,
      "loss": 1.5962,
      "step": 10835
    },
    {
      "epoch": 0.9632,
      "grad_norm": 1.4093122482299805,
      "learning_rate": 1.8444444444444445e-06,
      "loss": 1.394,
      "step": 10836
    },
    {
      "epoch": 0.9632888888888889,
      "grad_norm": 1.3371061086654663,
      "learning_rate": 1.84e-06,
      "loss": 1.4363,
      "step": 10837
    },
    {
      "epoch": 0.9633777777777778,
      "grad_norm": 1.3830909729003906,
      "learning_rate": 1.8355555555555557e-06,
      "loss": 1.3622,
      "step": 10838
    },
    {
      "epoch": 0.9634666666666667,
      "grad_norm": 1.5907073020935059,
      "learning_rate": 1.8311111111111111e-06,
      "loss": 1.5711,
      "step": 10839
    },
    {
      "epoch": 0.9635555555555556,
      "grad_norm": 1.6357760429382324,
      "learning_rate": 1.8266666666666668e-06,
      "loss": 1.7035,
      "step": 10840
    },
    {
      "epoch": 0.9636444444444444,
      "grad_norm": 1.8478350639343262,
      "learning_rate": 1.8222222222222223e-06,
      "loss": 1.5414,
      "step": 10841
    },
    {
      "epoch": 0.9637333333333333,
      "grad_norm": 1.4048563241958618,
      "learning_rate": 1.817777777777778e-06,
      "loss": 1.3989,
      "step": 10842
    },
    {
      "epoch": 0.9638222222222222,
      "grad_norm": 1.7907129526138306,
      "learning_rate": 1.8133333333333335e-06,
      "loss": 1.5021,
      "step": 10843
    },
    {
      "epoch": 0.9639111111111112,
      "grad_norm": 1.5730282068252563,
      "learning_rate": 1.8088888888888892e-06,
      "loss": 1.5011,
      "step": 10844
    },
    {
      "epoch": 0.964,
      "grad_norm": 1.7415199279785156,
      "learning_rate": 1.8044444444444444e-06,
      "loss": 1.4172,
      "step": 10845
    },
    {
      "epoch": 0.9640888888888889,
      "grad_norm": 1.7140731811523438,
      "learning_rate": 1.8e-06,
      "loss": 1.5961,
      "step": 10846
    },
    {
      "epoch": 0.9641777777777778,
      "grad_norm": 1.3991199731826782,
      "learning_rate": 1.7955555555555556e-06,
      "loss": 1.4149,
      "step": 10847
    },
    {
      "epoch": 0.9642666666666667,
      "grad_norm": 1.4639365673065186,
      "learning_rate": 1.791111111111111e-06,
      "loss": 1.3077,
      "step": 10848
    },
    {
      "epoch": 0.9643555555555555,
      "grad_norm": 1.639009952545166,
      "learning_rate": 1.7866666666666668e-06,
      "loss": 1.3883,
      "step": 10849
    },
    {
      "epoch": 0.9644444444444444,
      "grad_norm": 1.6753954887390137,
      "learning_rate": 1.7822222222222223e-06,
      "loss": 1.5224,
      "step": 10850
    },
    {
      "epoch": 0.9645333333333334,
      "grad_norm": 1.6142619848251343,
      "learning_rate": 1.777777777777778e-06,
      "loss": 1.2564,
      "step": 10851
    },
    {
      "epoch": 0.9646222222222223,
      "grad_norm": 1.661487102508545,
      "learning_rate": 1.7733333333333334e-06,
      "loss": 1.4276,
      "step": 10852
    },
    {
      "epoch": 0.9647111111111111,
      "grad_norm": 1.6272931098937988,
      "learning_rate": 1.7688888888888891e-06,
      "loss": 1.6635,
      "step": 10853
    },
    {
      "epoch": 0.9648,
      "grad_norm": 1.7380681037902832,
      "learning_rate": 1.7644444444444446e-06,
      "loss": 1.4976,
      "step": 10854
    },
    {
      "epoch": 0.9648888888888889,
      "grad_norm": 1.5320619344711304,
      "learning_rate": 1.76e-06,
      "loss": 1.5772,
      "step": 10855
    },
    {
      "epoch": 0.9649777777777778,
      "grad_norm": 1.4776227474212646,
      "learning_rate": 1.7555555555555558e-06,
      "loss": 1.6144,
      "step": 10856
    },
    {
      "epoch": 0.9650666666666666,
      "grad_norm": 1.3954561948776245,
      "learning_rate": 1.7511111111111113e-06,
      "loss": 1.4913,
      "step": 10857
    },
    {
      "epoch": 0.9651555555555555,
      "grad_norm": 1.5044795274734497,
      "learning_rate": 1.7466666666666665e-06,
      "loss": 1.4833,
      "step": 10858
    },
    {
      "epoch": 0.9652444444444445,
      "grad_norm": 1.8527013063430786,
      "learning_rate": 1.7422222222222222e-06,
      "loss": 1.4643,
      "step": 10859
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 1.452862024307251,
      "learning_rate": 1.7377777777777777e-06,
      "loss": 1.4339,
      "step": 10860
    },
    {
      "epoch": 0.9654222222222222,
      "grad_norm": 1.4275583028793335,
      "learning_rate": 1.7333333333333334e-06,
      "loss": 1.2352,
      "step": 10861
    },
    {
      "epoch": 0.9655111111111111,
      "grad_norm": 1.6644940376281738,
      "learning_rate": 1.7288888888888889e-06,
      "loss": 1.5543,
      "step": 10862
    },
    {
      "epoch": 0.9656,
      "grad_norm": 1.7403721809387207,
      "learning_rate": 1.7244444444444446e-06,
      "loss": 1.6924,
      "step": 10863
    },
    {
      "epoch": 0.9656888888888889,
      "grad_norm": 2.2640929222106934,
      "learning_rate": 1.72e-06,
      "loss": 1.4599,
      "step": 10864
    },
    {
      "epoch": 0.9657777777777777,
      "grad_norm": 1.99116849899292,
      "learning_rate": 1.7155555555555557e-06,
      "loss": 1.471,
      "step": 10865
    },
    {
      "epoch": 0.9658666666666667,
      "grad_norm": 1.7318837642669678,
      "learning_rate": 1.7111111111111112e-06,
      "loss": 1.516,
      "step": 10866
    },
    {
      "epoch": 0.9659555555555556,
      "grad_norm": 1.4821090698242188,
      "learning_rate": 1.706666666666667e-06,
      "loss": 1.5941,
      "step": 10867
    },
    {
      "epoch": 0.9660444444444445,
      "grad_norm": 1.7076733112335205,
      "learning_rate": 1.7022222222222224e-06,
      "loss": 1.5902,
      "step": 10868
    },
    {
      "epoch": 0.9661333333333333,
      "grad_norm": 1.9311927556991577,
      "learning_rate": 1.697777777777778e-06,
      "loss": 1.5857,
      "step": 10869
    },
    {
      "epoch": 0.9662222222222222,
      "grad_norm": 1.4935879707336426,
      "learning_rate": 1.6933333333333336e-06,
      "loss": 1.4731,
      "step": 10870
    },
    {
      "epoch": 0.9663111111111111,
      "grad_norm": 2.633369207382202,
      "learning_rate": 1.6888888888888888e-06,
      "loss": 1.7768,
      "step": 10871
    },
    {
      "epoch": 0.9664,
      "grad_norm": 1.5225651264190674,
      "learning_rate": 1.6844444444444443e-06,
      "loss": 1.3443,
      "step": 10872
    },
    {
      "epoch": 0.9664888888888888,
      "grad_norm": 1.6679164171218872,
      "learning_rate": 1.68e-06,
      "loss": 1.5309,
      "step": 10873
    },
    {
      "epoch": 0.9665777777777778,
      "grad_norm": 1.938768744468689,
      "learning_rate": 1.6755555555555555e-06,
      "loss": 1.3761,
      "step": 10874
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 1.7065004110336304,
      "learning_rate": 1.6711111111111112e-06,
      "loss": 1.7021,
      "step": 10875
    },
    {
      "epoch": 0.9667555555555556,
      "grad_norm": 1.4329683780670166,
      "learning_rate": 1.6666666666666667e-06,
      "loss": 1.2848,
      "step": 10876
    },
    {
      "epoch": 0.9668444444444444,
      "grad_norm": 1.3821320533752441,
      "learning_rate": 1.6622222222222224e-06,
      "loss": 1.5028,
      "step": 10877
    },
    {
      "epoch": 0.9669333333333333,
      "grad_norm": 1.4757633209228516,
      "learning_rate": 1.6577777777777778e-06,
      "loss": 1.2209,
      "step": 10878
    },
    {
      "epoch": 0.9670222222222222,
      "grad_norm": 1.57217538356781,
      "learning_rate": 1.6533333333333335e-06,
      "loss": 1.3172,
      "step": 10879
    },
    {
      "epoch": 0.9671111111111111,
      "grad_norm": 1.5485036373138428,
      "learning_rate": 1.648888888888889e-06,
      "loss": 1.7056,
      "step": 10880
    },
    {
      "epoch": 0.9672,
      "grad_norm": 1.4234013557434082,
      "learning_rate": 1.6444444444444447e-06,
      "loss": 1.5523,
      "step": 10881
    },
    {
      "epoch": 0.9672888888888889,
      "grad_norm": 1.4097925424575806,
      "learning_rate": 1.6400000000000002e-06,
      "loss": 1.3603,
      "step": 10882
    },
    {
      "epoch": 0.9673777777777778,
      "grad_norm": 1.6206210851669312,
      "learning_rate": 1.6355555555555559e-06,
      "loss": 1.448,
      "step": 10883
    },
    {
      "epoch": 0.9674666666666667,
      "grad_norm": 1.593125581741333,
      "learning_rate": 1.631111111111111e-06,
      "loss": 1.482,
      "step": 10884
    },
    {
      "epoch": 0.9675555555555555,
      "grad_norm": 1.7136332988739014,
      "learning_rate": 1.6266666666666666e-06,
      "loss": 1.5004,
      "step": 10885
    },
    {
      "epoch": 0.9676444444444444,
      "grad_norm": 2.630963087081909,
      "learning_rate": 1.622222222222222e-06,
      "loss": 1.7442,
      "step": 10886
    },
    {
      "epoch": 0.9677333333333333,
      "grad_norm": 1.422262191772461,
      "learning_rate": 1.6177777777777778e-06,
      "loss": 1.497,
      "step": 10887
    },
    {
      "epoch": 0.9678222222222223,
      "grad_norm": 1.3769898414611816,
      "learning_rate": 1.6133333333333333e-06,
      "loss": 1.4098,
      "step": 10888
    },
    {
      "epoch": 0.9679111111111112,
      "grad_norm": 1.8497331142425537,
      "learning_rate": 1.608888888888889e-06,
      "loss": 1.5005,
      "step": 10889
    },
    {
      "epoch": 0.968,
      "grad_norm": 1.5513767004013062,
      "learning_rate": 1.6044444444444444e-06,
      "loss": 1.4398,
      "step": 10890
    },
    {
      "epoch": 0.9680888888888889,
      "grad_norm": 1.5754554271697998,
      "learning_rate": 1.6000000000000001e-06,
      "loss": 1.7014,
      "step": 10891
    },
    {
      "epoch": 0.9681777777777778,
      "grad_norm": 1.6032782793045044,
      "learning_rate": 1.5955555555555556e-06,
      "loss": 1.7396,
      "step": 10892
    },
    {
      "epoch": 0.9682666666666667,
      "grad_norm": 1.6262799501419067,
      "learning_rate": 1.5911111111111113e-06,
      "loss": 1.412,
      "step": 10893
    },
    {
      "epoch": 0.9683555555555555,
      "grad_norm": 1.5516663789749146,
      "learning_rate": 1.5866666666666668e-06,
      "loss": 1.5194,
      "step": 10894
    },
    {
      "epoch": 0.9684444444444444,
      "grad_norm": 1.314955234527588,
      "learning_rate": 1.5822222222222225e-06,
      "loss": 1.3578,
      "step": 10895
    },
    {
      "epoch": 0.9685333333333334,
      "grad_norm": 1.574385166168213,
      "learning_rate": 1.577777777777778e-06,
      "loss": 1.5138,
      "step": 10896
    },
    {
      "epoch": 0.9686222222222223,
      "grad_norm": 1.3474162817001343,
      "learning_rate": 1.5733333333333332e-06,
      "loss": 1.3412,
      "step": 10897
    },
    {
      "epoch": 0.9687111111111111,
      "grad_norm": 1.650557518005371,
      "learning_rate": 1.568888888888889e-06,
      "loss": 1.5364,
      "step": 10898
    },
    {
      "epoch": 0.9688,
      "grad_norm": 1.411763072013855,
      "learning_rate": 1.5644444444444444e-06,
      "loss": 1.5005,
      "step": 10899
    },
    {
      "epoch": 0.9688888888888889,
      "grad_norm": 1.3180277347564697,
      "learning_rate": 1.56e-06,
      "loss": 1.3783,
      "step": 10900
    },
    {
      "epoch": 0.9689777777777778,
      "grad_norm": 1.389857530593872,
      "learning_rate": 1.5555555555555556e-06,
      "loss": 1.4501,
      "step": 10901
    },
    {
      "epoch": 0.9690666666666666,
      "grad_norm": 1.3726634979248047,
      "learning_rate": 1.5511111111111113e-06,
      "loss": 1.6429,
      "step": 10902
    },
    {
      "epoch": 0.9691555555555555,
      "grad_norm": 1.5053280591964722,
      "learning_rate": 1.5466666666666668e-06,
      "loss": 1.4949,
      "step": 10903
    },
    {
      "epoch": 0.9692444444444445,
      "grad_norm": 1.8104829788208008,
      "learning_rate": 1.5422222222222222e-06,
      "loss": 1.6535,
      "step": 10904
    },
    {
      "epoch": 0.9693333333333334,
      "grad_norm": 1.657061219215393,
      "learning_rate": 1.537777777777778e-06,
      "loss": 1.5465,
      "step": 10905
    },
    {
      "epoch": 0.9694222222222222,
      "grad_norm": 1.3775780200958252,
      "learning_rate": 1.5333333333333334e-06,
      "loss": 1.5221,
      "step": 10906
    },
    {
      "epoch": 0.9695111111111111,
      "grad_norm": 1.6726131439208984,
      "learning_rate": 1.5288888888888889e-06,
      "loss": 1.4076,
      "step": 10907
    },
    {
      "epoch": 0.9696,
      "grad_norm": 1.641843557357788,
      "learning_rate": 1.5244444444444446e-06,
      "loss": 1.3855,
      "step": 10908
    },
    {
      "epoch": 0.9696888888888889,
      "grad_norm": 1.5307738780975342,
      "learning_rate": 1.52e-06,
      "loss": 1.574,
      "step": 10909
    },
    {
      "epoch": 0.9697777777777777,
      "grad_norm": 1.4512639045715332,
      "learning_rate": 1.5155555555555558e-06,
      "loss": 1.552,
      "step": 10910
    },
    {
      "epoch": 0.9698666666666667,
      "grad_norm": 1.5325826406478882,
      "learning_rate": 1.5111111111111112e-06,
      "loss": 1.3726,
      "step": 10911
    },
    {
      "epoch": 0.9699555555555556,
      "grad_norm": 2.1447813510894775,
      "learning_rate": 1.5066666666666667e-06,
      "loss": 1.7386,
      "step": 10912
    },
    {
      "epoch": 0.9700444444444445,
      "grad_norm": 1.329876184463501,
      "learning_rate": 1.5022222222222222e-06,
      "loss": 1.3972,
      "step": 10913
    },
    {
      "epoch": 0.9701333333333333,
      "grad_norm": 1.591643214225769,
      "learning_rate": 1.4977777777777779e-06,
      "loss": 1.6968,
      "step": 10914
    },
    {
      "epoch": 0.9702222222222222,
      "grad_norm": 1.4716886281967163,
      "learning_rate": 1.4933333333333334e-06,
      "loss": 1.5684,
      "step": 10915
    },
    {
      "epoch": 0.9703111111111111,
      "grad_norm": 1.4376059770584106,
      "learning_rate": 1.488888888888889e-06,
      "loss": 1.4716,
      "step": 10916
    },
    {
      "epoch": 0.9704,
      "grad_norm": 1.4053179025650024,
      "learning_rate": 1.4844444444444445e-06,
      "loss": 1.477,
      "step": 10917
    },
    {
      "epoch": 0.9704888888888888,
      "grad_norm": 1.5234894752502441,
      "learning_rate": 1.4800000000000002e-06,
      "loss": 1.4688,
      "step": 10918
    },
    {
      "epoch": 0.9705777777777778,
      "grad_norm": 1.5109527111053467,
      "learning_rate": 1.4755555555555555e-06,
      "loss": 1.4324,
      "step": 10919
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 1.382178544998169,
      "learning_rate": 1.4711111111111112e-06,
      "loss": 1.4944,
      "step": 10920
    },
    {
      "epoch": 0.9707555555555556,
      "grad_norm": 1.6653422117233276,
      "learning_rate": 1.4666666666666667e-06,
      "loss": 1.536,
      "step": 10921
    },
    {
      "epoch": 0.9708444444444444,
      "grad_norm": 1.7791147232055664,
      "learning_rate": 1.4622222222222224e-06,
      "loss": 1.3154,
      "step": 10922
    },
    {
      "epoch": 0.9709333333333333,
      "grad_norm": 1.7067512273788452,
      "learning_rate": 1.4577777777777778e-06,
      "loss": 1.4009,
      "step": 10923
    },
    {
      "epoch": 0.9710222222222222,
      "grad_norm": 1.5140631198883057,
      "learning_rate": 1.4533333333333335e-06,
      "loss": 1.5953,
      "step": 10924
    },
    {
      "epoch": 0.9711111111111111,
      "grad_norm": 1.5667083263397217,
      "learning_rate": 1.448888888888889e-06,
      "loss": 1.3324,
      "step": 10925
    },
    {
      "epoch": 0.9712,
      "grad_norm": 1.5171325206756592,
      "learning_rate": 1.4444444444444445e-06,
      "loss": 1.5452,
      "step": 10926
    },
    {
      "epoch": 0.9712888888888889,
      "grad_norm": 1.8178895711898804,
      "learning_rate": 1.44e-06,
      "loss": 1.5407,
      "step": 10927
    },
    {
      "epoch": 0.9713777777777778,
      "grad_norm": 1.5299341678619385,
      "learning_rate": 1.4355555555555557e-06,
      "loss": 1.4089,
      "step": 10928
    },
    {
      "epoch": 0.9714666666666667,
      "grad_norm": 1.5766481161117554,
      "learning_rate": 1.4311111111111111e-06,
      "loss": 1.4371,
      "step": 10929
    },
    {
      "epoch": 0.9715555555555555,
      "grad_norm": 1.5432639122009277,
      "learning_rate": 1.4266666666666668e-06,
      "loss": 1.1893,
      "step": 10930
    },
    {
      "epoch": 0.9716444444444444,
      "grad_norm": 1.6814948320388794,
      "learning_rate": 1.4222222222222223e-06,
      "loss": 1.6135,
      "step": 10931
    },
    {
      "epoch": 0.9717333333333333,
      "grad_norm": 1.7871923446655273,
      "learning_rate": 1.4177777777777778e-06,
      "loss": 1.5411,
      "step": 10932
    },
    {
      "epoch": 0.9718222222222223,
      "grad_norm": 1.57798433303833,
      "learning_rate": 1.4133333333333333e-06,
      "loss": 1.428,
      "step": 10933
    },
    {
      "epoch": 0.9719111111111111,
      "grad_norm": 1.3136656284332275,
      "learning_rate": 1.408888888888889e-06,
      "loss": 1.4408,
      "step": 10934
    },
    {
      "epoch": 0.972,
      "grad_norm": 1.6434251070022583,
      "learning_rate": 1.4044444444444445e-06,
      "loss": 1.5017,
      "step": 10935
    },
    {
      "epoch": 0.9720888888888889,
      "grad_norm": 1.4320307970046997,
      "learning_rate": 1.4000000000000001e-06,
      "loss": 1.3783,
      "step": 10936
    },
    {
      "epoch": 0.9721777777777778,
      "grad_norm": 1.5796955823898315,
      "learning_rate": 1.3955555555555556e-06,
      "loss": 1.2619,
      "step": 10937
    },
    {
      "epoch": 0.9722666666666666,
      "grad_norm": 1.4141861200332642,
      "learning_rate": 1.3911111111111113e-06,
      "loss": 1.2452,
      "step": 10938
    },
    {
      "epoch": 0.9723555555555555,
      "grad_norm": 1.3916963338851929,
      "learning_rate": 1.3866666666666666e-06,
      "loss": 1.4474,
      "step": 10939
    },
    {
      "epoch": 0.9724444444444444,
      "grad_norm": 1.893911600112915,
      "learning_rate": 1.3822222222222223e-06,
      "loss": 1.3962,
      "step": 10940
    },
    {
      "epoch": 0.9725333333333334,
      "grad_norm": 1.3906835317611694,
      "learning_rate": 1.3777777777777778e-06,
      "loss": 1.4089,
      "step": 10941
    },
    {
      "epoch": 0.9726222222222223,
      "grad_norm": 1.49945068359375,
      "learning_rate": 1.3733333333333335e-06,
      "loss": 1.5503,
      "step": 10942
    },
    {
      "epoch": 0.9727111111111111,
      "grad_norm": 1.7753065824508667,
      "learning_rate": 1.368888888888889e-06,
      "loss": 1.5666,
      "step": 10943
    },
    {
      "epoch": 0.9728,
      "grad_norm": 1.4553117752075195,
      "learning_rate": 1.3644444444444446e-06,
      "loss": 1.5599,
      "step": 10944
    },
    {
      "epoch": 0.9728888888888889,
      "grad_norm": 1.786017656326294,
      "learning_rate": 1.36e-06,
      "loss": 1.5965,
      "step": 10945
    },
    {
      "epoch": 0.9729777777777778,
      "grad_norm": 1.403977632522583,
      "learning_rate": 1.3555555555555556e-06,
      "loss": 1.6398,
      "step": 10946
    },
    {
      "epoch": 0.9730666666666666,
      "grad_norm": 1.6600227355957031,
      "learning_rate": 1.351111111111111e-06,
      "loss": 1.6115,
      "step": 10947
    },
    {
      "epoch": 0.9731555555555556,
      "grad_norm": 1.4062119722366333,
      "learning_rate": 1.3466666666666668e-06,
      "loss": 1.3733,
      "step": 10948
    },
    {
      "epoch": 0.9732444444444445,
      "grad_norm": 1.3651400804519653,
      "learning_rate": 1.3422222222222222e-06,
      "loss": 1.4762,
      "step": 10949
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 1.5323179960250854,
      "learning_rate": 1.337777777777778e-06,
      "loss": 1.3375,
      "step": 10950
    },
    {
      "epoch": 0.9734222222222222,
      "grad_norm": 1.5943280458450317,
      "learning_rate": 1.3333333333333334e-06,
      "loss": 1.4376,
      "step": 10951
    },
    {
      "epoch": 0.9735111111111111,
      "grad_norm": 1.5793969631195068,
      "learning_rate": 1.328888888888889e-06,
      "loss": 1.5491,
      "step": 10952
    },
    {
      "epoch": 0.9736,
      "grad_norm": 1.5744107961654663,
      "learning_rate": 1.3244444444444444e-06,
      "loss": 1.4386,
      "step": 10953
    },
    {
      "epoch": 0.9736888888888889,
      "grad_norm": 1.5007375478744507,
      "learning_rate": 1.32e-06,
      "loss": 1.7315,
      "step": 10954
    },
    {
      "epoch": 0.9737777777777777,
      "grad_norm": 1.3032325506210327,
      "learning_rate": 1.3155555555555555e-06,
      "loss": 1.4675,
      "step": 10955
    },
    {
      "epoch": 0.9738666666666667,
      "grad_norm": 1.3318696022033691,
      "learning_rate": 1.3111111111111112e-06,
      "loss": 1.4061,
      "step": 10956
    },
    {
      "epoch": 0.9739555555555556,
      "grad_norm": 1.4140095710754395,
      "learning_rate": 1.3066666666666667e-06,
      "loss": 1.3913,
      "step": 10957
    },
    {
      "epoch": 0.9740444444444445,
      "grad_norm": 1.5087984800338745,
      "learning_rate": 1.3022222222222222e-06,
      "loss": 1.2657,
      "step": 10958
    },
    {
      "epoch": 0.9741333333333333,
      "grad_norm": 2.0464632511138916,
      "learning_rate": 1.2977777777777779e-06,
      "loss": 1.6163,
      "step": 10959
    },
    {
      "epoch": 0.9742222222222222,
      "grad_norm": 1.7362388372421265,
      "learning_rate": 1.2933333333333334e-06,
      "loss": 1.4816,
      "step": 10960
    },
    {
      "epoch": 0.9743111111111111,
      "grad_norm": 1.3501724004745483,
      "learning_rate": 1.2888888888888889e-06,
      "loss": 1.4049,
      "step": 10961
    },
    {
      "epoch": 0.9744,
      "grad_norm": 1.4733028411865234,
      "learning_rate": 1.2844444444444445e-06,
      "loss": 1.4243,
      "step": 10962
    },
    {
      "epoch": 0.9744888888888888,
      "grad_norm": 1.5947335958480835,
      "learning_rate": 1.28e-06,
      "loss": 1.4573,
      "step": 10963
    },
    {
      "epoch": 0.9745777777777778,
      "grad_norm": 1.6219143867492676,
      "learning_rate": 1.2755555555555555e-06,
      "loss": 1.3578,
      "step": 10964
    },
    {
      "epoch": 0.9746666666666667,
      "grad_norm": 1.4786986112594604,
      "learning_rate": 1.2711111111111112e-06,
      "loss": 1.6906,
      "step": 10965
    },
    {
      "epoch": 0.9747555555555556,
      "grad_norm": 1.621236801147461,
      "learning_rate": 1.2666666666666667e-06,
      "loss": 1.658,
      "step": 10966
    },
    {
      "epoch": 0.9748444444444444,
      "grad_norm": 1.3918641805648804,
      "learning_rate": 1.2622222222222224e-06,
      "loss": 1.6539,
      "step": 10967
    },
    {
      "epoch": 0.9749333333333333,
      "grad_norm": 1.5947345495224,
      "learning_rate": 1.2577777777777779e-06,
      "loss": 1.7537,
      "step": 10968
    },
    {
      "epoch": 0.9750222222222222,
      "grad_norm": 1.3376983404159546,
      "learning_rate": 1.2533333333333335e-06,
      "loss": 1.3324,
      "step": 10969
    },
    {
      "epoch": 0.9751111111111112,
      "grad_norm": 1.7231231927871704,
      "learning_rate": 1.248888888888889e-06,
      "loss": 1.5461,
      "step": 10970
    },
    {
      "epoch": 0.9752,
      "grad_norm": 1.2089617252349854,
      "learning_rate": 1.2444444444444445e-06,
      "loss": 1.3203,
      "step": 10971
    },
    {
      "epoch": 0.9752888888888889,
      "grad_norm": 2.143998384475708,
      "learning_rate": 1.24e-06,
      "loss": 1.8574,
      "step": 10972
    },
    {
      "epoch": 0.9753777777777778,
      "grad_norm": 1.6107944250106812,
      "learning_rate": 1.2355555555555557e-06,
      "loss": 1.596,
      "step": 10973
    },
    {
      "epoch": 0.9754666666666667,
      "grad_norm": 2.114595413208008,
      "learning_rate": 1.2311111111111112e-06,
      "loss": 1.4914,
      "step": 10974
    },
    {
      "epoch": 0.9755555555555555,
      "grad_norm": 1.3953073024749756,
      "learning_rate": 1.2266666666666669e-06,
      "loss": 1.2506,
      "step": 10975
    },
    {
      "epoch": 0.9756444444444444,
      "grad_norm": 1.2801707983016968,
      "learning_rate": 1.2222222222222223e-06,
      "loss": 1.3355,
      "step": 10976
    },
    {
      "epoch": 0.9757333333333333,
      "grad_norm": 1.5265841484069824,
      "learning_rate": 1.2177777777777778e-06,
      "loss": 1.3106,
      "step": 10977
    },
    {
      "epoch": 0.9758222222222223,
      "grad_norm": 1.509300947189331,
      "learning_rate": 1.2133333333333333e-06,
      "loss": 1.3936,
      "step": 10978
    },
    {
      "epoch": 0.9759111111111111,
      "grad_norm": 1.3130240440368652,
      "learning_rate": 1.208888888888889e-06,
      "loss": 1.3944,
      "step": 10979
    },
    {
      "epoch": 0.976,
      "grad_norm": 1.379196047782898,
      "learning_rate": 1.2044444444444445e-06,
      "loss": 1.3077,
      "step": 10980
    },
    {
      "epoch": 0.9760888888888889,
      "grad_norm": 1.595716118812561,
      "learning_rate": 1.2000000000000002e-06,
      "loss": 1.5644,
      "step": 10981
    },
    {
      "epoch": 0.9761777777777778,
      "grad_norm": 1.5294445753097534,
      "learning_rate": 1.1955555555555556e-06,
      "loss": 1.652,
      "step": 10982
    },
    {
      "epoch": 0.9762666666666666,
      "grad_norm": 1.5390266180038452,
      "learning_rate": 1.1911111111111113e-06,
      "loss": 1.6616,
      "step": 10983
    },
    {
      "epoch": 0.9763555555555555,
      "grad_norm": 1.5693596601486206,
      "learning_rate": 1.1866666666666666e-06,
      "loss": 1.7098,
      "step": 10984
    },
    {
      "epoch": 0.9764444444444444,
      "grad_norm": 2.031865358352661,
      "learning_rate": 1.1822222222222223e-06,
      "loss": 1.439,
      "step": 10985
    },
    {
      "epoch": 0.9765333333333334,
      "grad_norm": 1.731337070465088,
      "learning_rate": 1.1777777777777778e-06,
      "loss": 1.6011,
      "step": 10986
    },
    {
      "epoch": 0.9766222222222222,
      "grad_norm": 1.8519045114517212,
      "learning_rate": 1.1733333333333335e-06,
      "loss": 1.4359,
      "step": 10987
    },
    {
      "epoch": 0.9767111111111111,
      "grad_norm": 1.4519721269607544,
      "learning_rate": 1.168888888888889e-06,
      "loss": 1.4735,
      "step": 10988
    },
    {
      "epoch": 0.9768,
      "grad_norm": 1.3122775554656982,
      "learning_rate": 1.1644444444444446e-06,
      "loss": 1.2618,
      "step": 10989
    },
    {
      "epoch": 0.9768888888888889,
      "grad_norm": 1.717899203300476,
      "learning_rate": 1.16e-06,
      "loss": 1.5015,
      "step": 10990
    },
    {
      "epoch": 0.9769777777777777,
      "grad_norm": 1.9863828420639038,
      "learning_rate": 1.1555555555555556e-06,
      "loss": 1.9019,
      "step": 10991
    },
    {
      "epoch": 0.9770666666666666,
      "grad_norm": 1.3465458154678345,
      "learning_rate": 1.151111111111111e-06,
      "loss": 1.5041,
      "step": 10992
    },
    {
      "epoch": 0.9771555555555556,
      "grad_norm": 1.4494825601577759,
      "learning_rate": 1.1466666666666668e-06,
      "loss": 1.4375,
      "step": 10993
    },
    {
      "epoch": 0.9772444444444445,
      "grad_norm": 1.6748206615447998,
      "learning_rate": 1.1422222222222223e-06,
      "loss": 1.696,
      "step": 10994
    },
    {
      "epoch": 0.9773333333333334,
      "grad_norm": 1.5700089931488037,
      "learning_rate": 1.137777777777778e-06,
      "loss": 1.536,
      "step": 10995
    },
    {
      "epoch": 0.9774222222222222,
      "grad_norm": 1.745283603668213,
      "learning_rate": 1.1333333333333334e-06,
      "loss": 1.4583,
      "step": 10996
    },
    {
      "epoch": 0.9775111111111111,
      "grad_norm": 1.4246894121170044,
      "learning_rate": 1.128888888888889e-06,
      "loss": 1.3008,
      "step": 10997
    },
    {
      "epoch": 0.9776,
      "grad_norm": 1.5210245847702026,
      "learning_rate": 1.1244444444444444e-06,
      "loss": 1.5004,
      "step": 10998
    },
    {
      "epoch": 0.9776888888888889,
      "grad_norm": 1.350901484489441,
      "learning_rate": 1.12e-06,
      "loss": 1.3213,
      "step": 10999
    },
    {
      "epoch": 0.9777777777777777,
      "grad_norm": 1.3437649011611938,
      "learning_rate": 1.1155555555555556e-06,
      "loss": 1.4251,
      "step": 11000
    },
    {
      "epoch": 0.9778666666666667,
      "grad_norm": 1.427228569984436,
      "learning_rate": 1.1111111111111112e-06,
      "loss": 1.5617,
      "step": 11001
    },
    {
      "epoch": 0.9779555555555556,
      "grad_norm": 1.3989053964614868,
      "learning_rate": 1.1066666666666667e-06,
      "loss": 1.7841,
      "step": 11002
    },
    {
      "epoch": 0.9780444444444445,
      "grad_norm": 2.254201650619507,
      "learning_rate": 1.1022222222222222e-06,
      "loss": 1.5118,
      "step": 11003
    },
    {
      "epoch": 0.9781333333333333,
      "grad_norm": 1.3976024389266968,
      "learning_rate": 1.0977777777777777e-06,
      "loss": 1.4794,
      "step": 11004
    },
    {
      "epoch": 0.9782222222222222,
      "grad_norm": 1.3010096549987793,
      "learning_rate": 1.0933333333333334e-06,
      "loss": 1.329,
      "step": 11005
    },
    {
      "epoch": 0.9783111111111111,
      "grad_norm": 1.4639304876327515,
      "learning_rate": 1.0888888888888889e-06,
      "loss": 1.447,
      "step": 11006
    },
    {
      "epoch": 0.9784,
      "grad_norm": 1.559179663658142,
      "learning_rate": 1.0844444444444446e-06,
      "loss": 1.3931,
      "step": 11007
    },
    {
      "epoch": 0.9784888888888889,
      "grad_norm": 1.862210988998413,
      "learning_rate": 1.08e-06,
      "loss": 1.4591,
      "step": 11008
    },
    {
      "epoch": 0.9785777777777778,
      "grad_norm": 1.4816694259643555,
      "learning_rate": 1.0755555555555557e-06,
      "loss": 1.3997,
      "step": 11009
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 1.55600106716156,
      "learning_rate": 1.071111111111111e-06,
      "loss": 1.6367,
      "step": 11010
    },
    {
      "epoch": 0.9787555555555556,
      "grad_norm": 1.5431650876998901,
      "learning_rate": 1.0666666666666667e-06,
      "loss": 1.5226,
      "step": 11011
    },
    {
      "epoch": 0.9788444444444444,
      "grad_norm": 1.5316874980926514,
      "learning_rate": 1.0622222222222222e-06,
      "loss": 1.4399,
      "step": 11012
    },
    {
      "epoch": 0.9789333333333333,
      "grad_norm": 1.4394636154174805,
      "learning_rate": 1.0577777777777779e-06,
      "loss": 1.4988,
      "step": 11013
    },
    {
      "epoch": 0.9790222222222222,
      "grad_norm": 1.4964237213134766,
      "learning_rate": 1.0533333333333333e-06,
      "loss": 1.6235,
      "step": 11014
    },
    {
      "epoch": 0.9791111111111112,
      "grad_norm": 1.3343650102615356,
      "learning_rate": 1.048888888888889e-06,
      "loss": 1.3382,
      "step": 11015
    },
    {
      "epoch": 0.9792,
      "grad_norm": 1.4580049514770508,
      "learning_rate": 1.0444444444444445e-06,
      "loss": 1.5612,
      "step": 11016
    },
    {
      "epoch": 0.9792888888888889,
      "grad_norm": 1.7375656366348267,
      "learning_rate": 1.04e-06,
      "loss": 1.3188,
      "step": 11017
    },
    {
      "epoch": 0.9793777777777778,
      "grad_norm": 1.363228440284729,
      "learning_rate": 1.0355555555555557e-06,
      "loss": 1.386,
      "step": 11018
    },
    {
      "epoch": 0.9794666666666667,
      "grad_norm": 1.5084162950515747,
      "learning_rate": 1.0311111111111112e-06,
      "loss": 1.6005,
      "step": 11019
    },
    {
      "epoch": 0.9795555555555555,
      "grad_norm": 1.672239899635315,
      "learning_rate": 1.0266666666666666e-06,
      "loss": 1.7487,
      "step": 11020
    },
    {
      "epoch": 0.9796444444444444,
      "grad_norm": 1.5440012216567993,
      "learning_rate": 1.0222222222222223e-06,
      "loss": 1.3976,
      "step": 11021
    },
    {
      "epoch": 0.9797333333333333,
      "grad_norm": 1.3140347003936768,
      "learning_rate": 1.0177777777777778e-06,
      "loss": 1.4326,
      "step": 11022
    },
    {
      "epoch": 0.9798222222222223,
      "grad_norm": 1.546161413192749,
      "learning_rate": 1.0133333333333333e-06,
      "loss": 1.5283,
      "step": 11023
    },
    {
      "epoch": 0.9799111111111111,
      "grad_norm": 1.3476548194885254,
      "learning_rate": 1.008888888888889e-06,
      "loss": 1.5514,
      "step": 11024
    },
    {
      "epoch": 0.98,
      "grad_norm": 1.383639931678772,
      "learning_rate": 1.0044444444444445e-06,
      "loss": 1.5292,
      "step": 11025
    },
    {
      "epoch": 0.9800888888888889,
      "grad_norm": 1.471129298210144,
      "learning_rate": 1.0000000000000002e-06,
      "loss": 1.5163,
      "step": 11026
    },
    {
      "epoch": 0.9801777777777778,
      "grad_norm": 1.6620666980743408,
      "learning_rate": 9.955555555555556e-07,
      "loss": 1.531,
      "step": 11027
    },
    {
      "epoch": 0.9802666666666666,
      "grad_norm": 1.6748466491699219,
      "learning_rate": 9.911111111111111e-07,
      "loss": 1.4291,
      "step": 11028
    },
    {
      "epoch": 0.9803555555555555,
      "grad_norm": 1.5029762983322144,
      "learning_rate": 9.866666666666666e-07,
      "loss": 1.5275,
      "step": 11029
    },
    {
      "epoch": 0.9804444444444445,
      "grad_norm": 1.4739346504211426,
      "learning_rate": 9.822222222222223e-07,
      "loss": 1.4219,
      "step": 11030
    },
    {
      "epoch": 0.9805333333333334,
      "grad_norm": 1.3940576314926147,
      "learning_rate": 9.777777777777778e-07,
      "loss": 1.4669,
      "step": 11031
    },
    {
      "epoch": 0.9806222222222222,
      "grad_norm": 1.5899040699005127,
      "learning_rate": 9.733333333333335e-07,
      "loss": 1.2797,
      "step": 11032
    },
    {
      "epoch": 0.9807111111111111,
      "grad_norm": 1.5287820100784302,
      "learning_rate": 9.68888888888889e-07,
      "loss": 1.5187,
      "step": 11033
    },
    {
      "epoch": 0.9808,
      "grad_norm": 1.6290315389633179,
      "learning_rate": 9.644444444444446e-07,
      "loss": 1.4537,
      "step": 11034
    },
    {
      "epoch": 0.9808888888888889,
      "grad_norm": 1.4992104768753052,
      "learning_rate": 9.6e-07,
      "loss": 1.4221,
      "step": 11035
    },
    {
      "epoch": 0.9809777777777777,
      "grad_norm": 1.424993872642517,
      "learning_rate": 9.555555555555556e-07,
      "loss": 1.5854,
      "step": 11036
    },
    {
      "epoch": 0.9810666666666666,
      "grad_norm": 1.566110372543335,
      "learning_rate": 9.511111111111111e-07,
      "loss": 1.3824,
      "step": 11037
    },
    {
      "epoch": 0.9811555555555556,
      "grad_norm": 1.7550379037857056,
      "learning_rate": 9.466666666666667e-07,
      "loss": 1.4515,
      "step": 11038
    },
    {
      "epoch": 0.9812444444444445,
      "grad_norm": 1.604038953781128,
      "learning_rate": 9.422222222222223e-07,
      "loss": 1.6228,
      "step": 11039
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 1.3982603549957275,
      "learning_rate": 9.377777777777778e-07,
      "loss": 1.2669,
      "step": 11040
    },
    {
      "epoch": 0.9814222222222222,
      "grad_norm": 1.8622279167175293,
      "learning_rate": 9.333333333333334e-07,
      "loss": 1.5678,
      "step": 11041
    },
    {
      "epoch": 0.9815111111111111,
      "grad_norm": 1.6330845355987549,
      "learning_rate": 9.288888888888889e-07,
      "loss": 1.6334,
      "step": 11042
    },
    {
      "epoch": 0.9816,
      "grad_norm": 1.466017723083496,
      "learning_rate": 9.244444444444445e-07,
      "loss": 1.4034,
      "step": 11043
    },
    {
      "epoch": 0.9816888888888889,
      "grad_norm": 1.9104931354522705,
      "learning_rate": 9.2e-07,
      "loss": 1.6479,
      "step": 11044
    },
    {
      "epoch": 0.9817777777777777,
      "grad_norm": 1.6382746696472168,
      "learning_rate": 9.155555555555556e-07,
      "loss": 1.5247,
      "step": 11045
    },
    {
      "epoch": 0.9818666666666667,
      "grad_norm": 1.5427387952804565,
      "learning_rate": 9.111111111111112e-07,
      "loss": 1.4756,
      "step": 11046
    },
    {
      "epoch": 0.9819555555555556,
      "grad_norm": 1.5013654232025146,
      "learning_rate": 9.066666666666667e-07,
      "loss": 1.5704,
      "step": 11047
    },
    {
      "epoch": 0.9820444444444445,
      "grad_norm": 1.5755571126937866,
      "learning_rate": 9.022222222222222e-07,
      "loss": 1.3991,
      "step": 11048
    },
    {
      "epoch": 0.9821333333333333,
      "grad_norm": 1.573639988899231,
      "learning_rate": 8.977777777777778e-07,
      "loss": 1.5713,
      "step": 11049
    },
    {
      "epoch": 0.9822222222222222,
      "grad_norm": 1.531480312347412,
      "learning_rate": 8.933333333333334e-07,
      "loss": 1.4782,
      "step": 11050
    },
    {
      "epoch": 0.9823111111111111,
      "grad_norm": 1.367327094078064,
      "learning_rate": 8.88888888888889e-07,
      "loss": 1.3171,
      "step": 11051
    },
    {
      "epoch": 0.9824,
      "grad_norm": 1.4183847904205322,
      "learning_rate": 8.844444444444446e-07,
      "loss": 1.2957,
      "step": 11052
    },
    {
      "epoch": 0.9824888888888889,
      "grad_norm": 1.508625864982605,
      "learning_rate": 8.8e-07,
      "loss": 1.3458,
      "step": 11053
    },
    {
      "epoch": 0.9825777777777778,
      "grad_norm": 1.633613109588623,
      "learning_rate": 8.755555555555556e-07,
      "loss": 1.4865,
      "step": 11054
    },
    {
      "epoch": 0.9826666666666667,
      "grad_norm": 1.411482572555542,
      "learning_rate": 8.711111111111111e-07,
      "loss": 1.5436,
      "step": 11055
    },
    {
      "epoch": 0.9827555555555556,
      "grad_norm": 1.707656979560852,
      "learning_rate": 8.666666666666667e-07,
      "loss": 1.6763,
      "step": 11056
    },
    {
      "epoch": 0.9828444444444444,
      "grad_norm": 1.7224531173706055,
      "learning_rate": 8.622222222222223e-07,
      "loss": 1.6313,
      "step": 11057
    },
    {
      "epoch": 0.9829333333333333,
      "grad_norm": 1.3949689865112305,
      "learning_rate": 8.577777777777779e-07,
      "loss": 1.4467,
      "step": 11058
    },
    {
      "epoch": 0.9830222222222222,
      "grad_norm": 1.5769089460372925,
      "learning_rate": 8.533333333333335e-07,
      "loss": 1.374,
      "step": 11059
    },
    {
      "epoch": 0.9831111111111112,
      "grad_norm": 1.508898138999939,
      "learning_rate": 8.48888888888889e-07,
      "loss": 1.4228,
      "step": 11060
    },
    {
      "epoch": 0.9832,
      "grad_norm": 1.7424778938293457,
      "learning_rate": 8.444444444444444e-07,
      "loss": 1.49,
      "step": 11061
    },
    {
      "epoch": 0.9832888888888889,
      "grad_norm": 1.5207380056381226,
      "learning_rate": 8.4e-07,
      "loss": 1.5922,
      "step": 11062
    },
    {
      "epoch": 0.9833777777777778,
      "grad_norm": 1.9105290174484253,
      "learning_rate": 8.355555555555556e-07,
      "loss": 1.56,
      "step": 11063
    },
    {
      "epoch": 0.9834666666666667,
      "grad_norm": 1.5602455139160156,
      "learning_rate": 8.311111111111112e-07,
      "loss": 1.4768,
      "step": 11064
    },
    {
      "epoch": 0.9835555555555555,
      "grad_norm": 1.9015133380889893,
      "learning_rate": 8.266666666666668e-07,
      "loss": 1.2863,
      "step": 11065
    },
    {
      "epoch": 0.9836444444444444,
      "grad_norm": 1.5121877193450928,
      "learning_rate": 8.222222222222223e-07,
      "loss": 1.4506,
      "step": 11066
    },
    {
      "epoch": 0.9837333333333333,
      "grad_norm": 1.5923269987106323,
      "learning_rate": 8.177777777777779e-07,
      "loss": 1.3969,
      "step": 11067
    },
    {
      "epoch": 0.9838222222222223,
      "grad_norm": 1.3986506462097168,
      "learning_rate": 8.133333333333333e-07,
      "loss": 1.4623,
      "step": 11068
    },
    {
      "epoch": 0.9839111111111111,
      "grad_norm": 1.4786988496780396,
      "learning_rate": 8.088888888888889e-07,
      "loss": 1.6353,
      "step": 11069
    },
    {
      "epoch": 0.984,
      "grad_norm": 1.6247522830963135,
      "learning_rate": 8.044444444444445e-07,
      "loss": 1.4925,
      "step": 11070
    },
    {
      "epoch": 0.9840888888888889,
      "grad_norm": 1.435504674911499,
      "learning_rate": 8.000000000000001e-07,
      "loss": 1.534,
      "step": 11071
    },
    {
      "epoch": 0.9841777777777778,
      "grad_norm": 1.4883874654769897,
      "learning_rate": 7.955555555555557e-07,
      "loss": 1.5449,
      "step": 11072
    },
    {
      "epoch": 0.9842666666666666,
      "grad_norm": 1.9297339916229248,
      "learning_rate": 7.911111111111112e-07,
      "loss": 1.4704,
      "step": 11073
    },
    {
      "epoch": 0.9843555555555555,
      "grad_norm": 1.5272122621536255,
      "learning_rate": 7.866666666666666e-07,
      "loss": 1.495,
      "step": 11074
    },
    {
      "epoch": 0.9844444444444445,
      "grad_norm": 1.4726481437683105,
      "learning_rate": 7.822222222222222e-07,
      "loss": 1.4223,
      "step": 11075
    },
    {
      "epoch": 0.9845333333333334,
      "grad_norm": 1.636265516281128,
      "learning_rate": 7.777777777777778e-07,
      "loss": 1.7766,
      "step": 11076
    },
    {
      "epoch": 0.9846222222222222,
      "grad_norm": 1.576360821723938,
      "learning_rate": 7.733333333333334e-07,
      "loss": 1.396,
      "step": 11077
    },
    {
      "epoch": 0.9847111111111111,
      "grad_norm": 1.3631887435913086,
      "learning_rate": 7.68888888888889e-07,
      "loss": 1.2778,
      "step": 11078
    },
    {
      "epoch": 0.9848,
      "grad_norm": 1.5513972043991089,
      "learning_rate": 7.644444444444444e-07,
      "loss": 1.5148,
      "step": 11079
    },
    {
      "epoch": 0.9848888888888889,
      "grad_norm": 1.6045613288879395,
      "learning_rate": 7.6e-07,
      "loss": 1.811,
      "step": 11080
    },
    {
      "epoch": 0.9849777777777777,
      "grad_norm": 1.5785913467407227,
      "learning_rate": 7.555555555555556e-07,
      "loss": 1.6586,
      "step": 11081
    },
    {
      "epoch": 0.9850666666666666,
      "grad_norm": 1.7265350818634033,
      "learning_rate": 7.511111111111111e-07,
      "loss": 1.4764,
      "step": 11082
    },
    {
      "epoch": 0.9851555555555556,
      "grad_norm": 1.6173810958862305,
      "learning_rate": 7.466666666666667e-07,
      "loss": 1.4767,
      "step": 11083
    },
    {
      "epoch": 0.9852444444444445,
      "grad_norm": 1.6546355485916138,
      "learning_rate": 7.422222222222223e-07,
      "loss": 1.528,
      "step": 11084
    },
    {
      "epoch": 0.9853333333333333,
      "grad_norm": 2.6624691486358643,
      "learning_rate": 7.377777777777777e-07,
      "loss": 1.6527,
      "step": 11085
    },
    {
      "epoch": 0.9854222222222222,
      "grad_norm": 1.4509490728378296,
      "learning_rate": 7.333333333333333e-07,
      "loss": 1.5328,
      "step": 11086
    },
    {
      "epoch": 0.9855111111111111,
      "grad_norm": 1.5086463689804077,
      "learning_rate": 7.288888888888889e-07,
      "loss": 1.3886,
      "step": 11087
    },
    {
      "epoch": 0.9856,
      "grad_norm": 1.6825175285339355,
      "learning_rate": 7.244444444444445e-07,
      "loss": 1.6746,
      "step": 11088
    },
    {
      "epoch": 0.9856888888888888,
      "grad_norm": 2.1606216430664062,
      "learning_rate": 7.2e-07,
      "loss": 1.4973,
      "step": 11089
    },
    {
      "epoch": 0.9857777777777778,
      "grad_norm": 1.7739027738571167,
      "learning_rate": 7.155555555555556e-07,
      "loss": 1.5716,
      "step": 11090
    },
    {
      "epoch": 0.9858666666666667,
      "grad_norm": 1.6839622259140015,
      "learning_rate": 7.111111111111112e-07,
      "loss": 1.3276,
      "step": 11091
    },
    {
      "epoch": 0.9859555555555556,
      "grad_norm": 1.5681488513946533,
      "learning_rate": 7.066666666666666e-07,
      "loss": 1.4251,
      "step": 11092
    },
    {
      "epoch": 0.9860444444444444,
      "grad_norm": 1.5902597904205322,
      "learning_rate": 7.022222222222222e-07,
      "loss": 1.6186,
      "step": 11093
    },
    {
      "epoch": 0.9861333333333333,
      "grad_norm": 1.5390626192092896,
      "learning_rate": 6.977777777777778e-07,
      "loss": 1.388,
      "step": 11094
    },
    {
      "epoch": 0.9862222222222222,
      "grad_norm": 1.4806956052780151,
      "learning_rate": 6.933333333333333e-07,
      "loss": 1.6182,
      "step": 11095
    },
    {
      "epoch": 0.9863111111111111,
      "grad_norm": 1.5689611434936523,
      "learning_rate": 6.888888888888889e-07,
      "loss": 1.5246,
      "step": 11096
    },
    {
      "epoch": 0.9864,
      "grad_norm": 1.5949786901474,
      "learning_rate": 6.844444444444445e-07,
      "loss": 1.5455,
      "step": 11097
    },
    {
      "epoch": 0.9864888888888889,
      "grad_norm": 1.48728346824646,
      "learning_rate": 6.8e-07,
      "loss": 1.6045,
      "step": 11098
    },
    {
      "epoch": 0.9865777777777778,
      "grad_norm": 1.548920750617981,
      "learning_rate": 6.755555555555555e-07,
      "loss": 1.1756,
      "step": 11099
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 2.15470552444458,
      "learning_rate": 6.711111111111111e-07,
      "loss": 1.871,
      "step": 11100
    },
    {
      "epoch": 0.9867555555555556,
      "grad_norm": 1.778141736984253,
      "learning_rate": 6.666666666666667e-07,
      "loss": 1.4445,
      "step": 11101
    },
    {
      "epoch": 0.9868444444444444,
      "grad_norm": 1.4574432373046875,
      "learning_rate": 6.622222222222222e-07,
      "loss": 1.6122,
      "step": 11102
    },
    {
      "epoch": 0.9869333333333333,
      "grad_norm": 1.3934651613235474,
      "learning_rate": 6.577777777777778e-07,
      "loss": 1.553,
      "step": 11103
    },
    {
      "epoch": 0.9870222222222222,
      "grad_norm": 1.9608912467956543,
      "learning_rate": 6.533333333333334e-07,
      "loss": 1.5763,
      "step": 11104
    },
    {
      "epoch": 0.9871111111111112,
      "grad_norm": 1.8030364513397217,
      "learning_rate": 6.488888888888889e-07,
      "loss": 1.602,
      "step": 11105
    },
    {
      "epoch": 0.9872,
      "grad_norm": 2.0848388671875,
      "learning_rate": 6.444444444444444e-07,
      "loss": 1.5706,
      "step": 11106
    },
    {
      "epoch": 0.9872888888888889,
      "grad_norm": 1.5172849893569946,
      "learning_rate": 6.4e-07,
      "loss": 1.4206,
      "step": 11107
    },
    {
      "epoch": 0.9873777777777778,
      "grad_norm": 1.9481263160705566,
      "learning_rate": 6.355555555555556e-07,
      "loss": 1.684,
      "step": 11108
    },
    {
      "epoch": 0.9874666666666667,
      "grad_norm": 1.4950248003005981,
      "learning_rate": 6.311111111111112e-07,
      "loss": 1.4634,
      "step": 11109
    },
    {
      "epoch": 0.9875555555555555,
      "grad_norm": 1.669328212738037,
      "learning_rate": 6.266666666666668e-07,
      "loss": 1.2272,
      "step": 11110
    },
    {
      "epoch": 0.9876444444444444,
      "grad_norm": 1.7231684923171997,
      "learning_rate": 6.222222222222223e-07,
      "loss": 1.5858,
      "step": 11111
    },
    {
      "epoch": 0.9877333333333334,
      "grad_norm": 1.2567416429519653,
      "learning_rate": 6.177777777777778e-07,
      "loss": 1.4102,
      "step": 11112
    },
    {
      "epoch": 0.9878222222222223,
      "grad_norm": 1.585260033607483,
      "learning_rate": 6.133333333333334e-07,
      "loss": 1.4512,
      "step": 11113
    },
    {
      "epoch": 0.9879111111111111,
      "grad_norm": 1.4270049333572388,
      "learning_rate": 6.088888888888889e-07,
      "loss": 1.1845,
      "step": 11114
    },
    {
      "epoch": 0.988,
      "grad_norm": 1.804081916809082,
      "learning_rate": 6.044444444444445e-07,
      "loss": 1.5999,
      "step": 11115
    },
    {
      "epoch": 0.9880888888888889,
      "grad_norm": 1.4446289539337158,
      "learning_rate": 6.000000000000001e-07,
      "loss": 1.4719,
      "step": 11116
    },
    {
      "epoch": 0.9881777777777778,
      "grad_norm": 1.3646095991134644,
      "learning_rate": 5.955555555555557e-07,
      "loss": 1.3739,
      "step": 11117
    },
    {
      "epoch": 0.9882666666666666,
      "grad_norm": 1.5929118394851685,
      "learning_rate": 5.911111111111111e-07,
      "loss": 1.5581,
      "step": 11118
    },
    {
      "epoch": 0.9883555555555555,
      "grad_norm": 1.4939628839492798,
      "learning_rate": 5.866666666666667e-07,
      "loss": 1.4413,
      "step": 11119
    },
    {
      "epoch": 0.9884444444444445,
      "grad_norm": 1.7137134075164795,
      "learning_rate": 5.822222222222223e-07,
      "loss": 1.6547,
      "step": 11120
    },
    {
      "epoch": 0.9885333333333334,
      "grad_norm": 1.6948528289794922,
      "learning_rate": 5.777777777777778e-07,
      "loss": 1.3345,
      "step": 11121
    },
    {
      "epoch": 0.9886222222222222,
      "grad_norm": 2.2730109691619873,
      "learning_rate": 5.733333333333334e-07,
      "loss": 1.7581,
      "step": 11122
    },
    {
      "epoch": 0.9887111111111111,
      "grad_norm": 1.5204617977142334,
      "learning_rate": 5.68888888888889e-07,
      "loss": 1.6046,
      "step": 11123
    },
    {
      "epoch": 0.9888,
      "grad_norm": 1.677578330039978,
      "learning_rate": 5.644444444444445e-07,
      "loss": 1.5383,
      "step": 11124
    },
    {
      "epoch": 0.9888888888888889,
      "grad_norm": 1.5695112943649292,
      "learning_rate": 5.6e-07,
      "loss": 1.4781,
      "step": 11125
    },
    {
      "epoch": 0.9889777777777777,
      "grad_norm": 2.5189547538757324,
      "learning_rate": 5.555555555555556e-07,
      "loss": 1.6235,
      "step": 11126
    },
    {
      "epoch": 0.9890666666666666,
      "grad_norm": 1.4898968935012817,
      "learning_rate": 5.511111111111111e-07,
      "loss": 1.4873,
      "step": 11127
    },
    {
      "epoch": 0.9891555555555556,
      "grad_norm": 1.4637333154678345,
      "learning_rate": 5.466666666666667e-07,
      "loss": 1.384,
      "step": 11128
    },
    {
      "epoch": 0.9892444444444445,
      "grad_norm": 1.7589993476867676,
      "learning_rate": 5.422222222222223e-07,
      "loss": 1.4441,
      "step": 11129
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 1.94895339012146,
      "learning_rate": 5.377777777777779e-07,
      "loss": 1.701,
      "step": 11130
    },
    {
      "epoch": 0.9894222222222222,
      "grad_norm": 1.9129889011383057,
      "learning_rate": 5.333333333333333e-07,
      "loss": 1.4845,
      "step": 11131
    },
    {
      "epoch": 0.9895111111111111,
      "grad_norm": 1.3822959661483765,
      "learning_rate": 5.288888888888889e-07,
      "loss": 1.4924,
      "step": 11132
    },
    {
      "epoch": 0.9896,
      "grad_norm": 1.4885605573654175,
      "learning_rate": 5.244444444444445e-07,
      "loss": 1.5826,
      "step": 11133
    },
    {
      "epoch": 0.9896888888888888,
      "grad_norm": 1.372395396232605,
      "learning_rate": 5.2e-07,
      "loss": 1.3465,
      "step": 11134
    },
    {
      "epoch": 0.9897777777777778,
      "grad_norm": 1.5089088678359985,
      "learning_rate": 5.155555555555556e-07,
      "loss": 1.4527,
      "step": 11135
    },
    {
      "epoch": 0.9898666666666667,
      "grad_norm": 1.5419771671295166,
      "learning_rate": 5.111111111111112e-07,
      "loss": 1.5117,
      "step": 11136
    },
    {
      "epoch": 0.9899555555555556,
      "grad_norm": 1.5129762887954712,
      "learning_rate": 5.066666666666667e-07,
      "loss": 1.4579,
      "step": 11137
    },
    {
      "epoch": 0.9900444444444444,
      "grad_norm": 1.4317735433578491,
      "learning_rate": 5.022222222222222e-07,
      "loss": 1.2451,
      "step": 11138
    },
    {
      "epoch": 0.9901333333333333,
      "grad_norm": 1.614213466644287,
      "learning_rate": 4.977777777777778e-07,
      "loss": 1.7676,
      "step": 11139
    },
    {
      "epoch": 0.9902222222222222,
      "grad_norm": 1.8554004430770874,
      "learning_rate": 4.933333333333333e-07,
      "loss": 1.6655,
      "step": 11140
    },
    {
      "epoch": 0.9903111111111111,
      "grad_norm": 1.630580186843872,
      "learning_rate": 4.888888888888889e-07,
      "loss": 1.5338,
      "step": 11141
    },
    {
      "epoch": 0.9904,
      "grad_norm": 1.6968355178833008,
      "learning_rate": 4.844444444444445e-07,
      "loss": 1.606,
      "step": 11142
    },
    {
      "epoch": 0.9904888888888889,
      "grad_norm": 1.5381534099578857,
      "learning_rate": 4.8e-07,
      "loss": 1.5162,
      "step": 11143
    },
    {
      "epoch": 0.9905777777777778,
      "grad_norm": 1.4298914670944214,
      "learning_rate": 4.7555555555555554e-07,
      "loss": 1.5327,
      "step": 11144
    },
    {
      "epoch": 0.9906666666666667,
      "grad_norm": 1.2914587259292603,
      "learning_rate": 4.7111111111111113e-07,
      "loss": 1.4033,
      "step": 11145
    },
    {
      "epoch": 0.9907555555555555,
      "grad_norm": 1.6885610818862915,
      "learning_rate": 4.666666666666667e-07,
      "loss": 1.4551,
      "step": 11146
    },
    {
      "epoch": 0.9908444444444444,
      "grad_norm": 1.5562838315963745,
      "learning_rate": 4.6222222222222225e-07,
      "loss": 1.5113,
      "step": 11147
    },
    {
      "epoch": 0.9909333333333333,
      "grad_norm": 1.4478524923324585,
      "learning_rate": 4.577777777777778e-07,
      "loss": 1.5135,
      "step": 11148
    },
    {
      "epoch": 0.9910222222222222,
      "grad_norm": 1.547867774963379,
      "learning_rate": 4.5333333333333337e-07,
      "loss": 1.4917,
      "step": 11149
    },
    {
      "epoch": 0.9911111111111112,
      "grad_norm": 1.4426143169403076,
      "learning_rate": 4.488888888888889e-07,
      "loss": 1.4721,
      "step": 11150
    },
    {
      "epoch": 0.9912,
      "grad_norm": 1.3903847932815552,
      "learning_rate": 4.444444444444445e-07,
      "loss": 1.2425,
      "step": 11151
    },
    {
      "epoch": 0.9912888888888889,
      "grad_norm": 1.664692997932434,
      "learning_rate": 4.4e-07,
      "loss": 1.6695,
      "step": 11152
    },
    {
      "epoch": 0.9913777777777778,
      "grad_norm": 1.3734956979751587,
      "learning_rate": 4.3555555555555556e-07,
      "loss": 1.5137,
      "step": 11153
    },
    {
      "epoch": 0.9914666666666667,
      "grad_norm": 1.5449696779251099,
      "learning_rate": 4.3111111111111114e-07,
      "loss": 1.5253,
      "step": 11154
    },
    {
      "epoch": 0.9915555555555555,
      "grad_norm": 1.5508548021316528,
      "learning_rate": 4.2666666666666673e-07,
      "loss": 1.5905,
      "step": 11155
    },
    {
      "epoch": 0.9916444444444444,
      "grad_norm": 1.498159408569336,
      "learning_rate": 4.222222222222222e-07,
      "loss": 1.4545,
      "step": 11156
    },
    {
      "epoch": 0.9917333333333334,
      "grad_norm": 1.9780265092849731,
      "learning_rate": 4.177777777777778e-07,
      "loss": 1.4594,
      "step": 11157
    },
    {
      "epoch": 0.9918222222222223,
      "grad_norm": 1.4562560319900513,
      "learning_rate": 4.133333333333334e-07,
      "loss": 1.4408,
      "step": 11158
    },
    {
      "epoch": 0.9919111111111111,
      "grad_norm": 1.6276867389678955,
      "learning_rate": 4.0888888888888897e-07,
      "loss": 1.7316,
      "step": 11159
    },
    {
      "epoch": 0.992,
      "grad_norm": 1.4416450262069702,
      "learning_rate": 4.0444444444444445e-07,
      "loss": 1.4794,
      "step": 11160
    },
    {
      "epoch": 0.9920888888888889,
      "grad_norm": 1.606787919998169,
      "learning_rate": 4.0000000000000003e-07,
      "loss": 1.4006,
      "step": 11161
    },
    {
      "epoch": 0.9921777777777778,
      "grad_norm": 1.4071847200393677,
      "learning_rate": 3.955555555555556e-07,
      "loss": 1.4091,
      "step": 11162
    },
    {
      "epoch": 0.9922666666666666,
      "grad_norm": 1.8716790676116943,
      "learning_rate": 3.911111111111111e-07,
      "loss": 1.4863,
      "step": 11163
    },
    {
      "epoch": 0.9923555555555555,
      "grad_norm": 1.8417468070983887,
      "learning_rate": 3.866666666666667e-07,
      "loss": 1.4923,
      "step": 11164
    },
    {
      "epoch": 0.9924444444444445,
      "grad_norm": 1.704894781112671,
      "learning_rate": 3.822222222222222e-07,
      "loss": 1.5048,
      "step": 11165
    },
    {
      "epoch": 0.9925333333333334,
      "grad_norm": 1.368874192237854,
      "learning_rate": 3.777777777777778e-07,
      "loss": 1.3589,
      "step": 11166
    },
    {
      "epoch": 0.9926222222222222,
      "grad_norm": 1.7311656475067139,
      "learning_rate": 3.7333333333333334e-07,
      "loss": 1.5733,
      "step": 11167
    },
    {
      "epoch": 0.9927111111111111,
      "grad_norm": 1.5578482151031494,
      "learning_rate": 3.688888888888889e-07,
      "loss": 1.4108,
      "step": 11168
    },
    {
      "epoch": 0.9928,
      "grad_norm": 1.3652361631393433,
      "learning_rate": 3.6444444444444446e-07,
      "loss": 1.5013,
      "step": 11169
    },
    {
      "epoch": 0.9928888888888889,
      "grad_norm": 1.4689147472381592,
      "learning_rate": 3.6e-07,
      "loss": 1.3812,
      "step": 11170
    },
    {
      "epoch": 0.9929777777777777,
      "grad_norm": 1.2955783605575562,
      "learning_rate": 3.555555555555556e-07,
      "loss": 1.4897,
      "step": 11171
    },
    {
      "epoch": 0.9930666666666667,
      "grad_norm": 1.522135853767395,
      "learning_rate": 3.511111111111111e-07,
      "loss": 1.4902,
      "step": 11172
    },
    {
      "epoch": 0.9931555555555556,
      "grad_norm": 1.3413110971450806,
      "learning_rate": 3.4666666666666665e-07,
      "loss": 1.3322,
      "step": 11173
    },
    {
      "epoch": 0.9932444444444445,
      "grad_norm": 1.4870998859405518,
      "learning_rate": 3.4222222222222223e-07,
      "loss": 1.4496,
      "step": 11174
    },
    {
      "epoch": 0.9933333333333333,
      "grad_norm": 1.4995782375335693,
      "learning_rate": 3.3777777777777777e-07,
      "loss": 1.3971,
      "step": 11175
    },
    {
      "epoch": 0.9934222222222222,
      "grad_norm": 1.5931869745254517,
      "learning_rate": 3.3333333333333335e-07,
      "loss": 1.6643,
      "step": 11176
    },
    {
      "epoch": 0.9935111111111111,
      "grad_norm": 1.4289512634277344,
      "learning_rate": 3.288888888888889e-07,
      "loss": 1.4694,
      "step": 11177
    },
    {
      "epoch": 0.9936,
      "grad_norm": 1.4776407480239868,
      "learning_rate": 3.2444444444444447e-07,
      "loss": 1.3797,
      "step": 11178
    },
    {
      "epoch": 0.9936888888888888,
      "grad_norm": 1.2641189098358154,
      "learning_rate": 3.2e-07,
      "loss": 1.542,
      "step": 11179
    },
    {
      "epoch": 0.9937777777777778,
      "grad_norm": 1.5860017538070679,
      "learning_rate": 3.155555555555556e-07,
      "loss": 1.5873,
      "step": 11180
    },
    {
      "epoch": 0.9938666666666667,
      "grad_norm": 1.5805416107177734,
      "learning_rate": 3.111111111111111e-07,
      "loss": 1.6857,
      "step": 11181
    },
    {
      "epoch": 0.9939555555555556,
      "grad_norm": 2.145423650741577,
      "learning_rate": 3.066666666666667e-07,
      "loss": 1.7804,
      "step": 11182
    },
    {
      "epoch": 0.9940444444444444,
      "grad_norm": 1.573859453201294,
      "learning_rate": 3.0222222222222225e-07,
      "loss": 1.6116,
      "step": 11183
    },
    {
      "epoch": 0.9941333333333333,
      "grad_norm": 1.5348002910614014,
      "learning_rate": 2.9777777777777783e-07,
      "loss": 1.5416,
      "step": 11184
    },
    {
      "epoch": 0.9942222222222222,
      "grad_norm": 1.7418047189712524,
      "learning_rate": 2.9333333333333337e-07,
      "loss": 1.5589,
      "step": 11185
    },
    {
      "epoch": 0.9943111111111111,
      "grad_norm": 1.4718708992004395,
      "learning_rate": 2.888888888888889e-07,
      "loss": 1.5313,
      "step": 11186
    },
    {
      "epoch": 0.9944,
      "grad_norm": 1.5008094310760498,
      "learning_rate": 2.844444444444445e-07,
      "loss": 1.4739,
      "step": 11187
    },
    {
      "epoch": 0.9944888888888889,
      "grad_norm": 1.829805612564087,
      "learning_rate": 2.8e-07,
      "loss": 1.4466,
      "step": 11188
    },
    {
      "epoch": 0.9945777777777778,
      "grad_norm": 1.5939668416976929,
      "learning_rate": 2.7555555555555555e-07,
      "loss": 1.3758,
      "step": 11189
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 1.4181134700775146,
      "learning_rate": 2.7111111111111114e-07,
      "loss": 1.3103,
      "step": 11190
    },
    {
      "epoch": 0.9947555555555555,
      "grad_norm": 2.0407826900482178,
      "learning_rate": 2.6666666666666667e-07,
      "loss": 1.4798,
      "step": 11191
    },
    {
      "epoch": 0.9948444444444444,
      "grad_norm": 1.5232259035110474,
      "learning_rate": 2.6222222222222226e-07,
      "loss": 1.6653,
      "step": 11192
    },
    {
      "epoch": 0.9949333333333333,
      "grad_norm": 1.8863567113876343,
      "learning_rate": 2.577777777777778e-07,
      "loss": 1.6339,
      "step": 11193
    },
    {
      "epoch": 0.9950222222222223,
      "grad_norm": 1.571778416633606,
      "learning_rate": 2.533333333333333e-07,
      "loss": 1.6284,
      "step": 11194
    },
    {
      "epoch": 0.9951111111111111,
      "grad_norm": 1.7558586597442627,
      "learning_rate": 2.488888888888889e-07,
      "loss": 1.5769,
      "step": 11195
    },
    {
      "epoch": 0.9952,
      "grad_norm": 1.3214025497436523,
      "learning_rate": 2.4444444444444445e-07,
      "loss": 1.4093,
      "step": 11196
    },
    {
      "epoch": 0.9952888888888889,
      "grad_norm": 1.6362788677215576,
      "learning_rate": 2.4e-07,
      "loss": 1.5111,
      "step": 11197
    },
    {
      "epoch": 0.9953777777777778,
      "grad_norm": 1.4694538116455078,
      "learning_rate": 2.3555555555555556e-07,
      "loss": 1.3454,
      "step": 11198
    },
    {
      "epoch": 0.9954666666666667,
      "grad_norm": 1.352913498878479,
      "learning_rate": 2.3111111111111112e-07,
      "loss": 1.5452,
      "step": 11199
    },
    {
      "epoch": 0.9955555555555555,
      "grad_norm": 1.4144978523254395,
      "learning_rate": 2.2666666666666668e-07,
      "loss": 1.4272,
      "step": 11200
    },
    {
      "epoch": 0.9956444444444444,
      "grad_norm": 1.5162338018417358,
      "learning_rate": 2.2222222222222224e-07,
      "loss": 1.3833,
      "step": 11201
    },
    {
      "epoch": 0.9957333333333334,
      "grad_norm": 1.8850977420806885,
      "learning_rate": 2.1777777777777778e-07,
      "loss": 1.8232,
      "step": 11202
    },
    {
      "epoch": 0.9958222222222223,
      "grad_norm": 1.395104169845581,
      "learning_rate": 2.1333333333333336e-07,
      "loss": 1.3632,
      "step": 11203
    },
    {
      "epoch": 0.9959111111111111,
      "grad_norm": 1.3643696308135986,
      "learning_rate": 2.088888888888889e-07,
      "loss": 1.5283,
      "step": 11204
    },
    {
      "epoch": 0.996,
      "grad_norm": 1.8221405744552612,
      "learning_rate": 2.0444444444444448e-07,
      "loss": 1.6157,
      "step": 11205
    },
    {
      "epoch": 0.9960888888888889,
      "grad_norm": 1.9899367094039917,
      "learning_rate": 2.0000000000000002e-07,
      "loss": 1.5647,
      "step": 11206
    },
    {
      "epoch": 0.9961777777777778,
      "grad_norm": 1.4133809804916382,
      "learning_rate": 1.9555555555555555e-07,
      "loss": 1.4625,
      "step": 11207
    },
    {
      "epoch": 0.9962666666666666,
      "grad_norm": 1.4688472747802734,
      "learning_rate": 1.911111111111111e-07,
      "loss": 1.4529,
      "step": 11208
    },
    {
      "epoch": 0.9963555555555555,
      "grad_norm": 1.4346823692321777,
      "learning_rate": 1.8666666666666667e-07,
      "loss": 1.425,
      "step": 11209
    },
    {
      "epoch": 0.9964444444444445,
      "grad_norm": 1.5859860181808472,
      "learning_rate": 1.8222222222222223e-07,
      "loss": 1.4626,
      "step": 11210
    },
    {
      "epoch": 0.9965333333333334,
      "grad_norm": 1.5591661930084229,
      "learning_rate": 1.777777777777778e-07,
      "loss": 1.5884,
      "step": 11211
    },
    {
      "epoch": 0.9966222222222222,
      "grad_norm": 1.6907435655593872,
      "learning_rate": 1.7333333333333332e-07,
      "loss": 1.7102,
      "step": 11212
    },
    {
      "epoch": 0.9967111111111111,
      "grad_norm": 2.1174542903900146,
      "learning_rate": 1.6888888888888888e-07,
      "loss": 1.5929,
      "step": 11213
    },
    {
      "epoch": 0.9968,
      "grad_norm": 1.5736175775527954,
      "learning_rate": 1.6444444444444444e-07,
      "loss": 1.4699,
      "step": 11214
    },
    {
      "epoch": 0.9968888888888889,
      "grad_norm": 1.6440975666046143,
      "learning_rate": 1.6e-07,
      "loss": 1.5037,
      "step": 11215
    },
    {
      "epoch": 0.9969777777777777,
      "grad_norm": 1.550317645072937,
      "learning_rate": 1.5555555555555556e-07,
      "loss": 1.6659,
      "step": 11216
    },
    {
      "epoch": 0.9970666666666667,
      "grad_norm": 1.4298495054244995,
      "learning_rate": 1.5111111111111112e-07,
      "loss": 1.4503,
      "step": 11217
    },
    {
      "epoch": 0.9971555555555556,
      "grad_norm": 1.5683387517929077,
      "learning_rate": 1.4666666666666668e-07,
      "loss": 1.5344,
      "step": 11218
    },
    {
      "epoch": 0.9972444444444445,
      "grad_norm": 1.3812295198440552,
      "learning_rate": 1.4222222222222224e-07,
      "loss": 1.4463,
      "step": 11219
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 1.6058117151260376,
      "learning_rate": 1.3777777777777778e-07,
      "loss": 1.4316,
      "step": 11220
    },
    {
      "epoch": 0.9974222222222222,
      "grad_norm": 1.730424404144287,
      "learning_rate": 1.3333333333333334e-07,
      "loss": 1.351,
      "step": 11221
    },
    {
      "epoch": 0.9975111111111111,
      "grad_norm": 1.4538301229476929,
      "learning_rate": 1.288888888888889e-07,
      "loss": 1.682,
      "step": 11222
    },
    {
      "epoch": 0.9976,
      "grad_norm": 1.642755150794983,
      "learning_rate": 1.2444444444444446e-07,
      "loss": 1.7406,
      "step": 11223
    },
    {
      "epoch": 0.9976888888888888,
      "grad_norm": 1.5035107135772705,
      "learning_rate": 1.2e-07,
      "loss": 1.4335,
      "step": 11224
    },
    {
      "epoch": 0.9977777777777778,
      "grad_norm": 1.4906327724456787,
      "learning_rate": 1.1555555555555556e-07,
      "loss": 1.5116,
      "step": 11225
    },
    {
      "epoch": 0.9978666666666667,
      "grad_norm": 1.4536525011062622,
      "learning_rate": 1.1111111111111112e-07,
      "loss": 1.4911,
      "step": 11226
    },
    {
      "epoch": 0.9979555555555556,
      "grad_norm": 1.9278299808502197,
      "learning_rate": 1.0666666666666668e-07,
      "loss": 1.4598,
      "step": 11227
    },
    {
      "epoch": 0.9980444444444444,
      "grad_norm": 1.2138627767562866,
      "learning_rate": 1.0222222222222224e-07,
      "loss": 1.3672,
      "step": 11228
    },
    {
      "epoch": 0.9981333333333333,
      "grad_norm": 1.3920410871505737,
      "learning_rate": 9.777777777777778e-08,
      "loss": 1.3209,
      "step": 11229
    },
    {
      "epoch": 0.9982222222222222,
      "grad_norm": 1.4201537370681763,
      "learning_rate": 9.333333333333334e-08,
      "loss": 1.3071,
      "step": 11230
    },
    {
      "epoch": 0.9983111111111111,
      "grad_norm": 1.5467267036437988,
      "learning_rate": 8.88888888888889e-08,
      "loss": 1.5575,
      "step": 11231
    },
    {
      "epoch": 0.9984,
      "grad_norm": 1.5369378328323364,
      "learning_rate": 8.444444444444444e-08,
      "loss": 1.4346,
      "step": 11232
    },
    {
      "epoch": 0.9984888888888889,
      "grad_norm": 1.6386528015136719,
      "learning_rate": 8e-08,
      "loss": 1.6133,
      "step": 11233
    },
    {
      "epoch": 0.9985777777777778,
      "grad_norm": 1.5524941682815552,
      "learning_rate": 7.555555555555556e-08,
      "loss": 1.6671,
      "step": 11234
    },
    {
      "epoch": 0.9986666666666667,
      "grad_norm": 1.8479267358779907,
      "learning_rate": 7.111111111111112e-08,
      "loss": 1.6,
      "step": 11235
    },
    {
      "epoch": 0.9987555555555555,
      "grad_norm": 1.5714576244354248,
      "learning_rate": 6.666666666666667e-08,
      "loss": 1.7531,
      "step": 11236
    },
    {
      "epoch": 0.9988444444444444,
      "grad_norm": 1.8768408298492432,
      "learning_rate": 6.222222222222223e-08,
      "loss": 1.6246,
      "step": 11237
    },
    {
      "epoch": 0.9989333333333333,
      "grad_norm": 2.1039834022521973,
      "learning_rate": 5.777777777777778e-08,
      "loss": 1.6824,
      "step": 11238
    },
    {
      "epoch": 0.9990222222222223,
      "grad_norm": 1.472237229347229,
      "learning_rate": 5.333333333333334e-08,
      "loss": 1.7242,
      "step": 11239
    },
    {
      "epoch": 0.9991111111111111,
      "grad_norm": 1.5266989469528198,
      "learning_rate": 4.888888888888889e-08,
      "loss": 1.467,
      "step": 11240
    },
    {
      "epoch": 0.9992,
      "grad_norm": 2.059269428253174,
      "learning_rate": 4.444444444444445e-08,
      "loss": 1.5353,
      "step": 11241
    },
    {
      "epoch": 0.9992888888888889,
      "grad_norm": 1.543993592262268,
      "learning_rate": 4e-08,
      "loss": 1.6253,
      "step": 11242
    },
    {
      "epoch": 0.9993777777777778,
      "grad_norm": 1.3431365489959717,
      "learning_rate": 3.555555555555556e-08,
      "loss": 1.3841,
      "step": 11243
    },
    {
      "epoch": 0.9994666666666666,
      "grad_norm": 1.437354326248169,
      "learning_rate": 3.1111111111111114e-08,
      "loss": 1.5527,
      "step": 11244
    },
    {
      "epoch": 0.9995555555555555,
      "grad_norm": 1.4726566076278687,
      "learning_rate": 2.666666666666667e-08,
      "loss": 1.6821,
      "step": 11245
    },
    {
      "epoch": 0.9996444444444444,
      "grad_norm": 1.4795469045639038,
      "learning_rate": 2.2222222222222224e-08,
      "loss": 1.4151,
      "step": 11246
    },
    {
      "epoch": 0.9997333333333334,
      "grad_norm": 1.5471349954605103,
      "learning_rate": 1.777777777777778e-08,
      "loss": 1.6863,
      "step": 11247
    },
    {
      "epoch": 0.9998222222222222,
      "grad_norm": 1.396506428718567,
      "learning_rate": 1.3333333333333335e-08,
      "loss": 1.5438,
      "step": 11248
    },
    {
      "epoch": 0.9999111111111111,
      "grad_norm": 1.3267053365707397,
      "learning_rate": 8.88888888888889e-09,
      "loss": 1.5245,
      "step": 11249
    },
    {
      "epoch": 1.0,
      "grad_norm": 1.612550973892212,
      "learning_rate": 4.444444444444445e-09,
      "loss": 1.5058,
      "step": 11250
    }
  ],
  "logging_steps": 1,
  "max_steps": 11250,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 100,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 7.074547236864e+17,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}