| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 2.389333333333333, | |
| "eval_steps": 500, | |
| "global_step": 44800, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.005333333333333333, | |
| "grad_norm": 0.7408381700515747, | |
| "learning_rate": 1.777777777777778e-06, | |
| "loss": 2.4329, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.010666666666666666, | |
| "grad_norm": 1.5163946151733398, | |
| "learning_rate": 3.555555555555556e-06, | |
| "loss": 2.4588, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 2.0432918071746826, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 2.4059, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.021333333333333333, | |
| "grad_norm": 1.060476303100586, | |
| "learning_rate": 7.111111111111112e-06, | |
| "loss": 2.3268, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 3.8191990852355957, | |
| "learning_rate": 8.88888888888889e-06, | |
| "loss": 2.2524, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 1.805410623550415, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 2.1703, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.037333333333333336, | |
| "grad_norm": 2.2576651573181152, | |
| "learning_rate": 1.2444444444444445e-05, | |
| "loss": 2.135, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 3.0686051845550537, | |
| "learning_rate": 1.4222222222222224e-05, | |
| "loss": 2.1264, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 3.616314649581909, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 2.117, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.9794963598251343, | |
| "learning_rate": 1.777777777777778e-05, | |
| "loss": 2.0696, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.058666666666666666, | |
| "grad_norm": 1.115675926208496, | |
| "learning_rate": 1.9555555555555557e-05, | |
| "loss": 2.1145, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 1.3264107704162598, | |
| "learning_rate": 2.1333333333333335e-05, | |
| "loss": 2.1577, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.06933333333333333, | |
| "grad_norm": 1.0655226707458496, | |
| "learning_rate": 2.3111111111111112e-05, | |
| "loss": 2.1426, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.07466666666666667, | |
| "grad_norm": 1.8344405889511108, | |
| "learning_rate": 2.488888888888889e-05, | |
| "loss": 2.106, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.8793189525604248, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 2.106, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 0.9472557306289673, | |
| "learning_rate": 2.8444444444444447e-05, | |
| "loss": 2.1196, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.09066666666666667, | |
| "grad_norm": 1.0065737962722778, | |
| "learning_rate": 3.0222222222222225e-05, | |
| "loss": 2.1359, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 1.0629477500915527, | |
| "learning_rate": 3.2000000000000005e-05, | |
| "loss": 2.1281, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.10133333333333333, | |
| "grad_norm": 1.1452460289001465, | |
| "learning_rate": 3.377777777777778e-05, | |
| "loss": 2.1015, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 0.774829626083374, | |
| "learning_rate": 3.555555555555556e-05, | |
| "loss": 2.1491, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 1.9840822219848633, | |
| "learning_rate": 3.733333333333334e-05, | |
| "loss": 2.1162, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.11733333333333333, | |
| "grad_norm": 1.1680502891540527, | |
| "learning_rate": 3.9111111111111115e-05, | |
| "loss": 2.1081, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.12266666666666666, | |
| "grad_norm": 1.0015199184417725, | |
| "learning_rate": 4.088888888888889e-05, | |
| "loss": 2.1106, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 1.4964936971664429, | |
| "learning_rate": 4.266666666666667e-05, | |
| "loss": 2.0845, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.8865829110145569, | |
| "learning_rate": 4.4444444444444447e-05, | |
| "loss": 2.1168, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.13866666666666666, | |
| "grad_norm": 0.7985750436782837, | |
| "learning_rate": 4.6222222222222224e-05, | |
| "loss": 2.0818, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 0.7723366022109985, | |
| "learning_rate": 4.8e-05, | |
| "loss": 2.1174, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.14933333333333335, | |
| "grad_norm": 1.5099104642868042, | |
| "learning_rate": 4.977777777777778e-05, | |
| "loss": 2.0898, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.15466666666666667, | |
| "grad_norm": 0.6583521962165833, | |
| "learning_rate": 5.1555555555555556e-05, | |
| "loss": 2.0947, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.6292089819908142, | |
| "learning_rate": 5.333333333333333e-05, | |
| "loss": 2.1364, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.16533333333333333, | |
| "grad_norm": 2.6520564556121826, | |
| "learning_rate": 5.511111111111111e-05, | |
| "loss": 2.0834, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 0.6982457637786865, | |
| "learning_rate": 5.6888888888888895e-05, | |
| "loss": 2.0916, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 1.235366702079773, | |
| "learning_rate": 5.866666666666667e-05, | |
| "loss": 2.0768, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.18133333333333335, | |
| "grad_norm": 0.5952820777893066, | |
| "learning_rate": 6.044444444444445e-05, | |
| "loss": 2.0834, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.7027677893638611, | |
| "learning_rate": 6.222222222222222e-05, | |
| "loss": 2.122, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 0.9129226207733154, | |
| "learning_rate": 6.400000000000001e-05, | |
| "loss": 2.0797, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.19733333333333333, | |
| "grad_norm": 1.3665482997894287, | |
| "learning_rate": 6.577777777777779e-05, | |
| "loss": 2.1386, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.20266666666666666, | |
| "grad_norm": 0.7354358434677124, | |
| "learning_rate": 6.755555555555557e-05, | |
| "loss": 2.1181, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 1.131577491760254, | |
| "learning_rate": 6.933333333333334e-05, | |
| "loss": 2.0839, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 1.4498499631881714, | |
| "learning_rate": 7.111111111111112e-05, | |
| "loss": 2.0743, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.21866666666666668, | |
| "grad_norm": 0.7681794762611389, | |
| "learning_rate": 7.28888888888889e-05, | |
| "loss": 2.0916, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 1.020183801651001, | |
| "learning_rate": 7.466666666666667e-05, | |
| "loss": 2.1021, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.22933333333333333, | |
| "grad_norm": 0.9761343002319336, | |
| "learning_rate": 7.644444444444445e-05, | |
| "loss": 2.0721, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.23466666666666666, | |
| "grad_norm": 0.5290562510490417, | |
| "learning_rate": 7.822222222222223e-05, | |
| "loss": 2.0873, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.7238642573356628, | |
| "learning_rate": 8e-05, | |
| "loss": 2.1149, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.24533333333333332, | |
| "grad_norm": 0.8895397186279297, | |
| "learning_rate": 8.177777777777778e-05, | |
| "loss": 2.097, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.25066666666666665, | |
| "grad_norm": 0.7431837320327759, | |
| "learning_rate": 8.355555555555556e-05, | |
| "loss": 2.1264, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 0.8203670382499695, | |
| "learning_rate": 8.533333333333334e-05, | |
| "loss": 2.0972, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.2613333333333333, | |
| "grad_norm": 0.47923657298088074, | |
| "learning_rate": 8.711111111111112e-05, | |
| "loss": 2.0768, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 1.155190110206604, | |
| "learning_rate": 8.888888888888889e-05, | |
| "loss": 2.1036, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 0.6187294721603394, | |
| "learning_rate": 9.066666666666667e-05, | |
| "loss": 2.1188, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 0.2773333333333333, | |
| "grad_norm": 0.43292027711868286, | |
| "learning_rate": 9.244444444444445e-05, | |
| "loss": 2.0647, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 0.2826666666666667, | |
| "grad_norm": 1.1204800605773926, | |
| "learning_rate": 9.422222222222223e-05, | |
| "loss": 2.0616, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 0.5165124535560608, | |
| "learning_rate": 9.6e-05, | |
| "loss": 2.1516, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.4999570846557617, | |
| "learning_rate": 9.777777777777778e-05, | |
| "loss": 2.0841, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 0.6320493817329407, | |
| "learning_rate": 9.955555555555556e-05, | |
| "loss": 2.0595, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 0.4119780957698822, | |
| "learning_rate": 9.985185185185185e-05, | |
| "loss": 2.1259, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 0.30933333333333335, | |
| "grad_norm": 0.7192773818969727, | |
| "learning_rate": 9.965432098765432e-05, | |
| "loss": 2.0159, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 0.31466666666666665, | |
| "grad_norm": 0.6163448691368103, | |
| "learning_rate": 9.94567901234568e-05, | |
| "loss": 2.0869, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.7050678730010986, | |
| "learning_rate": 9.925925925925926e-05, | |
| "loss": 2.0988, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.3253333333333333, | |
| "grad_norm": 0.5748100876808167, | |
| "learning_rate": 9.906172839506173e-05, | |
| "loss": 2.0803, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 0.33066666666666666, | |
| "grad_norm": 0.7906007170677185, | |
| "learning_rate": 9.88641975308642e-05, | |
| "loss": 2.0538, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 0.9793565273284912, | |
| "learning_rate": 9.866666666666668e-05, | |
| "loss": 2.1079, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 0.43007293343544006, | |
| "learning_rate": 9.846913580246913e-05, | |
| "loss": 2.0924, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.531528890132904, | |
| "learning_rate": 9.827160493827162e-05, | |
| "loss": 2.1214, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 0.7016095519065857, | |
| "learning_rate": 9.807407407407407e-05, | |
| "loss": 2.1009, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 0.35733333333333334, | |
| "grad_norm": 0.8983720541000366, | |
| "learning_rate": 9.787654320987654e-05, | |
| "loss": 2.0633, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 0.3626666666666667, | |
| "grad_norm": 0.6088433861732483, | |
| "learning_rate": 9.767901234567902e-05, | |
| "loss": 2.0785, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 0.7958081960678101, | |
| "learning_rate": 9.748148148148149e-05, | |
| "loss": 2.0723, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.5815045237541199, | |
| "learning_rate": 9.728395061728396e-05, | |
| "loss": 2.0763, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.37866666666666665, | |
| "grad_norm": 0.6895761489868164, | |
| "learning_rate": 9.708641975308643e-05, | |
| "loss": 2.0832, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 0.5693473219871521, | |
| "learning_rate": 9.68888888888889e-05, | |
| "loss": 2.1102, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 0.3893333333333333, | |
| "grad_norm": 0.5142870545387268, | |
| "learning_rate": 9.669135802469136e-05, | |
| "loss": 2.1217, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 0.39466666666666667, | |
| "grad_norm": 0.5967950820922852, | |
| "learning_rate": 9.649382716049384e-05, | |
| "loss": 2.0829, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.807147204875946, | |
| "learning_rate": 9.62962962962963e-05, | |
| "loss": 2.0822, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 0.4053333333333333, | |
| "grad_norm": 0.852786123752594, | |
| "learning_rate": 9.609876543209877e-05, | |
| "loss": 2.099, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 0.4106666666666667, | |
| "grad_norm": 0.9825059771537781, | |
| "learning_rate": 9.590123456790124e-05, | |
| "loss": 2.0855, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 0.7836545705795288, | |
| "learning_rate": 9.570370370370371e-05, | |
| "loss": 2.0827, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 0.42133333333333334, | |
| "grad_norm": 0.5747546553611755, | |
| "learning_rate": 9.550617283950618e-05, | |
| "loss": 2.0572, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 0.6716235876083374, | |
| "learning_rate": 9.530864197530865e-05, | |
| "loss": 2.1175, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 1.0513540506362915, | |
| "learning_rate": 9.511111111111112e-05, | |
| "loss": 2.0876, | |
| "step": 8100 | |
| }, | |
| { | |
| "epoch": 0.43733333333333335, | |
| "grad_norm": 0.6747242212295532, | |
| "learning_rate": 9.491358024691358e-05, | |
| "loss": 2.0646, | |
| "step": 8200 | |
| }, | |
| { | |
| "epoch": 0.44266666666666665, | |
| "grad_norm": 0.8976965546607971, | |
| "learning_rate": 9.471604938271605e-05, | |
| "loss": 2.0463, | |
| "step": 8300 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 0.8317309021949768, | |
| "learning_rate": 9.451851851851853e-05, | |
| "loss": 2.049, | |
| "step": 8400 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 0.5139201283454895, | |
| "learning_rate": 9.432098765432099e-05, | |
| "loss": 2.0942, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 0.45866666666666667, | |
| "grad_norm": 0.9820052981376648, | |
| "learning_rate": 9.412345679012346e-05, | |
| "loss": 2.1151, | |
| "step": 8600 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 0.4642147421836853, | |
| "learning_rate": 9.392592592592593e-05, | |
| "loss": 2.0734, | |
| "step": 8700 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 1.1513845920562744, | |
| "learning_rate": 9.37283950617284e-05, | |
| "loss": 2.0442, | |
| "step": 8800 | |
| }, | |
| { | |
| "epoch": 0.4746666666666667, | |
| "grad_norm": 0.6147892475128174, | |
| "learning_rate": 9.353086419753086e-05, | |
| "loss": 2.0628, | |
| "step": 8900 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.5197819471359253, | |
| "learning_rate": 9.333333333333334e-05, | |
| "loss": 2.0734, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 0.48533333333333334, | |
| "grad_norm": 0.46634283661842346, | |
| "learning_rate": 9.31358024691358e-05, | |
| "loss": 2.0397, | |
| "step": 9100 | |
| }, | |
| { | |
| "epoch": 0.49066666666666664, | |
| "grad_norm": 0.5557440519332886, | |
| "learning_rate": 9.293827160493827e-05, | |
| "loss": 2.0508, | |
| "step": 9200 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 0.7465810775756836, | |
| "learning_rate": 9.274074074074076e-05, | |
| "loss": 2.0942, | |
| "step": 9300 | |
| }, | |
| { | |
| "epoch": 0.5013333333333333, | |
| "grad_norm": 0.8177813291549683, | |
| "learning_rate": 9.254320987654321e-05, | |
| "loss": 2.0775, | |
| "step": 9400 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 1.0027681589126587, | |
| "learning_rate": 9.234567901234568e-05, | |
| "loss": 2.0933, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 0.5542171597480774, | |
| "learning_rate": 9.214814814814815e-05, | |
| "loss": 2.0896, | |
| "step": 9600 | |
| }, | |
| { | |
| "epoch": 0.5173333333333333, | |
| "grad_norm": 0.7506404519081116, | |
| "learning_rate": 9.195061728395062e-05, | |
| "loss": 2.0473, | |
| "step": 9700 | |
| }, | |
| { | |
| "epoch": 0.5226666666666666, | |
| "grad_norm": 0.7701064348220825, | |
| "learning_rate": 9.175308641975308e-05, | |
| "loss": 2.1086, | |
| "step": 9800 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 0.8500655293464661, | |
| "learning_rate": 9.155555555555557e-05, | |
| "loss": 2.0686, | |
| "step": 9900 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.827279269695282, | |
| "learning_rate": 9.135802469135802e-05, | |
| "loss": 2.0906, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 0.5386666666666666, | |
| "grad_norm": 0.5926179885864258, | |
| "learning_rate": 9.11604938271605e-05, | |
| "loss": 2.0942, | |
| "step": 10100 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 0.6802027821540833, | |
| "learning_rate": 9.096296296296298e-05, | |
| "loss": 2.0708, | |
| "step": 10200 | |
| }, | |
| { | |
| "epoch": 0.5493333333333333, | |
| "grad_norm": 0.7225857973098755, | |
| "learning_rate": 9.076543209876544e-05, | |
| "loss": 2.0654, | |
| "step": 10300 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 0.7378742694854736, | |
| "learning_rate": 9.05679012345679e-05, | |
| "loss": 2.0584, | |
| "step": 10400 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.6599587202072144, | |
| "learning_rate": 9.037037037037038e-05, | |
| "loss": 2.0936, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 0.5653333333333334, | |
| "grad_norm": 0.7164345383644104, | |
| "learning_rate": 9.017283950617285e-05, | |
| "loss": 2.0878, | |
| "step": 10600 | |
| }, | |
| { | |
| "epoch": 0.5706666666666667, | |
| "grad_norm": 0.7989436984062195, | |
| "learning_rate": 8.99753086419753e-05, | |
| "loss": 2.0893, | |
| "step": 10700 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 0.5961711406707764, | |
| "learning_rate": 8.977777777777779e-05, | |
| "loss": 2.1165, | |
| "step": 10800 | |
| }, | |
| { | |
| "epoch": 0.5813333333333334, | |
| "grad_norm": 0.5447348952293396, | |
| "learning_rate": 8.958024691358025e-05, | |
| "loss": 2.07, | |
| "step": 10900 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.5040400624275208, | |
| "learning_rate": 8.938271604938272e-05, | |
| "loss": 2.069, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 0.7316023111343384, | |
| "learning_rate": 8.918518518518519e-05, | |
| "loss": 2.0704, | |
| "step": 11100 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 0.7436406016349792, | |
| "learning_rate": 8.898765432098766e-05, | |
| "loss": 2.0781, | |
| "step": 11200 | |
| }, | |
| { | |
| "epoch": 0.6026666666666667, | |
| "grad_norm": 0.780662477016449, | |
| "learning_rate": 8.879012345679013e-05, | |
| "loss": 2.0796, | |
| "step": 11300 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 0.38638898730278015, | |
| "learning_rate": 8.85925925925926e-05, | |
| "loss": 2.0674, | |
| "step": 11400 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.796417772769928, | |
| "learning_rate": 8.839506172839507e-05, | |
| "loss": 2.1039, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 0.6186666666666667, | |
| "grad_norm": 0.5450813174247742, | |
| "learning_rate": 8.819753086419753e-05, | |
| "loss": 2.0665, | |
| "step": 11600 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 0.723388671875, | |
| "learning_rate": 8.800000000000001e-05, | |
| "loss": 2.0211, | |
| "step": 11700 | |
| }, | |
| { | |
| "epoch": 0.6293333333333333, | |
| "grad_norm": 0.587385356426239, | |
| "learning_rate": 8.780246913580248e-05, | |
| "loss": 2.058, | |
| "step": 11800 | |
| }, | |
| { | |
| "epoch": 0.6346666666666667, | |
| "grad_norm": 0.7225311994552612, | |
| "learning_rate": 8.760493827160494e-05, | |
| "loss": 2.091, | |
| "step": 11900 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.5954751968383789, | |
| "learning_rate": 8.740740740740741e-05, | |
| "loss": 2.0527, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 0.6453333333333333, | |
| "grad_norm": 0.6405739188194275, | |
| "learning_rate": 8.720987654320988e-05, | |
| "loss": 2.0851, | |
| "step": 12100 | |
| }, | |
| { | |
| "epoch": 0.6506666666666666, | |
| "grad_norm": 0.8862046599388123, | |
| "learning_rate": 8.701234567901235e-05, | |
| "loss": 2.0488, | |
| "step": 12200 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 0.8443213105201721, | |
| "learning_rate": 8.681481481481482e-05, | |
| "loss": 2.1004, | |
| "step": 12300 | |
| }, | |
| { | |
| "epoch": 0.6613333333333333, | |
| "grad_norm": 0.4833635985851288, | |
| "learning_rate": 8.661728395061729e-05, | |
| "loss": 2.0966, | |
| "step": 12400 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.5702592730522156, | |
| "learning_rate": 8.641975308641975e-05, | |
| "loss": 2.1028, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 0.5320633053779602, | |
| "learning_rate": 8.622222222222222e-05, | |
| "loss": 2.0791, | |
| "step": 12600 | |
| }, | |
| { | |
| "epoch": 0.6773333333333333, | |
| "grad_norm": 0.633431077003479, | |
| "learning_rate": 8.60246913580247e-05, | |
| "loss": 2.0869, | |
| "step": 12700 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 0.5407019257545471, | |
| "learning_rate": 8.582716049382716e-05, | |
| "loss": 2.0461, | |
| "step": 12800 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 0.6293824315071106, | |
| "learning_rate": 8.562962962962963e-05, | |
| "loss": 2.0779, | |
| "step": 12900 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.6570181846618652, | |
| "learning_rate": 8.54320987654321e-05, | |
| "loss": 2.0787, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 0.6986666666666667, | |
| "grad_norm": 0.5669022798538208, | |
| "learning_rate": 8.523456790123457e-05, | |
| "loss": 2.0723, | |
| "step": 13100 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 0.48536771535873413, | |
| "learning_rate": 8.503703703703703e-05, | |
| "loss": 2.0595, | |
| "step": 13200 | |
| }, | |
| { | |
| "epoch": 0.7093333333333334, | |
| "grad_norm": 0.6523275375366211, | |
| "learning_rate": 8.483950617283952e-05, | |
| "loss": 2.0535, | |
| "step": 13300 | |
| }, | |
| { | |
| "epoch": 0.7146666666666667, | |
| "grad_norm": 1.5924453735351562, | |
| "learning_rate": 8.464197530864197e-05, | |
| "loss": 2.104, | |
| "step": 13400 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.4971981942653656, | |
| "learning_rate": 8.444444444444444e-05, | |
| "loss": 2.1124, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 0.5070293545722961, | |
| "learning_rate": 8.424691358024693e-05, | |
| "loss": 2.0632, | |
| "step": 13600 | |
| }, | |
| { | |
| "epoch": 0.7306666666666667, | |
| "grad_norm": 0.579257607460022, | |
| "learning_rate": 8.404938271604938e-05, | |
| "loss": 2.0872, | |
| "step": 13700 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 0.8975148797035217, | |
| "learning_rate": 8.385185185185186e-05, | |
| "loss": 2.012, | |
| "step": 13800 | |
| }, | |
| { | |
| "epoch": 0.7413333333333333, | |
| "grad_norm": 0.49330559372901917, | |
| "learning_rate": 8.365432098765433e-05, | |
| "loss": 2.0971, | |
| "step": 13900 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.393557071685791, | |
| "learning_rate": 8.34567901234568e-05, | |
| "loss": 2.0826, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 0.6397143006324768, | |
| "learning_rate": 8.325925925925925e-05, | |
| "loss": 2.057, | |
| "step": 14100 | |
| }, | |
| { | |
| "epoch": 0.7573333333333333, | |
| "grad_norm": 0.7951006889343262, | |
| "learning_rate": 8.306172839506174e-05, | |
| "loss": 2.0554, | |
| "step": 14200 | |
| }, | |
| { | |
| "epoch": 0.7626666666666667, | |
| "grad_norm": 0.987102746963501, | |
| "learning_rate": 8.28641975308642e-05, | |
| "loss": 2.0661, | |
| "step": 14300 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 0.9062942862510681, | |
| "learning_rate": 8.266666666666667e-05, | |
| "loss": 2.048, | |
| "step": 14400 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 1.0964866876602173, | |
| "learning_rate": 8.246913580246915e-05, | |
| "loss": 2.1075, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 0.7786666666666666, | |
| "grad_norm": 0.5198310017585754, | |
| "learning_rate": 8.227160493827161e-05, | |
| "loss": 2.0561, | |
| "step": 14600 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 0.9565565586090088, | |
| "learning_rate": 8.207407407407408e-05, | |
| "loss": 2.1054, | |
| "step": 14700 | |
| }, | |
| { | |
| "epoch": 0.7893333333333333, | |
| "grad_norm": 0.8178491592407227, | |
| "learning_rate": 8.187654320987655e-05, | |
| "loss": 2.0251, | |
| "step": 14800 | |
| }, | |
| { | |
| "epoch": 0.7946666666666666, | |
| "grad_norm": 0.7290851473808289, | |
| "learning_rate": 8.167901234567902e-05, | |
| "loss": 2.0527, | |
| "step": 14900 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.9343177080154419, | |
| "learning_rate": 8.148148148148148e-05, | |
| "loss": 2.0471, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 0.8053333333333333, | |
| "grad_norm": 0.8477184176445007, | |
| "learning_rate": 8.128395061728396e-05, | |
| "loss": 2.0873, | |
| "step": 15100 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 0.6952517032623291, | |
| "learning_rate": 8.108641975308643e-05, | |
| "loss": 2.0497, | |
| "step": 15200 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 1.0783958435058594, | |
| "learning_rate": 8.088888888888889e-05, | |
| "loss": 2.1277, | |
| "step": 15300 | |
| }, | |
| { | |
| "epoch": 0.8213333333333334, | |
| "grad_norm": 0.5011745095252991, | |
| "learning_rate": 8.069135802469136e-05, | |
| "loss": 2.0771, | |
| "step": 15400 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.5990060567855835, | |
| "learning_rate": 8.049382716049383e-05, | |
| "loss": 2.0314, | |
| "step": 15500 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 0.5648114085197449, | |
| "learning_rate": 8.02962962962963e-05, | |
| "loss": 2.0605, | |
| "step": 15600 | |
| }, | |
| { | |
| "epoch": 0.8373333333333334, | |
| "grad_norm": 0.9041962027549744, | |
| "learning_rate": 8.009876543209877e-05, | |
| "loss": 2.0353, | |
| "step": 15700 | |
| }, | |
| { | |
| "epoch": 0.8426666666666667, | |
| "grad_norm": 0.7603209614753723, | |
| "learning_rate": 7.990123456790124e-05, | |
| "loss": 2.0665, | |
| "step": 15800 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 0.6188923716545105, | |
| "learning_rate": 7.97037037037037e-05, | |
| "loss": 2.0496, | |
| "step": 15900 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.7108202576637268, | |
| "learning_rate": 7.950617283950618e-05, | |
| "loss": 2.0617, | |
| "step": 16000 | |
| }, | |
| { | |
| "epoch": 0.8586666666666667, | |
| "grad_norm": 1.17385995388031, | |
| "learning_rate": 7.930864197530865e-05, | |
| "loss": 2.0966, | |
| "step": 16100 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 0.6245660185813904, | |
| "learning_rate": 7.911111111111111e-05, | |
| "loss": 2.0529, | |
| "step": 16200 | |
| }, | |
| { | |
| "epoch": 0.8693333333333333, | |
| "grad_norm": 0.743033766746521, | |
| "learning_rate": 7.891358024691358e-05, | |
| "loss": 2.029, | |
| "step": 16300 | |
| }, | |
| { | |
| "epoch": 0.8746666666666667, | |
| "grad_norm": 0.6590978503227234, | |
| "learning_rate": 7.871604938271605e-05, | |
| "loss": 2.1114, | |
| "step": 16400 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.6657790541648865, | |
| "learning_rate": 7.851851851851852e-05, | |
| "loss": 2.0501, | |
| "step": 16500 | |
| }, | |
| { | |
| "epoch": 0.8853333333333333, | |
| "grad_norm": 0.6255712509155273, | |
| "learning_rate": 7.8320987654321e-05, | |
| "loss": 2.0387, | |
| "step": 16600 | |
| }, | |
| { | |
| "epoch": 0.8906666666666667, | |
| "grad_norm": 0.8806895613670349, | |
| "learning_rate": 7.812345679012346e-05, | |
| "loss": 2.0631, | |
| "step": 16700 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 0.8432735800743103, | |
| "learning_rate": 7.792592592592592e-05, | |
| "loss": 2.1142, | |
| "step": 16800 | |
| }, | |
| { | |
| "epoch": 0.9013333333333333, | |
| "grad_norm": 0.5155588388442993, | |
| "learning_rate": 7.772839506172839e-05, | |
| "loss": 2.0742, | |
| "step": 16900 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.7774249315261841, | |
| "learning_rate": 7.753086419753088e-05, | |
| "loss": 2.0815, | |
| "step": 17000 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 0.6329953074455261, | |
| "learning_rate": 7.733333333333333e-05, | |
| "loss": 2.0545, | |
| "step": 17100 | |
| }, | |
| { | |
| "epoch": 0.9173333333333333, | |
| "grad_norm": 0.630871057510376, | |
| "learning_rate": 7.71358024691358e-05, | |
| "loss": 2.0495, | |
| "step": 17200 | |
| }, | |
| { | |
| "epoch": 0.9226666666666666, | |
| "grad_norm": 0.5286391377449036, | |
| "learning_rate": 7.693827160493828e-05, | |
| "loss": 2.0472, | |
| "step": 17300 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 0.5350430607795715, | |
| "learning_rate": 7.674074074074075e-05, | |
| "loss": 2.1195, | |
| "step": 17400 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.6680503487586975, | |
| "learning_rate": 7.65432098765432e-05, | |
| "loss": 2.0561, | |
| "step": 17500 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 0.8590071201324463, | |
| "learning_rate": 7.634567901234569e-05, | |
| "loss": 2.0548, | |
| "step": 17600 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 0.5548933744430542, | |
| "learning_rate": 7.614814814814816e-05, | |
| "loss": 2.0446, | |
| "step": 17700 | |
| }, | |
| { | |
| "epoch": 0.9493333333333334, | |
| "grad_norm": 0.6411179900169373, | |
| "learning_rate": 7.595061728395062e-05, | |
| "loss": 2.0603, | |
| "step": 17800 | |
| }, | |
| { | |
| "epoch": 0.9546666666666667, | |
| "grad_norm": 0.7736519575119019, | |
| "learning_rate": 7.57530864197531e-05, | |
| "loss": 2.0564, | |
| "step": 17900 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.7531769275665283, | |
| "learning_rate": 7.555555555555556e-05, | |
| "loss": 2.0959, | |
| "step": 18000 | |
| }, | |
| { | |
| "epoch": 0.9653333333333334, | |
| "grad_norm": 0.653451144695282, | |
| "learning_rate": 7.535802469135803e-05, | |
| "loss": 2.0481, | |
| "step": 18100 | |
| }, | |
| { | |
| "epoch": 0.9706666666666667, | |
| "grad_norm": 1.3673148155212402, | |
| "learning_rate": 7.51604938271605e-05, | |
| "loss": 2.0465, | |
| "step": 18200 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 0.4781207740306854, | |
| "learning_rate": 7.496296296296297e-05, | |
| "loss": 2.07, | |
| "step": 18300 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 0.5611870288848877, | |
| "learning_rate": 7.476543209876543e-05, | |
| "loss": 2.0639, | |
| "step": 18400 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.5639889240264893, | |
| "learning_rate": 7.456790123456791e-05, | |
| "loss": 2.072, | |
| "step": 18500 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 0.7608434557914734, | |
| "learning_rate": 7.437037037037038e-05, | |
| "loss": 2.0875, | |
| "step": 18600 | |
| }, | |
| { | |
| "epoch": 0.9973333333333333, | |
| "grad_norm": 0.6209853887557983, | |
| "learning_rate": 7.417283950617284e-05, | |
| "loss": 2.0598, | |
| "step": 18700 | |
| }, | |
| { | |
| "epoch": 1.0026666666666666, | |
| "grad_norm": 0.5591710805892944, | |
| "learning_rate": 7.397530864197532e-05, | |
| "loss": 2.0619, | |
| "step": 18800 | |
| }, | |
| { | |
| "epoch": 1.008, | |
| "grad_norm": 1.3210561275482178, | |
| "learning_rate": 7.377777777777778e-05, | |
| "loss": 2.0301, | |
| "step": 18900 | |
| }, | |
| { | |
| "epoch": 1.0133333333333334, | |
| "grad_norm": 0.7806200385093689, | |
| "learning_rate": 7.358024691358025e-05, | |
| "loss": 2.0869, | |
| "step": 19000 | |
| }, | |
| { | |
| "epoch": 1.0186666666666666, | |
| "grad_norm": 0.5369836091995239, | |
| "learning_rate": 7.338271604938272e-05, | |
| "loss": 2.0602, | |
| "step": 19100 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 0.675226628780365, | |
| "learning_rate": 7.318518518518519e-05, | |
| "loss": 2.0017, | |
| "step": 19200 | |
| }, | |
| { | |
| "epoch": 1.0293333333333334, | |
| "grad_norm": 0.6024062037467957, | |
| "learning_rate": 7.298765432098765e-05, | |
| "loss": 2.0222, | |
| "step": 19300 | |
| }, | |
| { | |
| "epoch": 1.0346666666666666, | |
| "grad_norm": 0.5769805908203125, | |
| "learning_rate": 7.279012345679013e-05, | |
| "loss": 2.0346, | |
| "step": 19400 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 0.7581331133842468, | |
| "learning_rate": 7.25925925925926e-05, | |
| "loss": 2.0598, | |
| "step": 19500 | |
| }, | |
| { | |
| "epoch": 1.0453333333333332, | |
| "grad_norm": 0.7983687520027161, | |
| "learning_rate": 7.239506172839506e-05, | |
| "loss": 2.0356, | |
| "step": 19600 | |
| }, | |
| { | |
| "epoch": 1.0506666666666666, | |
| "grad_norm": 0.4147624373435974, | |
| "learning_rate": 7.219753086419753e-05, | |
| "loss": 2.0328, | |
| "step": 19700 | |
| }, | |
| { | |
| "epoch": 1.056, | |
| "grad_norm": 0.4376736581325531, | |
| "learning_rate": 7.2e-05, | |
| "loss": 2.0722, | |
| "step": 19800 | |
| }, | |
| { | |
| "epoch": 1.0613333333333332, | |
| "grad_norm": 0.7252591848373413, | |
| "learning_rate": 7.180246913580247e-05, | |
| "loss": 2.0429, | |
| "step": 19900 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 0.6404219269752502, | |
| "learning_rate": 7.160493827160494e-05, | |
| "loss": 2.0909, | |
| "step": 20000 | |
| }, | |
| { | |
| "epoch": 1.072, | |
| "grad_norm": 0.6698776483535767, | |
| "learning_rate": 7.140740740740741e-05, | |
| "loss": 2.0706, | |
| "step": 20100 | |
| }, | |
| { | |
| "epoch": 1.0773333333333333, | |
| "grad_norm": 0.8826185464859009, | |
| "learning_rate": 7.120987654320987e-05, | |
| "loss": 2.0223, | |
| "step": 20200 | |
| }, | |
| { | |
| "epoch": 1.0826666666666667, | |
| "grad_norm": 0.600935697555542, | |
| "learning_rate": 7.101234567901236e-05, | |
| "loss": 2.0788, | |
| "step": 20300 | |
| }, | |
| { | |
| "epoch": 1.088, | |
| "grad_norm": 0.6162179708480835, | |
| "learning_rate": 7.081481481481483e-05, | |
| "loss": 2.037, | |
| "step": 20400 | |
| }, | |
| { | |
| "epoch": 1.0933333333333333, | |
| "grad_norm": 0.8088991641998291, | |
| "learning_rate": 7.061728395061728e-05, | |
| "loss": 2.0858, | |
| "step": 20500 | |
| }, | |
| { | |
| "epoch": 1.0986666666666667, | |
| "grad_norm": 0.8790726065635681, | |
| "learning_rate": 7.041975308641975e-05, | |
| "loss": 2.0299, | |
| "step": 20600 | |
| }, | |
| { | |
| "epoch": 1.104, | |
| "grad_norm": 0.8317177295684814, | |
| "learning_rate": 7.022222222222222e-05, | |
| "loss": 2.0463, | |
| "step": 20700 | |
| }, | |
| { | |
| "epoch": 1.1093333333333333, | |
| "grad_norm": 0.6469349265098572, | |
| "learning_rate": 7.00246913580247e-05, | |
| "loss": 2.0508, | |
| "step": 20800 | |
| }, | |
| { | |
| "epoch": 1.1146666666666667, | |
| "grad_norm": 1.093886375427246, | |
| "learning_rate": 6.982716049382717e-05, | |
| "loss": 2.0476, | |
| "step": 20900 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 0.4888819456100464, | |
| "learning_rate": 6.962962962962964e-05, | |
| "loss": 2.0322, | |
| "step": 21000 | |
| }, | |
| { | |
| "epoch": 1.1253333333333333, | |
| "grad_norm": 0.7086312770843506, | |
| "learning_rate": 6.943209876543211e-05, | |
| "loss": 2.0346, | |
| "step": 21100 | |
| }, | |
| { | |
| "epoch": 1.1306666666666667, | |
| "grad_norm": 0.6880414485931396, | |
| "learning_rate": 6.923456790123456e-05, | |
| "loss": 2.0665, | |
| "step": 21200 | |
| }, | |
| { | |
| "epoch": 1.1360000000000001, | |
| "grad_norm": 0.9198958873748779, | |
| "learning_rate": 6.903703703703705e-05, | |
| "loss": 2.0461, | |
| "step": 21300 | |
| }, | |
| { | |
| "epoch": 1.1413333333333333, | |
| "grad_norm": 0.8297547698020935, | |
| "learning_rate": 6.88395061728395e-05, | |
| "loss": 2.082, | |
| "step": 21400 | |
| }, | |
| { | |
| "epoch": 1.1466666666666667, | |
| "grad_norm": 0.6274772882461548, | |
| "learning_rate": 6.864197530864198e-05, | |
| "loss": 2.0255, | |
| "step": 21500 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 0.9063319563865662, | |
| "learning_rate": 6.844444444444445e-05, | |
| "loss": 2.0354, | |
| "step": 21600 | |
| }, | |
| { | |
| "epoch": 1.1573333333333333, | |
| "grad_norm": 0.4685516059398651, | |
| "learning_rate": 6.824691358024692e-05, | |
| "loss": 2.0377, | |
| "step": 21700 | |
| }, | |
| { | |
| "epoch": 1.1626666666666667, | |
| "grad_norm": 0.5672904849052429, | |
| "learning_rate": 6.804938271604938e-05, | |
| "loss": 2.0366, | |
| "step": 21800 | |
| }, | |
| { | |
| "epoch": 1.168, | |
| "grad_norm": 0.7611401677131653, | |
| "learning_rate": 6.785185185185186e-05, | |
| "loss": 2.045, | |
| "step": 21900 | |
| }, | |
| { | |
| "epoch": 1.1733333333333333, | |
| "grad_norm": 0.5895695686340332, | |
| "learning_rate": 6.765432098765433e-05, | |
| "loss": 2.0096, | |
| "step": 22000 | |
| }, | |
| { | |
| "epoch": 1.1786666666666668, | |
| "grad_norm": 0.6452915668487549, | |
| "learning_rate": 6.745679012345679e-05, | |
| "loss": 2.086, | |
| "step": 22100 | |
| }, | |
| { | |
| "epoch": 1.184, | |
| "grad_norm": 0.48788464069366455, | |
| "learning_rate": 6.725925925925927e-05, | |
| "loss": 2.0758, | |
| "step": 22200 | |
| }, | |
| { | |
| "epoch": 1.1893333333333334, | |
| "grad_norm": 0.573157012462616, | |
| "learning_rate": 6.706172839506173e-05, | |
| "loss": 2.0802, | |
| "step": 22300 | |
| }, | |
| { | |
| "epoch": 1.1946666666666665, | |
| "grad_norm": 0.5204229354858398, | |
| "learning_rate": 6.68641975308642e-05, | |
| "loss": 2.0356, | |
| "step": 22400 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.5899271965026855, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 2.0298, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 1.2053333333333334, | |
| "grad_norm": 0.6391649842262268, | |
| "learning_rate": 6.646913580246914e-05, | |
| "loss": 2.0662, | |
| "step": 22600 | |
| }, | |
| { | |
| "epoch": 1.2106666666666666, | |
| "grad_norm": 0.6627355217933655, | |
| "learning_rate": 6.62716049382716e-05, | |
| "loss": 2.0548, | |
| "step": 22700 | |
| }, | |
| { | |
| "epoch": 1.216, | |
| "grad_norm": 0.5311218500137329, | |
| "learning_rate": 6.607407407407408e-05, | |
| "loss": 1.9948, | |
| "step": 22800 | |
| }, | |
| { | |
| "epoch": 1.2213333333333334, | |
| "grad_norm": 0.9641406536102295, | |
| "learning_rate": 6.587654320987655e-05, | |
| "loss": 2.0669, | |
| "step": 22900 | |
| }, | |
| { | |
| "epoch": 1.2266666666666666, | |
| "grad_norm": 0.6077138185501099, | |
| "learning_rate": 6.567901234567901e-05, | |
| "loss": 2.0669, | |
| "step": 23000 | |
| }, | |
| { | |
| "epoch": 1.232, | |
| "grad_norm": 0.5204158425331116, | |
| "learning_rate": 6.54814814814815e-05, | |
| "loss": 2.062, | |
| "step": 23100 | |
| }, | |
| { | |
| "epoch": 1.2373333333333334, | |
| "grad_norm": 0.9628860354423523, | |
| "learning_rate": 6.528395061728395e-05, | |
| "loss": 2.0952, | |
| "step": 23200 | |
| }, | |
| { | |
| "epoch": 1.2426666666666666, | |
| "grad_norm": 0.5133680701255798, | |
| "learning_rate": 6.508641975308642e-05, | |
| "loss": 2.0775, | |
| "step": 23300 | |
| }, | |
| { | |
| "epoch": 1.248, | |
| "grad_norm": 0.5828842520713806, | |
| "learning_rate": 6.488888888888889e-05, | |
| "loss": 2.0523, | |
| "step": 23400 | |
| }, | |
| { | |
| "epoch": 1.2533333333333334, | |
| "grad_norm": 0.5867276787757874, | |
| "learning_rate": 6.469135802469136e-05, | |
| "loss": 2.0385, | |
| "step": 23500 | |
| }, | |
| { | |
| "epoch": 1.2586666666666666, | |
| "grad_norm": 0.6398780941963196, | |
| "learning_rate": 6.449382716049382e-05, | |
| "loss": 2.0688, | |
| "step": 23600 | |
| }, | |
| { | |
| "epoch": 1.264, | |
| "grad_norm": 0.7424252033233643, | |
| "learning_rate": 6.42962962962963e-05, | |
| "loss": 2.0541, | |
| "step": 23700 | |
| }, | |
| { | |
| "epoch": 1.2693333333333334, | |
| "grad_norm": 0.4805736839771271, | |
| "learning_rate": 6.409876543209878e-05, | |
| "loss": 2.0249, | |
| "step": 23800 | |
| }, | |
| { | |
| "epoch": 1.2746666666666666, | |
| "grad_norm": 0.6231108903884888, | |
| "learning_rate": 6.390123456790123e-05, | |
| "loss": 2.0649, | |
| "step": 23900 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 0.5894907712936401, | |
| "learning_rate": 6.37037037037037e-05, | |
| "loss": 2.0826, | |
| "step": 24000 | |
| }, | |
| { | |
| "epoch": 1.2853333333333334, | |
| "grad_norm": 0.6130533218383789, | |
| "learning_rate": 6.350617283950617e-05, | |
| "loss": 2.0835, | |
| "step": 24100 | |
| }, | |
| { | |
| "epoch": 1.2906666666666666, | |
| "grad_norm": 0.5477970242500305, | |
| "learning_rate": 6.330864197530864e-05, | |
| "loss": 1.9892, | |
| "step": 24200 | |
| }, | |
| { | |
| "epoch": 1.296, | |
| "grad_norm": 0.6709659695625305, | |
| "learning_rate": 6.311111111111112e-05, | |
| "loss": 2.0988, | |
| "step": 24300 | |
| }, | |
| { | |
| "epoch": 1.3013333333333335, | |
| "grad_norm": 0.5926287770271301, | |
| "learning_rate": 6.291358024691359e-05, | |
| "loss": 2.0574, | |
| "step": 24400 | |
| }, | |
| { | |
| "epoch": 1.3066666666666666, | |
| "grad_norm": 0.4759414494037628, | |
| "learning_rate": 6.271604938271606e-05, | |
| "loss": 2.0639, | |
| "step": 24500 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 1.087206244468689, | |
| "learning_rate": 6.251851851851853e-05, | |
| "loss": 2.0255, | |
| "step": 24600 | |
| }, | |
| { | |
| "epoch": 1.3173333333333335, | |
| "grad_norm": 2.907650947570801, | |
| "learning_rate": 6.2320987654321e-05, | |
| "loss": 2.0257, | |
| "step": 24700 | |
| }, | |
| { | |
| "epoch": 1.3226666666666667, | |
| "grad_norm": 0.9497508406639099, | |
| "learning_rate": 6.212345679012346e-05, | |
| "loss": 2.0569, | |
| "step": 24800 | |
| }, | |
| { | |
| "epoch": 1.328, | |
| "grad_norm": 0.6407359838485718, | |
| "learning_rate": 6.192592592592593e-05, | |
| "loss": 2.0357, | |
| "step": 24900 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 0.6114162802696228, | |
| "learning_rate": 6.17283950617284e-05, | |
| "loss": 2.0547, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 1.3386666666666667, | |
| "grad_norm": 0.7221469283103943, | |
| "learning_rate": 6.153086419753087e-05, | |
| "loss": 2.0903, | |
| "step": 25100 | |
| }, | |
| { | |
| "epoch": 1.3439999999999999, | |
| "grad_norm": 0.6412240862846375, | |
| "learning_rate": 6.133333333333334e-05, | |
| "loss": 2.0202, | |
| "step": 25200 | |
| }, | |
| { | |
| "epoch": 1.3493333333333333, | |
| "grad_norm": 0.6282508373260498, | |
| "learning_rate": 6.113580246913581e-05, | |
| "loss": 2.0575, | |
| "step": 25300 | |
| }, | |
| { | |
| "epoch": 1.3546666666666667, | |
| "grad_norm": 0.6536335349082947, | |
| "learning_rate": 6.093827160493828e-05, | |
| "loss": 2.0365, | |
| "step": 25400 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 0.6183179616928101, | |
| "learning_rate": 6.074074074074074e-05, | |
| "loss": 2.0856, | |
| "step": 25500 | |
| }, | |
| { | |
| "epoch": 1.3653333333333333, | |
| "grad_norm": 0.483711838722229, | |
| "learning_rate": 6.0543209876543214e-05, | |
| "loss": 1.9933, | |
| "step": 25600 | |
| }, | |
| { | |
| "epoch": 1.3706666666666667, | |
| "grad_norm": 0.3964633047580719, | |
| "learning_rate": 6.034567901234568e-05, | |
| "loss": 2.0542, | |
| "step": 25700 | |
| }, | |
| { | |
| "epoch": 1.376, | |
| "grad_norm": 0.8411757349967957, | |
| "learning_rate": 6.0148148148148155e-05, | |
| "loss": 2.0124, | |
| "step": 25800 | |
| }, | |
| { | |
| "epoch": 1.3813333333333333, | |
| "grad_norm": 0.6833470463752747, | |
| "learning_rate": 5.995061728395062e-05, | |
| "loss": 2.0712, | |
| "step": 25900 | |
| }, | |
| { | |
| "epoch": 1.3866666666666667, | |
| "grad_norm": 0.6595538258552551, | |
| "learning_rate": 5.975308641975309e-05, | |
| "loss": 2.0736, | |
| "step": 26000 | |
| }, | |
| { | |
| "epoch": 1.392, | |
| "grad_norm": 0.6516716480255127, | |
| "learning_rate": 5.9555555555555554e-05, | |
| "loss": 2.0035, | |
| "step": 26100 | |
| }, | |
| { | |
| "epoch": 1.3973333333333333, | |
| "grad_norm": 0.6968256831169128, | |
| "learning_rate": 5.9358024691358024e-05, | |
| "loss": 2.0433, | |
| "step": 26200 | |
| }, | |
| { | |
| "epoch": 1.4026666666666667, | |
| "grad_norm": 0.5246764421463013, | |
| "learning_rate": 5.91604938271605e-05, | |
| "loss": 2.0572, | |
| "step": 26300 | |
| }, | |
| { | |
| "epoch": 1.408, | |
| "grad_norm": 0.9179352521896362, | |
| "learning_rate": 5.8962962962962966e-05, | |
| "loss": 2.0471, | |
| "step": 26400 | |
| }, | |
| { | |
| "epoch": 1.4133333333333333, | |
| "grad_norm": 0.5108512043952942, | |
| "learning_rate": 5.8765432098765437e-05, | |
| "loss": 1.9972, | |
| "step": 26500 | |
| }, | |
| { | |
| "epoch": 1.4186666666666667, | |
| "grad_norm": 0.431037038564682, | |
| "learning_rate": 5.85679012345679e-05, | |
| "loss": 2.0375, | |
| "step": 26600 | |
| }, | |
| { | |
| "epoch": 1.424, | |
| "grad_norm": 0.9202925562858582, | |
| "learning_rate": 5.837037037037038e-05, | |
| "loss": 2.047, | |
| "step": 26700 | |
| }, | |
| { | |
| "epoch": 1.4293333333333333, | |
| "grad_norm": 0.6085455417633057, | |
| "learning_rate": 5.8172839506172835e-05, | |
| "loss": 2.0397, | |
| "step": 26800 | |
| }, | |
| { | |
| "epoch": 1.4346666666666668, | |
| "grad_norm": 0.5094907879829407, | |
| "learning_rate": 5.797530864197531e-05, | |
| "loss": 2.0264, | |
| "step": 26900 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 0.5523035526275635, | |
| "learning_rate": 5.7777777777777776e-05, | |
| "loss": 2.0676, | |
| "step": 27000 | |
| }, | |
| { | |
| "epoch": 1.4453333333333334, | |
| "grad_norm": 0.6877738833427429, | |
| "learning_rate": 5.758024691358025e-05, | |
| "loss": 2.0069, | |
| "step": 27100 | |
| }, | |
| { | |
| "epoch": 1.4506666666666668, | |
| "grad_norm": 0.7142253518104553, | |
| "learning_rate": 5.7382716049382725e-05, | |
| "loss": 2.018, | |
| "step": 27200 | |
| }, | |
| { | |
| "epoch": 1.456, | |
| "grad_norm": 0.7527485489845276, | |
| "learning_rate": 5.718518518518519e-05, | |
| "loss": 2.0418, | |
| "step": 27300 | |
| }, | |
| { | |
| "epoch": 1.4613333333333334, | |
| "grad_norm": 0.9991804361343384, | |
| "learning_rate": 5.698765432098766e-05, | |
| "loss": 2.0599, | |
| "step": 27400 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 0.8364921808242798, | |
| "learning_rate": 5.679012345679012e-05, | |
| "loss": 2.0892, | |
| "step": 27500 | |
| }, | |
| { | |
| "epoch": 1.472, | |
| "grad_norm": 0.5878220200538635, | |
| "learning_rate": 5.6592592592592594e-05, | |
| "loss": 2.0886, | |
| "step": 27600 | |
| }, | |
| { | |
| "epoch": 1.4773333333333334, | |
| "grad_norm": 0.5831034183502197, | |
| "learning_rate": 5.639506172839506e-05, | |
| "loss": 2.0776, | |
| "step": 27700 | |
| }, | |
| { | |
| "epoch": 1.4826666666666668, | |
| "grad_norm": 0.9932427406311035, | |
| "learning_rate": 5.6197530864197535e-05, | |
| "loss": 2.0642, | |
| "step": 27800 | |
| }, | |
| { | |
| "epoch": 1.488, | |
| "grad_norm": 0.5148542523384094, | |
| "learning_rate": 5.6000000000000006e-05, | |
| "loss": 2.0693, | |
| "step": 27900 | |
| }, | |
| { | |
| "epoch": 1.4933333333333334, | |
| "grad_norm": 0.5885737538337708, | |
| "learning_rate": 5.580246913580247e-05, | |
| "loss": 2.0255, | |
| "step": 28000 | |
| }, | |
| { | |
| "epoch": 1.4986666666666666, | |
| "grad_norm": 0.629629909992218, | |
| "learning_rate": 5.560493827160495e-05, | |
| "loss": 1.9848, | |
| "step": 28100 | |
| }, | |
| { | |
| "epoch": 1.504, | |
| "grad_norm": 0.45451608300209045, | |
| "learning_rate": 5.540740740740741e-05, | |
| "loss": 2.0405, | |
| "step": 28200 | |
| }, | |
| { | |
| "epoch": 1.5093333333333332, | |
| "grad_norm": 0.6025005578994751, | |
| "learning_rate": 5.520987654320988e-05, | |
| "loss": 2.027, | |
| "step": 28300 | |
| }, | |
| { | |
| "epoch": 1.5146666666666668, | |
| "grad_norm": 0.7432264685630798, | |
| "learning_rate": 5.5012345679012346e-05, | |
| "loss": 2.0179, | |
| "step": 28400 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 0.9473236799240112, | |
| "learning_rate": 5.4814814814814817e-05, | |
| "loss": 2.0246, | |
| "step": 28500 | |
| }, | |
| { | |
| "epoch": 1.5253333333333332, | |
| "grad_norm": 0.8477017879486084, | |
| "learning_rate": 5.461728395061728e-05, | |
| "loss": 2.0516, | |
| "step": 28600 | |
| }, | |
| { | |
| "epoch": 1.5306666666666666, | |
| "grad_norm": 1.1563477516174316, | |
| "learning_rate": 5.441975308641976e-05, | |
| "loss": 2.0712, | |
| "step": 28700 | |
| }, | |
| { | |
| "epoch": 1.536, | |
| "grad_norm": 0.7200543880462646, | |
| "learning_rate": 5.422222222222223e-05, | |
| "loss": 2.0196, | |
| "step": 28800 | |
| }, | |
| { | |
| "epoch": 1.5413333333333332, | |
| "grad_norm": 1.0606831312179565, | |
| "learning_rate": 5.402469135802469e-05, | |
| "loss": 2.0293, | |
| "step": 28900 | |
| }, | |
| { | |
| "epoch": 1.5466666666666666, | |
| "grad_norm": 0.8895442485809326, | |
| "learning_rate": 5.382716049382717e-05, | |
| "loss": 2.0728, | |
| "step": 29000 | |
| }, | |
| { | |
| "epoch": 1.552, | |
| "grad_norm": 1.058398723602295, | |
| "learning_rate": 5.362962962962963e-05, | |
| "loss": 2.0261, | |
| "step": 29100 | |
| }, | |
| { | |
| "epoch": 1.5573333333333332, | |
| "grad_norm": 0.4767957925796509, | |
| "learning_rate": 5.3432098765432105e-05, | |
| "loss": 2.0287, | |
| "step": 29200 | |
| }, | |
| { | |
| "epoch": 1.5626666666666666, | |
| "grad_norm": 0.569279670715332, | |
| "learning_rate": 5.323456790123457e-05, | |
| "loss": 2.0227, | |
| "step": 29300 | |
| }, | |
| { | |
| "epoch": 1.568, | |
| "grad_norm": 1.12186598777771, | |
| "learning_rate": 5.303703703703704e-05, | |
| "loss": 2.0144, | |
| "step": 29400 | |
| }, | |
| { | |
| "epoch": 1.5733333333333333, | |
| "grad_norm": 1.001168966293335, | |
| "learning_rate": 5.28395061728395e-05, | |
| "loss": 2.0363, | |
| "step": 29500 | |
| }, | |
| { | |
| "epoch": 1.5786666666666667, | |
| "grad_norm": 0.7053237557411194, | |
| "learning_rate": 5.264197530864198e-05, | |
| "loss": 2.0524, | |
| "step": 29600 | |
| }, | |
| { | |
| "epoch": 1.584, | |
| "grad_norm": 0.5652233362197876, | |
| "learning_rate": 5.244444444444445e-05, | |
| "loss": 2.0648, | |
| "step": 29700 | |
| }, | |
| { | |
| "epoch": 1.5893333333333333, | |
| "grad_norm": 0.809797465801239, | |
| "learning_rate": 5.2246913580246915e-05, | |
| "loss": 2.0131, | |
| "step": 29800 | |
| }, | |
| { | |
| "epoch": 1.5946666666666667, | |
| "grad_norm": 0.6955821514129639, | |
| "learning_rate": 5.2049382716049386e-05, | |
| "loss": 2.0273, | |
| "step": 29900 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.8095828890800476, | |
| "learning_rate": 5.185185185185185e-05, | |
| "loss": 2.0548, | |
| "step": 30000 | |
| }, | |
| { | |
| "epoch": 1.6053333333333333, | |
| "grad_norm": 1.134650707244873, | |
| "learning_rate": 5.165432098765433e-05, | |
| "loss": 2.0488, | |
| "step": 30100 | |
| }, | |
| { | |
| "epoch": 1.6106666666666667, | |
| "grad_norm": 1.1392388343811035, | |
| "learning_rate": 5.145679012345679e-05, | |
| "loss": 2.0042, | |
| "step": 30200 | |
| }, | |
| { | |
| "epoch": 1.616, | |
| "grad_norm": 0.7492673993110657, | |
| "learning_rate": 5.125925925925926e-05, | |
| "loss": 2.046, | |
| "step": 30300 | |
| }, | |
| { | |
| "epoch": 1.6213333333333333, | |
| "grad_norm": 0.6921607255935669, | |
| "learning_rate": 5.1061728395061726e-05, | |
| "loss": 2.0747, | |
| "step": 30400 | |
| }, | |
| { | |
| "epoch": 1.6266666666666667, | |
| "grad_norm": 0.6167134642601013, | |
| "learning_rate": 5.0864197530864197e-05, | |
| "loss": 2.0113, | |
| "step": 30500 | |
| }, | |
| { | |
| "epoch": 1.6320000000000001, | |
| "grad_norm": 0.546649694442749, | |
| "learning_rate": 5.0666666666666674e-05, | |
| "loss": 2.0164, | |
| "step": 30600 | |
| }, | |
| { | |
| "epoch": 1.6373333333333333, | |
| "grad_norm": 0.7938030362129211, | |
| "learning_rate": 5.046913580246914e-05, | |
| "loss": 2.0444, | |
| "step": 30700 | |
| }, | |
| { | |
| "epoch": 1.6426666666666667, | |
| "grad_norm": 0.5452690124511719, | |
| "learning_rate": 5.027160493827161e-05, | |
| "loss": 2.0515, | |
| "step": 30800 | |
| }, | |
| { | |
| "epoch": 1.6480000000000001, | |
| "grad_norm": 0.6031842827796936, | |
| "learning_rate": 5.007407407407407e-05, | |
| "loss": 2.0179, | |
| "step": 30900 | |
| }, | |
| { | |
| "epoch": 1.6533333333333333, | |
| "grad_norm": 0.5245907306671143, | |
| "learning_rate": 4.987654320987655e-05, | |
| "loss": 2.0426, | |
| "step": 31000 | |
| }, | |
| { | |
| "epoch": 1.6586666666666665, | |
| "grad_norm": 0.7881734371185303, | |
| "learning_rate": 4.9679012345679014e-05, | |
| "loss": 2.0713, | |
| "step": 31100 | |
| }, | |
| { | |
| "epoch": 1.6640000000000001, | |
| "grad_norm": 0.6271116733551025, | |
| "learning_rate": 4.9481481481481485e-05, | |
| "loss": 2.067, | |
| "step": 31200 | |
| }, | |
| { | |
| "epoch": 1.6693333333333333, | |
| "grad_norm": 0.8121944069862366, | |
| "learning_rate": 4.9283950617283955e-05, | |
| "loss": 2.0571, | |
| "step": 31300 | |
| }, | |
| { | |
| "epoch": 1.6746666666666665, | |
| "grad_norm": 0.6912474632263184, | |
| "learning_rate": 4.908641975308642e-05, | |
| "loss": 1.9871, | |
| "step": 31400 | |
| }, | |
| { | |
| "epoch": 1.6800000000000002, | |
| "grad_norm": 0.8871597647666931, | |
| "learning_rate": 4.888888888888889e-05, | |
| "loss": 2.0471, | |
| "step": 31500 | |
| }, | |
| { | |
| "epoch": 1.6853333333333333, | |
| "grad_norm": 0.6574471592903137, | |
| "learning_rate": 4.869135802469136e-05, | |
| "loss": 2.0773, | |
| "step": 31600 | |
| }, | |
| { | |
| "epoch": 1.6906666666666665, | |
| "grad_norm": 0.6128331422805786, | |
| "learning_rate": 4.849382716049383e-05, | |
| "loss": 2.0573, | |
| "step": 31700 | |
| }, | |
| { | |
| "epoch": 1.696, | |
| "grad_norm": 0.6134144067764282, | |
| "learning_rate": 4.82962962962963e-05, | |
| "loss": 2.0294, | |
| "step": 31800 | |
| }, | |
| { | |
| "epoch": 1.7013333333333334, | |
| "grad_norm": 0.6109450459480286, | |
| "learning_rate": 4.8098765432098766e-05, | |
| "loss": 2.0374, | |
| "step": 31900 | |
| }, | |
| { | |
| "epoch": 1.7066666666666666, | |
| "grad_norm": 1.4130234718322754, | |
| "learning_rate": 4.7901234567901237e-05, | |
| "loss": 2.059, | |
| "step": 32000 | |
| }, | |
| { | |
| "epoch": 1.712, | |
| "grad_norm": 0.7421437501907349, | |
| "learning_rate": 4.770370370370371e-05, | |
| "loss": 2.0364, | |
| "step": 32100 | |
| }, | |
| { | |
| "epoch": 1.7173333333333334, | |
| "grad_norm": 1.2888473272323608, | |
| "learning_rate": 4.750617283950617e-05, | |
| "loss": 2.0489, | |
| "step": 32200 | |
| }, | |
| { | |
| "epoch": 1.7226666666666666, | |
| "grad_norm": 0.6860755681991577, | |
| "learning_rate": 4.730864197530864e-05, | |
| "loss": 2.0442, | |
| "step": 32300 | |
| }, | |
| { | |
| "epoch": 1.728, | |
| "grad_norm": 0.7492291927337646, | |
| "learning_rate": 4.711111111111111e-05, | |
| "loss": 2.0457, | |
| "step": 32400 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 0.6901967525482178, | |
| "learning_rate": 4.691358024691358e-05, | |
| "loss": 2.066, | |
| "step": 32500 | |
| }, | |
| { | |
| "epoch": 1.7386666666666666, | |
| "grad_norm": 0.6294029355049133, | |
| "learning_rate": 4.6716049382716054e-05, | |
| "loss": 2.0607, | |
| "step": 32600 | |
| }, | |
| { | |
| "epoch": 1.744, | |
| "grad_norm": 0.6338596940040588, | |
| "learning_rate": 4.6518518518518525e-05, | |
| "loss": 2.0465, | |
| "step": 32700 | |
| }, | |
| { | |
| "epoch": 1.7493333333333334, | |
| "grad_norm": 0.5143771767616272, | |
| "learning_rate": 4.632098765432099e-05, | |
| "loss": 2.0422, | |
| "step": 32800 | |
| }, | |
| { | |
| "epoch": 1.7546666666666666, | |
| "grad_norm": 0.9393063187599182, | |
| "learning_rate": 4.612345679012346e-05, | |
| "loss": 2.0148, | |
| "step": 32900 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 0.6895497441291809, | |
| "learning_rate": 4.592592592592593e-05, | |
| "loss": 2.042, | |
| "step": 33000 | |
| }, | |
| { | |
| "epoch": 1.7653333333333334, | |
| "grad_norm": 0.530208945274353, | |
| "learning_rate": 4.5728395061728394e-05, | |
| "loss": 2.0445, | |
| "step": 33100 | |
| }, | |
| { | |
| "epoch": 1.7706666666666666, | |
| "grad_norm": 0.5613877177238464, | |
| "learning_rate": 4.5530864197530865e-05, | |
| "loss": 2.0927, | |
| "step": 33200 | |
| }, | |
| { | |
| "epoch": 1.776, | |
| "grad_norm": 0.6484476923942566, | |
| "learning_rate": 4.5333333333333335e-05, | |
| "loss": 1.9977, | |
| "step": 33300 | |
| }, | |
| { | |
| "epoch": 1.7813333333333334, | |
| "grad_norm": 0.9831278920173645, | |
| "learning_rate": 4.5135802469135806e-05, | |
| "loss": 2.0373, | |
| "step": 33400 | |
| }, | |
| { | |
| "epoch": 1.7866666666666666, | |
| "grad_norm": 0.6868444085121155, | |
| "learning_rate": 4.493827160493828e-05, | |
| "loss": 2.0126, | |
| "step": 33500 | |
| }, | |
| { | |
| "epoch": 1.792, | |
| "grad_norm": 0.7208437919616699, | |
| "learning_rate": 4.474074074074075e-05, | |
| "loss": 2.0997, | |
| "step": 33600 | |
| }, | |
| { | |
| "epoch": 1.7973333333333334, | |
| "grad_norm": 0.7249643802642822, | |
| "learning_rate": 4.454320987654321e-05, | |
| "loss": 2.0636, | |
| "step": 33700 | |
| }, | |
| { | |
| "epoch": 1.8026666666666666, | |
| "grad_norm": 1.1763639450073242, | |
| "learning_rate": 4.434567901234568e-05, | |
| "loss": 2.051, | |
| "step": 33800 | |
| }, | |
| { | |
| "epoch": 1.808, | |
| "grad_norm": 0.5872628688812256, | |
| "learning_rate": 4.414814814814815e-05, | |
| "loss": 2.016, | |
| "step": 33900 | |
| }, | |
| { | |
| "epoch": 1.8133333333333335, | |
| "grad_norm": 0.5025182962417603, | |
| "learning_rate": 4.3950617283950617e-05, | |
| "loss": 2.0081, | |
| "step": 34000 | |
| }, | |
| { | |
| "epoch": 1.8186666666666667, | |
| "grad_norm": 0.8002138137817383, | |
| "learning_rate": 4.375308641975309e-05, | |
| "loss": 2.039, | |
| "step": 34100 | |
| }, | |
| { | |
| "epoch": 1.8239999999999998, | |
| "grad_norm": 0.5536086559295654, | |
| "learning_rate": 4.355555555555556e-05, | |
| "loss": 2.0849, | |
| "step": 34200 | |
| }, | |
| { | |
| "epoch": 1.8293333333333335, | |
| "grad_norm": 0.764831006526947, | |
| "learning_rate": 4.335802469135803e-05, | |
| "loss": 2.0677, | |
| "step": 34300 | |
| }, | |
| { | |
| "epoch": 1.8346666666666667, | |
| "grad_norm": 0.49922725558280945, | |
| "learning_rate": 4.31604938271605e-05, | |
| "loss": 2.0396, | |
| "step": 34400 | |
| }, | |
| { | |
| "epoch": 1.8399999999999999, | |
| "grad_norm": 0.853859007358551, | |
| "learning_rate": 4.296296296296296e-05, | |
| "loss": 2.0238, | |
| "step": 34500 | |
| }, | |
| { | |
| "epoch": 1.8453333333333335, | |
| "grad_norm": 0.6294510364532471, | |
| "learning_rate": 4.2765432098765434e-05, | |
| "loss": 2.0204, | |
| "step": 34600 | |
| }, | |
| { | |
| "epoch": 1.8506666666666667, | |
| "grad_norm": 0.7914542555809021, | |
| "learning_rate": 4.2567901234567905e-05, | |
| "loss": 2.0344, | |
| "step": 34700 | |
| }, | |
| { | |
| "epoch": 1.8559999999999999, | |
| "grad_norm": 0.8659695982933044, | |
| "learning_rate": 4.237037037037037e-05, | |
| "loss": 2.0086, | |
| "step": 34800 | |
| }, | |
| { | |
| "epoch": 1.8613333333333333, | |
| "grad_norm": 1.0103930234909058, | |
| "learning_rate": 4.217283950617284e-05, | |
| "loss": 2.0573, | |
| "step": 34900 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 0.7706626057624817, | |
| "learning_rate": 4.197530864197531e-05, | |
| "loss": 2.0145, | |
| "step": 35000 | |
| }, | |
| { | |
| "epoch": 1.8719999999999999, | |
| "grad_norm": 1.0801891088485718, | |
| "learning_rate": 4.177777777777778e-05, | |
| "loss": 2.0783, | |
| "step": 35100 | |
| }, | |
| { | |
| "epoch": 1.8773333333333333, | |
| "grad_norm": 0.8771151900291443, | |
| "learning_rate": 4.158024691358025e-05, | |
| "loss": 2.0511, | |
| "step": 35200 | |
| }, | |
| { | |
| "epoch": 1.8826666666666667, | |
| "grad_norm": 0.9894670844078064, | |
| "learning_rate": 4.138271604938272e-05, | |
| "loss": 2.0688, | |
| "step": 35300 | |
| }, | |
| { | |
| "epoch": 1.888, | |
| "grad_norm": 0.7151328325271606, | |
| "learning_rate": 4.1185185185185186e-05, | |
| "loss": 2.0185, | |
| "step": 35400 | |
| }, | |
| { | |
| "epoch": 1.8933333333333333, | |
| "grad_norm": 1.0852466821670532, | |
| "learning_rate": 4.0987654320987657e-05, | |
| "loss": 2.0377, | |
| "step": 35500 | |
| }, | |
| { | |
| "epoch": 1.8986666666666667, | |
| "grad_norm": 0.9748551845550537, | |
| "learning_rate": 4.079012345679013e-05, | |
| "loss": 2.0633, | |
| "step": 35600 | |
| }, | |
| { | |
| "epoch": 1.904, | |
| "grad_norm": 0.8319186568260193, | |
| "learning_rate": 4.059259259259259e-05, | |
| "loss": 1.9941, | |
| "step": 35700 | |
| }, | |
| { | |
| "epoch": 1.9093333333333333, | |
| "grad_norm": 0.4712691307067871, | |
| "learning_rate": 4.039506172839506e-05, | |
| "loss": 2.0415, | |
| "step": 35800 | |
| }, | |
| { | |
| "epoch": 1.9146666666666667, | |
| "grad_norm": 0.5346969962120056, | |
| "learning_rate": 4.019753086419753e-05, | |
| "loss": 2.0588, | |
| "step": 35900 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 0.5510269403457642, | |
| "learning_rate": 4e-05, | |
| "loss": 2.0344, | |
| "step": 36000 | |
| }, | |
| { | |
| "epoch": 1.9253333333333333, | |
| "grad_norm": 1.150915503501892, | |
| "learning_rate": 3.9802469135802474e-05, | |
| "loss": 2.0741, | |
| "step": 36100 | |
| }, | |
| { | |
| "epoch": 1.9306666666666668, | |
| "grad_norm": 0.5947351455688477, | |
| "learning_rate": 3.960493827160494e-05, | |
| "loss": 2.0592, | |
| "step": 36200 | |
| }, | |
| { | |
| "epoch": 1.936, | |
| "grad_norm": 0.7571457624435425, | |
| "learning_rate": 3.940740740740741e-05, | |
| "loss": 2.0823, | |
| "step": 36300 | |
| }, | |
| { | |
| "epoch": 1.9413333333333334, | |
| "grad_norm": 0.8551873564720154, | |
| "learning_rate": 3.920987654320988e-05, | |
| "loss": 1.9975, | |
| "step": 36400 | |
| }, | |
| { | |
| "epoch": 1.9466666666666668, | |
| "grad_norm": 0.6090919375419617, | |
| "learning_rate": 3.901234567901234e-05, | |
| "loss": 2.0469, | |
| "step": 36500 | |
| }, | |
| { | |
| "epoch": 1.952, | |
| "grad_norm": 0.5984436273574829, | |
| "learning_rate": 3.8814814814814814e-05, | |
| "loss": 2.0469, | |
| "step": 36600 | |
| }, | |
| { | |
| "epoch": 1.9573333333333334, | |
| "grad_norm": 0.5614036917686462, | |
| "learning_rate": 3.8617283950617285e-05, | |
| "loss": 2.0762, | |
| "step": 36700 | |
| }, | |
| { | |
| "epoch": 1.9626666666666668, | |
| "grad_norm": 0.960469126701355, | |
| "learning_rate": 3.8419753086419755e-05, | |
| "loss": 2.0817, | |
| "step": 36800 | |
| }, | |
| { | |
| "epoch": 1.968, | |
| "grad_norm": 1.4559673070907593, | |
| "learning_rate": 3.8222222222222226e-05, | |
| "loss": 2.0515, | |
| "step": 36900 | |
| }, | |
| { | |
| "epoch": 1.9733333333333334, | |
| "grad_norm": 0.8324834108352661, | |
| "learning_rate": 3.80246913580247e-05, | |
| "loss": 2.0402, | |
| "step": 37000 | |
| }, | |
| { | |
| "epoch": 1.9786666666666668, | |
| "grad_norm": 0.9975531101226807, | |
| "learning_rate": 3.782716049382716e-05, | |
| "loss": 2.0413, | |
| "step": 37100 | |
| }, | |
| { | |
| "epoch": 1.984, | |
| "grad_norm": 0.8751619458198547, | |
| "learning_rate": 3.762962962962963e-05, | |
| "loss": 2.0347, | |
| "step": 37200 | |
| }, | |
| { | |
| "epoch": 1.9893333333333332, | |
| "grad_norm": 0.8474381566047668, | |
| "learning_rate": 3.74320987654321e-05, | |
| "loss": 2.0697, | |
| "step": 37300 | |
| }, | |
| { | |
| "epoch": 1.9946666666666668, | |
| "grad_norm": 0.7619863748550415, | |
| "learning_rate": 3.7234567901234566e-05, | |
| "loss": 2.0226, | |
| "step": 37400 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.5834560394287109, | |
| "learning_rate": 3.7037037037037037e-05, | |
| "loss": 2.0481, | |
| "step": 37500 | |
| }, | |
| { | |
| "epoch": 2.005333333333333, | |
| "grad_norm": 0.7582707405090332, | |
| "learning_rate": 3.683950617283951e-05, | |
| "loss": 1.9857, | |
| "step": 37600 | |
| }, | |
| { | |
| "epoch": 2.010666666666667, | |
| "grad_norm": 0.7678856253623962, | |
| "learning_rate": 3.664197530864198e-05, | |
| "loss": 2.0455, | |
| "step": 37700 | |
| }, | |
| { | |
| "epoch": 2.016, | |
| "grad_norm": 0.5131116509437561, | |
| "learning_rate": 3.644444444444445e-05, | |
| "loss": 2.0309, | |
| "step": 37800 | |
| }, | |
| { | |
| "epoch": 2.021333333333333, | |
| "grad_norm": 0.7812488079071045, | |
| "learning_rate": 3.624691358024692e-05, | |
| "loss": 2.0206, | |
| "step": 37900 | |
| }, | |
| { | |
| "epoch": 2.026666666666667, | |
| "grad_norm": 0.6468250751495361, | |
| "learning_rate": 3.604938271604938e-05, | |
| "loss": 2.0333, | |
| "step": 38000 | |
| }, | |
| { | |
| "epoch": 2.032, | |
| "grad_norm": 0.6262722611427307, | |
| "learning_rate": 3.5851851851851854e-05, | |
| "loss": 2.0383, | |
| "step": 38100 | |
| }, | |
| { | |
| "epoch": 2.037333333333333, | |
| "grad_norm": 0.7510653138160706, | |
| "learning_rate": 3.5654320987654325e-05, | |
| "loss": 2.0018, | |
| "step": 38200 | |
| }, | |
| { | |
| "epoch": 2.042666666666667, | |
| "grad_norm": 0.8091033697128296, | |
| "learning_rate": 3.545679012345679e-05, | |
| "loss": 2.0148, | |
| "step": 38300 | |
| }, | |
| { | |
| "epoch": 2.048, | |
| "grad_norm": 0.5930265784263611, | |
| "learning_rate": 3.525925925925926e-05, | |
| "loss": 2.0039, | |
| "step": 38400 | |
| }, | |
| { | |
| "epoch": 2.0533333333333332, | |
| "grad_norm": 0.6136398315429688, | |
| "learning_rate": 3.506172839506173e-05, | |
| "loss": 2.0607, | |
| "step": 38500 | |
| }, | |
| { | |
| "epoch": 2.058666666666667, | |
| "grad_norm": 0.8795991539955139, | |
| "learning_rate": 3.48641975308642e-05, | |
| "loss": 2.0078, | |
| "step": 38600 | |
| }, | |
| { | |
| "epoch": 2.064, | |
| "grad_norm": 0.6720227003097534, | |
| "learning_rate": 3.466666666666667e-05, | |
| "loss": 2.0626, | |
| "step": 38700 | |
| }, | |
| { | |
| "epoch": 2.0693333333333332, | |
| "grad_norm": 0.6464062333106995, | |
| "learning_rate": 3.4469135802469135e-05, | |
| "loss": 2.0507, | |
| "step": 38800 | |
| }, | |
| { | |
| "epoch": 2.074666666666667, | |
| "grad_norm": 0.6752302050590515, | |
| "learning_rate": 3.4271604938271606e-05, | |
| "loss": 2.0234, | |
| "step": 38900 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 0.5629719495773315, | |
| "learning_rate": 3.4074074074074077e-05, | |
| "loss": 1.9972, | |
| "step": 39000 | |
| }, | |
| { | |
| "epoch": 2.0853333333333333, | |
| "grad_norm": 0.486175000667572, | |
| "learning_rate": 3.387654320987654e-05, | |
| "loss": 2.0319, | |
| "step": 39100 | |
| }, | |
| { | |
| "epoch": 2.0906666666666665, | |
| "grad_norm": 0.7052944302558899, | |
| "learning_rate": 3.367901234567901e-05, | |
| "loss": 2.013, | |
| "step": 39200 | |
| }, | |
| { | |
| "epoch": 2.096, | |
| "grad_norm": 0.7159540057182312, | |
| "learning_rate": 3.348148148148148e-05, | |
| "loss": 2.0354, | |
| "step": 39300 | |
| }, | |
| { | |
| "epoch": 2.1013333333333333, | |
| "grad_norm": 0.7551370859146118, | |
| "learning_rate": 3.328395061728395e-05, | |
| "loss": 2.0258, | |
| "step": 39400 | |
| }, | |
| { | |
| "epoch": 2.1066666666666665, | |
| "grad_norm": 0.6623523235321045, | |
| "learning_rate": 3.308641975308642e-05, | |
| "loss": 2.0118, | |
| "step": 39500 | |
| }, | |
| { | |
| "epoch": 2.112, | |
| "grad_norm": 0.66554856300354, | |
| "learning_rate": 3.2888888888888894e-05, | |
| "loss": 1.9995, | |
| "step": 39600 | |
| }, | |
| { | |
| "epoch": 2.1173333333333333, | |
| "grad_norm": 0.6979326009750366, | |
| "learning_rate": 3.269135802469136e-05, | |
| "loss": 1.9843, | |
| "step": 39700 | |
| }, | |
| { | |
| "epoch": 2.1226666666666665, | |
| "grad_norm": 0.5939006805419922, | |
| "learning_rate": 3.249382716049383e-05, | |
| "loss": 1.9843, | |
| "step": 39800 | |
| }, | |
| { | |
| "epoch": 2.128, | |
| "grad_norm": 0.8955949544906616, | |
| "learning_rate": 3.22962962962963e-05, | |
| "loss": 2.0513, | |
| "step": 39900 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 0.8185329437255859, | |
| "learning_rate": 3.209876543209876e-05, | |
| "loss": 1.9884, | |
| "step": 40000 | |
| }, | |
| { | |
| "epoch": 2.1386666666666665, | |
| "grad_norm": 0.6219213604927063, | |
| "learning_rate": 3.1901234567901234e-05, | |
| "loss": 1.9947, | |
| "step": 40100 | |
| }, | |
| { | |
| "epoch": 2.144, | |
| "grad_norm": 0.7149561047554016, | |
| "learning_rate": 3.1703703703703705e-05, | |
| "loss": 2.1106, | |
| "step": 40200 | |
| }, | |
| { | |
| "epoch": 2.1493333333333333, | |
| "grad_norm": 0.7518567442893982, | |
| "learning_rate": 3.1506172839506175e-05, | |
| "loss": 1.9996, | |
| "step": 40300 | |
| }, | |
| { | |
| "epoch": 2.1546666666666665, | |
| "grad_norm": 0.7004417777061462, | |
| "learning_rate": 3.1308641975308646e-05, | |
| "loss": 2.0087, | |
| "step": 40400 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 0.7417336702346802, | |
| "learning_rate": 3.111111111111111e-05, | |
| "loss": 2.0418, | |
| "step": 40500 | |
| }, | |
| { | |
| "epoch": 2.1653333333333333, | |
| "grad_norm": 0.9662203788757324, | |
| "learning_rate": 3.091358024691358e-05, | |
| "loss": 1.9665, | |
| "step": 40600 | |
| }, | |
| { | |
| "epoch": 2.1706666666666665, | |
| "grad_norm": 0.7066254615783691, | |
| "learning_rate": 3.071604938271605e-05, | |
| "loss": 2.0655, | |
| "step": 40700 | |
| }, | |
| { | |
| "epoch": 2.176, | |
| "grad_norm": 0.7495595812797546, | |
| "learning_rate": 3.0518518518518515e-05, | |
| "loss": 2.0563, | |
| "step": 40800 | |
| }, | |
| { | |
| "epoch": 2.1813333333333333, | |
| "grad_norm": 1.3163847923278809, | |
| "learning_rate": 3.0320987654320986e-05, | |
| "loss": 1.9631, | |
| "step": 40900 | |
| }, | |
| { | |
| "epoch": 2.1866666666666665, | |
| "grad_norm": 0.7121056914329529, | |
| "learning_rate": 3.012345679012346e-05, | |
| "loss": 2.0103, | |
| "step": 41000 | |
| }, | |
| { | |
| "epoch": 2.192, | |
| "grad_norm": 1.3143714666366577, | |
| "learning_rate": 2.992592592592593e-05, | |
| "loss": 2.0506, | |
| "step": 41100 | |
| }, | |
| { | |
| "epoch": 2.1973333333333334, | |
| "grad_norm": 0.818219780921936, | |
| "learning_rate": 2.9728395061728398e-05, | |
| "loss": 2.0256, | |
| "step": 41200 | |
| }, | |
| { | |
| "epoch": 2.2026666666666666, | |
| "grad_norm": 1.1780675649642944, | |
| "learning_rate": 2.9530864197530865e-05, | |
| "loss": 2.0193, | |
| "step": 41300 | |
| }, | |
| { | |
| "epoch": 2.208, | |
| "grad_norm": 0.6545439958572388, | |
| "learning_rate": 2.9333333333333336e-05, | |
| "loss": 2.0578, | |
| "step": 41400 | |
| }, | |
| { | |
| "epoch": 2.2133333333333334, | |
| "grad_norm": 0.5987783670425415, | |
| "learning_rate": 2.9135802469135803e-05, | |
| "loss": 2.0148, | |
| "step": 41500 | |
| }, | |
| { | |
| "epoch": 2.2186666666666666, | |
| "grad_norm": 1.4739272594451904, | |
| "learning_rate": 2.893827160493827e-05, | |
| "loss": 2.0233, | |
| "step": 41600 | |
| }, | |
| { | |
| "epoch": 2.224, | |
| "grad_norm": 1.307249665260315, | |
| "learning_rate": 2.874074074074074e-05, | |
| "loss": 2.0434, | |
| "step": 41700 | |
| }, | |
| { | |
| "epoch": 2.2293333333333334, | |
| "grad_norm": 0.6410956978797913, | |
| "learning_rate": 2.854320987654321e-05, | |
| "loss": 2.0252, | |
| "step": 41800 | |
| }, | |
| { | |
| "epoch": 2.2346666666666666, | |
| "grad_norm": 0.5777752995491028, | |
| "learning_rate": 2.8345679012345683e-05, | |
| "loss": 2.004, | |
| "step": 41900 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 0.44510123133659363, | |
| "learning_rate": 2.814814814814815e-05, | |
| "loss": 2.0164, | |
| "step": 42000 | |
| }, | |
| { | |
| "epoch": 2.2453333333333334, | |
| "grad_norm": 0.967732310295105, | |
| "learning_rate": 2.795061728395062e-05, | |
| "loss": 1.9984, | |
| "step": 42100 | |
| }, | |
| { | |
| "epoch": 2.2506666666666666, | |
| "grad_norm": 0.8926535248756409, | |
| "learning_rate": 2.7753086419753088e-05, | |
| "loss": 2.0281, | |
| "step": 42200 | |
| }, | |
| { | |
| "epoch": 2.2560000000000002, | |
| "grad_norm": 1.2875657081604004, | |
| "learning_rate": 2.7555555555555555e-05, | |
| "loss": 2.0536, | |
| "step": 42300 | |
| }, | |
| { | |
| "epoch": 2.2613333333333334, | |
| "grad_norm": 0.7596061825752258, | |
| "learning_rate": 2.7358024691358026e-05, | |
| "loss": 2.0261, | |
| "step": 42400 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 0.712924063205719, | |
| "learning_rate": 2.7160493827160493e-05, | |
| "loss": 2.0036, | |
| "step": 42500 | |
| }, | |
| { | |
| "epoch": 2.2720000000000002, | |
| "grad_norm": 0.8244270086288452, | |
| "learning_rate": 2.696296296296296e-05, | |
| "loss": 1.9948, | |
| "step": 42600 | |
| }, | |
| { | |
| "epoch": 2.2773333333333334, | |
| "grad_norm": 1.0962564945220947, | |
| "learning_rate": 2.6765432098765435e-05, | |
| "loss": 2.0223, | |
| "step": 42700 | |
| }, | |
| { | |
| "epoch": 2.2826666666666666, | |
| "grad_norm": 0.6227259039878845, | |
| "learning_rate": 2.6567901234567905e-05, | |
| "loss": 2.0204, | |
| "step": 42800 | |
| }, | |
| { | |
| "epoch": 2.288, | |
| "grad_norm": 0.619979977607727, | |
| "learning_rate": 2.6370370370370373e-05, | |
| "loss": 2.0479, | |
| "step": 42900 | |
| }, | |
| { | |
| "epoch": 2.2933333333333334, | |
| "grad_norm": 0.5394271612167358, | |
| "learning_rate": 2.617283950617284e-05, | |
| "loss": 2.0017, | |
| "step": 43000 | |
| }, | |
| { | |
| "epoch": 2.2986666666666666, | |
| "grad_norm": 0.9467681050300598, | |
| "learning_rate": 2.597530864197531e-05, | |
| "loss": 1.9883, | |
| "step": 43100 | |
| }, | |
| { | |
| "epoch": 2.304, | |
| "grad_norm": 0.7925738096237183, | |
| "learning_rate": 2.5777777777777778e-05, | |
| "loss": 2.0243, | |
| "step": 43200 | |
| }, | |
| { | |
| "epoch": 2.3093333333333335, | |
| "grad_norm": 1.0736409425735474, | |
| "learning_rate": 2.558024691358025e-05, | |
| "loss": 2.028, | |
| "step": 43300 | |
| }, | |
| { | |
| "epoch": 2.3146666666666667, | |
| "grad_norm": 0.7715908885002136, | |
| "learning_rate": 2.5382716049382716e-05, | |
| "loss": 2.0289, | |
| "step": 43400 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 0.7914209961891174, | |
| "learning_rate": 2.5185185185185183e-05, | |
| "loss": 2.0157, | |
| "step": 43500 | |
| }, | |
| { | |
| "epoch": 2.3253333333333335, | |
| "grad_norm": 0.874309241771698, | |
| "learning_rate": 2.4987654320987654e-05, | |
| "loss": 2.0487, | |
| "step": 43600 | |
| }, | |
| { | |
| "epoch": 2.3306666666666667, | |
| "grad_norm": 0.8764064908027649, | |
| "learning_rate": 2.4790123456790125e-05, | |
| "loss": 2.0386, | |
| "step": 43700 | |
| }, | |
| { | |
| "epoch": 2.336, | |
| "grad_norm": 0.7447736263275146, | |
| "learning_rate": 2.4592592592592595e-05, | |
| "loss": 2.0013, | |
| "step": 43800 | |
| }, | |
| { | |
| "epoch": 2.3413333333333335, | |
| "grad_norm": 0.6751355528831482, | |
| "learning_rate": 2.4395061728395063e-05, | |
| "loss": 2.0491, | |
| "step": 43900 | |
| }, | |
| { | |
| "epoch": 2.3466666666666667, | |
| "grad_norm": 0.786829948425293, | |
| "learning_rate": 2.4197530864197533e-05, | |
| "loss": 2.029, | |
| "step": 44000 | |
| }, | |
| { | |
| "epoch": 2.352, | |
| "grad_norm": 0.5898904204368591, | |
| "learning_rate": 2.4e-05, | |
| "loss": 2.0642, | |
| "step": 44100 | |
| }, | |
| { | |
| "epoch": 2.3573333333333335, | |
| "grad_norm": 1.5979773998260498, | |
| "learning_rate": 2.380246913580247e-05, | |
| "loss": 1.9988, | |
| "step": 44200 | |
| }, | |
| { | |
| "epoch": 2.3626666666666667, | |
| "grad_norm": 0.5945754647254944, | |
| "learning_rate": 2.360493827160494e-05, | |
| "loss": 2.0123, | |
| "step": 44300 | |
| }, | |
| { | |
| "epoch": 2.368, | |
| "grad_norm": 1.0176308155059814, | |
| "learning_rate": 2.340740740740741e-05, | |
| "loss": 1.994, | |
| "step": 44400 | |
| }, | |
| { | |
| "epoch": 2.3733333333333335, | |
| "grad_norm": 1.2390905618667603, | |
| "learning_rate": 2.3209876543209877e-05, | |
| "loss": 2.0533, | |
| "step": 44500 | |
| }, | |
| { | |
| "epoch": 2.3786666666666667, | |
| "grad_norm": 0.8986314535140991, | |
| "learning_rate": 2.3012345679012347e-05, | |
| "loss": 1.989, | |
| "step": 44600 | |
| }, | |
| { | |
| "epoch": 2.384, | |
| "grad_norm": 0.6066815853118896, | |
| "learning_rate": 2.2814814814814818e-05, | |
| "loss": 2.0067, | |
| "step": 44700 | |
| }, | |
| { | |
| "epoch": 2.389333333333333, | |
| "grad_norm": 0.5366498827934265, | |
| "learning_rate": 2.2617283950617285e-05, | |
| "loss": 2.0246, | |
| "step": 44800 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 56250, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 5600, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 2.1503812476862464e+18, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |