| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.4933333333333334, | |
| "eval_steps": 500, | |
| "global_step": 28000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.005333333333333333, | |
| "grad_norm": 0.7408381700515747, | |
| "learning_rate": 1.777777777777778e-06, | |
| "loss": 2.4329, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.010666666666666666, | |
| "grad_norm": 1.5163946151733398, | |
| "learning_rate": 3.555555555555556e-06, | |
| "loss": 2.4588, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 2.0432918071746826, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 2.4059, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.021333333333333333, | |
| "grad_norm": 1.060476303100586, | |
| "learning_rate": 7.111111111111112e-06, | |
| "loss": 2.3268, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 3.8191990852355957, | |
| "learning_rate": 8.88888888888889e-06, | |
| "loss": 2.2524, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 1.805410623550415, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 2.1703, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.037333333333333336, | |
| "grad_norm": 2.2576651573181152, | |
| "learning_rate": 1.2444444444444445e-05, | |
| "loss": 2.135, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 3.0686051845550537, | |
| "learning_rate": 1.4222222222222224e-05, | |
| "loss": 2.1264, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 3.616314649581909, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 2.117, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.9794963598251343, | |
| "learning_rate": 1.777777777777778e-05, | |
| "loss": 2.0696, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.058666666666666666, | |
| "grad_norm": 1.115675926208496, | |
| "learning_rate": 1.9555555555555557e-05, | |
| "loss": 2.1145, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 1.3264107704162598, | |
| "learning_rate": 2.1333333333333335e-05, | |
| "loss": 2.1577, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.06933333333333333, | |
| "grad_norm": 1.0655226707458496, | |
| "learning_rate": 2.3111111111111112e-05, | |
| "loss": 2.1426, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.07466666666666667, | |
| "grad_norm": 1.8344405889511108, | |
| "learning_rate": 2.488888888888889e-05, | |
| "loss": 2.106, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.8793189525604248, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 2.106, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 0.9472557306289673, | |
| "learning_rate": 2.8444444444444447e-05, | |
| "loss": 2.1196, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.09066666666666667, | |
| "grad_norm": 1.0065737962722778, | |
| "learning_rate": 3.0222222222222225e-05, | |
| "loss": 2.1359, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 1.0629477500915527, | |
| "learning_rate": 3.2000000000000005e-05, | |
| "loss": 2.1281, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.10133333333333333, | |
| "grad_norm": 1.1452460289001465, | |
| "learning_rate": 3.377777777777778e-05, | |
| "loss": 2.1015, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 0.774829626083374, | |
| "learning_rate": 3.555555555555556e-05, | |
| "loss": 2.1491, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 1.9840822219848633, | |
| "learning_rate": 3.733333333333334e-05, | |
| "loss": 2.1162, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.11733333333333333, | |
| "grad_norm": 1.1680502891540527, | |
| "learning_rate": 3.9111111111111115e-05, | |
| "loss": 2.1081, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.12266666666666666, | |
| "grad_norm": 1.0015199184417725, | |
| "learning_rate": 4.088888888888889e-05, | |
| "loss": 2.1106, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 1.4964936971664429, | |
| "learning_rate": 4.266666666666667e-05, | |
| "loss": 2.0845, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.8865829110145569, | |
| "learning_rate": 4.4444444444444447e-05, | |
| "loss": 2.1168, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.13866666666666666, | |
| "grad_norm": 0.7985750436782837, | |
| "learning_rate": 4.6222222222222224e-05, | |
| "loss": 2.0818, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 0.7723366022109985, | |
| "learning_rate": 4.8e-05, | |
| "loss": 2.1174, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.14933333333333335, | |
| "grad_norm": 1.5099104642868042, | |
| "learning_rate": 4.977777777777778e-05, | |
| "loss": 2.0898, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.15466666666666667, | |
| "grad_norm": 0.6583521962165833, | |
| "learning_rate": 5.1555555555555556e-05, | |
| "loss": 2.0947, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.6292089819908142, | |
| "learning_rate": 5.333333333333333e-05, | |
| "loss": 2.1364, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.16533333333333333, | |
| "grad_norm": 2.6520564556121826, | |
| "learning_rate": 5.511111111111111e-05, | |
| "loss": 2.0834, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 0.6982457637786865, | |
| "learning_rate": 5.6888888888888895e-05, | |
| "loss": 2.0916, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 1.235366702079773, | |
| "learning_rate": 5.866666666666667e-05, | |
| "loss": 2.0768, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.18133333333333335, | |
| "grad_norm": 0.5952820777893066, | |
| "learning_rate": 6.044444444444445e-05, | |
| "loss": 2.0834, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.7027677893638611, | |
| "learning_rate": 6.222222222222222e-05, | |
| "loss": 2.122, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 0.9129226207733154, | |
| "learning_rate": 6.400000000000001e-05, | |
| "loss": 2.0797, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.19733333333333333, | |
| "grad_norm": 1.3665482997894287, | |
| "learning_rate": 6.577777777777779e-05, | |
| "loss": 2.1386, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.20266666666666666, | |
| "grad_norm": 0.7354358434677124, | |
| "learning_rate": 6.755555555555557e-05, | |
| "loss": 2.1181, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 1.131577491760254, | |
| "learning_rate": 6.933333333333334e-05, | |
| "loss": 2.0839, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 1.4498499631881714, | |
| "learning_rate": 7.111111111111112e-05, | |
| "loss": 2.0743, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.21866666666666668, | |
| "grad_norm": 0.7681794762611389, | |
| "learning_rate": 7.28888888888889e-05, | |
| "loss": 2.0916, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 1.020183801651001, | |
| "learning_rate": 7.466666666666667e-05, | |
| "loss": 2.1021, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.22933333333333333, | |
| "grad_norm": 0.9761343002319336, | |
| "learning_rate": 7.644444444444445e-05, | |
| "loss": 2.0721, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.23466666666666666, | |
| "grad_norm": 0.5290562510490417, | |
| "learning_rate": 7.822222222222223e-05, | |
| "loss": 2.0873, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.7238642573356628, | |
| "learning_rate": 8e-05, | |
| "loss": 2.1149, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.24533333333333332, | |
| "grad_norm": 0.8895397186279297, | |
| "learning_rate": 8.177777777777778e-05, | |
| "loss": 2.097, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.25066666666666665, | |
| "grad_norm": 0.7431837320327759, | |
| "learning_rate": 8.355555555555556e-05, | |
| "loss": 2.1264, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 0.8203670382499695, | |
| "learning_rate": 8.533333333333334e-05, | |
| "loss": 2.0972, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.2613333333333333, | |
| "grad_norm": 0.47923657298088074, | |
| "learning_rate": 8.711111111111112e-05, | |
| "loss": 2.0768, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 1.155190110206604, | |
| "learning_rate": 8.888888888888889e-05, | |
| "loss": 2.1036, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 0.6187294721603394, | |
| "learning_rate": 9.066666666666667e-05, | |
| "loss": 2.1188, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 0.2773333333333333, | |
| "grad_norm": 0.43292027711868286, | |
| "learning_rate": 9.244444444444445e-05, | |
| "loss": 2.0647, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 0.2826666666666667, | |
| "grad_norm": 1.1204800605773926, | |
| "learning_rate": 9.422222222222223e-05, | |
| "loss": 2.0616, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 0.5165124535560608, | |
| "learning_rate": 9.6e-05, | |
| "loss": 2.1516, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.4999570846557617, | |
| "learning_rate": 9.777777777777778e-05, | |
| "loss": 2.0841, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 0.6320493817329407, | |
| "learning_rate": 9.955555555555556e-05, | |
| "loss": 2.0595, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 0.4119780957698822, | |
| "learning_rate": 9.985185185185185e-05, | |
| "loss": 2.1259, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 0.30933333333333335, | |
| "grad_norm": 0.7192773818969727, | |
| "learning_rate": 9.965432098765432e-05, | |
| "loss": 2.0159, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 0.31466666666666665, | |
| "grad_norm": 0.6163448691368103, | |
| "learning_rate": 9.94567901234568e-05, | |
| "loss": 2.0869, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.7050678730010986, | |
| "learning_rate": 9.925925925925926e-05, | |
| "loss": 2.0988, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.3253333333333333, | |
| "grad_norm": 0.5748100876808167, | |
| "learning_rate": 9.906172839506173e-05, | |
| "loss": 2.0803, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 0.33066666666666666, | |
| "grad_norm": 0.7906007170677185, | |
| "learning_rate": 9.88641975308642e-05, | |
| "loss": 2.0538, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 0.9793565273284912, | |
| "learning_rate": 9.866666666666668e-05, | |
| "loss": 2.1079, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 0.43007293343544006, | |
| "learning_rate": 9.846913580246913e-05, | |
| "loss": 2.0924, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.531528890132904, | |
| "learning_rate": 9.827160493827162e-05, | |
| "loss": 2.1214, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 0.7016095519065857, | |
| "learning_rate": 9.807407407407407e-05, | |
| "loss": 2.1009, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 0.35733333333333334, | |
| "grad_norm": 0.8983720541000366, | |
| "learning_rate": 9.787654320987654e-05, | |
| "loss": 2.0633, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 0.3626666666666667, | |
| "grad_norm": 0.6088433861732483, | |
| "learning_rate": 9.767901234567902e-05, | |
| "loss": 2.0785, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 0.7958081960678101, | |
| "learning_rate": 9.748148148148149e-05, | |
| "loss": 2.0723, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.5815045237541199, | |
| "learning_rate": 9.728395061728396e-05, | |
| "loss": 2.0763, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.37866666666666665, | |
| "grad_norm": 0.6895761489868164, | |
| "learning_rate": 9.708641975308643e-05, | |
| "loss": 2.0832, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 0.5693473219871521, | |
| "learning_rate": 9.68888888888889e-05, | |
| "loss": 2.1102, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 0.3893333333333333, | |
| "grad_norm": 0.5142870545387268, | |
| "learning_rate": 9.669135802469136e-05, | |
| "loss": 2.1217, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 0.39466666666666667, | |
| "grad_norm": 0.5967950820922852, | |
| "learning_rate": 9.649382716049384e-05, | |
| "loss": 2.0829, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.807147204875946, | |
| "learning_rate": 9.62962962962963e-05, | |
| "loss": 2.0822, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 0.4053333333333333, | |
| "grad_norm": 0.852786123752594, | |
| "learning_rate": 9.609876543209877e-05, | |
| "loss": 2.099, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 0.4106666666666667, | |
| "grad_norm": 0.9825059771537781, | |
| "learning_rate": 9.590123456790124e-05, | |
| "loss": 2.0855, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 0.7836545705795288, | |
| "learning_rate": 9.570370370370371e-05, | |
| "loss": 2.0827, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 0.42133333333333334, | |
| "grad_norm": 0.5747546553611755, | |
| "learning_rate": 9.550617283950618e-05, | |
| "loss": 2.0572, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 0.6716235876083374, | |
| "learning_rate": 9.530864197530865e-05, | |
| "loss": 2.1175, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 1.0513540506362915, | |
| "learning_rate": 9.511111111111112e-05, | |
| "loss": 2.0876, | |
| "step": 8100 | |
| }, | |
| { | |
| "epoch": 0.43733333333333335, | |
| "grad_norm": 0.6747242212295532, | |
| "learning_rate": 9.491358024691358e-05, | |
| "loss": 2.0646, | |
| "step": 8200 | |
| }, | |
| { | |
| "epoch": 0.44266666666666665, | |
| "grad_norm": 0.8976965546607971, | |
| "learning_rate": 9.471604938271605e-05, | |
| "loss": 2.0463, | |
| "step": 8300 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 0.8317309021949768, | |
| "learning_rate": 9.451851851851853e-05, | |
| "loss": 2.049, | |
| "step": 8400 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 0.5139201283454895, | |
| "learning_rate": 9.432098765432099e-05, | |
| "loss": 2.0942, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 0.45866666666666667, | |
| "grad_norm": 0.9820052981376648, | |
| "learning_rate": 9.412345679012346e-05, | |
| "loss": 2.1151, | |
| "step": 8600 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 0.4642147421836853, | |
| "learning_rate": 9.392592592592593e-05, | |
| "loss": 2.0734, | |
| "step": 8700 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 1.1513845920562744, | |
| "learning_rate": 9.37283950617284e-05, | |
| "loss": 2.0442, | |
| "step": 8800 | |
| }, | |
| { | |
| "epoch": 0.4746666666666667, | |
| "grad_norm": 0.6147892475128174, | |
| "learning_rate": 9.353086419753086e-05, | |
| "loss": 2.0628, | |
| "step": 8900 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.5197819471359253, | |
| "learning_rate": 9.333333333333334e-05, | |
| "loss": 2.0734, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 0.48533333333333334, | |
| "grad_norm": 0.46634283661842346, | |
| "learning_rate": 9.31358024691358e-05, | |
| "loss": 2.0397, | |
| "step": 9100 | |
| }, | |
| { | |
| "epoch": 0.49066666666666664, | |
| "grad_norm": 0.5557440519332886, | |
| "learning_rate": 9.293827160493827e-05, | |
| "loss": 2.0508, | |
| "step": 9200 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 0.7465810775756836, | |
| "learning_rate": 9.274074074074076e-05, | |
| "loss": 2.0942, | |
| "step": 9300 | |
| }, | |
| { | |
| "epoch": 0.5013333333333333, | |
| "grad_norm": 0.8177813291549683, | |
| "learning_rate": 9.254320987654321e-05, | |
| "loss": 2.0775, | |
| "step": 9400 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 1.0027681589126587, | |
| "learning_rate": 9.234567901234568e-05, | |
| "loss": 2.0933, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 0.5542171597480774, | |
| "learning_rate": 9.214814814814815e-05, | |
| "loss": 2.0896, | |
| "step": 9600 | |
| }, | |
| { | |
| "epoch": 0.5173333333333333, | |
| "grad_norm": 0.7506404519081116, | |
| "learning_rate": 9.195061728395062e-05, | |
| "loss": 2.0473, | |
| "step": 9700 | |
| }, | |
| { | |
| "epoch": 0.5226666666666666, | |
| "grad_norm": 0.7701064348220825, | |
| "learning_rate": 9.175308641975308e-05, | |
| "loss": 2.1086, | |
| "step": 9800 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 0.8500655293464661, | |
| "learning_rate": 9.155555555555557e-05, | |
| "loss": 2.0686, | |
| "step": 9900 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.827279269695282, | |
| "learning_rate": 9.135802469135802e-05, | |
| "loss": 2.0906, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 0.5386666666666666, | |
| "grad_norm": 0.5926179885864258, | |
| "learning_rate": 9.11604938271605e-05, | |
| "loss": 2.0942, | |
| "step": 10100 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 0.6802027821540833, | |
| "learning_rate": 9.096296296296298e-05, | |
| "loss": 2.0708, | |
| "step": 10200 | |
| }, | |
| { | |
| "epoch": 0.5493333333333333, | |
| "grad_norm": 0.7225857973098755, | |
| "learning_rate": 9.076543209876544e-05, | |
| "loss": 2.0654, | |
| "step": 10300 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 0.7378742694854736, | |
| "learning_rate": 9.05679012345679e-05, | |
| "loss": 2.0584, | |
| "step": 10400 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.6599587202072144, | |
| "learning_rate": 9.037037037037038e-05, | |
| "loss": 2.0936, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 0.5653333333333334, | |
| "grad_norm": 0.7164345383644104, | |
| "learning_rate": 9.017283950617285e-05, | |
| "loss": 2.0878, | |
| "step": 10600 | |
| }, | |
| { | |
| "epoch": 0.5706666666666667, | |
| "grad_norm": 0.7989436984062195, | |
| "learning_rate": 8.99753086419753e-05, | |
| "loss": 2.0893, | |
| "step": 10700 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 0.5961711406707764, | |
| "learning_rate": 8.977777777777779e-05, | |
| "loss": 2.1165, | |
| "step": 10800 | |
| }, | |
| { | |
| "epoch": 0.5813333333333334, | |
| "grad_norm": 0.5447348952293396, | |
| "learning_rate": 8.958024691358025e-05, | |
| "loss": 2.07, | |
| "step": 10900 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.5040400624275208, | |
| "learning_rate": 8.938271604938272e-05, | |
| "loss": 2.069, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 0.7316023111343384, | |
| "learning_rate": 8.918518518518519e-05, | |
| "loss": 2.0704, | |
| "step": 11100 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 0.7436406016349792, | |
| "learning_rate": 8.898765432098766e-05, | |
| "loss": 2.0781, | |
| "step": 11200 | |
| }, | |
| { | |
| "epoch": 0.6026666666666667, | |
| "grad_norm": 0.780662477016449, | |
| "learning_rate": 8.879012345679013e-05, | |
| "loss": 2.0796, | |
| "step": 11300 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 0.38638898730278015, | |
| "learning_rate": 8.85925925925926e-05, | |
| "loss": 2.0674, | |
| "step": 11400 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.796417772769928, | |
| "learning_rate": 8.839506172839507e-05, | |
| "loss": 2.1039, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 0.6186666666666667, | |
| "grad_norm": 0.5450813174247742, | |
| "learning_rate": 8.819753086419753e-05, | |
| "loss": 2.0665, | |
| "step": 11600 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 0.723388671875, | |
| "learning_rate": 8.800000000000001e-05, | |
| "loss": 2.0211, | |
| "step": 11700 | |
| }, | |
| { | |
| "epoch": 0.6293333333333333, | |
| "grad_norm": 0.587385356426239, | |
| "learning_rate": 8.780246913580248e-05, | |
| "loss": 2.058, | |
| "step": 11800 | |
| }, | |
| { | |
| "epoch": 0.6346666666666667, | |
| "grad_norm": 0.7225311994552612, | |
| "learning_rate": 8.760493827160494e-05, | |
| "loss": 2.091, | |
| "step": 11900 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.5954751968383789, | |
| "learning_rate": 8.740740740740741e-05, | |
| "loss": 2.0527, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 0.6453333333333333, | |
| "grad_norm": 0.6405739188194275, | |
| "learning_rate": 8.720987654320988e-05, | |
| "loss": 2.0851, | |
| "step": 12100 | |
| }, | |
| { | |
| "epoch": 0.6506666666666666, | |
| "grad_norm": 0.8862046599388123, | |
| "learning_rate": 8.701234567901235e-05, | |
| "loss": 2.0488, | |
| "step": 12200 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 0.8443213105201721, | |
| "learning_rate": 8.681481481481482e-05, | |
| "loss": 2.1004, | |
| "step": 12300 | |
| }, | |
| { | |
| "epoch": 0.6613333333333333, | |
| "grad_norm": 0.4833635985851288, | |
| "learning_rate": 8.661728395061729e-05, | |
| "loss": 2.0966, | |
| "step": 12400 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.5702592730522156, | |
| "learning_rate": 8.641975308641975e-05, | |
| "loss": 2.1028, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 0.5320633053779602, | |
| "learning_rate": 8.622222222222222e-05, | |
| "loss": 2.0791, | |
| "step": 12600 | |
| }, | |
| { | |
| "epoch": 0.6773333333333333, | |
| "grad_norm": 0.633431077003479, | |
| "learning_rate": 8.60246913580247e-05, | |
| "loss": 2.0869, | |
| "step": 12700 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 0.5407019257545471, | |
| "learning_rate": 8.582716049382716e-05, | |
| "loss": 2.0461, | |
| "step": 12800 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 0.6293824315071106, | |
| "learning_rate": 8.562962962962963e-05, | |
| "loss": 2.0779, | |
| "step": 12900 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.6570181846618652, | |
| "learning_rate": 8.54320987654321e-05, | |
| "loss": 2.0787, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 0.6986666666666667, | |
| "grad_norm": 0.5669022798538208, | |
| "learning_rate": 8.523456790123457e-05, | |
| "loss": 2.0723, | |
| "step": 13100 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 0.48536771535873413, | |
| "learning_rate": 8.503703703703703e-05, | |
| "loss": 2.0595, | |
| "step": 13200 | |
| }, | |
| { | |
| "epoch": 0.7093333333333334, | |
| "grad_norm": 0.6523275375366211, | |
| "learning_rate": 8.483950617283952e-05, | |
| "loss": 2.0535, | |
| "step": 13300 | |
| }, | |
| { | |
| "epoch": 0.7146666666666667, | |
| "grad_norm": 1.5924453735351562, | |
| "learning_rate": 8.464197530864197e-05, | |
| "loss": 2.104, | |
| "step": 13400 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.4971981942653656, | |
| "learning_rate": 8.444444444444444e-05, | |
| "loss": 2.1124, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 0.5070293545722961, | |
| "learning_rate": 8.424691358024693e-05, | |
| "loss": 2.0632, | |
| "step": 13600 | |
| }, | |
| { | |
| "epoch": 0.7306666666666667, | |
| "grad_norm": 0.579257607460022, | |
| "learning_rate": 8.404938271604938e-05, | |
| "loss": 2.0872, | |
| "step": 13700 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 0.8975148797035217, | |
| "learning_rate": 8.385185185185186e-05, | |
| "loss": 2.012, | |
| "step": 13800 | |
| }, | |
| { | |
| "epoch": 0.7413333333333333, | |
| "grad_norm": 0.49330559372901917, | |
| "learning_rate": 8.365432098765433e-05, | |
| "loss": 2.0971, | |
| "step": 13900 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.393557071685791, | |
| "learning_rate": 8.34567901234568e-05, | |
| "loss": 2.0826, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 0.6397143006324768, | |
| "learning_rate": 8.325925925925925e-05, | |
| "loss": 2.057, | |
| "step": 14100 | |
| }, | |
| { | |
| "epoch": 0.7573333333333333, | |
| "grad_norm": 0.7951006889343262, | |
| "learning_rate": 8.306172839506174e-05, | |
| "loss": 2.0554, | |
| "step": 14200 | |
| }, | |
| { | |
| "epoch": 0.7626666666666667, | |
| "grad_norm": 0.987102746963501, | |
| "learning_rate": 8.28641975308642e-05, | |
| "loss": 2.0661, | |
| "step": 14300 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 0.9062942862510681, | |
| "learning_rate": 8.266666666666667e-05, | |
| "loss": 2.048, | |
| "step": 14400 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 1.0964866876602173, | |
| "learning_rate": 8.246913580246915e-05, | |
| "loss": 2.1075, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 0.7786666666666666, | |
| "grad_norm": 0.5198310017585754, | |
| "learning_rate": 8.227160493827161e-05, | |
| "loss": 2.0561, | |
| "step": 14600 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 0.9565565586090088, | |
| "learning_rate": 8.207407407407408e-05, | |
| "loss": 2.1054, | |
| "step": 14700 | |
| }, | |
| { | |
| "epoch": 0.7893333333333333, | |
| "grad_norm": 0.8178491592407227, | |
| "learning_rate": 8.187654320987655e-05, | |
| "loss": 2.0251, | |
| "step": 14800 | |
| }, | |
| { | |
| "epoch": 0.7946666666666666, | |
| "grad_norm": 0.7290851473808289, | |
| "learning_rate": 8.167901234567902e-05, | |
| "loss": 2.0527, | |
| "step": 14900 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.9343177080154419, | |
| "learning_rate": 8.148148148148148e-05, | |
| "loss": 2.0471, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 0.8053333333333333, | |
| "grad_norm": 0.8477184176445007, | |
| "learning_rate": 8.128395061728396e-05, | |
| "loss": 2.0873, | |
| "step": 15100 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 0.6952517032623291, | |
| "learning_rate": 8.108641975308643e-05, | |
| "loss": 2.0497, | |
| "step": 15200 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 1.0783958435058594, | |
| "learning_rate": 8.088888888888889e-05, | |
| "loss": 2.1277, | |
| "step": 15300 | |
| }, | |
| { | |
| "epoch": 0.8213333333333334, | |
| "grad_norm": 0.5011745095252991, | |
| "learning_rate": 8.069135802469136e-05, | |
| "loss": 2.0771, | |
| "step": 15400 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.5990060567855835, | |
| "learning_rate": 8.049382716049383e-05, | |
| "loss": 2.0314, | |
| "step": 15500 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 0.5648114085197449, | |
| "learning_rate": 8.02962962962963e-05, | |
| "loss": 2.0605, | |
| "step": 15600 | |
| }, | |
| { | |
| "epoch": 0.8373333333333334, | |
| "grad_norm": 0.9041962027549744, | |
| "learning_rate": 8.009876543209877e-05, | |
| "loss": 2.0353, | |
| "step": 15700 | |
| }, | |
| { | |
| "epoch": 0.8426666666666667, | |
| "grad_norm": 0.7603209614753723, | |
| "learning_rate": 7.990123456790124e-05, | |
| "loss": 2.0665, | |
| "step": 15800 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 0.6188923716545105, | |
| "learning_rate": 7.97037037037037e-05, | |
| "loss": 2.0496, | |
| "step": 15900 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.7108202576637268, | |
| "learning_rate": 7.950617283950618e-05, | |
| "loss": 2.0617, | |
| "step": 16000 | |
| }, | |
| { | |
| "epoch": 0.8586666666666667, | |
| "grad_norm": 1.17385995388031, | |
| "learning_rate": 7.930864197530865e-05, | |
| "loss": 2.0966, | |
| "step": 16100 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 0.6245660185813904, | |
| "learning_rate": 7.911111111111111e-05, | |
| "loss": 2.0529, | |
| "step": 16200 | |
| }, | |
| { | |
| "epoch": 0.8693333333333333, | |
| "grad_norm": 0.743033766746521, | |
| "learning_rate": 7.891358024691358e-05, | |
| "loss": 2.029, | |
| "step": 16300 | |
| }, | |
| { | |
| "epoch": 0.8746666666666667, | |
| "grad_norm": 0.6590978503227234, | |
| "learning_rate": 7.871604938271605e-05, | |
| "loss": 2.1114, | |
| "step": 16400 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.6657790541648865, | |
| "learning_rate": 7.851851851851852e-05, | |
| "loss": 2.0501, | |
| "step": 16500 | |
| }, | |
| { | |
| "epoch": 0.8853333333333333, | |
| "grad_norm": 0.6255712509155273, | |
| "learning_rate": 7.8320987654321e-05, | |
| "loss": 2.0387, | |
| "step": 16600 | |
| }, | |
| { | |
| "epoch": 0.8906666666666667, | |
| "grad_norm": 0.8806895613670349, | |
| "learning_rate": 7.812345679012346e-05, | |
| "loss": 2.0631, | |
| "step": 16700 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 0.8432735800743103, | |
| "learning_rate": 7.792592592592592e-05, | |
| "loss": 2.1142, | |
| "step": 16800 | |
| }, | |
| { | |
| "epoch": 0.9013333333333333, | |
| "grad_norm": 0.5155588388442993, | |
| "learning_rate": 7.772839506172839e-05, | |
| "loss": 2.0742, | |
| "step": 16900 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.7774249315261841, | |
| "learning_rate": 7.753086419753088e-05, | |
| "loss": 2.0815, | |
| "step": 17000 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 0.6329953074455261, | |
| "learning_rate": 7.733333333333333e-05, | |
| "loss": 2.0545, | |
| "step": 17100 | |
| }, | |
| { | |
| "epoch": 0.9173333333333333, | |
| "grad_norm": 0.630871057510376, | |
| "learning_rate": 7.71358024691358e-05, | |
| "loss": 2.0495, | |
| "step": 17200 | |
| }, | |
| { | |
| "epoch": 0.9226666666666666, | |
| "grad_norm": 0.5286391377449036, | |
| "learning_rate": 7.693827160493828e-05, | |
| "loss": 2.0472, | |
| "step": 17300 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 0.5350430607795715, | |
| "learning_rate": 7.674074074074075e-05, | |
| "loss": 2.1195, | |
| "step": 17400 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.6680503487586975, | |
| "learning_rate": 7.65432098765432e-05, | |
| "loss": 2.0561, | |
| "step": 17500 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 0.8590071201324463, | |
| "learning_rate": 7.634567901234569e-05, | |
| "loss": 2.0548, | |
| "step": 17600 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 0.5548933744430542, | |
| "learning_rate": 7.614814814814816e-05, | |
| "loss": 2.0446, | |
| "step": 17700 | |
| }, | |
| { | |
| "epoch": 0.9493333333333334, | |
| "grad_norm": 0.6411179900169373, | |
| "learning_rate": 7.595061728395062e-05, | |
| "loss": 2.0603, | |
| "step": 17800 | |
| }, | |
| { | |
| "epoch": 0.9546666666666667, | |
| "grad_norm": 0.7736519575119019, | |
| "learning_rate": 7.57530864197531e-05, | |
| "loss": 2.0564, | |
| "step": 17900 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.7531769275665283, | |
| "learning_rate": 7.555555555555556e-05, | |
| "loss": 2.0959, | |
| "step": 18000 | |
| }, | |
| { | |
| "epoch": 0.9653333333333334, | |
| "grad_norm": 0.653451144695282, | |
| "learning_rate": 7.535802469135803e-05, | |
| "loss": 2.0481, | |
| "step": 18100 | |
| }, | |
| { | |
| "epoch": 0.9706666666666667, | |
| "grad_norm": 1.3673148155212402, | |
| "learning_rate": 7.51604938271605e-05, | |
| "loss": 2.0465, | |
| "step": 18200 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 0.4781207740306854, | |
| "learning_rate": 7.496296296296297e-05, | |
| "loss": 2.07, | |
| "step": 18300 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 0.5611870288848877, | |
| "learning_rate": 7.476543209876543e-05, | |
| "loss": 2.0639, | |
| "step": 18400 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.5639889240264893, | |
| "learning_rate": 7.456790123456791e-05, | |
| "loss": 2.072, | |
| "step": 18500 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 0.7608434557914734, | |
| "learning_rate": 7.437037037037038e-05, | |
| "loss": 2.0875, | |
| "step": 18600 | |
| }, | |
| { | |
| "epoch": 0.9973333333333333, | |
| "grad_norm": 0.6209853887557983, | |
| "learning_rate": 7.417283950617284e-05, | |
| "loss": 2.0598, | |
| "step": 18700 | |
| }, | |
| { | |
| "epoch": 1.0026666666666666, | |
| "grad_norm": 0.5591710805892944, | |
| "learning_rate": 7.397530864197532e-05, | |
| "loss": 2.0619, | |
| "step": 18800 | |
| }, | |
| { | |
| "epoch": 1.008, | |
| "grad_norm": 1.3210561275482178, | |
| "learning_rate": 7.377777777777778e-05, | |
| "loss": 2.0301, | |
| "step": 18900 | |
| }, | |
| { | |
| "epoch": 1.0133333333333334, | |
| "grad_norm": 0.7806200385093689, | |
| "learning_rate": 7.358024691358025e-05, | |
| "loss": 2.0869, | |
| "step": 19000 | |
| }, | |
| { | |
| "epoch": 1.0186666666666666, | |
| "grad_norm": 0.5369836091995239, | |
| "learning_rate": 7.338271604938272e-05, | |
| "loss": 2.0602, | |
| "step": 19100 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 0.675226628780365, | |
| "learning_rate": 7.318518518518519e-05, | |
| "loss": 2.0017, | |
| "step": 19200 | |
| }, | |
| { | |
| "epoch": 1.0293333333333334, | |
| "grad_norm": 0.6024062037467957, | |
| "learning_rate": 7.298765432098765e-05, | |
| "loss": 2.0222, | |
| "step": 19300 | |
| }, | |
| { | |
| "epoch": 1.0346666666666666, | |
| "grad_norm": 0.5769805908203125, | |
| "learning_rate": 7.279012345679013e-05, | |
| "loss": 2.0346, | |
| "step": 19400 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 0.7581331133842468, | |
| "learning_rate": 7.25925925925926e-05, | |
| "loss": 2.0598, | |
| "step": 19500 | |
| }, | |
| { | |
| "epoch": 1.0453333333333332, | |
| "grad_norm": 0.7983687520027161, | |
| "learning_rate": 7.239506172839506e-05, | |
| "loss": 2.0356, | |
| "step": 19600 | |
| }, | |
| { | |
| "epoch": 1.0506666666666666, | |
| "grad_norm": 0.4147624373435974, | |
| "learning_rate": 7.219753086419753e-05, | |
| "loss": 2.0328, | |
| "step": 19700 | |
| }, | |
| { | |
| "epoch": 1.056, | |
| "grad_norm": 0.4376736581325531, | |
| "learning_rate": 7.2e-05, | |
| "loss": 2.0722, | |
| "step": 19800 | |
| }, | |
| { | |
| "epoch": 1.0613333333333332, | |
| "grad_norm": 0.7252591848373413, | |
| "learning_rate": 7.180246913580247e-05, | |
| "loss": 2.0429, | |
| "step": 19900 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 0.6404219269752502, | |
| "learning_rate": 7.160493827160494e-05, | |
| "loss": 2.0909, | |
| "step": 20000 | |
| }, | |
| { | |
| "epoch": 1.072, | |
| "grad_norm": 0.6698776483535767, | |
| "learning_rate": 7.140740740740741e-05, | |
| "loss": 2.0706, | |
| "step": 20100 | |
| }, | |
| { | |
| "epoch": 1.0773333333333333, | |
| "grad_norm": 0.8826185464859009, | |
| "learning_rate": 7.120987654320987e-05, | |
| "loss": 2.0223, | |
| "step": 20200 | |
| }, | |
| { | |
| "epoch": 1.0826666666666667, | |
| "grad_norm": 0.600935697555542, | |
| "learning_rate": 7.101234567901236e-05, | |
| "loss": 2.0788, | |
| "step": 20300 | |
| }, | |
| { | |
| "epoch": 1.088, | |
| "grad_norm": 0.6162179708480835, | |
| "learning_rate": 7.081481481481483e-05, | |
| "loss": 2.037, | |
| "step": 20400 | |
| }, | |
| { | |
| "epoch": 1.0933333333333333, | |
| "grad_norm": 0.8088991641998291, | |
| "learning_rate": 7.061728395061728e-05, | |
| "loss": 2.0858, | |
| "step": 20500 | |
| }, | |
| { | |
| "epoch": 1.0986666666666667, | |
| "grad_norm": 0.8790726065635681, | |
| "learning_rate": 7.041975308641975e-05, | |
| "loss": 2.0299, | |
| "step": 20600 | |
| }, | |
| { | |
| "epoch": 1.104, | |
| "grad_norm": 0.8317177295684814, | |
| "learning_rate": 7.022222222222222e-05, | |
| "loss": 2.0463, | |
| "step": 20700 | |
| }, | |
| { | |
| "epoch": 1.1093333333333333, | |
| "grad_norm": 0.6469349265098572, | |
| "learning_rate": 7.00246913580247e-05, | |
| "loss": 2.0508, | |
| "step": 20800 | |
| }, | |
| { | |
| "epoch": 1.1146666666666667, | |
| "grad_norm": 1.093886375427246, | |
| "learning_rate": 6.982716049382717e-05, | |
| "loss": 2.0476, | |
| "step": 20900 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 0.4888819456100464, | |
| "learning_rate": 6.962962962962964e-05, | |
| "loss": 2.0322, | |
| "step": 21000 | |
| }, | |
| { | |
| "epoch": 1.1253333333333333, | |
| "grad_norm": 0.7086312770843506, | |
| "learning_rate": 6.943209876543211e-05, | |
| "loss": 2.0346, | |
| "step": 21100 | |
| }, | |
| { | |
| "epoch": 1.1306666666666667, | |
| "grad_norm": 0.6880414485931396, | |
| "learning_rate": 6.923456790123456e-05, | |
| "loss": 2.0665, | |
| "step": 21200 | |
| }, | |
| { | |
| "epoch": 1.1360000000000001, | |
| "grad_norm": 0.9198958873748779, | |
| "learning_rate": 6.903703703703705e-05, | |
| "loss": 2.0461, | |
| "step": 21300 | |
| }, | |
| { | |
| "epoch": 1.1413333333333333, | |
| "grad_norm": 0.8297547698020935, | |
| "learning_rate": 6.88395061728395e-05, | |
| "loss": 2.082, | |
| "step": 21400 | |
| }, | |
| { | |
| "epoch": 1.1466666666666667, | |
| "grad_norm": 0.6274772882461548, | |
| "learning_rate": 6.864197530864198e-05, | |
| "loss": 2.0255, | |
| "step": 21500 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 0.9063319563865662, | |
| "learning_rate": 6.844444444444445e-05, | |
| "loss": 2.0354, | |
| "step": 21600 | |
| }, | |
| { | |
| "epoch": 1.1573333333333333, | |
| "grad_norm": 0.4685516059398651, | |
| "learning_rate": 6.824691358024692e-05, | |
| "loss": 2.0377, | |
| "step": 21700 | |
| }, | |
| { | |
| "epoch": 1.1626666666666667, | |
| "grad_norm": 0.5672904849052429, | |
| "learning_rate": 6.804938271604938e-05, | |
| "loss": 2.0366, | |
| "step": 21800 | |
| }, | |
| { | |
| "epoch": 1.168, | |
| "grad_norm": 0.7611401677131653, | |
| "learning_rate": 6.785185185185186e-05, | |
| "loss": 2.045, | |
| "step": 21900 | |
| }, | |
| { | |
| "epoch": 1.1733333333333333, | |
| "grad_norm": 0.5895695686340332, | |
| "learning_rate": 6.765432098765433e-05, | |
| "loss": 2.0096, | |
| "step": 22000 | |
| }, | |
| { | |
| "epoch": 1.1786666666666668, | |
| "grad_norm": 0.6452915668487549, | |
| "learning_rate": 6.745679012345679e-05, | |
| "loss": 2.086, | |
| "step": 22100 | |
| }, | |
| { | |
| "epoch": 1.184, | |
| "grad_norm": 0.48788464069366455, | |
| "learning_rate": 6.725925925925927e-05, | |
| "loss": 2.0758, | |
| "step": 22200 | |
| }, | |
| { | |
| "epoch": 1.1893333333333334, | |
| "grad_norm": 0.573157012462616, | |
| "learning_rate": 6.706172839506173e-05, | |
| "loss": 2.0802, | |
| "step": 22300 | |
| }, | |
| { | |
| "epoch": 1.1946666666666665, | |
| "grad_norm": 0.5204229354858398, | |
| "learning_rate": 6.68641975308642e-05, | |
| "loss": 2.0356, | |
| "step": 22400 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.5899271965026855, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 2.0298, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 1.2053333333333334, | |
| "grad_norm": 0.6391649842262268, | |
| "learning_rate": 6.646913580246914e-05, | |
| "loss": 2.0662, | |
| "step": 22600 | |
| }, | |
| { | |
| "epoch": 1.2106666666666666, | |
| "grad_norm": 0.6627355217933655, | |
| "learning_rate": 6.62716049382716e-05, | |
| "loss": 2.0548, | |
| "step": 22700 | |
| }, | |
| { | |
| "epoch": 1.216, | |
| "grad_norm": 0.5311218500137329, | |
| "learning_rate": 6.607407407407408e-05, | |
| "loss": 1.9948, | |
| "step": 22800 | |
| }, | |
| { | |
| "epoch": 1.2213333333333334, | |
| "grad_norm": 0.9641406536102295, | |
| "learning_rate": 6.587654320987655e-05, | |
| "loss": 2.0669, | |
| "step": 22900 | |
| }, | |
| { | |
| "epoch": 1.2266666666666666, | |
| "grad_norm": 0.6077138185501099, | |
| "learning_rate": 6.567901234567901e-05, | |
| "loss": 2.0669, | |
| "step": 23000 | |
| }, | |
| { | |
| "epoch": 1.232, | |
| "grad_norm": 0.5204158425331116, | |
| "learning_rate": 6.54814814814815e-05, | |
| "loss": 2.062, | |
| "step": 23100 | |
| }, | |
| { | |
| "epoch": 1.2373333333333334, | |
| "grad_norm": 0.9628860354423523, | |
| "learning_rate": 6.528395061728395e-05, | |
| "loss": 2.0952, | |
| "step": 23200 | |
| }, | |
| { | |
| "epoch": 1.2426666666666666, | |
| "grad_norm": 0.5133680701255798, | |
| "learning_rate": 6.508641975308642e-05, | |
| "loss": 2.0775, | |
| "step": 23300 | |
| }, | |
| { | |
| "epoch": 1.248, | |
| "grad_norm": 0.5828842520713806, | |
| "learning_rate": 6.488888888888889e-05, | |
| "loss": 2.0523, | |
| "step": 23400 | |
| }, | |
| { | |
| "epoch": 1.2533333333333334, | |
| "grad_norm": 0.5867276787757874, | |
| "learning_rate": 6.469135802469136e-05, | |
| "loss": 2.0385, | |
| "step": 23500 | |
| }, | |
| { | |
| "epoch": 1.2586666666666666, | |
| "grad_norm": 0.6398780941963196, | |
| "learning_rate": 6.449382716049382e-05, | |
| "loss": 2.0688, | |
| "step": 23600 | |
| }, | |
| { | |
| "epoch": 1.264, | |
| "grad_norm": 0.7424252033233643, | |
| "learning_rate": 6.42962962962963e-05, | |
| "loss": 2.0541, | |
| "step": 23700 | |
| }, | |
| { | |
| "epoch": 1.2693333333333334, | |
| "grad_norm": 0.4805736839771271, | |
| "learning_rate": 6.409876543209878e-05, | |
| "loss": 2.0249, | |
| "step": 23800 | |
| }, | |
| { | |
| "epoch": 1.2746666666666666, | |
| "grad_norm": 0.6231108903884888, | |
| "learning_rate": 6.390123456790123e-05, | |
| "loss": 2.0649, | |
| "step": 23900 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 0.5894907712936401, | |
| "learning_rate": 6.37037037037037e-05, | |
| "loss": 2.0826, | |
| "step": 24000 | |
| }, | |
| { | |
| "epoch": 1.2853333333333334, | |
| "grad_norm": 0.6130533218383789, | |
| "learning_rate": 6.350617283950617e-05, | |
| "loss": 2.0835, | |
| "step": 24100 | |
| }, | |
| { | |
| "epoch": 1.2906666666666666, | |
| "grad_norm": 0.5477970242500305, | |
| "learning_rate": 6.330864197530864e-05, | |
| "loss": 1.9892, | |
| "step": 24200 | |
| }, | |
| { | |
| "epoch": 1.296, | |
| "grad_norm": 0.6709659695625305, | |
| "learning_rate": 6.311111111111112e-05, | |
| "loss": 2.0988, | |
| "step": 24300 | |
| }, | |
| { | |
| "epoch": 1.3013333333333335, | |
| "grad_norm": 0.5926287770271301, | |
| "learning_rate": 6.291358024691359e-05, | |
| "loss": 2.0574, | |
| "step": 24400 | |
| }, | |
| { | |
| "epoch": 1.3066666666666666, | |
| "grad_norm": 0.4759414494037628, | |
| "learning_rate": 6.271604938271606e-05, | |
| "loss": 2.0639, | |
| "step": 24500 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 1.087206244468689, | |
| "learning_rate": 6.251851851851853e-05, | |
| "loss": 2.0255, | |
| "step": 24600 | |
| }, | |
| { | |
| "epoch": 1.3173333333333335, | |
| "grad_norm": 2.907650947570801, | |
| "learning_rate": 6.2320987654321e-05, | |
| "loss": 2.0257, | |
| "step": 24700 | |
| }, | |
| { | |
| "epoch": 1.3226666666666667, | |
| "grad_norm": 0.9497508406639099, | |
| "learning_rate": 6.212345679012346e-05, | |
| "loss": 2.0569, | |
| "step": 24800 | |
| }, | |
| { | |
| "epoch": 1.328, | |
| "grad_norm": 0.6407359838485718, | |
| "learning_rate": 6.192592592592593e-05, | |
| "loss": 2.0357, | |
| "step": 24900 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 0.6114162802696228, | |
| "learning_rate": 6.17283950617284e-05, | |
| "loss": 2.0547, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 1.3386666666666667, | |
| "grad_norm": 0.7221469283103943, | |
| "learning_rate": 6.153086419753087e-05, | |
| "loss": 2.0903, | |
| "step": 25100 | |
| }, | |
| { | |
| "epoch": 1.3439999999999999, | |
| "grad_norm": 0.6412240862846375, | |
| "learning_rate": 6.133333333333334e-05, | |
| "loss": 2.0202, | |
| "step": 25200 | |
| }, | |
| { | |
| "epoch": 1.3493333333333333, | |
| "grad_norm": 0.6282508373260498, | |
| "learning_rate": 6.113580246913581e-05, | |
| "loss": 2.0575, | |
| "step": 25300 | |
| }, | |
| { | |
| "epoch": 1.3546666666666667, | |
| "grad_norm": 0.6536335349082947, | |
| "learning_rate": 6.093827160493828e-05, | |
| "loss": 2.0365, | |
| "step": 25400 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 0.6183179616928101, | |
| "learning_rate": 6.074074074074074e-05, | |
| "loss": 2.0856, | |
| "step": 25500 | |
| }, | |
| { | |
| "epoch": 1.3653333333333333, | |
| "grad_norm": 0.483711838722229, | |
| "learning_rate": 6.0543209876543214e-05, | |
| "loss": 1.9933, | |
| "step": 25600 | |
| }, | |
| { | |
| "epoch": 1.3706666666666667, | |
| "grad_norm": 0.3964633047580719, | |
| "learning_rate": 6.034567901234568e-05, | |
| "loss": 2.0542, | |
| "step": 25700 | |
| }, | |
| { | |
| "epoch": 1.376, | |
| "grad_norm": 0.8411757349967957, | |
| "learning_rate": 6.0148148148148155e-05, | |
| "loss": 2.0124, | |
| "step": 25800 | |
| }, | |
| { | |
| "epoch": 1.3813333333333333, | |
| "grad_norm": 0.6833470463752747, | |
| "learning_rate": 5.995061728395062e-05, | |
| "loss": 2.0712, | |
| "step": 25900 | |
| }, | |
| { | |
| "epoch": 1.3866666666666667, | |
| "grad_norm": 0.6595538258552551, | |
| "learning_rate": 5.975308641975309e-05, | |
| "loss": 2.0736, | |
| "step": 26000 | |
| }, | |
| { | |
| "epoch": 1.392, | |
| "grad_norm": 0.6516716480255127, | |
| "learning_rate": 5.9555555555555554e-05, | |
| "loss": 2.0035, | |
| "step": 26100 | |
| }, | |
| { | |
| "epoch": 1.3973333333333333, | |
| "grad_norm": 0.6968256831169128, | |
| "learning_rate": 5.9358024691358024e-05, | |
| "loss": 2.0433, | |
| "step": 26200 | |
| }, | |
| { | |
| "epoch": 1.4026666666666667, | |
| "grad_norm": 0.5246764421463013, | |
| "learning_rate": 5.91604938271605e-05, | |
| "loss": 2.0572, | |
| "step": 26300 | |
| }, | |
| { | |
| "epoch": 1.408, | |
| "grad_norm": 0.9179352521896362, | |
| "learning_rate": 5.8962962962962966e-05, | |
| "loss": 2.0471, | |
| "step": 26400 | |
| }, | |
| { | |
| "epoch": 1.4133333333333333, | |
| "grad_norm": 0.5108512043952942, | |
| "learning_rate": 5.8765432098765437e-05, | |
| "loss": 1.9972, | |
| "step": 26500 | |
| }, | |
| { | |
| "epoch": 1.4186666666666667, | |
| "grad_norm": 0.431037038564682, | |
| "learning_rate": 5.85679012345679e-05, | |
| "loss": 2.0375, | |
| "step": 26600 | |
| }, | |
| { | |
| "epoch": 1.424, | |
| "grad_norm": 0.9202925562858582, | |
| "learning_rate": 5.837037037037038e-05, | |
| "loss": 2.047, | |
| "step": 26700 | |
| }, | |
| { | |
| "epoch": 1.4293333333333333, | |
| "grad_norm": 0.6085455417633057, | |
| "learning_rate": 5.8172839506172835e-05, | |
| "loss": 2.0397, | |
| "step": 26800 | |
| }, | |
| { | |
| "epoch": 1.4346666666666668, | |
| "grad_norm": 0.5094907879829407, | |
| "learning_rate": 5.797530864197531e-05, | |
| "loss": 2.0264, | |
| "step": 26900 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 0.5523035526275635, | |
| "learning_rate": 5.7777777777777776e-05, | |
| "loss": 2.0676, | |
| "step": 27000 | |
| }, | |
| { | |
| "epoch": 1.4453333333333334, | |
| "grad_norm": 0.6877738833427429, | |
| "learning_rate": 5.758024691358025e-05, | |
| "loss": 2.0069, | |
| "step": 27100 | |
| }, | |
| { | |
| "epoch": 1.4506666666666668, | |
| "grad_norm": 0.7142253518104553, | |
| "learning_rate": 5.7382716049382725e-05, | |
| "loss": 2.018, | |
| "step": 27200 | |
| }, | |
| { | |
| "epoch": 1.456, | |
| "grad_norm": 0.7527485489845276, | |
| "learning_rate": 5.718518518518519e-05, | |
| "loss": 2.0418, | |
| "step": 27300 | |
| }, | |
| { | |
| "epoch": 1.4613333333333334, | |
| "grad_norm": 0.9991804361343384, | |
| "learning_rate": 5.698765432098766e-05, | |
| "loss": 2.0599, | |
| "step": 27400 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 0.8364921808242798, | |
| "learning_rate": 5.679012345679012e-05, | |
| "loss": 2.0892, | |
| "step": 27500 | |
| }, | |
| { | |
| "epoch": 1.472, | |
| "grad_norm": 0.5878220200538635, | |
| "learning_rate": 5.6592592592592594e-05, | |
| "loss": 2.0886, | |
| "step": 27600 | |
| }, | |
| { | |
| "epoch": 1.4773333333333334, | |
| "grad_norm": 0.5831034183502197, | |
| "learning_rate": 5.639506172839506e-05, | |
| "loss": 2.0776, | |
| "step": 27700 | |
| }, | |
| { | |
| "epoch": 1.4826666666666668, | |
| "grad_norm": 0.9932427406311035, | |
| "learning_rate": 5.6197530864197535e-05, | |
| "loss": 2.0642, | |
| "step": 27800 | |
| }, | |
| { | |
| "epoch": 1.488, | |
| "grad_norm": 0.5148542523384094, | |
| "learning_rate": 5.6000000000000006e-05, | |
| "loss": 2.0693, | |
| "step": 27900 | |
| }, | |
| { | |
| "epoch": 1.4933333333333334, | |
| "grad_norm": 0.5885737538337708, | |
| "learning_rate": 5.580246913580247e-05, | |
| "loss": 2.0255, | |
| "step": 28000 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 56250, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 5600, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.343988279803904e+18, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |