train_copa_1745950330

This model is a fine-tuned version of mistralai/Mistral-7B-Instruct-v0.3 on the copa dataset. It achieves the following results on the evaluation set:

• Loss: 0.2305
• Num Input Tokens Seen: 11206480

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.3
• train_batch_size: 2
• eval_batch_size: 2
• seed: 123
• gradient_accumulation_steps: 2
• total_train_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.2302	2.2222	200	0.2512	56064
0.2156	4.4444	400	0.2524	112064
0.2313	6.6667	600	0.2382	168096
0.2243	8.8889	800	0.2325	224048
0.2274	11.1111	1000	0.2442	280048
0.2295	13.3333	1200	0.2320	336032
0.2106	15.5556	1400	0.2305	392032
0.2394	17.7778	1600	0.2379	448128
0.2285	20.0	1800	0.2340	503904
0.2369	22.2222	2000	0.2349	559936
0.2234	24.4444	2200	0.2396	615968
0.2363	26.6667	2400	0.2371	672064
0.2245	28.8889	2600	0.2368	728128
0.2184	31.1111	2800	0.2319	784032
0.2358	33.3333	3000	0.2345	839984
0.2315	35.5556	3200	0.2406	896288
0.2298	37.7778	3400	0.2456	952128
0.2321	40.0	3600	0.2400	1008096
0.2222	42.2222	3800	0.2376	1063984
0.2213	44.4444	4000	0.2404	1120080
0.2249	46.6667	4200	0.2388	1176240
0.2506	48.8889	4400	0.2371	1232160
0.2151	51.1111	4600	0.2374	1288160
0.2488	53.3333	4800	0.2463	1344160
0.2021	55.5556	5000	0.2589	1400368
0.2522	57.7778	5200	0.2496	1456368
0.2343	60.0	5400	0.2342	1512336
0.2486	62.2222	5600	0.2477	1568192
0.2408	64.4444	5800	0.2656	1624288
0.2209	66.6667	6000	0.2973	1680352
0.2495	68.8889	6200	0.3183	1736384
0.2405	71.1111	6400	0.3019	1792480
0.2374	73.3333	6600	0.3007	1848416
0.2317	75.5556	6800	0.3207	1904480
0.229	77.7778	7000	0.3223	1960496
0.2269	80.0	7200	0.3243	2016368
0.2098	82.2222	7400	0.3322	2072400
0.2424	84.4444	7600	0.2349	2128384
0.23	86.6667	7800	0.2373	2184416
0.2303	88.8889	8000	0.2422	2240512
0.2321	91.1111	8200	0.2436	2296496
0.2146	93.3333	8400	0.2565	2352560
0.2295	95.5556	8600	0.2497	2408640
1.9368	97.7778	8800	2.0340	2464672
0.2289	100.0	9000	0.2389	2520688
0.2179	102.2222	9200	0.2450	2576656
0.2279	104.4444	9400	0.2510	2632720
0.2172	106.6667	9600	0.2482	2688704
0.2084	108.8889	9800	0.2617	2744768
0.3685	111.1111	10000	0.3287	2800768
0.2359	113.3333	10200	0.2310	2856768
0.229	115.5556	10400	0.2347	2912640
0.2405	117.7778	10600	0.2413	2968832
0.2181	120.0	10800	0.2405	3024896
0.2215	122.2222	11000	0.2391	3081056
0.2255	124.4444	11200	0.2383	3136944
0.2248	126.6667	11400	0.2376	3192960
0.249	128.8889	11600	0.2547	3248976
0.2374	131.1111	11800	0.2494	3305024
0.2618	133.3333	12000	0.2522	3361008
0.2082	135.5556	12200	0.2496	3417152
0.218	137.7778	12400	0.2427	3472832
0.2371	140.0	12600	0.2518	3529008
0.2151	142.2222	12800	0.2585	3585200
0.2057	144.4444	13000	0.2523	3641200
0.2036	146.6667	13200	0.2717	3697232
0.2127	148.8889	13400	0.2652	3753168
0.199	151.1111	13600	0.2727	3809136
0.2313	153.3333	13800	0.2586	3865216
0.2415	155.5556	14000	0.2799	3921216
0.2212	157.7778	14200	0.2741	3977312
0.2267	160.0	14400	0.2830	4033488
0.2244	162.2222	14600	0.2755	4089504
0.2233	164.4444	14800	0.3140	4145504
0.2041	166.6667	15000	0.2857	4201440
0.2295	168.8889	15200	0.2914	4257504
0.2395	171.1111	15400	0.2760	4313408
0.2145	173.3333	15600	0.3028	4369488
0.2093	175.5556	15800	0.2871	4425536
0.2518	177.7778	16000	0.2996	4481568
0.1977	180.0	16200	0.2916	4537616
0.1891	182.2222	16400	0.3117	4593600
0.2212	184.4444	16600	0.2901	4649664
0.2264	186.6667	16800	0.3389	4705600
0.1928	188.8889	17000	0.3244	4761760
0.1979	191.1111	17200	0.3413	4817728
0.2231	193.3333	17400	0.2656	4873856
0.1885	195.5556	17600	0.3272	4929936
0.232	197.7778	17800	0.2872	4985840
0.2223	200.0	18000	0.2857	5041920
0.2129	202.2222	18200	0.3126	5097872
0.2097	204.4444	18400	0.3109	5154064
0.1839	206.6667	18600	0.3180	5210112
0.2244	208.8889	18800	0.2925	5266064
0.2138	211.1111	19000	0.3101	5322160
0.2062	213.3333	19200	0.3179	5378224
0.1984	215.5556	19400	0.3078	5434432
0.2125	217.7778	19600	0.3007	5490352
0.2102	220.0	19800	0.2989	5546432
0.1948	222.2222	20000	0.3163	5602400
0.2331	224.4444	20200	0.3183	5658464
0.223	226.6667	20400	0.3052	5714352
0.2355	228.8889	20600	0.3067	5770416
0.1905	231.1111	20800	0.3139	5826496
0.2026	233.3333	21000	0.3148	5882496
0.2055	235.5556	21200	0.2943	5938432
0.2323	237.7778	21400	0.3082	5994480
0.2179	240.0	21600	0.2883	6050656
0.2013	242.2222	21800	0.3111	6106736
0.2252	244.4444	22000	0.3043	6162896
0.197	246.6667	22200	0.3058	6218976
0.2182	248.8889	22400	0.2951	6274960
0.2419	251.1111	22600	0.2967	6331008
0.2156	253.3333	22800	0.2997	6387152
0.199	255.5556	23000	0.3173	6443200
0.2403	257.7778	23200	0.3051	6499088
0.2132	260.0	23400	0.3087	6555184
0.2204	262.2222	23600	0.3166	6611312
0.2538	264.4444	23800	0.3122	6667104
0.2019	266.6667	24000	0.3180	6723024
0.2257	268.8889	24200	0.3325	6779376
0.2376	271.1111	24400	0.3109	6835232
0.2113	273.3333	24600	0.3426	6891104
0.211	275.5556	24800	0.3323	6947456
0.1939	277.7778	25000	0.3070	7003408
0.1968	280.0	25200	0.3311	7059536
0.1949	282.2222	25400	0.3271	7115504
0.1951	284.4444	25600	0.3675	7171744
0.2273	286.6667	25800	0.4156	7227712
0.1738	288.8889	26000	0.3969	7283856
0.1475	291.1111	26200	0.3798	7339872
0.1354	293.3333	26400	0.4180	7395808
0.1244	295.5556	26600	0.4349	7451904
0.1537	297.7778	26800	0.4045	7507792
0.1103	300.0	27000	0.4553	7563888
0.0912	302.2222	27200	0.4273	7619872
0.1309	304.4444	27400	0.4867	7676016
0.0659	306.6667	27600	0.4616	7731872
0.1098	308.8889	27800	0.5170	7787920
0.0436	311.1111	28000	0.5461	7844080
0.0667	313.3333	28200	0.5045	7900064
0.1048	315.5556	28400	0.6022	7956016
0.0206	317.7778	28600	0.6298	8012160
0.0317	320.0	28800	0.6058	8068256
0.0357	322.2222	29000	0.5893	8124112
0.038	324.4444	29200	0.6531	8180192
0.0322	326.6667	29400	0.6384	8236304
0.0436	328.8889	29600	0.7227	8292272
0.0079	331.1111	29800	0.7279	8348416
0.0141	333.3333	30000	0.7093	8404432
0.0112	335.5556	30200	0.7313	8460384
0.0057	337.7778	30400	0.7785	8516432
0.0312	340.0	30600	0.7500	8572496
0.0019	342.2222	30800	0.7892	8628448
0.005	344.4444	31000	0.7867	8684672
0.0163	346.6667	31200	0.8278	8740800
0.0269	348.8889	31400	0.8429	8796784
0.0032	351.1111	31600	0.8291	8852784
0.0017	353.3333	31800	0.8280	8909040
0.0029	355.5556	32000	0.8594	8965104
0.0019	357.7778	32200	0.8672	9021344
0.0011	360.0	32400	0.8914	9077456
0.0009	362.2222	32600	0.9053	9133648
0.0023	364.4444	32800	0.9048	9189616
0.0022	366.6667	33000	0.9286	9245504
0.0009	368.8889	33200	0.9382	9301520
0.0004	371.1111	33400	0.9572	9357712
0.0009	373.3333	33600	0.9558	9413712
0.0007	375.5556	33800	0.9810	9469696
0.0005	377.7778	34000	0.9788	9525760
0.0004	380.0	34200	0.9929	9581648
0.0004	382.2222	34400	0.9983	9637632
0.0003	384.4444	34600	1.0106	9693568
0.0005	386.6667	34800	1.0155	9749792
0.0005	388.8889	35000	1.0309	9805840
0.0005	391.1111	35200	1.0398	9861856
0.0003	393.3333	35400	1.0487	9917904
0.0002	395.5556	35600	1.0570	9973888
0.0004	397.7778	35800	1.0614	10030096
0.0003	400.0	36000	1.0678	10086192
0.0003	402.2222	36200	1.0756	10142304
0.0003	404.4444	36400	1.0853	10198320
0.0002	406.6667	36600	1.0953	10254256
0.0003	408.8889	36800	1.0946	10310096
0.0004	411.1111	37000	1.1083	10366160
0.0002	413.3333	37200	1.0990	10422192
0.0002	415.5556	37400	1.0979	10478368
0.0003	417.7778	37600	1.1120	10534240
0.0004	420.0	37800	1.1069	10590208
0.0001	422.2222	38000	1.1139	10646384
0.0002	424.4444	38200	1.1131	10702336
0.0002	426.6667	38400	1.1312	10758400
0.0003	428.8889	38600	1.1162	10814480
0.0001	431.1111	38800	1.1202	10870400
0.0002	433.3333	39000	1.1268	10926320
0.0002	435.5556	39200	1.1343	10982240
0.0002	437.7778	39400	1.1291	11038352
0.0001	440.0	39600	1.1361	11094352
0.0002	442.2222	39800	1.1250	11150400
0.0003	444.4444	40000	1.1277	11206480

Framework versions

• PEFT 0.15.2.dev0
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1