train_multirc_1745950261

This model is a fine-tuned version of google/gemma-3-1b-it on the multirc dataset. It achieves the following results on the evaluation set:

• Loss: 0.1211
• Num Input Tokens Seen: 76963024

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 123
• gradient_accumulation_steps: 2
• total_train_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.08	0.0326	200	0.2234	385088
0.1261	0.0653	400	0.1989	770352
0.1522	0.0979	600	0.1723	1160480
0.1221	0.1305	800	0.1739	1543296
0.1766	0.1631	1000	0.1777	1931808
0.163	0.1958	1200	0.1671	2315744
0.1673	0.2284	1400	0.1596	2710208
0.1716	0.2610	1600	0.1688	3095216
0.1506	0.2937	1800	0.1690	3483504
0.2079	0.3263	2000	0.1562	3872976
0.1947	0.3589	2200	0.1469	4254272
0.1659	0.3915	2400	0.1536	4637376
0.2789	0.4242	2600	0.1615	5019664
0.3232	0.4568	2800	0.1565	5406912
0.2185	0.4894	3000	0.1482	5786080
0.2453	0.5221	3200	0.1551	6167600
0.1106	0.5547	3400	0.1408	6553904
0.0803	0.5873	3600	0.1552	6936656
0.1782	0.6200	3800	0.1527	7321136
0.1269	0.6526	4000	0.1362	7709856
0.0605	0.6852	4200	0.1374	8100560
0.1342	0.7178	4400	0.1396	8482208
0.1543	0.7505	4600	0.1348	8868016
0.1647	0.7831	4800	0.1546	9254560
0.0188	0.8157	5000	0.1499	9634544
0.1237	0.8484	5200	0.1352	10013984
0.1465	0.8810	5400	0.1589	10397792
0.1414	0.9136	5600	0.1299	10784512
0.1428	0.9462	5800	0.1285	11165168
0.1544	0.9789	6000	0.1308	11553056
0.0942	1.0114	6200	0.1494	11940352
0.1933	1.0440	6400	0.1410	12331920
0.0982	1.0767	6600	0.1456	12726352
0.2651	1.1093	6800	0.1489	13105200
0.106	1.1419	7000	0.1428	13483648
0.0809	1.1746	7200	0.1451	13862816
0.0991	1.2072	7400	0.1381	14252288
0.0932	1.2398	7600	0.1447	14638816
0.1439	1.2725	7800	0.1407	15024560
0.0544	1.3051	8000	0.1474	15412000
0.1348	1.3377	8200	0.1367	15789456
0.0182	1.3703	8400	0.1446	16173616
0.0708	1.4030	8600	0.1318	16558464
0.0205	1.4356	8800	0.1464	16945488
0.1505	1.4682	9000	0.1335	17338800
0.1536	1.5009	9200	0.1346	17729104
0.1391	1.5335	9400	0.1540	18107328
0.044	1.5661	9600	0.1414	18497776
0.1508	1.5987	9800	0.1487	18881008
0.1213	1.6314	10000	0.1376	19266960
0.1004	1.6640	10200	0.1352	19650480
0.2218	1.6966	10400	0.1263	20041120
0.1434	1.7293	10600	0.1211	20421120
0.0432	1.7619	10800	0.1398	20808496
0.2285	1.7945	11000	0.1459	21195024
0.1986	1.8271	11200	0.1308	21570368
0.172	1.8598	11400	0.1249	21950896
0.1569	1.8924	11600	0.1369	22333376
0.0447	1.9250	11800	0.1266	22714512
0.081	1.9577	12000	0.1330	23099888
0.0422	1.9903	12200	0.1476	23482400
0.0054	2.0228	12400	0.1638	23860160
0.1379	2.0555	12600	0.2061	24249008
0.1184	2.0881	12800	0.1539	24639552
0.0284	2.1207	13000	0.1641	25026880
0.0089	2.1534	13200	0.1504	25410448
0.0075	2.1860	13400	0.1620	25785744
0.0404	2.2186	13600	0.1707	26163104
0.0478	2.2512	13800	0.1779	26546240
0.0021	2.2839	14000	0.1686	26923408
0.0934	2.3165	14200	0.1713	27309344
0.1286	2.3491	14400	0.1713	27698752
0.0139	2.3818	14600	0.1627	28082208
0.163	2.4144	14800	0.1569	28468576
0.0111	2.4470	15000	0.1583	28856272
0.1074	2.4796	15200	0.1569	29234704
0.0931	2.5123	15400	0.1757	29617728
0.1366	2.5449	15600	0.1763	30004032
0.0933	2.5775	15800	0.1607	30386752
0.0025	2.6102	16000	0.2009	30774224
0.071	2.6428	16200	0.1653	31164304
0.1059	2.6754	16400	0.1721	31548832
0.0747	2.7081	16600	0.1902	31943568
0.0031	2.7407	16800	0.1783	32327088
0.0657	2.7733	17000	0.1592	32713728
0.0995	2.8059	17200	0.2045	33093744
0.2777	2.8386	17400	0.1505	33484336
0.0597	2.8712	17600	0.1721	33875072
0.1232	2.9038	17800	0.1584	34264832
0.2073	2.9365	18000	0.1847	34652800
0.0482	2.9691	18200	0.1612	35036144
0.0212	3.0016	18400	0.1658	35410304
0.0058	3.0343	18600	0.2092	35808688
0.048	3.0669	18800	0.1843	36200720
0.1001	3.0995	19000	0.2211	36580112
0.1011	3.1321	19200	0.2259	36961872
0.0699	3.1648	19400	0.2151	37345136
0.0018	3.1974	19600	0.2247	37732992
0.0134	3.2300	19800	0.2321	38118784
0.0028	3.2627	20000	0.2168	38503392
0.2017	3.2953	20200	0.2045	38885696
0.0441	3.3279	20400	0.2047	39270320
0.0007	3.3606	20600	0.2137	39665472
0.0745	3.3932	20800	0.2169	40049680
0.0049	3.4258	21000	0.2401	40436560
0.0513	3.4584	21200	0.2144	40820704
0.0909	3.4911	21400	0.2306	41202080
0.0033	3.5237	21600	0.2202	41588560
0.0445	3.5563	21800	0.2221	41977888
0.0054	3.5890	22000	0.2167	42361392
0.0047	3.6216	22200	0.2271	42746416
0.0009	3.6542	22400	0.2559	43126400
0.1059	3.6868	22600	0.2280	43513248
0.1354	3.7195	22800	0.2297	43896720
0.1154	3.7521	23000	0.2093	44278640
0.0173	3.7847	23200	0.2116	44666464
0.0032	3.8174	23400	0.2078	45047360
0.0808	3.8500	23600	0.2206	45426496
0.1363	3.8826	23800	0.2621	45813536
0.1103	3.9152	24000	0.2262	46192656
0.0641	3.9479	24200	0.2039	46576928
0.1402	3.9805	24400	0.2130	46965120
0.0794	4.0131	24600	0.2452	47347920
0.0025	4.0457	24800	0.2809	47741360
0.0002	4.0783	25000	0.3015	48131120
0.0777	4.1109	25200	0.3439	48513200
0.0003	4.1436	25400	0.3472	48894496
0.059	4.1762	25600	0.3460	49280736
0.0571	4.2088	25800	0.3478	49662304
0.0	4.2415	26000	0.3317	50049312
0.0008	4.2741	26200	0.2933	50433008
0.0881	4.3067	26400	0.2598	50815824
0.0003	4.3393	26600	0.3101	51200224
0.0034	4.3720	26800	0.2957	51585680
0.0809	4.4046	27000	0.2965	51969184
0.0639	4.4372	27200	0.3127	52363216
0.0635	4.4699	27400	0.3071	52737552
0.0045	4.5025	27600	0.3099	53112128
0.053	4.5351	27800	0.2939	53489200
0.011	4.5677	28000	0.2899	53870832
0.1026	4.6004	28200	0.2872	54260848
0.1132	4.6330	28400	0.3090	54647840
0.0013	4.6656	28600	0.2591	55035376
0.0017	4.6983	28800	0.2717	55421296
0.0021	4.7309	29000	0.3105	55807776
0.0026	4.7635	29200	0.3254	56188960
0.0	4.7961	29400	0.3105	56576864
0.0004	4.8288	29600	0.2931	56959888
0.002	4.8614	29800	0.3230	57347776
0.0001	4.8940	30000	0.3146	57727072
0.0019	4.9267	30200	0.2772	58119904
0.0009	4.9593	30400	0.2872	58503776
0.0006	4.9919	30600	0.2908	58892528
0.0736	5.0245	30800	0.2989	59278112
0.0017	5.0571	31000	0.3235	59663264
0.0006	5.0897	31200	0.3357	60047056
0.0002	5.1224	31400	0.3460	60433680
0.0001	5.1550	31600	0.3557	60809376
0.0002	5.1876	31800	0.3558	61186608
0.0001	5.2202	32000	0.3640	61567504
0.0008	5.2529	32200	0.3641	61958976
0.0005	5.2855	32400	0.3603	62346176
0.0829	5.3181	32600	0.3541	62734064
0.0001	5.3508	32800	0.3812	63124752
0.0588	5.3834	33000	0.4010	63517792
0.0015	5.4160	33200	0.4077	63894896
0.0001	5.4486	33400	0.4231	64277584
0.0001	5.4813	33600	0.4216	64661856
0.0	5.5139	33800	0.4218	65043136
0.0	5.5465	34000	0.4287	65439360
0.0002	5.5792	34200	0.4232	65819600
0.0002	5.6118	34400	0.4321	66199376
0.0015	5.6444	34600	0.4343	66583936
0.0	5.6771	34800	0.4237	66968960
0.0001	5.7097	35000	0.4073	67361344
0.0024	5.7423	35200	0.4150	67746288
0.0138	5.7749	35400	0.4070	68131952
0.0	5.8076	35600	0.4128	68514656
0.0003	5.8402	35800	0.4170	68904544
0.0001	5.8728	36000	0.4164	69286320
0.1023	5.9055	36200	0.4186	69676640
0.0001	5.9381	36400	0.4263	70057024
0.0	5.9707	36600	0.4205	70432848
0.0001	6.0033	36800	0.4215	70819440
0.0001	6.0359	37000	0.4249	71203008
0.1001	6.0685	37200	0.4255	71588672
0.0	6.1012	37400	0.4247	71972608
0.0	6.1338	37600	0.4275	72358032
0.0205	6.1664	37800	0.4306	72749840
0.0	6.1990	38000	0.4313	73128448
0.0489	6.2317	38200	0.4279	73518048
0.0027	6.2643	38400	0.4313	73911328
0.0022	6.2969	38600	0.4321	74293168
0.0001	6.3296	38800	0.4322	74668864
0.0815	6.3622	39000	0.4304	75058640
0.0	6.3948	39200	0.4323	75440784
0.0003	6.4274	39400	0.4313	75822528
0.0001	6.4601	39600	0.4323	76198368
0.0001	6.4927	39800	0.4305	76581104
0.0001	6.5253	40000	0.4291	76963024

Framework versions

• PEFT 0.15.2.dev0
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1