Upload folder using huggingface_hub

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/kto1",
+  "_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto2_as0.75",
   "architectures": [
     "Qwen2ForCausalLM"
   ],

llmtf_eval/daru_treewayabstractive_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/daru_treewayabstractive_total.jsonl

@@ -1,8 +1,8 @@
 {
     "task_name": "daru/treewayabstractive",
     "results": {
-        "rouge1": 0.3486928379990829,
-        "rouge2": 0.12579847916639003
+        "rouge1": 0.3489002151166006,
+        "rouge2": 0.12404569962254197
     },
-    "leaderboard_result": 0.23724565858273647
+    "leaderboard_result": 0.23647295736957127
 }

llmtf_eval/daru_treewayextractive.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6a116bbafae89d0abfaeade4c758e46404407947fbe77e42f954e739121b6f25
-size 212508807
+oid sha256:4d04091932409c48ca73be466840b9aa2dbfc33cf80644e2092b8d0f2af48e4d
+size 212505309

llmtf_eval/daru_treewayextractive_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/daru_treewayextractive_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "daru/treewayextractive",
     "results": {
-        "r-prec": 0.3931765512265512
+        "r-prec": 0.40380281385281386
     },
-    "leaderboard_result": 0.3931765512265512
+    "leaderboard_result": 0.40380281385281386
 }

llmtf_eval/darumeru_MultiQ_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/darumeru_MultiQ_total.jsonl

@@ -1,8 +1,8 @@
 {
     "task_name": "darumeru/MultiQ",
     "results": {
-        "f1": 0.28476692977698215,
-        "em": 0.17304015296367112
+        "f1": 0.2503859074384594,
+        "em": 0.14531548757170173
     },
-    "leaderboard_result": 0.22890354137032665
+    "leaderboard_result": 0.19785069750508055
 }

llmtf_eval/darumeru_PARus.jsonl

@@ -6,8 +6,8 @@
         }
     },
     "predict": {
-        "1": 0.5310572981834412,
-        "2": 0.468656450510025
+        "1": 0.9046180248260498,
+        "2": 0.09534603357315063
     },
     "sample": {
         "messages": [
@@ -47,8 +47,8 @@
         }
     },
     "predict": {
-        "1": 0.973899781703949,
-        "2": 0.02595354989171028
+        "1": 0.9987958669662476,
+        "2": 0.0011694696731865406
     },
     "sample": {
         "messages": [
@@ -88,8 +88,8 @@
         }
     },
     "predict": {
-        "1": 0.007576541509479284,
-        "2": 0.9923311471939087
+        "1": 0.002800870221108198,
+        "2": 0.9971787929534912
     },
     "sample": {
         "messages": [
@@ -129,8 +129,8 @@
         }
     },
     "predict": {
-        "1": 0.9993485808372498,
-        "2": 0.0005527240573428571
+        "1": 0.9995490908622742,
+        "2": 0.00043054833076894283
     },
     "sample": {
         "messages": [
@@ -170,8 +170,8 @@
         }
     },
     "predict": {
-        "1": 0.9818406701087952,
-        "2": 0.01798303984105587
+        "1": 0.995887815952301,
+        "2": 0.004069965798407793
     },
     "sample": {
         "messages": [
@@ -211,8 +211,8 @@
         }
     },
     "predict": {
-        "1": 0.1823844015598297,
-        "2": 0.8173901438713074
+        "1": 0.11919570714235306,
+        "2": 0.8807438015937805
     },
     "sample": {
         "messages": [
@@ -252,8 +252,8 @@
         }
     },
     "predict": {
-        "1": 0.02297402359545231,
-        "2": 0.9768803119659424
+        "1": 0.0066925836727023125,
+        "2": 0.9932675361633301
     },
     "sample": {
         "messages": [
@@ -293,8 +293,8 @@
         }
     },
     "predict": {
-        "1": 0.9939806461334229,
-        "2": 0.005910424515604973
+        "1": 0.9993550181388855,
+        "2": 0.0006263224058784544
     },
     "sample": {
         "messages": [
@@ -334,8 +334,8 @@
         }
     },
     "predict": {
-        "1": 0.0015010512433946133,
-        "2": 0.9984116554260254
+        "1": 0.0009110335377044976,
+        "2": 0.9990696310997009
     },
     "sample": {
         "messages": [
@@ -375,8 +375,8 @@
         }
     },
     "predict": {
-        "1": 0.9982185959815979,
-        "2": 0.0017005851259455085
+        "1": 0.9991737008094788,
+        "2": 0.0008040681132115424
     },
     "sample": {
         "messages": [
@@ -416,8 +416,8 @@
         }
     },
     "predict": {
-        "1": 0.9817925095558167,
-        "2": 0.017982156947255135
+        "1": 0.9968141913414001,
+        "2": 0.0031726411543786526
     },
     "sample": {
         "messages": [
@@ -457,8 +457,8 @@
         }
     },
     "predict": {
-        "1": 0.014061990194022655,
-        "2": 0.9858216643333435
+        "1": 0.004609423223882914,
+        "2": 0.9953581690788269
     },
     "sample": {
         "messages": [
@@ -498,8 +498,8 @@
         }
     },
     "predict": {
-        "1": 0.9923364520072937,
-        "2": 0.00757658202201128
+        "1": 0.9984826445579529,
+        "2": 0.0015011578798294067
     },
     "sample": {
         "messages": [
@@ -539,8 +539,8 @@
         }
     },
     "predict": {
-        "1": 0.04208356887102127,
-        "2": 0.9578176140785217
+        "1": 0.017985837534070015,
+        "2": 0.9819934368133545
     },
     "sample": {
         "messages": [
@@ -580,8 +580,8 @@
         }
     },
     "predict": {
-        "1": 0.9953008890151978,
-        "2": 0.004609157796949148
+        "1": 0.998471200466156,
+        "2": 0.0015011407667770982
     },
     "sample": {
         "messages": [
@@ -621,8 +621,8 @@
         }
     },
     "predict": {
-        "1": 0.08506961911916733,
-        "2": 0.9145846366882324
+        "1": 0.09534280002117157,
+        "2": 0.9045873284339905
     },
     "sample": {
         "messages": [
@@ -662,8 +662,8 @@
         }
     },
     "predict": {
-        "1": 0.966869056224823,
-        "2": 0.033084437251091
+        "1": 0.9859235286712646,
+        "2": 0.014063443057239056
     },
     "sample": {
         "messages": [
@@ -703,8 +703,8 @@
         }
     },
     "predict": {
-        "1": 0.6224046945571899,
-        "2": 0.3775075376033783
+        "1": 0.5311946868896484,
+        "2": 0.4687776565551758
     },
     "sample": {
         "messages": [
@@ -744,8 +744,8 @@
         }
     },
     "predict": {
-        "1": 0.9976467490196228,
-        "2": 0.0021823435090482235
+        "1": 0.9996562004089355,
+        "2": 0.00029594296938739717
     },
     "sample": {
         "messages": [
@@ -785,8 +785,8 @@
         }
     },
     "predict": {
-        "1": 0.0007095373584888875,
-        "2": 0.9991030693054199
+        "1": 0.00023049682204145938,
+        "2": 0.9997265934944153
     },
     "sample": {
         "messages": [
@@ -826,8 +826,8 @@
         }
     },
     "predict": {
-        "1": 0.9923442006111145,
-        "2": 0.007576641160994768
+        "1": 0.977005124092102,
+        "2": 0.022976959124207497
     },
     "sample": {
         "messages": [
@@ -867,8 +867,8 @@
         }
     },
     "predict": {
-        "1": 0.07584688812494278,
-        "2": 0.9240042567253113
+        "1": 0.04208612069487572,
+        "2": 0.9578757286071777
     },
     "sample": {
         "messages": [
@@ -908,8 +908,8 @@
         }
     },
     "predict": {
-        "1": 0.7523679733276367,
-        "2": 0.2442581206560135
+        "1": 0.919820249080658,
+        "2": 0.06663155555725098
     },
     "sample": {
         "messages": [
@@ -949,8 +949,8 @@
         }
     },
     "predict": {
-        "1": 0.850593090057373,
-        "2": 0.1478109061717987
+        "1": 0.8952623009681702,
+        "2": 0.09435994923114777
     },
     "sample": {
         "messages": [
@@ -990,8 +990,8 @@
         }
     },
     "predict": {
-        "1": 0.00669165700674057,
-        "2": 0.9931299090385437
+        "1": 0.004609416704624891,
+        "2": 0.9953567385673523
     },
     "sample": {
         "messages": [
@@ -1031,8 +1031,8 @@
         }
     },
     "predict": {
-        "1": 0.9874297976493835,
-        "2": 0.012429906986653805
+        "1": 0.9968006610870361,
+        "2": 0.0031725980807095766
     },
     "sample": {
         "messages": [
@@ -1072,8 +1072,8 @@
         }
     },
     "predict": {
-        "1": 0.017981022596359253,
-        "2": 0.981730580329895
+        "1": 0.002472581109032035,
+        "2": 0.9975103139877319
     },
     "sample": {
         "messages": [
@@ -1113,8 +1113,8 @@
         }
     },
     "predict": {
-        "1": 0.9577561616897583,
-        "2": 0.042080871760845184
+        "1": 0.9902675747871399,
+        "2": 0.009708242490887642
     },
     "sample": {
         "messages": [
@@ -1154,8 +1154,8 @@
         }
     },
     "predict": {
-        "1": 0.9889400601387024,
-        "2": 0.01098613254725933
+        "1": 0.9988248944282532,
+        "2": 0.001169503666460514
     },
     "sample": {
         "messages": [
@@ -1195,8 +1195,8 @@
         }
     },
     "predict": {
-        "1": 0.5621070265769958,
-        "2": 0.4377693831920624
+        "1": 0.6791527271270752,
+        "2": 0.3208090364933014
     },
     "sample": {
         "messages": [
@@ -1236,8 +1236,8 @@
         }
     },
     "predict": {
-        "1": 0.817004919052124,
-        "2": 0.1822984516620636
+        "1": 0.9706517457962036,
+        "2": 0.02931114286184311
     },
     "sample": {
         "messages": [
@@ -1277,8 +1277,8 @@
         }
     },
     "predict": {
-        "1": 0.8515782952308655,
-        "2": 0.14798210561275482
+        "1": 0.9240614771842957,
+        "2": 0.07585158944129944
     },
     "sample": {
         "messages": [
@@ -1318,8 +1318,8 @@
         }
     },
     "predict": {
-        "1": 0.7548331022262573,
-        "2": 0.24505841732025146
+        "1": 0.8175435066223145,
+        "2": 0.1824186146259308
     },
     "sample": {
         "messages": [
@@ -1359,8 +1359,8 @@
         }
     },
     "predict": {
-        "1": 0.8518908023834229,
-        "2": 0.1480364203453064
+        "1": 0.9241194128990173,
+        "2": 0.07585634291172028
     },
     "sample": {
         "messages": [
@@ -1400,8 +1400,8 @@
         }
     },
     "predict": {
-        "1": 0.9239847660064697,
-        "2": 0.07584528625011444
+        "1": 0.9525291323661804,
+        "2": 0.04742363095283508
     },
     "sample": {
         "messages": [
@@ -1441,8 +1441,8 @@
         }
     },
     "predict": {
-        "1": 0.5924408435821533,
-        "2": 0.40717825293540955
+        "1": 0.705711305141449,
+        "2": 0.29418423771858215
     },
     "sample": {
         "messages": [
@@ -1482,8 +1482,8 @@
         }
     },
     "predict": {
-        "1": 0.00857587531208992,
-        "2": 0.9912364482879639
+        "1": 0.03732487931847572,
+        "2": 0.9626213908195496
     },
     "sample": {
         "messages": [
@@ -1523,8 +1523,8 @@
         }
     },
     "predict": {
-        "1": 0.9818271994590759,
-        "2": 0.01798279397189617
+        "1": 0.9967877864837646,
+        "2": 0.0031725571025162935
     },
     "sample": {
         "messages": [
@@ -1564,8 +1564,8 @@
         }
     },
     "predict": {
-        "1": 0.9322587847709656,
-        "2": 0.06753259897232056
+        "1": 0.9796013832092285,
+        "2": 0.02033097855746746
     },
     "sample": {
         "messages": [
@@ -1605,8 +1605,8 @@
         }
     },
     "predict": {
-        "1": 0.1644754260778427,
-        "2": 0.8352752327919006
+        "1": 0.40723785758018494,
+        "2": 0.5925275683403015
     },
     "sample": {
         "messages": [
@@ -1646,8 +1646,8 @@
         }
     },
     "predict": {
-        "1": 0.9985849857330322,
-        "2": 0.0013249029871076345
+        "1": 0.9994237422943115,
+        "2": 0.0005527656176127493
     },
     "sample": {
         "messages": [
@@ -1687,8 +1687,8 @@
         }
     },
     "predict": {
-        "1": 0.06007922813296318,
-        "2": 0.9397972822189331
+        "1": 0.0035934951156377792,
+        "2": 0.9963765740394592
     },
     "sample": {
         "messages": [
@@ -1728,8 +1728,8 @@
         }
     },
     "predict": {
-        "1": 0.14798960089683533,
-        "2": 0.8516213893890381
+        "1": 0.05339653044939041,
+        "2": 0.9464761018753052
     },
     "sample": {
         "messages": [
@@ -1769,8 +1769,8 @@
         }
     },
     "predict": {
-        "1": 0.9667020440101624,
-        "2": 0.03307872265577316
+        "1": 0.9923754334449768,
+        "2": 0.00757687957957387
     },
     "sample": {
         "messages": [
@@ -1810,8 +1810,8 @@
         }
     },
     "predict": {
-        "1": 0.7977695465087891,
-        "2": 0.20170772075653076
+        "1": 0.5926133990287781,
+        "2": 0.4072968363761902
     },
     "sample": {
         "messages": [
@@ -1851,8 +1851,8 @@
         }
     },
     "predict": {
-        "1": 0.9044188857078552,
-        "2": 0.0953250452876091
+        "1": 0.9740006923675537,
+        "2": 0.02595623768866062
     },
     "sample": {
         "messages": [
@@ -1892,8 +1892,8 @@
         }
     },
     "predict": {
-        "1": 0.9577030539512634,
-        "2": 0.04207853600382805
+        "1": 0.9668759703636169,
+        "2": 0.033084675669670105
     },
     "sample": {
         "messages": [
@@ -1933,8 +1933,8 @@
         }
     },
     "predict": {
-        "1": 0.09532523900270462,
-        "2": 0.9044207334518433
+        "1": 0.03732512146234512,
+        "2": 0.9626275300979614
     },
     "sample": {
         "messages": [
@@ -1974,8 +1974,8 @@
         }
     },
     "predict": {
-        "1": 0.9705726504325867,
-        "2": 0.029308754950761795
+        "1": 0.9924019575119019,
+        "2": 0.007577082142233849
     },
     "sample": {
         "messages": [
@@ -2015,8 +2015,8 @@
         }
     },
     "predict": {
-        "1": 0.26889416575431824,
-        "2": 0.7309300303459167
+        "1": 0.4072953164577484,
+        "2": 0.5926111936569214
     },
     "sample": {
         "messages": [
@@ -2056,8 +2056,8 @@
         }
     },
     "predict": {
-        "1": 0.008576548658311367,
-        "2": 0.9913142323493958
+        "1": 0.0015011278446763754,
+        "2": 0.9984626770019531
     },
     "sample": {
         "messages": [
@@ -2097,8 +2097,8 @@
         }
     },
     "predict": {
-        "1": 0.9769033193588257,
-        "2": 0.022974563762545586
+        "1": 0.9940166473388672,
+        "2": 0.005910638719797134
     },
     "sample": {
         "messages": [
@@ -2138,8 +2138,8 @@
         }
     },
     "predict": {
-        "1": 0.6511993408203125,
-        "2": 0.3485619127750397
+        "1": 0.6791406869888306,
+        "2": 0.32080337405204773
     },
     "sample": {
         "messages": [
@@ -2179,8 +2179,8 @@
         }
     },
     "predict": {
-        "1": 0.6511839628219604,
-        "2": 0.34855368733406067
+        "1": 0.9241063594818115,
+        "2": 0.07585527002811432
     },
     "sample": {
         "messages": [
@@ -2220,8 +2220,8 @@
         }
     },
     "predict": {
-        "1": 0.20139771699905396,
-        "2": 0.7965434193611145
+        "1": 0.04207216575741768,
+        "2": 0.9575580954551697
     },
     "sample": {
         "messages": [
@@ -2261,8 +2261,8 @@
         }
     },
     "predict": {
-        "1": 0.9517778158187866,
-        "2": 0.04738622531294823
+        "1": 0.9818181395530701,
+        "2": 0.01798262633383274
     },
     "sample": {
         "messages": [
@@ -2302,8 +2302,8 @@
         }
     },
     "predict": {
-        "1": 0.3774365484714508,
-        "2": 0.6222876310348511
+        "1": 0.29419082403182983,
+        "2": 0.7057271003723145
     },
     "sample": {
         "messages": [
@@ -2343,8 +2343,8 @@
         }
     },
     "predict": {
-        "1": 0.9624660611152649,
-        "2": 0.03731885924935341
+        "1": 0.9859031438827515,
+        "2": 0.014063152484595776
     },
     "sample": {
         "messages": [
@@ -2384,8 +2384,8 @@
         }
     },
     "predict": {
-        "1": 0.029307551681995392,
-        "2": 0.9705327749252319
+        "1": 0.02033173479139805,
+        "2": 0.9796379208564758
     },
     "sample": {
         "messages": [
@@ -2425,8 +2425,8 @@
         }
     },
     "predict": {
-        "1": 0.990216851234436,
-        "2": 0.009707745164632797
+        "1": 0.9975074529647827,
+        "2": 0.0024725738912820816
     },
     "sample": {
         "messages": [
@@ -2466,8 +2466,8 @@
         }
     },
     "predict": {
-        "1": 0.0024717780761420727,
-        "2": 0.9971863627433777
+        "1": 9.609559492673725e-05,
+        "2": 0.9998328685760498
     },
     "sample": {
         "messages": [
@@ -2507,8 +2507,8 @@
         }
     },
     "predict": {
-        "1": 0.8511277437210083,
-        "2": 0.14790381491184235
+        "1": 0.9923446774482727,
+        "2": 0.007576644420623779
     },
     "sample": {
         "messages": [
@@ -2548,8 +2548,8 @@
         }
     },
     "predict": {
-        "1": 0.003172198310494423,
-        "2": 0.9966750144958496
+        "1": 0.000626317982096225,
+        "2": 0.9993478655815125
     },
     "sample": {
         "messages": [
@@ -2589,8 +2589,8 @@
         }
     },
     "predict": {
-        "1": 0.9992133378982544,
-        "2": 0.0007096157060004771
+        "1": 0.9997971653938293,
+        "2": 0.0001795237767510116
     },
     "sample": {
         "messages": [
@@ -2630,8 +2630,8 @@
         }
     },
     "predict": {
-        "1": 0.9738790988922119,
-        "2": 0.02595299854874611
+        "1": 0.9889839291572571,
+        "2": 0.010986619628965855
     },
     "sample": {
         "messages": [
@@ -2671,8 +2671,8 @@
         }
     },
     "predict": {
-        "1": 0.16440823674201965,
-        "2": 0.8349339365959167
+        "1": 0.04741464555263519,
+        "2": 0.9523486495018005
     },
     "sample": {
         "messages": [
@@ -2712,8 +2712,8 @@
         }
     },
     "predict": {
-        "1": 0.8518028259277344,
-        "2": 0.1480211317539215
+        "1": 0.9148532748222351,
+        "2": 0.08509460836648941
     },
     "sample": {
         "messages": [
@@ -2753,8 +2753,8 @@
         }
     },
     "predict": {
-        "1": 0.6511270999908447,
-        "2": 0.34852325916290283
+        "1": 0.9465547800064087,
+        "2": 0.05340097099542618
     },
     "sample": {
         "messages": [
@@ -2794,8 +2794,8 @@
         }
     },
     "predict": {
-        "1": 0.9931907057762146,
-        "2": 0.006692066323012114
+        "1": 0.9990584254264832,
+        "2": 0.0009110233513638377
     },
     "sample": {
         "messages": [
@@ -2835,8 +2835,8 @@
         }
     },
     "predict": {
-        "1": 0.04207742586731911,
-        "2": 0.9576777815818787
+        "1": 0.004069938324391842,
+        "2": 0.9958810806274414
     },
     "sample": {
         "messages": [
@@ -2876,8 +2876,8 @@
         }
     },
     "predict": {
-        "1": 0.14798320829868317,
-        "2": 0.8515846729278564
+        "1": 0.08509205281734467,
+        "2": 0.9148258566856384
     },
     "sample": {
         "messages": [
@@ -2917,8 +2917,8 @@
         }
     },
     "predict": {
-        "1": 0.9888705611228943,
-        "2": 0.010985360480844975
+        "1": 0.9971791505813599,
+        "2": 0.0028008711524307728
     },
     "sample": {
         "messages": [
@@ -2958,8 +2958,8 @@
         }
     },
     "predict": {
-        "1": 0.7539710402488708,
-        "2": 0.2447785586118698
+        "1": 0.9388245940208435,
+        "2": 0.060017045587301254
     },
     "sample": {
         "messages": [
@@ -2999,8 +2999,8 @@
         }
     },
     "predict": {
-        "1": 0.03306300938129425,
-        "2": 0.966242790222168
+        "1": 0.01405990682542324,
+        "2": 0.9856756329536438
     },
     "sample": {
         "messages": [
@@ -3040,8 +3040,8 @@
         }
     },
     "predict": {
-        "1": 0.08507589250802994,
-        "2": 0.9146520495414734
+        "1": 0.0758528858423233,
+        "2": 0.9240773916244507
     },
     "sample": {
         "messages": [
@@ -3081,8 +3081,8 @@
         }
     },
     "predict": {
-        "1": 0.8931588530540466,
-        "2": 0.10667261481285095
+        "1": 0.9706453084945679,
+        "2": 0.02931094914674759
     },
     "sample": {
         "messages": [
@@ -3122,8 +3122,8 @@
         }
     },
     "predict": {
-        "1": 0.16446301341056824,
-        "2": 0.8352121710777283
+        "1": 0.0850934088230133,
+        "2": 0.9148404002189636
     },
     "sample": {
         "messages": [
@@ -3163,8 +3163,8 @@
         }
     },
     "predict": {
-        "1": 0.9946564435958862,
-        "2": 0.005219477694481611
+        "1": 0.9980545043945312,
+        "2": 0.0019266983726993203
     },
     "sample": {
         "messages": [
@@ -3204,8 +3204,8 @@
         }
     },
     "predict": {
-        "1": 0.9857065081596375,
-        "2": 0.014060348272323608
+        "1": 0.996759831905365,
+        "2": 0.0031724681612104177
     },
     "sample": {
         "messages": [
@@ -3245,8 +3245,8 @@
         }
     },
     "predict": {
-        "1": 0.32066792249679565,
-        "2": 0.6788539886474609
+        "1": 0.06754186004400253,
+        "2": 0.9323865175247192
     },
     "sample": {
         "messages": [
@@ -3286,8 +3286,8 @@
         }
     },
     "predict": {
-        "1": 0.993226945400238,
-        "2": 0.006692310329526663
+        "1": 0.999183714389801,
+        "2": 0.0008040761458687484
     },
     "sample": {
         "messages": [
@@ -3327,8 +3327,8 @@
         }
     },
     "predict": {
-        "1": 0.03731995448470116,
-        "2": 0.9624943733215332
+        "1": 0.002182585885748267,
+        "2": 0.997757613658905
     },
     "sample": {
         "messages": [
@@ -3368,8 +3368,8 @@
         }
     },
     "predict": {
-        "1": 0.991333544254303,
-        "2": 0.008576715365052223
+        "1": 0.995913565158844,
+        "2": 0.004070071037858725
     },
     "sample": {
         "messages": [
@@ -3409,8 +3409,8 @@
         }
     },
     "predict": {
-        "1": 0.06008043885231018,
-        "2": 0.9398162364959717
+        "1": 0.1645093560218811,
+        "2": 0.8354474902153015
     },
     "sample": {
         "messages": [
@@ -3450,8 +3450,8 @@
         }
     },
     "predict": {
-        "1": 0.11916544288396835,
-        "2": 0.8805201649665833
+        "1": 0.012431344017386436,
+        "2": 0.9875439405441284
     },
     "sample": {
         "messages": [
@@ -3491,8 +3491,8 @@
         }
     },
     "predict": {
-        "1": 0.970562756061554,
-        "2": 0.029308456927537918
+        "1": 0.9875543713569641,
+        "2": 0.012431475333869457
     },
     "sample": {
         "messages": [
@@ -3532,8 +3532,8 @@
         }
     },
     "predict": {
-        "1": 0.9518556594848633,
-        "2": 0.047390103340148926
+        "1": 0.9817807674407959,
+        "2": 0.017981942743062973
     },
     "sample": {
         "messages": [
@@ -3573,8 +3573,8 @@
         }
     },
     "predict": {
-        "1": 0.04206098988652229,
-        "2": 0.9573037028312683
+        "1": 0.022972526028752327,
+        "2": 0.9768165946006775
     },
     "sample": {
         "messages": [
@@ -3614,8 +3614,8 @@
         }
     },
     "predict": {
-        "1": 0.880456268787384,
-        "2": 0.11915680021047592
+        "1": 0.9398584365844727,
+        "2": 0.060083139687776566
     },
     "sample": {
         "messages": [
@@ -3655,8 +3655,8 @@
         }
     },
     "predict": {
-        "1": 0.8666709661483765,
-        "2": 0.13290829956531525
+        "1": 0.9578681588172913,
+        "2": 0.042085789144039154
     },
     "sample": {
         "messages": [
@@ -3696,8 +3696,8 @@
         }
     },
     "predict": {
-        "1": 0.0040695276111364365,
-        "2": 0.9957805871963501
+        "1": 0.0010322034358978271,
+        "2": 0.9989411234855652
     },
     "sample": {
         "messages": [
@@ -3737,8 +3737,8 @@
         }
     },
     "predict": {
-        "1": 0.9932164549827576,
-        "2": 0.006692240014672279
+        "1": 0.9989603757858276,
+        "2": 0.0010322233429178596
     },
     "sample": {
         "messages": [
@@ -3778,8 +3778,8 @@
         }
     },
     "predict": {
-        "1": 0.9963045120239258,
-        "2": 0.0035932352766394615
+        "1": 0.9993422627449036,
+        "2": 0.0006263144314289093
     },
     "sample": {
         "messages": [
@@ -3819,8 +3819,8 @@
         }
     },
     "predict": {
-        "1": 0.025954533368349075,
-        "2": 0.9739366769790649
+        "1": 0.006692690774798393,
+        "2": 0.9932833909988403
     },
     "sample": {
         "messages": [
@@ -3860,8 +3860,8 @@
         }
     },
     "predict": {
-        "1": 0.9874869585037231,
-        "2": 0.012430626899003983
+        "1": 0.9953650236129761,
+        "2": 0.0046094548888504505
     },
     "sample": {
         "messages": [
@@ -3901,8 +3901,8 @@
         }
     },
     "predict": {
-        "1": 0.0011694130953401327,
-        "2": 0.9987474679946899
+        "1": 0.0005527641042135656,
+        "2": 0.9994210004806519
     },
     "sample": {
         "messages": [
@@ -3937,13 +3937,13 @@
 {
     "metric": {
         "acc": {
-            "val": false,
+            "val": true,
             "id": 48
         }
     },
     "predict": {
-        "1": 0.5310389995574951,
-        "2": 0.4686402678489685
+        "1": 0.07585417479276657,
+        "2": 0.9240930676460266
     },
     "sample": {
         "messages": [
@@ -3972,7 +3972,7 @@
         "prompt_len": 87,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -3983,8 +3983,8 @@
         }
     },
     "predict": {
-        "1": 0.9396409392356873,
-        "2": 0.06006923317909241
+        "1": 0.994030237197876,
+        "2": 0.005910719279199839
     },
     "sample": {
         "messages": [
@@ -4024,8 +4024,8 @@
         }
     },
     "predict": {
-        "1": 0.9889688491821289,
-        "2": 0.010986452922224998
+        "1": 0.9968133568763733,
+        "2": 0.0031726385932415724
     },
     "sample": {
         "messages": [
@@ -4065,8 +4065,8 @@
         }
     },
     "predict": {
-        "1": 0.014062261208891869,
-        "2": 0.9858406782150269
+        "1": 0.005910860374569893,
+        "2": 0.9940539002418518
     },
     "sample": {
         "messages": [
@@ -4106,8 +4106,8 @@
         }
     },
     "predict": {
-        "1": 0.9889228343963623,
-        "2": 0.01098594069480896
+        "1": 0.9947681427001953,
+        "2": 0.005220063962042332
     },
     "sample": {
         "messages": [
@@ -4147,8 +4147,8 @@
         }
     },
     "predict": {
-        "1": 0.3207954466342926,
-        "2": 0.6791239380836487
+        "1": 0.1480436474084854,
+        "2": 0.8519324064254761
     },
     "sample": {
         "messages": [
@@ -4188,8 +4188,8 @@
         }
     },
     "predict": {
-        "1": 0.2450614869594574,
-        "2": 0.7548425197601318
+        "1": 0.07585597038269043,
+        "2": 0.9241149425506592
     },
     "sample": {
         "messages": [
@@ -4229,8 +4229,8 @@
         }
     },
     "predict": {
-        "1": 0.995299220085144,
-        "2": 0.004609150346368551
+        "1": 0.9987953901290894,
+        "2": 0.0011694692075252533
     },
     "sample": {
         "messages": [
@@ -4270,8 +4270,8 @@
         }
     },
     "predict": {
-        "1": 0.04206450656056404,
-        "2": 0.9573837518692017
+        "1": 0.00757688470184803,
+        "2": 0.9923761487007141
     },
     "sample": {
         "messages": [
@@ -4311,8 +4311,8 @@
         }
     },
     "predict": {
-        "1": 0.985721230506897,
-        "2": 0.014060557819902897
+        "1": 0.9913881421089172,
+        "2": 0.008577188476920128
     },
     "sample": {
         "messages": [
@@ -4352,8 +4352,8 @@
         }
     },
     "predict": {
-        "1": 0.932188093662262,
-        "2": 0.06752748042345047
+        "1": 0.9147928953170776,
+        "2": 0.08508899062871933
     },
     "sample": {
         "messages": [
@@ -4393,8 +4393,8 @@
         }
     },
     "predict": {
-        "1": 0.24470902979373932,
-        "2": 0.7537568807601929
+        "1": 0.24497996270656586,
+        "2": 0.7545914053916931
     },
     "sample": {
         "messages": [
@@ -4434,8 +4434,8 @@
         }
     },
     "predict": {
-        "1": 0.9043939113616943,
-        "2": 0.09532241523265839
+        "1": 0.9819228053092957,
+        "2": 0.01798454485833645
     },
     "sample": {
         "messages": [
@@ -4475,8 +4475,8 @@
         }
     },
     "predict": {
-        "1": 0.05338682979345322,
-        "2": 0.946304202079773
+        "1": 0.037324488162994385,
+        "2": 0.962611198425293
     },
     "sample": {
         "messages": [
@@ -4516,8 +4516,8 @@
         }
     },
     "predict": {
-        "1": 0.1066792756319046,
-        "2": 0.8932145833969116
+        "1": 0.03732595592737198,
+        "2": 0.9626491069793701
     },
     "sample": {
         "messages": [
@@ -4557,8 +4557,8 @@
         }
     },
     "predict": {
-        "1": 0.994694173336029,
-        "2": 0.005219676066190004
+        "1": 0.9984773993492126,
+        "2": 0.0015011499635875225
     },
     "sample": {
         "messages": [
@@ -4598,8 +4598,8 @@
         }
     },
     "predict": {
-        "1": 0.9577139616012573,
-        "2": 0.04207901656627655
+        "1": 0.9840670824050903,
+        "2": 0.015905963256955147
     },
     "sample": {
         "messages": [
@@ -4639,8 +4639,8 @@
         }
     },
     "predict": {
-        "1": 0.5617201328277588,
-        "2": 0.4374680817127228
+        "1": 0.49992895126342773,
+        "2": 0.49992895126342773
     },
     "sample": {
         "messages": [
@@ -4680,8 +4680,8 @@
         }
     },
     "predict": {
-        "1": 0.9971261620521545,
-        "2": 0.002800722373649478
+        "1": 0.9991768002510071,
+        "2": 0.0008040705579333007
     },
     "sample": {
         "messages": [
@@ -4721,8 +4721,8 @@
         }
     },
     "predict": {
-        "1": 0.004069698043167591,
-        "2": 0.9958223104476929
+        "1": 0.0017006492707878351,
+        "2": 0.998256266117096
     },
     "sample": {
         "messages": [
@@ -4762,8 +4762,8 @@
         }
     },
     "predict": {
-        "1": 0.14798419177532196,
-        "2": 0.8515902757644653
+        "1": 0.11919616907835007,
+        "2": 0.8807471990585327
     },
     "sample": {
         "messages": [
@@ -4803,8 +4803,8 @@
         }
     },
     "predict": {
-        "1": 0.9839787483215332,
-        "2": 0.015904534608125687
+        "1": 0.9982826709747314,
+        "2": 0.0017006942071020603
     },
     "sample": {
         "messages": [
@@ -4844,8 +4844,8 @@
         }
     },
     "predict": {
-        "1": 0.7962379455566406,
-        "2": 0.20132048428058624
+        "1": 0.7524941563606262,
+        "2": 0.24429908394813538
     },
     "sample": {
         "messages": [
@@ -4885,8 +4885,8 @@
         }
     },
     "predict": {
-        "1": 0.13241761922836304,
-        "2": 0.863471269607544
+        "1": 0.01403169147670269,
+        "2": 0.9836975932121277
     },
     "sample": {
         "messages": [
@@ -4926,8 +4926,8 @@
         }
     },
     "predict": {
-        "1": 0.008575951680541039,
-        "2": 0.9912452101707458
+        "1": 0.0015011579962447286,
+        "2": 0.9984827637672424
     },
     "sample": {
         "messages": [
@@ -4967,8 +4967,8 @@
         }
     },
     "predict": {
-        "1": 0.9923034906387329,
-        "2": 0.007576330099254847
+        "1": 0.9984752535820007,
+        "2": 0.0015011468203738332
     },
     "sample": {
         "messages": [
@@ -5008,8 +5008,8 @@
         }
     },
     "predict": {
-        "1": 0.9979990124702454,
-        "2": 0.0019265913870185614
+        "1": 0.9997511506080627,
+        "2": 0.00023050248273648322
     },
     "sample": {
         "messages": [
@@ -5049,8 +5049,8 @@
         }
     },
     "predict": {
-        "1": 0.18237274885177612,
-        "2": 0.8173379302024841
+        "1": 0.34858033061027527,
+        "2": 0.6512337923049927
     },
     "sample": {
         "messages": [
@@ -5090,8 +5090,8 @@
         }
     },
     "predict": {
-        "1": 0.9524269700050354,
-        "2": 0.04741854593157768
+        "1": 0.9819515943527222,
+        "2": 0.017985070124268532
     },
     "sample": {
         "messages": [
@@ -5131,8 +5131,8 @@
         }
     },
     "predict": {
-        "1": 0.14799930155277252,
-        "2": 0.8516772389411926
+        "1": 0.2689225673675537,
+        "2": 0.7310072779655457
     },
     "sample": {
         "messages": [
@@ -5172,8 +5172,8 @@
         }
     },
     "predict": {
-        "1": 0.5925935506820679,
-        "2": 0.407283216714859
+        "1": 0.5926340222358704,
+        "2": 0.40731099247932434
     },
     "sample": {
         "messages": [
@@ -5213,8 +5213,8 @@
         }
     },
     "predict": {
-        "1": 0.7309598922729492,
-        "2": 0.2689051330089569
+        "1": 0.6791409850120544,
+        "2": 0.3208034932613373
     },
     "sample": {
         "messages": [
@@ -5254,8 +5254,8 @@
         }
     },
     "predict": {
-        "1": 0.9980347752571106,
-        "2": 0.0019266604213044047
+        "1": 0.9998723268508911,
+        "2": 0.00012339404202066362
     },
     "sample": {
         "messages": [
@@ -5295,8 +5295,8 @@
         }
     },
     "predict": {
-        "1": 0.04208460822701454,
-        "2": 0.9578412771224976
+        "1": 0.015906143933534622,
+        "2": 0.9840782880783081
     },
     "sample": {
         "messages": [
@@ -5336,8 +5336,8 @@
         }
     },
     "predict": {
-        "1": 0.9833989143371582,
-        "2": 0.015895161777734756
+        "1": 0.9926421046257019,
+        "2": 0.006688369903713465
     },
     "sample": {
         "messages": [
@@ -5377,8 +5377,8 @@
         }
     },
     "predict": {
-        "1": 0.014056527987122536,
-        "2": 0.9854387044906616
+        "1": 0.0031722604762762785,
+        "2": 0.9966945648193359
     },
     "sample": {
         "messages": [
@@ -5418,8 +5418,8 @@
         }
     },
     "predict": {
-        "1": 0.7976108193397522,
-        "2": 0.20166760683059692
+        "1": 0.9240697026252747,
+        "2": 0.07585225999355316
     },
     "sample": {
         "messages": [
@@ -5459,8 +5459,8 @@
         }
     },
     "predict": {
-        "1": 0.05338435620069504,
-        "2": 0.9462603330612183
+        "1": 0.18241527676582336,
+        "2": 0.8175285458564758
     },
     "sample": {
         "messages": [
@@ -5500,8 +5500,8 @@
         }
     },
     "predict": {
-        "1": 0.3483313024044037,
-        "2": 0.650768518447876
+        "1": 0.22240504622459412,
+        "2": 0.7762698531150818
     },
     "sample": {
         "messages": [
@@ -5541,8 +5541,8 @@
         }
     },
     "predict": {
-        "1": 0.8665680885314941,
-        "2": 0.13289253413677216
+        "1": 0.9768217206001282,
+        "2": 0.022972645238041878
     },
     "sample": {
         "messages": [
@@ -5582,8 +5582,8 @@
         }
     },
     "predict": {
-        "1": 0.9912618398666382,
-        "2": 0.00857609510421753
+        "1": 0.994724690914154,
+        "2": 0.005219836253672838
     },
     "sample": {
         "messages": [
@@ -5623,8 +5623,8 @@
         }
     },
     "predict": {
-        "1": 0.20178331434726715,
-        "2": 0.7980684638023376
+        "1": 0.11919708549976349,
+        "2": 0.8807539343833923
     },
     "sample": {
         "messages": [
@@ -5664,8 +5664,8 @@
         }
     },
     "predict": {
-        "1": 0.9873815178871155,
-        "2": 0.012429299764335155
+        "1": 0.9947468638420105,
+        "2": 0.005219952668994665
     },
     "sample": {
         "messages": [
@@ -5705,8 +5705,8 @@
         }
     },
     "predict": {
-        "1": 0.07583662122488022,
-        "2": 0.9238792061805725
+        "1": 0.08509001135826111,
+        "2": 0.9148038625717163
     },
     "sample": {
         "messages": [
@@ -5746,8 +5746,8 @@
         }
     },
     "predict": {
-        "1": 0.9321810603141785,
-        "2": 0.06752697378396988
+        "1": 0.9626114368438721,
+        "2": 0.03732449561357498
     },
     "sample": {
         "messages": [
@@ -5787,8 +5787,8 @@
         }
     },
     "predict": {
-        "1": 0.4994545578956604,
-        "2": 0.4994545578956604
+        "1": 0.6512576341629028,
+        "2": 0.3485931158065796
     },
     "sample": {
         "messages": [
@@ -5828,8 +5828,8 @@
         }
     },
     "predict": {
-        "1": 0.9578081965446472,
-        "2": 0.04208315536379814
+        "1": 0.9889891743659973,
+        "2": 0.010986678302288055
     },
     "sample": {
         "messages": [
@@ -5869,8 +5869,8 @@
         }
     },
     "predict": {
-        "1": 0.06753820180892944,
-        "2": 0.9323360919952393
+        "1": 0.008577157743275166,
+        "2": 0.9913846254348755
     },
     "sample": {
         "messages": [
@@ -5905,13 +5905,13 @@
 {
     "metric": {
         "acc": {
-            "val": true,
+            "val": false,
             "id": 72
         }
     },
     "predict": {
-        "1": 0.4685107469558716,
-        "2": 0.5308922529220581
+        "1": 0.5621393918991089,
+        "2": 0.43779462575912476
     },
     "sample": {
         "messages": [
@@ -5940,7 +5940,7 @@
         "prompt_len": 79,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "2"
+        "generated_token": "1"
     }
 }
 {
@@ -5951,8 +5951,8 @@
         }
     },
     "predict": {
-        "1": 0.9624125361442566,
-        "2": 0.037316784262657166
+        "1": 0.9913949370384216,
+        "2": 0.008577247150242329
     },
     "sample": {
         "messages": [
@@ -5992,8 +5992,8 @@
         }
     },
     "predict": {
-        "1": 0.0004877792380284518,
-        "2": 0.9993525147438049
+        "1": 0.00012339053500909358,
+        "2": 0.9998438358306885
     },
     "sample": {
         "messages": [
@@ -6033,8 +6033,8 @@
         }
     },
     "predict": {
-        "1": 0.9976974129676819,
-        "2": 0.0021824543364346027
+        "1": 0.9997100234031677,
+        "2": 0.0002611827803775668
     },
     "sample": {
         "messages": [
@@ -6074,8 +6074,8 @@
         }
     },
     "predict": {
-        "1": 0.08508581668138504,
-        "2": 0.9147588014602661
+        "1": 0.06008422374725342,
+        "2": 0.9398754239082336
     },
     "sample": {
         "messages": [
@@ -6115,8 +6115,8 @@
         }
     },
     "predict": {
-        "1": 0.9819062948226929,
-        "2": 0.017984241247177124
+        "1": 0.9953784942626953,
+        "2": 0.00460951728746295
     },
     "sample": {
         "messages": [
@@ -6156,8 +6156,8 @@
         }
     },
     "predict": {
-        "1": 0.981848955154419,
-        "2": 0.017983190715312958
+        "1": 0.9959011673927307,
+        "2": 0.004070020746439695
     },
     "sample": {
         "messages": [
@@ -6197,8 +6197,8 @@
         }
     },
     "predict": {
-        "1": 0.9624959230422974,
-        "2": 0.03732001408934593
+        "1": 0.9923833012580872,
+        "2": 0.007576939649879932
     },
     "sample": {
         "messages": [
@@ -6238,8 +6238,8 @@
         }
     },
     "predict": {
-        "1": 0.16445930302143097,
-        "2": 0.8351932764053345
+        "1": 0.10668196529150009,
+        "2": 0.8932371735572815
     },
     "sample": {
         "messages": [
@@ -6279,8 +6279,8 @@
         }
     },
     "predict": {
-        "1": 0.9576807022094727,
-        "2": 0.04207755625247955
+        "1": 0.990253746509552,
+        "2": 0.009708106517791748
     },
     "sample": {
         "messages": [
@@ -6320,8 +6320,8 @@
         }
     },
     "predict": {
-        "1": 0.9963654279708862,
-        "2": 0.0035934550687670708
+        "1": 0.9991887211799622,
+        "2": 0.0008040801621973515
     },
     "sample": {
         "messages": [
@@ -6356,13 +6356,13 @@
 {
     "metric": {
         "acc": {
-            "val": true,
+            "val": false,
             "id": 77
         }
     },
     "predict": {
-        "1": 0.09533839672803879,
-        "2": 0.9045455455780029
+        "1": 0.9148784875869751,
+        "2": 0.08509695529937744
     },
     "sample": {
         "messages": [
@@ -6391,19 +6391,19 @@
         "prompt_len": 83,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "2"
+        "generated_token": "1"
     }
 }
 {
     "metric": {
         "acc": {
-            "val": false,
+            "val": true,
             "id": 78
         }
     },
     "predict": {
-        "1": 0.6223576664924622,
-        "2": 0.3774789869785309
+        "1": 0.2942025661468506,
+        "2": 0.7057552933692932
     },
     "sample": {
         "messages": [
@@ -6432,7 +6432,7 @@
         "prompt_len": 81,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -6443,8 +6443,8 @@
         }
     },
     "predict": {
-        "1": 0.983993649482727,
-        "2": 0.015904776751995087
+        "1": 0.9984814524650574,
+        "2": 0.0015011561335995793
     },
     "sample": {
         "messages": [
@@ -6484,8 +6484,8 @@
         }
     },
     "predict": {
-        "1": 0.9768651723861694,
-        "2": 0.022973667830228806
+        "1": 0.9932791590690613,
+        "2": 0.0066926623694598675
     },
     "sample": {
         "messages": [
@@ -6525,8 +6525,8 @@
         }
     },
     "predict": {
-        "1": 0.01406152080744505,
-        "2": 0.9857887625694275
+        "1": 0.009708129800856113,
+        "2": 0.990256130695343
     },
     "sample": {
         "messages": [
@@ -6566,8 +6566,8 @@
         }
     },
     "predict": {
-        "1": 0.8807163238525391,
-        "2": 0.11919198930263519
+        "1": 0.9626461267471313,
+        "2": 0.037325840443372726
     },
     "sample": {
         "messages": [
@@ -6607,8 +6607,8 @@
         }
     },
     "predict": {
-        "1": 0.2017735242843628,
-        "2": 0.7980297803878784
+        "1": 0.05340062826871872,
+        "2": 0.9465487003326416
     },
     "sample": {
         "messages": [
@@ -6648,8 +6648,8 @@
         }
     },
     "predict": {
-        "1": 0.9769350290298462,
-        "2": 0.022975310683250427
+        "1": 0.9913952946662903,
+        "2": 0.008577249944210052
     },
     "sample": {
         "messages": [
@@ -6689,8 +6689,8 @@
         }
     },
     "predict": {
-        "1": 0.042082637548446655,
-        "2": 0.9577963948249817
+        "1": 0.025956513360142708,
+        "2": 0.9740109443664551
     },
     "sample": {
         "messages": [
@@ -6730,8 +6730,8 @@
         }
     },
     "predict": {
-        "1": 0.9945230484008789,
-        "2": 0.005218777805566788
+        "1": 0.9987616539001465,
+        "2": 0.0011694296263158321
     },
     "sample": {
         "messages": [
@@ -6771,8 +6771,8 @@
         }
     },
     "predict": {
-        "1": 0.020325543358922005,
-        "2": 0.9793395400047302
+        "1": 0.008576261810958385,
+        "2": 0.9912810921669006
     },
     "sample": {
         "messages": [
@@ -6812,8 +6812,8 @@
         }
     },
     "predict": {
-        "1": 0.08508137613534927,
-        "2": 0.9147109985351562
+        "1": 0.08509685099124908,
+        "2": 0.9148774147033691
     },
     "sample": {
         "messages": [
@@ -6853,8 +6853,8 @@
         }
     },
     "predict": {
-        "1": 0.9578071236610413,
-        "2": 0.04208311066031456
+        "1": 0.9940811991691589,
+        "2": 0.005911022890359163
     },
     "sample": {
         "messages": [
@@ -6894,8 +6894,8 @@
         }
     },
     "predict": {
-        "1": 0.009706244803965092,
-        "2": 0.9900638461112976
+        "1": 0.0021826461888849735,
+        "2": 0.9977850914001465
     },
     "sample": {
         "messages": [
@@ -6935,8 +6935,8 @@
         }
     },
     "predict": {
-        "1": 0.9946345090866089,
-        "2": 0.005219362676143646
+        "1": 0.9987861514091492,
+        "2": 0.0011694582644850016
     },
     "sample": {
         "messages": [
@@ -6976,8 +6976,8 @@
         }
     },
     "predict": {
-        "1": 0.9952924251556396,
-        "2": 0.004609118681401014
+        "1": 0.9988194108009338,
+        "2": 0.0011694972636178136
     },
     "sample": {
         "messages": [
@@ -7017,8 +7017,8 @@
         }
     },
     "predict": {
-        "1": 0.03307969495654106,
-        "2": 0.9667304158210754
+        "1": 0.015905946493148804,
+        "2": 0.9840660691261292
     },
     "sample": {
         "messages": [
@@ -7058,8 +7058,8 @@
         }
     },
     "predict": {
-        "1": 0.9146131873130798,
-        "2": 0.08507227152585983
+        "1": 0.9578452110290527,
+        "2": 0.04208477959036827
     },
     "sample": {
         "messages": [
@@ -7094,13 +7094,13 @@
 {
     "metric": {
         "acc": {
-            "val": true,
+            "val": false,
             "id": 86
         }
     },
     "predict": {
-        "1": 0.46864622831344604,
-        "2": 0.5310457348823547
+        "1": 0.8932390213012695,
+        "2": 0.1066821962594986
     },
     "sample": {
         "messages": [
@@ -7129,7 +7129,7 @@
         "prompt_len": 87,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "2"
+        "generated_token": "1"
     }
 }
 {
@@ -7140,8 +7140,8 @@
         }
     },
     "predict": {
-        "1": 0.9769257307052612,
-        "2": 0.022975090891122818
+        "1": 0.9819766283035278,
+        "2": 0.017985530197620392
     },
     "sample": {
         "messages": [
@@ -7181,8 +7181,8 @@
         }
     },
     "predict": {
-        "1": 0.3485783040523529,
-        "2": 0.651229977607727
+        "1": 0.32079607248306274,
+        "2": 0.6791252493858337
     },
     "sample": {
         "messages": [
@@ -7222,8 +7222,8 @@
         }
     },
     "predict": {
-        "1": 0.9888100028038025,
-        "2": 0.010984687134623528
+        "1": 0.9977920055389404,
+        "2": 0.0021826610900461674
     },
     "sample": {
         "messages": [
@@ -7263,8 +7263,8 @@
         }
     },
     "predict": {
-        "1": 0.020324960350990295,
-        "2": 0.9793115258216858
+        "1": 0.008577141910791397,
+        "2": 0.9913827776908875
     },
     "sample": {
         "messages": [
@@ -7304,8 +7304,8 @@
         }
     },
     "predict": {
-        "1": 0.9974297881126404,
-        "2": 0.00247238134033978
+        "1": 0.9996024966239929,
+        "2": 0.00037997786421328783
     },
     "sample": {
         "messages": [
@@ -7345,8 +7345,8 @@
         }
     },
     "predict": {
-        "1": 0.09533810615539551,
-        "2": 0.9045428037643433
+        "1": 0.029310958459973335,
+        "2": 0.9706456661224365
     },
     "sample": {
         "messages": [
@@ -7386,8 +7386,8 @@
         }
     },
     "predict": {
-        "1": 0.9321827292442322,
-        "2": 0.06752709299325943
+        "1": 0.7057316899299622,
+        "2": 0.29419273138046265
     },
     "sample": {
         "messages": [
@@ -7427,8 +7427,8 @@
         }
     },
     "predict": {
-        "1": 0.04740889370441437,
-        "2": 0.952233076095581
+        "1": 0.1329571157693863,
+        "2": 0.8669891953468323
     },
     "sample": {
         "messages": [
@@ -7463,13 +7463,13 @@
 {
     "metric": {
         "acc": {
-            "val": true,
+            "val": false,
             "id": 91
         }
     },
     "predict": {
-        "1": 0.29407691955566406,
-        "2": 0.7054538130760193
+        "1": 0.5311720371246338,
+        "2": 0.468757688999176
     },
     "sample": {
         "messages": [
@@ -7498,7 +7498,7 @@
         "prompt_len": 98,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "2"
+        "generated_token": "1"
     }
 }
 {
@@ -7509,8 +7509,8 @@
         }
     },
     "predict": {
-        "1": 0.9524361491203308,
-        "2": 0.047419000416994095
+        "1": 0.9971676468849182,
+        "2": 0.002800838788971305
     },
     "sample": {
         "messages": [
@@ -7550,8 +7550,8 @@
         }
     },
     "predict": {
-        "1": 0.9463675618171692,
-        "2": 0.05339040979743004
+        "1": 0.8353965878486633,
+        "2": 0.16449932754039764
     },
     "sample": {
         "messages": [
@@ -7591,8 +7591,8 @@
         }
     },
     "predict": {
-        "1": 0.7978830337524414,
-        "2": 0.2017364203929901
+        "1": 0.9398443698883057,
+        "2": 0.06008223816752434
     },
     "sample": {
         "messages": [
@@ -7632,8 +7632,8 @@
         }
     },
     "predict": {
-        "1": 0.9946887493133545,
-        "2": 0.005219647660851479
+        "1": 0.9984554052352905,
+        "2": 0.0015011169016361237
     },
     "sample": {
         "messages": [
@@ -7673,8 +7673,8 @@
         }
     },
     "predict": {
-        "1": 0.8517760038375854,
-        "2": 0.14801646769046783
+        "1": 0.7548807263374329,
+        "2": 0.24507388472557068
     },
     "sample": {
         "messages": [
@@ -7714,8 +7714,8 @@
         }
     },
     "predict": {
-        "1": 0.994670569896698,
-        "2": 0.0052195522002875805
+        "1": 0.9987887740135193,
+        "2": 0.0011694614076986909
     },
     "sample": {
         "messages": [
@@ -7755,8 +7755,8 @@
         }
     },
     "predict": {
-        "1": 0.004609088413417339,
-        "2": 0.9952859282493591
+        "1": 0.0010322066955268383,
+        "2": 0.9989442229270935
     },
     "sample": {
         "messages": [
@@ -7796,8 +7796,8 @@
         }
     },
     "predict": {
-        "1": 0.0019266093149781227,
-        "2": 0.9980083107948303
+        "1": 0.0008040755637921393,
+        "2": 0.9991829991340637
     },
     "sample": {
         "messages": [
@@ -7837,8 +7837,8 @@
         }
     },
     "predict": {
-        "1": 0.9977338314056396,
-        "2": 0.0021825339645147324
+        "1": 0.9991670846939087,
+        "2": 0.0008040626998990774
     },
     "sample": {
         "messages": [
@@ -7878,8 +7878,8 @@
         }
     },
     "predict": {
-        "1": 0.8806701898574829,
-        "2": 0.11918574571609497
+        "1": 0.9706107378005981,
+        "2": 0.02930990420281887
     },
     "sample": {
         "messages": [
@@ -7919,8 +7919,8 @@
         }
     },
     "predict": {
-        "1": 0.7771629691123962,
-        "2": 0.22266092896461487
+        "1": 0.9323087334632874,
+        "2": 0.06753621995449066
     },
     "sample": {
         "messages": [
@@ -7960,8 +7960,8 @@
         }
     },
     "predict": {
-        "1": 0.981919527053833,
-        "2": 0.017984483391046524
+        "1": 0.9940657615661621,
+        "2": 0.005910931155085564
     },
     "sample": {
         "messages": [
@@ -8001,8 +8001,8 @@
         }
     },
     "predict": {
-        "1": 0.04208094999194145,
-        "2": 0.9577580094337463
+        "1": 0.01798337884247303,
+        "2": 0.9818591475486755
     },
     "sample": {
         "messages": [
@@ -8042,8 +8042,8 @@
         }
     },
     "predict": {
-        "1": 0.04742103070020676,
-        "2": 0.9524769186973572
+        "1": 0.029311491176486015,
+        "2": 0.97066330909729
     },
     "sample": {
         "messages": [
@@ -8083,8 +8083,8 @@
         }
     },
     "predict": {
-        "1": 0.9874246716499329,
-        "2": 0.012429842725396156
+        "1": 0.9968057870864868,
+        "2": 0.0031726143788546324
     },
     "sample": {
         "messages": [
@@ -8124,8 +8124,8 @@
         }
     },
     "predict": {
-        "1": 0.006691256072372198,
-        "2": 0.9930704236030579
+        "1": 0.0015011345967650414,
+        "2": 0.9984671473503113
     },
     "sample": {
         "messages": [
@@ -8165,8 +8165,8 @@
         }
     },
     "predict": {
-        "1": 0.9967114925384521,
-        "2": 0.0031723142601549625
+        "1": 0.9986492991447449,
+        "2": 0.0013249883195385337
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_PARus_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/darumeru_PARus_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "darumeru/PARus",
     "results": {
-        "acc": 0.8
+        "acc": 0.78
     },
-    "leaderboard_result": 0.8
+    "leaderboard_result": 0.78
 }

llmtf_eval/darumeru_RCB.jsonl

@@ -7,9 +7,9 @@
         ]
     },
     "predict": {
-        "1": 0.872420072555542,
-        "2": 0.055771950632333755,
-        "3": 0.07161260396242142
+        "1": 0.9068718552589417,
+        "2": 0.06569357961416245,
+        "3": 0.027385156601667404
     },
     "sample": {
         "messages": [
@@ -51,9 +51,9 @@
         ]
     },
     "predict": {
-        "1": 0.10369177907705307,
-        "2": 0.6761553287506104,
-        "3": 0.21951548755168915
+        "1": 0.03540632501244545,
+        "2": 0.805844247341156,
+        "3": 0.15868012607097626
     },
     "sample": {
         "messages": [
@@ -95,9 +95,9 @@
         ]
     },
     "predict": {
-        "1": 0.0010250540217384696,
-        "2": 0.9920220375061035,
-        "3": 0.00668419199064374
+        "1": 0.0006252557504922152,
+        "2": 0.997653067111969,
+        "3": 0.0016996216727420688
     },
     "sample": {
         "messages": [
@@ -135,13 +135,13 @@
         "acc": false,
         "f1_macro": [
             "3",
-            "1"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.4667302370071411,
-        "2": 0.28308621048927307,
-        "3": 0.2498227059841156
+        "1": 0.2737521529197693,
+        "2": 0.5795333385467529,
+        "3": 0.14652897417545319
     },
     "sample": {
         "messages": [
@@ -171,7 +171,7 @@
         "prompt_len": 133,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -183,9 +183,9 @@
         ]
     },
     "predict": {
-        "1": 0.9969333410263062,
-        "2": 0.0021807828452438116,
-        "3": 0.0008022651891224086
+        "1": 0.9956747889518738,
+        "2": 0.003590964013710618,
+        "3": 0.0007071027648635209
     },
     "sample": {
         "messages": [
@@ -227,9 +227,9 @@
         ]
     },
     "predict": {
-        "1": 0.2057039439678192,
-        "2": 0.16020239889621735,
-        "3": 0.6336127519607544
+        "1": 0.20147117972373962,
+        "2": 0.17779770493507385,
+        "3": 0.620574951171875
     },
     "sample": {
         "messages": [
@@ -271,9 +271,9 @@
         ]
     },
     "predict": {
-        "1": 0.9971489310264587,
-        "2": 0.0016987627604976296,
-        "3": 0.001030351617373526
+        "1": 0.9942213296890259,
+        "2": 0.003585722064599395,
+        "3": 0.002174850320443511
     },
     "sample": {
         "messages": [
@@ -315,9 +315,9 @@
         ]
     },
     "predict": {
-        "1": 0.3513408899307251,
-        "2": 0.5792632102966309,
-        "3": 0.06918312609195709
+        "1": 0.10388226062059402,
+        "2": 0.8697955012321472,
+        "3": 0.026265548542141914
     },
     "sample": {
         "messages": [
@@ -359,9 +359,9 @@
         ]
     },
     "predict": {
-        "1": 0.9564629793167114,
-        "2": 0.01751823164522648,
-        "3": 0.025488875806331635
+        "1": 0.9635001420974731,
+        "2": 0.02265935204923153,
+        "3": 0.01374359056353569
     },
     "sample": {
         "messages": [
@@ -403,9 +403,9 @@
         ]
     },
     "predict": {
-        "1": 0.4133775532245636,
-        "2": 0.3648044168949127,
-        "3": 0.22126507759094238
+        "1": 0.4599602520465851,
+        "2": 0.4599602520465851,
+        "3": 0.07992909848690033
     },
     "sample": {
         "messages": [
@@ -447,9 +447,9 @@
         ]
     },
     "predict": {
-        "1": 0.4662483036518097,
-        "2": 0.28279387950897217,
-        "3": 0.2495647370815277
+        "1": 0.4300953447818756,
+        "2": 0.4300953447818756,
+        "3": 0.1396315097808838
     },
     "sample": {
         "messages": [
@@ -491,9 +491,9 @@
         ]
     },
     "predict": {
-        "1": 0.0011565840104594827,
-        "2": 0.9877907037734985,
-        "3": 0.010973364114761353
+        "1": 0.00029538493254221976,
+        "2": 0.9977712631225586,
+        "3": 0.001926151686348021
     },
     "sample": {
         "messages": [
@@ -535,9 +535,9 @@
         ]
     },
     "predict": {
-        "1": 0.9900298714637756,
-        "2": 0.005195199977606535,
-        "3": 0.004584748297929764
+        "1": 0.9967659711837769,
+        "2": 0.0021804168354719877,
+        "3": 0.0010299559216946363
     },
     "sample": {
         "messages": [
@@ -579,9 +579,9 @@
         ]
     },
     "predict": {
-        "1": 0.977436900138855,
-        "2": 0.006585918366909027,
-        "3": 0.015798795968294144
+        "1": 0.9971477389335632,
+        "2": 0.0009092810214497149,
+        "3": 0.0019249479519203305
     },
     "sample": {
         "messages": [
@@ -623,9 +623,9 @@
         ]
     },
     "predict": {
-        "1": 0.8977285623550415,
-        "2": 0.05738986283540726,
-        "3": 0.04469526931643486
+        "1": 0.8246704339981079,
+        "2": 0.14330622553825378,
+        "3": 0.031975943595170975
     },
     "sample": {
         "messages": [
@@ -667,9 +667,9 @@
         ]
     },
     "predict": {
-        "1": 0.003250668291002512,
-        "2": 0.7954123020172119,
-        "3": 0.20111171901226044
+        "1": 0.04464482143521309,
+        "2": 0.6983625292778015,
+        "3": 0.2569132447242737
     },
     "sample": {
         "messages": [
@@ -711,9 +711,9 @@
         ]
     },
     "predict": {
-        "1": 0.9881023168563843,
-        "2": 0.005875470582395792,
-        "3": 0.005875470582395792
+        "1": 0.9775852560997009,
+        "2": 0.015801193192601204,
+        "3": 0.0065869176760315895
     },
     "sample": {
         "messages": [
@@ -748,16 +748,16 @@
 }
 {
     "metric": {
-        "acc": false,
+        "acc": true,
         "f1_macro": [
             "3",
-            "2"
+            "3"
         ]
     },
     "predict": {
-        "1": 0.2801484763622284,
-        "2": 0.3597177565097809,
-        "3": 0.3597177565097809
+        "1": 0.2925976514816284,
+        "2": 0.3315565884113312,
+        "3": 0.375702828168869
     },
     "sample": {
         "messages": [
@@ -787,21 +787,21 @@
         "prompt_len": 148,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "2"
+        "generated_token": "3"
     }
 }
 {
     "metric": {
-        "acc": true,
+        "acc": false,
         "f1_macro": [
             "3",
-            "3"
+            "1"
         ]
     },
     "predict": {
-        "1": 0.309113085269928,
-        "2": 0.24073751270771027,
-        "3": 0.4497568905353546
+        "1": 0.5740567445755005,
+        "2": 0.23930245637893677,
+        "3": 0.1863689422607422
     },
     "sample": {
         "messages": [
@@ -831,7 +831,7 @@
         "prompt_len": 106,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "3"
+        "generated_token": "1"
     }
 }
 {
@@ -843,9 +843,9 @@
         ]
     },
     "predict": {
-        "1": 0.8898922801017761,
-        "2": 0.026872418820858,
-        "3": 0.0827728733420372
+        "1": 0.9546874165534973,
+        "2": 0.01981390453875065,
+        "3": 0.02544155716896057
     },
     "sample": {
         "messages": [
@@ -887,9 +887,9 @@
         ]
     },
     "predict": {
-        "1": 0.0071184695698320866,
-        "2": 0.9323355555534363,
-        "3": 0.05960221588611603
+        "1": 0.01058061420917511,
+        "2": 0.9524364471435547,
+        "3": 0.03692996874451637
     },
     "sample": {
         "messages": [
@@ -931,9 +931,9 @@
         ]
     },
     "predict": {
-        "1": 0.7239575982093811,
-        "2": 0.23503461480140686,
-        "3": 0.040842894464731216
+        "1": 0.6927382349967957,
+        "2": 0.2887762486934662,
+        "3": 0.018460847437381744
     },
     "sample": {
         "messages": [
@@ -975,9 +975,9 @@
         ]
     },
     "predict": {
-        "1": 0.8385531902313232,
-        "2": 0.060744594782590866,
-        "3": 0.10015090554952621
+        "1": 0.7544770240783691,
+        "2": 0.19076165556907654,
+        "3": 0.05465413257479668
     },
     "sample": {
         "messages": [
@@ -1019,9 +1019,9 @@
         ]
     },
     "predict": {
-        "1": 0.47527652978897095,
-        "2": 0.3701457381248474,
-        "3": 0.15429969131946564
+        "1": 0.5029839873313904,
+        "2": 0.4438818097114563,
+        "3": 0.0530141219496727
     },
     "sample": {
         "messages": [
@@ -1063,9 +1063,9 @@
         ]
     },
     "predict": {
-        "1": 0.9702512621879578,
-        "2": 0.020136922597885132,
-        "3": 0.009512009099125862
+        "1": 0.974636971950531,
+        "2": 0.0202279444783926,
+        "3": 0.00511442543938756
     },
     "sample": {
         "messages": [
@@ -1103,13 +1103,13 @@
         "acc": false,
         "f1_macro": [
             "3",
-            "1"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.5683297514915466,
-        "2": 0.2684599757194519,
-        "3": 0.1628292053937912
+        "1": 0.22233793139457703,
+        "2": 0.6848490834236145,
+        "3": 0.09268423914909363
     },
     "sample": {
         "messages": [
@@ -1139,7 +1139,7 @@
         "prompt_len": 97,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -1151,9 +1151,9 @@
         ]
     },
     "predict": {
-        "1": 0.9765560030937195,
-        "2": 0.007456096354871988,
-        "3": 0.015784557908773422
+        "1": 0.9815616011619568,
+        "2": 0.007494315039366484,
+        "3": 0.010904164984822273
     },
     "sample": {
         "messages": [
@@ -1195,9 +1195,9 @@
         ]
     },
     "predict": {
-        "1": 0.8665903806686401,
-        "2": 0.015872156247496605,
-        "3": 0.1172802522778511
+        "1": 0.6923824548721313,
+        "2": 0.08269329369068146,
+        "3": 0.22478367388248444
     },
     "sample": {
         "messages": [
@@ -1239,9 +1239,9 @@
         ]
     },
     "predict": {
-        "1": 0.07352635264396667,
-        "2": 0.8957343697547913,
-        "3": 0.030650343745946884
+        "1": 0.015733951702713966,
+        "2": 0.9734251499176025,
+        "3": 0.010813777334988117
     },
     "sample": {
         "messages": [
@@ -1283,9 +1283,9 @@
         ]
     },
     "predict": {
-        "1": 0.8138001561164856,
-        "2": 0.07569520175457001,
-        "3": 0.11013587564229965
+        "1": 0.8925301432609558,
+        "2": 0.057057540863752365,
+        "3": 0.05035310983657837
     },
     "sample": {
         "messages": [
@@ -1327,9 +1327,9 @@
         ]
     },
     "predict": {
-        "1": 0.34326788783073425,
-        "2": 0.3889734745025635,
-        "3": 0.26733729243278503
+        "1": 0.23933321237564087,
+        "2": 0.5741305351257324,
+        "3": 0.1863928884267807
     },
     "sample": {
         "messages": [
@@ -1371,9 +1371,9 @@
         ]
     },
     "predict": {
-        "1": 0.8155578374862671,
-        "2": 0.05907881632447243,
-        "3": 0.12506985664367676
+        "1": 0.9489874839782715,
+        "2": 0.022318046540021896,
+        "3": 0.028656939044594765
     },
     "sample": {
         "messages": [
@@ -1415,9 +1415,9 @@
         ]
     },
     "predict": {
-        "1": 0.987912118434906,
-        "2": 0.005184086970984936,
-        "3": 0.006656499579548836
+        "1": 0.9962971806526184,
+        "2": 0.0021793912164866924,
+        "3": 0.0014978721737861633
     },
     "sample": {
         "messages": [
@@ -1459,9 +1459,9 @@
         ]
     },
     "predict": {
-        "1": 0.007422375958412886,
-        "2": 0.9721394777297974,
-        "3": 0.020176110789179802
+        "1": 0.00357483490370214,
+        "2": 0.9912025928497314,
+        "3": 0.005201353691518307
     },
     "sample": {
         "messages": [
@@ -1503,9 +1503,9 @@
         ]
     },
     "predict": {
-        "1": 0.9849265813827515,
-        "2": 0.01094154641032219,
-        "3": 0.004025170113891363
+        "1": 0.9249484539031982,
+        "2": 0.0670030415058136,
+        "3": 0.008002371527254581
     },
     "sample": {
         "messages": [
@@ -1547,9 +1547,9 @@
         ]
     },
     "predict": {
-        "1": 0.9855968356132507,
-        "2": 0.003136938903480768,
-        "3": 0.01094899233430624
+        "1": 0.983887255191803,
+        "2": 0.007512071635574102,
+        "3": 0.008512292988598347
     },
     "sample": {
         "messages": [
@@ -1591,9 +1591,9 @@
         ]
     },
     "predict": {
-        "1": 0.9222506284713745,
-        "2": 0.045916151255369186,
-        "3": 0.031557679176330566
+        "1": 0.9185863733291626,
+        "2": 0.04573372006416321,
+        "3": 0.03561745956540108
     },
     "sample": {
         "messages": [
@@ -1635,9 +1635,9 @@
         ]
     },
     "predict": {
-        "1": 0.4749774932861328,
-        "2": 0.19800007343292236,
-        "3": 0.3264469504356384
+        "1": 0.46684619784355164,
+        "2": 0.28315654397010803,
+        "3": 0.24988476932048798
     },
     "sample": {
         "messages": [
@@ -1679,9 +1679,9 @@
         ]
     },
     "predict": {
-        "1": 0.9866113662719727,
-        "2": 0.005177261307835579,
-        "3": 0.007532870396971703
+        "1": 0.9829544425010681,
+        "2": 0.01237357035279274,
+        "3": 0.004551982507109642
     },
     "sample": {
         "messages": [
@@ -1723,9 +1723,9 @@
         ]
     },
     "predict": {
-        "1": 0.7880926132202148,
-        "2": 0.034626372158527374,
-        "3": 0.17584723234176636
+        "1": 0.938510000705719,
+        "2": 0.025010444223880768,
+        "3": 0.03638998046517372
     },
     "sample": {
         "messages": [
@@ -1767,9 +1767,9 @@
         ]
     },
     "predict": {
-        "1": 0.865950345993042,
-        "2": 0.015860434621572495,
-        "3": 0.11719363182783127
+        "1": 0.9432486295700073,
+        "2": 0.0152461938560009,
+        "3": 0.04144345223903656
     },
     "sample": {
         "messages": [
@@ -1811,9 +1811,9 @@
         ]
     },
     "predict": {
-        "1": 0.9085949063301086,
-        "2": 0.039920873939991,
-        "3": 0.051259420812129974
+        "1": 0.975763201713562,
+        "2": 0.015771742910146713,
+        "3": 0.008442006073892117
     },
     "sample": {
         "messages": [
@@ -1855,9 +1855,9 @@
         ]
     },
     "predict": {
-        "1": 0.0006192802102304995,
-        "2": 0.9881184697151184,
-        "3": 0.010977005586028099
+        "1": 0.00015792994236107916,
+        "2": 0.9966465830802917,
+        "3": 0.0031721077393740416
     },
     "sample": {
         "messages": [
@@ -1899,9 +1899,9 @@
         ]
     },
     "predict": {
-        "1": 0.8924627304077148,
-        "2": 0.057053230702877045,
-        "3": 0.05034930631518364
+        "1": 0.9340866208076477,
+        "2": 0.046505432575941086,
+        "3": 0.019386349245905876
     },
     "sample": {
         "messages": [
@@ -1943,9 +1943,9 @@
         ]
     },
     "predict": {
-        "1": 0.9974370002746582,
-        "2": 0.0016992536839097738,
-        "3": 0.0008026704890653491
+        "1": 0.9994193315505981,
+        "2": 0.00043049242231063545,
+        "3": 0.00013976043555885553
     },
     "sample": {
         "messages": [
@@ -1987,9 +1987,9 @@
         ]
     },
     "predict": {
-        "1": 0.013401398435235023,
-        "2": 0.9395105838775635,
-        "3": 0.04677547514438629
+        "1": 0.049970678985118866,
+        "2": 0.8857514262199402,
+        "3": 0.06416361778974533
     },
     "sample": {
         "messages": [
@@ -2031,9 +2031,9 @@
         ]
     },
     "predict": {
-        "1": 0.24987298250198364,
-        "2": 0.52898108959198,
-        "3": 0.22051212191581726
+        "1": 0.18606755137443542,
+        "2": 0.6494395732879639,
+        "3": 0.16420403122901917
     },
     "sample": {
         "messages": [
@@ -2075,9 +2075,9 @@
         ]
     },
     "predict": {
-        "1": 0.9845978021621704,
-        "2": 0.0027655328158289194,
-        "3": 0.012394257821142673
+        "1": 0.9836705923080444,
+        "2": 0.0066279200837016106,
+        "3": 0.009643567726016045
     },
     "sample": {
         "messages": [
@@ -2119,9 +2119,9 @@
         ]
     },
     "predict": {
-        "1": 0.20759260654449463,
-        "2": 0.7245693802833557,
-        "3": 0.06739544868469238
+        "1": 0.04638116806745529,
+        "2": 0.9315906763076782,
+        "3": 0.021908912807703018
     },
     "sample": {
         "messages": [
@@ -2163,9 +2163,9 @@
         ]
     },
     "predict": {
-        "1": 0.13826103508472443,
-        "2": 0.7956374287605286,
-        "3": 0.06530989706516266
+        "1": 0.07442279160022736,
+        "2": 0.9066551923751831,
+        "3": 0.018817028030753136
     },
     "sample": {
         "messages": [
@@ -2207,9 +2207,9 @@
         ]
     },
     "predict": {
-        "1": 0.9361106157302856,
-        "2": 0.017145464196801186,
-        "3": 0.04660620167851448
+        "1": 0.9791820049285889,
+        "2": 0.00847158394753933,
+        "3": 0.012326082214713097
     },
     "sample": {
         "messages": [
@@ -2251,9 +2251,9 @@
         ]
     },
     "predict": {
-        "1": 0.12436019629240036,
-        "2": 0.715643584728241,
-        "3": 0.15968167781829834
+        "1": 0.10650104284286499,
+        "2": 0.786942183971405,
+        "3": 0.10650104284286499
     },
     "sample": {
         "messages": [
@@ -2295,9 +2295,9 @@
         ]
     },
     "predict": {
-        "1": 0.9603536128997803,
-        "2": 0.025592556223273277,
-        "3": 0.013698708266019821
+        "1": 0.9785165190696716,
+        "2": 0.017922155559062958,
+        "3": 0.0035290818195790052
     },
     "sample": {
         "messages": [
@@ -2339,9 +2339,9 @@
         ]
     },
     "predict": {
-        "1": 0.002444905461743474,
-        "2": 0.9863452315330505,
-        "3": 0.010957307182252407
+        "1": 0.0004871190758422017,
+        "2": 0.9979999661445618,
+        "3": 0.0015004322631284595
     },
     "sample": {
         "messages": [
@@ -2383,9 +2383,9 @@
         ]
     },
     "predict": {
-        "1": 0.04067571833729744,
-        "2": 0.8169936537742615,
-        "3": 0.14197219908237457
+        "1": 0.021320512518286705,
+        "2": 0.8000463247299194,
+        "3": 0.17851446568965912
     },
     "sample": {
         "messages": [
@@ -2427,9 +2427,9 @@
         ]
     },
     "predict": {
-        "1": 0.008217910304665565,
-        "2": 0.9498612880706787,
-        "3": 0.0417339950799942
+        "1": 0.0024418607354164124,
+        "2": 0.9851168394088745,
+        "3": 0.012400791049003601
     },
     "sample": {
         "messages": [
@@ -2471,9 +2471,9 @@
         ]
     },
     "predict": {
-        "1": 0.9949284791946411,
-        "2": 0.0027945495676249266,
-        "3": 0.0021763972472399473
+        "1": 0.9939330220222473,
+        "2": 0.0035846822429448366,
+        "3": 0.0024637137539684772
     },
     "sample": {
         "messages": [
@@ -2515,9 +2515,9 @@
         ]
     },
     "predict": {
-        "1": 0.9272236227989197,
-        "2": 0.013226134702563286,
-        "3": 0.05927542224526405
+        "1": 0.8998384475708008,
+        "2": 0.03489052131772041,
+        "3": 0.0651840791106224
     },
     "sample": {
         "messages": [
@@ -2559,9 +2559,9 @@
         ]
     },
     "predict": {
-        "1": 0.0690900906920433,
-        "2": 0.7427884936332703,
-        "3": 0.18780633807182312
+        "1": 0.026881221681833267,
+        "2": 0.8901838064193726,
+        "3": 0.08279999345541
     },
     "sample": {
         "messages": [
@@ -2603,9 +2603,9 @@
         ]
     },
     "predict": {
-        "1": 0.09954556822776794,
-        "2": 0.5055341124534607,
-        "3": 0.3937103748321533
+        "1": 0.04115879908204079,
+        "2": 0.5681796669960022,
+        "3": 0.39050379395484924
     },
     "sample": {
         "messages": [
@@ -2647,9 +2647,9 @@
         ]
     },
     "predict": {
-        "1": 0.9165189862251282,
-        "2": 0.01678663119673729,
-        "3": 0.06639241427183151
+        "1": 0.9664955139160156,
+        "2": 0.010736796073615551,
+        "3": 0.022729797288775444
     },
     "sample": {
         "messages": [
@@ -2691,9 +2691,9 @@
         ]
     },
     "predict": {
-        "1": 0.9872887134552002,
-        "2": 0.006652298849076033,
-        "3": 0.005870632827281952
+        "1": 0.9960212111473083,
+        "2": 0.002797618741169572,
+        "3": 0.0011662208708003163
     },
     "sample": {
         "messages": [
@@ -2735,9 +2735,9 @@
         ]
     },
     "predict": {
-        "1": 0.9459970593452454,
-        "2": 0.0285666361451149,
-        "3": 0.02520996704697609
+        "1": 0.9684169888496399,
+        "2": 0.01773717626929283,
+        "3": 0.013813725672662258
     },
     "sample": {
         "messages": [
@@ -2779,9 +2779,9 @@
         ]
     },
     "predict": {
-        "1": 0.5121390223503113,
-        "2": 0.2741282880306244,
-        "3": 0.2134913057088852
+        "1": 0.7759154438972473,
+        "2": 0.11899048835039139,
+        "3": 0.10500873625278473
     },
     "sample": {
         "messages": [
@@ -2823,9 +2823,9 @@
         ]
     },
     "predict": {
-        "1": 0.8579246401786804,
-        "2": 0.07979942113161087,
-        "3": 0.06214785575866699
+        "1": 0.7877723574638367,
+        "2": 0.1551215648651123,
+        "3": 0.05706603825092316
     },
     "sample": {
         "messages": [
@@ -2867,9 +2867,9 @@
         ]
     },
     "predict": {
-        "1": 0.9891874194145203,
-        "2": 0.002163838827982545,
-        "3": 0.0075525385327637196
+        "1": 0.9927759170532227,
+        "2": 0.004057248122990131,
+        "3": 0.002788503421470523
     },
     "sample": {
         "messages": [
@@ -2911,9 +2911,9 @@
         ]
     },
     "predict": {
-        "1": 0.6336058974266052,
-        "2": 0.20570170879364014,
-        "3": 0.16020065546035767
+        "1": 0.6573037505149841,
+        "2": 0.24180856347084045,
+        "3": 0.10080080479383469
     },
     "sample": {
         "messages": [
@@ -2955,9 +2955,9 @@
         ]
     },
     "predict": {
-        "1": 0.17449556291103363,
-        "2": 0.5374841690063477,
-        "3": 0.2876945734024048
+        "1": 0.13865254819393158,
+        "2": 0.7041357755661011,
+        "3": 0.1571139246225357
     },
     "sample": {
         "messages": [
@@ -2999,9 +2999,9 @@
         ]
     },
     "predict": {
-        "1": 0.9433525800704956,
-        "2": 0.019578658044338226,
-        "3": 0.0365777462720871
+        "1": 0.9848692417144775,
+        "2": 0.007519568782299757,
+        "3": 0.007519568782299757
     },
     "sample": {
         "messages": [
@@ -3043,9 +3043,9 @@
         ]
     },
     "predict": {
-        "1": 0.5027901530265808,
-        "2": 0.4437107443809509,
-        "3": 0.052993688732385635
+        "1": 0.6987128853797913,
+        "2": 0.29126685857772827,
+        "3": 0.009966603480279446
     },
     "sample": {
         "messages": [
@@ -3087,9 +3087,9 @@
         ]
     },
     "predict": {
-        "1": 0.9144974946975708,
-        "2": 0.018979789689183235,
-        "3": 0.06624598056077957
+        "1": 0.9635623693466187,
+        "2": 0.013744478113949299,
+        "3": 0.022660814225673676
     },
     "sample": {
         "messages": [
@@ -3131,9 +3131,9 @@
         ]
     },
     "predict": {
-        "1": 0.08696205914020538,
-        "2": 0.7281243801116943,
-        "3": 0.18409867584705353
+        "1": 0.04016876220703125,
+        "2": 0.9142367839813232,
+        "3": 0.04551716893911362
     },
     "sample": {
         "messages": [
@@ -3175,9 +3175,9 @@
         ]
     },
     "predict": {
-        "1": 0.7418547868728638,
-        "2": 0.12891501188278198,
-        "3": 0.12891501188278198
+        "1": 0.9319369792938232,
+        "2": 0.03188912943005562,
+        "3": 0.03613511845469475
     },
     "sample": {
         "messages": [
@@ -3219,9 +3219,9 @@
         ]
     },
     "predict": {
-        "1": 0.9498790502548218,
-        "2": 0.008218063972890377,
-        "3": 0.04173477366566658
+        "1": 0.9954794645309448,
+        "2": 0.0009077598224394023,
+        "3": 0.003590259701013565
     },
     "sample": {
         "messages": [
@@ -3263,9 +3263,9 @@
         ]
     },
     "predict": {
-        "1": 0.013629980385303497,
-        "2": 0.7441717386245728,
-        "3": 0.24159717559814453
+        "1": 0.0035856638569384813,
+        "2": 0.8773829936981201,
+        "3": 0.11874087899923325
     },
     "sample": {
         "messages": [
@@ -3307,9 +3307,9 @@
         ]
     },
     "predict": {
-        "1": 0.620067834854126,
-        "2": 0.17765240371227264,
-        "3": 0.20130655169487
+        "1": 0.5542725324630737,
+        "2": 0.3361833095550537,
+        "3": 0.1091427281498909
     },
     "sample": {
         "messages": [
@@ -3351,9 +3351,9 @@
         ]
     },
     "predict": {
-        "1": 0.7659636735916138,
-        "2": 0.06287412345409393,
-        "3": 0.1709095984697342
+        "1": 0.9232763051986694,
+        "2": 0.02460448071360588,
+        "3": 0.0520876906812191
     },
     "sample": {
         "messages": [
@@ -3391,13 +3391,13 @@
         "acc": false,
         "f1_macro": [
             "3",
-            "1"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.3597775995731354,
-        "2": 0.3597775995731354,
-        "3": 0.28019505739212036
+        "1": 0.12688569724559784,
+        "2": 0.5686622262001038,
+        "3": 0.30438297986984253
     },
     "sample": {
         "messages": [
@@ -3427,7 +3427,7 @@
         "prompt_len": 107,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -3439,9 +3439,9 @@
         ]
     },
     "predict": {
-        "1": 0.4053135812282562,
-        "2": 0.27856767177581787,
-        "3": 0.3156585395336151
+        "1": 0.4348577558994293,
+        "2": 0.38376063108444214,
+        "3": 0.18127568066120148
     },
     "sample": {
         "messages": [
@@ -3483,9 +3483,9 @@
         ]
     },
     "predict": {
-        "1": 0.8433544635772705,
-        "2": 0.04198814556002617,
-        "3": 0.11413560807704926
+        "1": 0.9453459978103638,
+        "2": 0.022232407703995705,
+        "3": 0.03234795853495598
     },
     "sample": {
         "messages": [
@@ -3527,9 +3527,9 @@
         ]
     },
     "predict": {
-        "1": 0.004391205031424761,
-        "2": 0.9482361674308777,
-        "3": 0.04720989614725113
+        "1": 0.0007927707047201693,
+        "2": 0.985135018825531,
+        "3": 0.014052196405827999
     },
     "sample": {
         "messages": [
@@ -3571,9 +3571,9 @@
         ]
     },
     "predict": {
-        "1": 0.019635289907455444,
-        "2": 0.8349137306213379,
-        "3": 0.14508624374866486
+        "1": 0.006444424856454134,
+        "2": 0.9564374685287476,
+        "3": 0.03708510473370552
     },
     "sample": {
         "messages": [
@@ -3615,9 +3615,9 @@
         ]
     },
     "predict": {
-        "1": 0.9664026498794556,
-        "2": 0.015620443969964981,
-        "3": 0.017700282856822014
+        "1": 0.9815508127212524,
+        "2": 0.010904044844210148,
+        "3": 0.00749423261731863
     },
     "sample": {
         "messages": [
@@ -3659,9 +3659,9 @@
         ]
     },
     "predict": {
-        "1": 0.5739468336105347,
-        "2": 0.23925663530826569,
-        "3": 0.18633325397968292
+        "1": 0.6485435366630554,
+        "2": 0.23858585953712463,
+        "3": 0.1126999631524086
     },
     "sample": {
         "messages": [
@@ -3703,9 +3703,9 @@
         ]
     },
     "predict": {
-        "1": 0.9895949363708496,
-        "2": 0.00755565008148551,
-        "3": 0.0027795685455203056
+        "1": 0.9901036024093628,
+        "2": 0.008566074073314667,
+        "3": 0.0013136500492691994
     },
     "sample": {
         "messages": [
@@ -3747,9 +3747,9 @@
         ]
     },
     "predict": {
-        "1": 0.0007069944986142218,
-        "2": 0.9955223798751831,
-        "3": 0.0035904143005609512
+        "1": 0.000549855874851346,
+        "2": 0.9941627383232117,
+        "3": 0.005216887220740318
     },
     "sample": {
         "messages": [
@@ -3791,9 +3791,9 @@
         ]
     },
     "predict": {
-        "1": 0.24979045987129211,
-        "2": 0.4666700065135956,
-        "3": 0.28304967284202576
+        "1": 0.04863475635647774,
+        "2": 0.6713820695877075,
+        "3": 0.27987366914749146
     },
     "sample": {
         "messages": [
@@ -3835,9 +3835,9 @@
         ]
     },
     "predict": {
-        "1": 0.8632048964500427,
-        "2": 0.03347008675336838,
-        "3": 0.10309512913227081
+        "1": 0.8279116749763489,
+        "2": 0.05997372418642044,
+        "3": 0.11204566061496735
     },
     "sample": {
         "messages": [
@@ -3879,9 +3879,9 @@
         ]
     },
     "predict": {
-        "1": 0.04315527155995369,
-        "2": 0.6750620603561401,
-        "3": 0.2814077138900757
+        "1": 0.010608896613121033,
+        "2": 0.8427690863609314,
+        "3": 0.14645129442214966
     },
     "sample": {
         "messages": [
@@ -3923,9 +3923,9 @@
         ]
     },
     "predict": {
-        "1": 0.9749920964241028,
-        "2": 0.004515109583735466,
-        "3": 0.020235314965248108
+        "1": 0.9963377714157104,
+        "2": 0.001697380910627544,
+        "3": 0.001923384377732873
     },
     "sample": {
         "messages": [
@@ -3967,9 +3967,9 @@
         ]
     },
     "predict": {
-        "1": 0.009249232709407806,
-        "2": 0.9434472918510437,
-        "3": 0.04697147384285927
+        "1": 0.005067681428045034,
+        "2": 0.9657291173934937,
+        "3": 0.029162492603063583
     },
     "sample": {
         "messages": [
@@ -4011,9 +4011,9 @@
         ]
     },
     "predict": {
-        "1": 0.32653483748435974,
-        "2": 0.4751053750514984,
-        "3": 0.19805338978767395
+        "1": 0.4243760108947754,
+        "2": 0.4808810353279114,
+        "3": 0.09469108283519745
     },
     "sample": {
         "messages": [
@@ -4055,9 +4055,9 @@
         ]
     },
     "predict": {
-        "1": 0.9872775673866272,
-        "2": 0.006652223877608776,
-        "3": 0.005870566703379154
+        "1": 0.9982520937919617,
+        "2": 0.001168832997791469,
+        "3": 0.0005521176499314606
     },
     "sample": {
         "messages": [
@@ -4099,9 +4099,9 @@
         ]
     },
     "predict": {
-        "1": 0.9535369873046875,
-        "2": 0.004415752366185188,
-        "3": 0.041895490139722824
+        "1": 0.9947561025619507,
+        "2": 0.0011647396022453904,
+        "3": 0.004065340850502253
     },
     "sample": {
         "messages": [
@@ -4143,9 +4143,9 @@
         ]
     },
     "predict": {
-        "1": 0.9775190353393555,
-        "2": 0.013943559490144253,
-        "3": 0.00845719687640667
+        "1": 0.9959099292755127,
+        "2": 0.003169763134792447,
+        "3": 0.0009081523166969419
     },
     "sample": {
         "messages": [
@@ -4187,9 +4187,9 @@
         ]
     },
     "predict": {
-        "1": 0.00010871761332964525,
-        "2": 0.9982447624206543,
-        "3": 0.0015008002519607544
+        "1": 5.142214286024682e-05,
+        "2": 0.9995583891868591,
+        "3": 0.00033531448571011424
     },
     "sample": {
         "messages": [
@@ -4231,9 +4231,9 @@
         ]
     },
     "predict": {
-        "1": 0.00023028242867439985,
-        "2": 0.9987967014312744,
-        "3": 0.0009107846999540925
+        "1": 7.482008368242532e-05,
+        "2": 0.9995757937431335,
+        "3": 0.0003353203064762056
     },
     "sample": {
         "messages": [
@@ -4268,16 +4268,16 @@
 }
 {
     "metric": {
-        "acc": false,
+        "acc": true,
         "f1_macro": [
             "1",
-            "3"
+            "1"
         ]
     },
     "predict": {
-        "1": 0.40675732493400574,
-        "2": 0.07068382203578949,
-        "3": 0.5222867727279663
+        "1": 0.5793271660804749,
+        "2": 0.06919076293706894,
+        "3": 0.3513796925544739
     },
     "sample": {
         "messages": [
@@ -4307,7 +4307,7 @@
         "prompt_len": 101,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "3"
+        "generated_token": "1"
     }
 }
 {
@@ -4315,13 +4315,13 @@
         "acc": false,
         "f1_macro": [
             "1",
-            "3"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.26727569103240967,
-        "2": 0.3431887626647949,
-        "3": 0.3888837993144989
+        "1": 0.16343984007835388,
+        "2": 0.44427549839019775,
+        "3": 0.3920717239379883
     },
     "sample": {
         "messages": [
@@ -4351,7 +4351,7 @@
         "prompt_len": 98,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "3"
+        "generated_token": "2"
     }
 }
 {
@@ -4363,9 +4363,9 @@
         ]
     },
     "predict": {
-        "1": 0.9885652661323547,
-        "2": 0.004577965941280127,
-        "3": 0.006660900544375181
+        "1": 0.9970000386238098,
+        "2": 0.0019246629672124982,
+        "3": 0.0010301978327333927
     },
     "sample": {
         "messages": [
@@ -4407,9 +4407,9 @@
         ]
     },
     "predict": {
-        "1": 0.949755072593689,
-        "2": 0.017395371571183205,
-        "3": 0.03249882906675339
+        "1": 0.9737087488174438,
+        "2": 0.017834099009633064,
+        "3": 0.00842423178255558
     },
     "sample": {
         "messages": [
@@ -4444,16 +4444,16 @@
 }
 {
     "metric": {
-        "acc": true,
+        "acc": false,
         "f1_macro": [
             "3",
-            "3"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.2993669807910919,
-        "2": 0.2641904354095459,
-        "3": 0.4355763792991638
+        "1": 0.03650171682238579,
+        "2": 0.5709829330444336,
+        "3": 0.39243048429489136
     },
     "sample": {
         "messages": [
@@ -4483,7 +4483,7 @@
         "prompt_len": 129,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "3"
+        "generated_token": "2"
     }
 }
 {
@@ -4495,9 +4495,9 @@
         ]
     },
     "predict": {
-        "1": 0.16417229175567627,
-        "2": 0.7357691526412964,
-        "3": 0.09957552701234818
+        "1": 0.10019335895776749,
+        "2": 0.8389086723327637,
+        "3": 0.060770343989133835
     },
     "sample": {
         "messages": [
@@ -4532,16 +4532,16 @@
 }
 {
     "metric": {
-        "acc": false,
+        "acc": true,
         "f1_macro": [
             "2",
-            "1"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.5432703495025635,
-        "2": 0.2566227614879608,
-        "3": 0.19985802471637726
+        "1": 0.348142147064209,
+        "2": 0.5065438151359558,
+        "3": 0.14512723684310913
     },
     "sample": {
         "messages": [
@@ -4571,7 +4571,7 @@
         "prompt_len": 119,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -4583,9 +4583,9 @@
         ]
     },
     "predict": {
-        "1": 0.9395626783370972,
-        "2": 0.053006500005722046,
-        "3": 0.007173649035394192
+        "1": 0.921362578868866,
+        "2": 0.07563004642724991,
+        "3": 0.002932495204731822
     },
     "sample": {
         "messages": [
@@ -4627,9 +4627,9 @@
         ]
     },
     "predict": {
-        "1": 0.319026380777359,
-        "2": 0.3615042567253113,
-        "3": 0.319026380777359
+        "1": 0.2811756134033203,
+        "2": 0.5253051519393921,
+        "3": 0.19324898719787598
     },
     "sample": {
         "messages": [
@@ -4671,9 +4671,9 @@
         ]
     },
     "predict": {
-        "1": 0.5794939398765564,
-        "2": 0.27373358607292175,
-        "3": 0.1465190201997757
+        "1": 0.5177655220031738,
+        "2": 0.3140406608581543,
+        "3": 0.16809384524822235
     },
     "sample": {
         "messages": [
@@ -4715,9 +4715,9 @@
         ]
     },
     "predict": {
-        "1": 0.1413666158914566,
-        "2": 0.5591158270835876,
-        "3": 0.29927313327789307
+        "1": 0.029254857450723648,
+        "2": 0.7544927597045898,
+        "3": 0.21616579592227936
     },
     "sample": {
         "messages": [
@@ -4759,9 +4759,9 @@
         ]
     },
     "predict": {
-        "1": 0.903691828250885,
-        "2": 0.05098280683159828,
-        "3": 0.04499216750264168
+        "1": 0.933957576751709,
+        "2": 0.04649900645017624,
+        "3": 0.019383670762181282
     },
     "sample": {
         "messages": [
@@ -4803,9 +4803,9 @@
         ]
     },
     "predict": {
-        "1": 0.44351115822792053,
-        "2": 0.16315865516662598,
-        "3": 0.3913972079753876
+        "1": 0.6896592378616333,
+        "2": 0.17437316477298737,
+        "3": 0.13580194115638733
     },
     "sample": {
         "messages": [
@@ -4847,9 +4847,9 @@
         ]
     },
     "predict": {
-        "1": 0.006333678495138884,
-        "2": 0.829548180103302,
-        "3": 0.16334772109985352
+        "1": 0.004825746640563011,
+        "2": 0.9196245074272156,
+        "3": 0.07548737525939941
     },
     "sample": {
         "messages": [
@@ -4891,9 +4891,9 @@
         ]
     },
     "predict": {
-        "1": 0.9808608889579773,
-        "2": 0.006608989089727402,
-        "3": 0.012347216717898846
+        "1": 0.9969658255577087,
+        "2": 0.0016984508838504553,
+        "3": 0.0013227547751739621
     },
     "sample": {
         "messages": [
@@ -4935,9 +4935,9 @@
         ]
     },
     "predict": {
-        "1": 0.98264080286026,
-        "2": 0.007502554450184107,
-        "3": 0.009633472189307213
+        "1": 0.9873858690261841,
+        "2": 0.00854256097227335,
+        "3": 0.004035220481455326
     },
     "sample": {
         "messages": [
@@ -4979,9 +4979,9 @@
         ]
     },
     "predict": {
-        "1": 0.022703707218170166,
-        "2": 0.6634995937347412,
-        "3": 0.3134150207042694
+        "1": 0.005040068179368973,
+        "2": 0.8476091623306274,
+        "3": 0.1472923755645752
     },
     "sample": {
         "messages": [
@@ -5023,9 +5023,9 @@
         ]
     },
     "predict": {
-        "1": 0.9980541467666626,
-        "2": 0.0011686012148857117,
-        "3": 0.0007087924750521779
+        "1": 0.9995957016944885,
+        "2": 0.0002959250414278358,
+        "3": 9.60727920755744e-05
     },
     "sample": {
         "messages": [
@@ -5067,9 +5067,9 @@
         ]
     },
     "predict": {
-        "1": 0.1470482498407364,
-        "2": 0.45294052362442017,
-        "3": 0.39971861243247986
+        "1": 0.013323570601642132,
+        "2": 0.8243001103401184,
+        "3": 0.162314310669899
     },
     "sample": {
         "messages": [
@@ -5111,9 +5111,9 @@
         ]
     },
     "predict": {
-        "1": 0.9826924800872803,
-        "2": 0.007502949330955744,
-        "3": 0.009633978828787804
+        "1": 0.9829668998718262,
+        "2": 0.008504330180585384,
+        "3": 0.008504330180585384
     },
     "sample": {
         "messages": [
@@ -5155,9 +5155,9 @@
         ]
     },
     "predict": {
-        "1": 0.7108820080757141,
-        "2": 0.08490274846553802,
-        "3": 0.20367111265659332
+        "1": 0.7294701933860779,
+        "2": 0.14364118874073029,
+        "3": 0.12676289677619934
     },
     "sample": {
         "messages": [
@@ -5199,9 +5199,9 @@
         ]
     },
     "predict": {
-        "1": 0.9970034956932068,
-        "2": 0.0011673710541799664,
-        "3": 0.0014989341143518686
+        "1": 0.9988341927528381,
+        "2": 0.0006259960355237126,
+        "3": 0.00043024038313888013
     },
     "sample": {
         "messages": [
@@ -5243,9 +5243,9 @@
         ]
     },
     "predict": {
-        "1": 0.9684581160545349,
-        "2": 0.008378804661333561,
-        "3": 0.022775951772928238
+        "1": 0.9976025223731995,
+        "2": 0.0010308203054592013,
+        "3": 0.0013235994847491384
     },
     "sample": {
         "messages": [
@@ -5287,9 +5287,9 @@
         ]
     },
     "predict": {
-        "1": 0.007999463938176632,
-        "2": 0.924612283706665,
-        "3": 0.06697869300842285
+        "1": 0.0027506183832883835,
+        "2": 0.9792879223823547,
+        "3": 0.017936285585165024
     },
     "sample": {
         "messages": [
@@ -5331,9 +5331,9 @@
         ]
     },
     "predict": {
-        "1": 0.8019711971282959,
-        "2": 0.05809459835290909,
-        "3": 0.1393616795539856
+        "1": 0.8858155012130737,
+        "2": 0.06416825950145721,
+        "3": 0.049974292516708374
     },
     "sample": {
         "messages": [
@@ -5375,9 +5375,9 @@
         ]
     },
     "predict": {
-        "1": 0.9905189871788025,
-        "2": 0.004048024769872427,
-        "3": 0.005197766702622175
+        "1": 0.9976467490196228,
+        "2": 0.0011681242613121867,
+        "3": 0.0011681242613121867
     },
     "sample": {
         "messages": [
@@ -5419,9 +5419,9 @@
         ]
     },
     "predict": {
-        "1": 0.8574181795120239,
-        "2": 0.010793302208185196,
-        "3": 0.1314893364906311
+        "1": 0.9215928316116333,
+        "2": 0.011601141653954983,
+        "3": 0.06675996631383896
     },
     "sample": {
         "messages": [
@@ -5463,9 +5463,9 @@
         ]
     },
     "predict": {
-        "1": 0.8388268947601318,
-        "2": 0.06076442077755928,
-        "3": 0.10018359124660492
+        "1": 0.8699459433555603,
+        "2": 0.08091757446527481,
+        "3": 0.04907899722456932
     },
     "sample": {
         "messages": [
@@ -5507,9 +5507,9 @@
         ]
     },
     "predict": {
-        "1": 0.9569981098175049,
-        "2": 0.022506438195705414,
-        "3": 0.019861862063407898
+        "1": 0.981459379196167,
+        "2": 0.01235475018620491,
+        "3": 0.005835970398038626
     },
     "sample": {
         "messages": [
@@ -5551,9 +5551,9 @@
         ]
     },
     "predict": {
-        "1": 0.0010050975251942873,
-        "2": 0.9727086424827576,
-        "3": 0.025921806693077087
+        "1": 0.0003639419737737626,
+        "2": 0.9574170708656311,
+        "3": 0.04206597059965134
     },
     "sample": {
         "messages": [
@@ -5595,9 +5595,9 @@
         ]
     },
     "predict": {
-        "1": 0.0016963096568360925,
-        "2": 0.9957089424133301,
-        "3": 0.002468115882948041
+        "1": 0.0024682956282049417,
+        "2": 0.9957815408706665,
+        "3": 0.0016964332899078727
     },
     "sample": {
         "messages": [
@@ -5632,16 +5632,16 @@
 }
 {
     "metric": {
-        "acc": true,
+        "acc": false,
         "f1_macro": [
             "3",
-            "3"
+            "1"
         ]
     },
     "predict": {
-        "1": 0.15390941500663757,
-        "2": 0.06415899097919464,
-        "3": 0.7816165089607239
+        "1": 0.4017336964607239,
+        "2": 0.24366381764411926,
+        "3": 0.3545287549495697
     },
     "sample": {
         "messages": [
@@ -5671,7 +5671,7 @@
         "prompt_len": 120,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "3"
+        "generated_token": "1"
     }
 }
 {
@@ -5683,9 +5683,9 @@
         ]
     },
     "predict": {
-        "1": 0.8137553334236145,
-        "2": 0.07569102942943573,
-        "3": 0.11012980341911316
+        "1": 0.9453281760215759,
+        "2": 0.03234735131263733,
+        "3": 0.022231988608837128
     },
     "sample": {
         "messages": [
@@ -5727,9 +5727,9 @@
         ]
     },
     "predict": {
-        "1": 0.09514957666397095,
-        "2": 0.7030655741691589,
-        "3": 0.20143166184425354
+        "1": 0.07759241759777069,
+        "2": 0.7361764311790466,
+        "3": 0.18613454699516296
     },
     "sample": {
         "messages": [
@@ -5771,9 +5771,9 @@
         ]
     },
     "predict": {
-        "1": 0.7357979416847229,
-        "2": 0.09957942366600037,
-        "3": 0.16417871415615082
+        "1": 0.8957749605178833,
+        "2": 0.0735296830534935,
+        "3": 0.03065173141658306
     },
     "sample": {
         "messages": [
@@ -5808,16 +5808,16 @@
 }
 {
     "metric": {
-        "acc": true,
+        "acc": false,
         "f1_macro": [
             "2",
-            "2"
+            "1"
         ]
     },
     "predict": {
-        "1": 0.3830280005931854,
-        "2": 0.4918177127838135,
-        "3": 0.12435098737478256
+        "1": 0.7399768829345703,
+        "2": 0.2402353137731552,
+        "3": 0.019719716161489487
     },
     "sample": {
         "messages": [
@@ -5847,7 +5847,7 @@
         "prompt_len": 143,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "2"
+        "generated_token": "1"
     }
 }
 {
@@ -5859,9 +5859,9 @@
         ]
     },
     "predict": {
-        "1": 0.8387274146080017,
-        "2": 0.03252099081873894,
-        "3": 0.12862302362918854
+        "1": 0.9120930433273315,
+        "2": 0.013010308146476746,
+        "3": 0.07486915588378906
     },
     "sample": {
         "messages": [
@@ -5903,9 +5903,9 @@
         ]
     },
     "predict": {
-        "1": 0.028102239593863487,
-        "2": 0.930618405342102,
-        "3": 0.04088851809501648
+        "1": 0.009534475393593311,
+        "2": 0.9725428223609924,
+        "3": 0.01781274378299713
     },
     "sample": {
         "messages": [
@@ -5947,9 +5947,9 @@
         ]
     },
     "predict": {
-        "1": 0.5222956538200378,
-        "2": 0.40676426887512207,
-        "3": 0.07068502902984619
+        "1": 0.7108290791511536,
+        "2": 0.26149943470954895,
+        "3": 0.027561835944652557
     },
     "sample": {
         "messages": [
@@ -5991,9 +5991,9 @@
         ]
     },
     "predict": {
-        "1": 0.9886016249656677,
-        "2": 0.004578134045004845,
-        "3": 0.006661145482212305
+        "1": 0.9836913347244263,
+        "2": 0.00662806024774909,
+        "3": 0.00964377075433731
     },
     "sample": {
         "messages": [
@@ -6035,9 +6035,9 @@
         ]
     },
     "predict": {
-        "1": 0.25357723236083984,
-        "2": 0.05658072605729103,
-        "3": 0.6892943382263184
+        "1": 0.262827068567276,
+        "2": 0.18063820898532867,
+        "3": 0.5564048886299133
     },
     "sample": {
         "messages": [
@@ -6079,9 +6079,9 @@
         ]
     },
     "predict": {
-        "1": 0.9673023223876953,
-        "2": 0.006517631467431784,
-        "3": 0.025777732953429222
+        "1": 0.9941277503967285,
+        "2": 0.0021746456623077393,
+        "3": 0.0035853844601660967
     },
     "sample": {
         "messages": [
@@ -6123,9 +6123,9 @@
         ]
     },
     "predict": {
-        "1": 0.9694338440895081,
-        "2": 0.00740171829238534,
-        "3": 0.022798899561166763
+        "1": 0.996992826461792,
+        "2": 0.0010301903821527958,
+        "3": 0.001924648997373879
     },
     "sample": {
         "messages": [
@@ -6167,9 +6167,9 @@
         ]
     },
     "predict": {
-        "1": 0.26623213291168213,
-        "2": 0.4973870813846588,
-        "3": 0.2349490225315094
+        "1": 0.04585421085357666,
+        "2": 0.812785267829895,
+        "3": 0.1412408947944641
     },
     "sample": {
         "messages": [
@@ -6211,9 +6211,9 @@
         ]
     },
     "predict": {
-        "1": 0.6893928647041321,
-        "2": 0.17430581152439117,
-        "3": 0.13574948906898499
+        "1": 0.807905912399292,
+        "2": 0.1403929740190506,
+        "3": 0.051647692918777466
     },
     "sample": {
         "messages": [
@@ -6255,9 +6255,9 @@
         ]
     },
     "predict": {
-        "1": 0.9904072880744934,
-        "2": 0.005197180435061455,
-        "3": 0.004047568421810865
+        "1": 0.9963781237602234,
+        "2": 0.0027986213099211454,
+        "3": 0.0008018183871172369
     },
     "sample": {
         "messages": [
@@ -6299,9 +6299,9 @@
         ]
     },
     "predict": {
-        "1": 0.015625765547156334,
-        "2": 0.8531379103660583,
-        "3": 0.13083294034004211
+        "1": 0.0018456815741956234,
+        "2": 0.9560866951942444,
+        "3": 0.04200751706957817
     },
     "sample": {
         "messages": [
@@ -6343,9 +6343,9 @@
         ]
     },
     "predict": {
-        "1": 0.8878903985023499,
-        "2": 0.07288248091936111,
-        "3": 0.03901118040084839
+        "1": 0.9878526926040649,
+        "2": 0.010974053293466568,
+        "3": 0.0011566565372049809
     },
     "sample": {
         "messages": [
@@ -6387,9 +6387,9 @@
         ]
     },
     "predict": {
-        "1": 0.9854906797409058,
-        "2": 0.006640183739364147,
-        "3": 0.007524313870817423
+        "1": 0.9896767735481262,
+        "2": 0.006668389309197664,
+        "3": 0.003569331718608737
     },
     "sample": {
         "messages": [
@@ -6431,9 +6431,9 @@
         ]
     },
     "predict": {
-        "1": 0.9973812699317932,
-        "2": 0.0014995021047070622,
-        "3": 0.0010305916657671332
+        "1": 0.9899300932884216,
+        "2": 0.008564572781324387,
+        "3": 0.0014882995747029781
     },
     "sample": {
         "messages": [
@@ -6468,16 +6468,16 @@
 }
 {
     "metric": {
-        "acc": false,
+        "acc": true,
         "f1_macro": [
             "2",
-            "3"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.13205672800540924,
-        "2": 0.40676334500312805,
-        "3": 0.4609232544898987
+        "1": 0.06609950959682465,
+        "2": 0.5534443855285645,
+        "3": 0.380376398563385
     },
     "sample": {
         "messages": [
@@ -6507,7 +6507,7 @@
         "prompt_len": 133,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "3"
+        "generated_token": "2"
     }
 }
 {
@@ -6519,9 +6519,9 @@
         ]
     },
     "predict": {
-        "1": 0.0009687349665910006,
-        "2": 0.7301396727561951,
-        "3": 0.2686033844947815
+        "1": 0.00039885262958705425,
+        "2": 0.8171613812446594,
+        "3": 0.18233336508274078
     },
     "sample": {
         "messages": [
@@ -6563,9 +6563,9 @@
         ]
     },
     "predict": {
-        "1": 0.8906763195991516,
-        "2": 0.04434416443109512,
-        "3": 0.06452038139104843
+        "1": 0.9892650842666626,
+        "2": 0.006665615830570459,
+        "3": 0.004042900633066893
     },
     "sample": {
         "messages": [
@@ -6607,9 +6607,9 @@
         ]
     },
     "predict": {
-        "1": 0.9200575351715088,
-        "2": 0.027783330529928207,
-        "3": 0.051906097680330276
+        "1": 0.9259400963783264,
+        "2": 0.052237968891859055,
+        "3": 0.021776024252176285
     },
     "sample": {
         "messages": [
@@ -6651,9 +6651,9 @@
         ]
     },
     "predict": {
-        "1": 0.7748290300369263,
-        "2": 0.07207032293081284,
-        "3": 0.1525728702545166
+        "1": 0.9232752919197083,
+        "2": 0.052087631076574326,
+        "3": 0.024604452773928642
     },
     "sample": {
         "messages": [
@@ -6695,9 +6695,9 @@
         ]
     },
     "predict": {
-        "1": 0.9661503434181213,
-        "2": 0.022721678018569946,
-        "3": 0.010732961818575859
+        "1": 0.9856587052345276,
+        "2": 0.012407612055540085,
+        "3": 0.0019027689704671502
     },
     "sample": {
         "messages": [
@@ -6739,9 +6739,9 @@
         ]
     },
     "predict": {
-        "1": 0.7636806964874268,
-        "2": 0.10335294157266617,
-        "3": 0.13270780444145203
+        "1": 0.8998776078224182,
+        "2": 0.06518691778182983,
+        "3": 0.034892041236162186
     },
     "sample": {
         "messages": [
@@ -6783,9 +6783,9 @@
         ]
     },
     "predict": {
-        "1": 0.4979809820652008,
-        "2": 0.23522956669330597,
-        "3": 0.2665500044822693
+        "1": 0.8059348464012146,
+        "2": 0.10907141864299774,
+        "3": 0.08494490385055542
     },
     "sample": {
         "messages": [
@@ -6827,9 +6827,9 @@
         ]
     },
     "predict": {
-        "1": 0.6569244265556335,
-        "2": 0.12935608625411987,
-        "3": 0.21327213943004608
+        "1": 0.7040882110595703,
+        "2": 0.15710331499576569,
+        "3": 0.13864317536354065
     },
     "sample": {
         "messages": [
@@ -6871,9 +6871,9 @@
         ]
     },
     "predict": {
-        "1": 0.9272952079772949,
-        "2": 0.01322715450078249,
-        "3": 0.059279996901750565
+        "1": 0.9878662824630737,
+        "2": 0.003562802216038108,
+        "3": 0.008546718396246433
     },
     "sample": {
         "messages": [
@@ -6915,9 +6915,9 @@
         ]
     },
     "predict": {
-        "1": 0.047964341938495636,
-        "2": 0.8501882553100586,
-        "3": 0.10154051333665848
+        "1": 0.04308432340621948,
+        "2": 0.7636878490447998,
+        "3": 0.1930905282497406
     },
     "sample": {
         "messages": [
@@ -6959,9 +6959,9 @@
         ]
     },
     "predict": {
-        "1": 0.20372076332569122,
-        "2": 0.08492344617843628,
-        "3": 0.7110552787780762
+        "1": 0.13272711634635925,
+        "2": 0.19311684370040894,
+        "3": 0.6740439534187317
     },
     "sample": {
         "messages": [
@@ -7003,9 +7003,9 @@
         ]
     },
     "predict": {
-        "1": 0.28083983063697815,
-        "2": 0.19301821291446686,
-        "3": 0.5246778130531311
+        "1": 0.26278257369995117,
+        "2": 0.1806076318025589,
+        "3": 0.5563106536865234
     },
     "sample": {
         "messages": [
@@ -7047,9 +7047,9 @@
         ]
     },
     "predict": {
-        "1": 0.8987541198730469,
-        "2": 0.027140023186802864,
-        "3": 0.07377423346042633
+        "1": 0.8022602200508118,
+        "2": 0.12303059548139572,
+        "3": 0.07462182641029358
     },
     "sample": {
         "messages": [
@@ -7091,9 +7091,9 @@
         ]
     },
     "predict": {
-        "1": 0.16812677681446075,
-        "2": 0.586820125579834,
-        "3": 0.24462300539016724
+        "1": 0.06149691715836525,
+        "2": 0.8489387035369873,
+        "3": 0.08947747945785522
     },
     "sample": {
         "messages": [
@@ -7135,9 +7135,9 @@
         ]
     },
     "predict": {
-        "1": 0.8127074837684631,
-        "2": 0.1412273645401001,
-        "3": 0.045849818736314774
+        "1": 0.9564388990402222,
+        "2": 0.03708516061306,
+        "3": 0.0064444346353411674
     },
     "sample": {
         "messages": [
@@ -7179,9 +7179,9 @@
         ]
     },
     "predict": {
-        "1": 0.960555374622345,
-        "2": 0.013701586052775383,
-        "3": 0.025597933679819107
+        "1": 0.9918093085289001,
+        "2": 0.0035770228132605553,
+        "3": 0.0045929886400699615
     },
     "sample": {
         "messages": [
@@ -7223,9 +7223,9 @@
         ]
     },
     "predict": {
-        "1": 0.7052439451217651,
-        "2": 0.2594447731971741,
-        "3": 0.03511202707886696
+        "1": 0.7902092933654785,
+        "2": 0.19979619979858398,
+        "3": 0.009947266429662704
     },
     "sample": {
         "messages": [
@@ -7267,9 +7267,9 @@
         ]
     },
     "predict": {
-        "1": 0.5152425169944763,
-        "2": 0.130273699760437,
-        "3": 0.3541206419467926
+        "1": 0.4359055459499359,
+        "2": 0.2995932102203369,
+        "3": 0.26439008116722107
     },
     "sample": {
         "messages": [
@@ -7311,9 +7311,9 @@
         ]
     },
     "predict": {
-        "1": 0.9908397793769836,
-        "2": 0.003153625875711441,
-        "3": 0.005891748238354921
+        "1": 0.9979111552238464,
+        "2": 0.00090997718507424,
+        "3": 0.0011684338096529245
     },
     "sample": {
         "messages": [
@@ -7355,9 +7355,9 @@
         ]
     },
     "predict": {
-        "1": 0.004544285591691732,
-        "2": 0.9812923669815063,
-        "3": 0.013997383415699005
+        "1": 0.0045744976960122585,
+        "2": 0.9878163933753967,
+        "3": 0.007542070932686329
     },
     "sample": {
         "messages": [
@@ -7399,9 +7399,9 @@
         ]
     },
     "predict": {
-        "1": 0.7480601668357849,
-        "2": 0.03724372014403343,
-        "3": 0.21432282030582428
+        "1": 0.7596085667610168,
+        "2": 0.09072230756282806,
+        "3": 0.14957578480243683
     },
     "sample": {
         "messages": [
@@ -7443,9 +7443,9 @@
         ]
     },
     "predict": {
-        "1": 0.7029677033424377,
-        "2": 0.2014036327600479,
-        "3": 0.09513633698225021
+        "1": 0.6568360924720764,
+        "2": 0.2738099992275238,
+        "3": 0.06923001259565353
     },
     "sample": {
         "messages": [
@@ -7487,9 +7487,9 @@
         ]
     },
     "predict": {
-        "1": 0.6841830015182495,
-        "2": 0.2516968846321106,
-        "3": 0.06363893300294876
+        "1": 0.7170509696006775,
+        "2": 0.2637883424758911,
+        "3": 0.019108761101961136
     },
     "sample": {
         "messages": [
@@ -7531,9 +7531,9 @@
         ]
     },
     "predict": {
-        "1": 0.009945956990122795,
-        "2": 0.7901052236557007,
-        "3": 0.19976988434791565
+        "1": 0.002903394168242812,
+        "2": 0.9122192859649658,
+        "3": 0.08484961092472076
     },
     "sample": {
         "messages": [
@@ -7575,9 +7575,9 @@
         ]
     },
     "predict": {
-        "1": 0.9773134589195251,
-        "2": 0.008455418050289154,
-        "3": 0.013940627686679363
+        "1": 0.9978582262992859,
+        "2": 0.001323938718996942,
+        "3": 0.0008030094904825091
     },
     "sample": {
         "messages": [
@@ -7619,9 +7619,9 @@
         ]
     },
     "predict": {
-        "1": 0.8682395815849304,
-        "2": 0.014033786021173,
-        "3": 0.11750344932079315
+        "1": 0.990522563457489,
+        "2": 0.0027821743860840797,
+        "3": 0.006674088537693024
     },
     "sample": {
         "messages": [
@@ -7663,9 +7663,9 @@
         ]
     },
     "predict": {
-        "1": 0.9814985394477844,
-        "2": 0.010903464630246162,
-        "3": 0.0074938335455954075
+        "1": 0.9925897121429443,
+        "2": 0.0059021539054811,
+        "3": 0.0014922982081770897
     },
     "sample": {
         "messages": [
@@ -7707,9 +7707,9 @@
         ]
     },
     "predict": {
-        "1": 0.9429830312728882,
-        "2": 0.015241900458931923,
-        "3": 0.04143178090453148
+        "1": 0.9857420921325684,
+        "2": 0.007526233326643705,
+        "3": 0.006641877815127373
     },
     "sample": {
         "messages": [
@@ -7744,16 +7744,16 @@
 }
 {
     "metric": {
-        "acc": true,
+        "acc": false,
         "f1_macro": [
             "1",
-            "1"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.5882465839385986,
-        "2": 0.35678958892822266,
-        "3": 0.05471545457839966
+        "1": 0.3446155786514282,
+        "2": 0.5681750774383545,
+        "3": 0.08713246881961823
     },
     "sample": {
         "messages": [
@@ -7783,7 +7783,7 @@
         "prompt_len": 87,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -7795,9 +7795,9 @@
         ]
     },
     "predict": {
-        "1": 0.0013241945998743176,
-        "2": 0.9980510473251343,
-        "3": 0.000552006415091455
+        "1": 0.001031822874210775,
+        "2": 0.9985727071762085,
+        "3": 0.00037958641769364476
     },
     "sample": {
         "messages": [
@@ -7832,16 +7832,16 @@
 }
 {
     "metric": {
-        "acc": false,
+        "acc": true,
         "f1_macro": [
             "2",
-            "3"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.015871042385697365,
-        "2": 0.21909299492835999,
-        "3": 0.7647096514701843
+        "1": 0.04464208334684372,
+        "2": 0.698319673538208,
+        "3": 0.2568974792957306
     },
     "sample": {
         "messages": [
@@ -7871,7 +7871,7 @@
         "prompt_len": 114,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "3"
+        "generated_token": "2"
     }
 }
 {
@@ -7883,9 +7883,9 @@
         ]
     },
     "predict": {
-        "1": 0.007001660298556089,
-        "2": 0.9170365929603577,
-        "3": 0.07527495175600052
+        "1": 0.0045158397406339645,
+        "2": 0.9751498103141785,
+        "3": 0.020238587632775307
     },
     "sample": {
         "messages": [
@@ -7927,9 +7927,9 @@
         ]
     },
     "predict": {
-        "1": 0.693837583065033,
-        "2": 0.05026142671704292,
-        "3": 0.2552486062049866
+        "1": 0.887066125869751,
+        "2": 0.030353732407093048,
+        "3": 0.08250999450683594
     },
     "sample": {
         "messages": [
@@ -7971,9 +7971,9 @@
         ]
     },
     "predict": {
-        "1": 0.6638240814208984,
-        "2": 0.16784100234508514,
-        "3": 0.16784100234508514
+        "1": 0.752650797367096,
+        "2": 0.16793909668922424,
+        "3": 0.07932881265878677
     },
     "sample": {
         "messages": [
@@ -8011,13 +8011,13 @@
         "acc": false,
         "f1_macro": [
             "3",
-            "1"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.5483831167221069,
-        "2": 0.3768978416919708,
-        "3": 0.07421558350324631
+        "1": 0.3630360960960388,
+        "2": 0.5985453128814697,
+        "3": 0.038263723254203796
     },
     "sample": {
         "messages": [
@@ -8047,7 +8047,7 @@
         "prompt_len": 145,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -8059,9 +8059,9 @@
         ]
     },
     "predict": {
-        "1": 0.0010278039844706655,
-        "2": 0.9946834444999695,
-        "3": 0.00406504375860095
+        "1": 0.0003797942481469363,
+        "2": 0.9991194605827332,
+        "3": 0.0004876655002590269
     },
     "sample": {
         "messages": [
@@ -8103,9 +8103,9 @@
         ]
     },
     "predict": {
-        "1": 0.9856196641921997,
-        "2": 0.004564324859529734,
-        "3": 0.00966267567127943
+        "1": 0.9874229431152344,
+        "2": 0.006653203163295984,
+        "3": 0.005871430970728397
     },
     "sample": {
         "messages": [
@@ -8147,9 +8147,9 @@
         ]
     },
     "predict": {
-        "1": 0.9860061407089233,
-        "2": 0.004029581788927317,
-        "3": 0.009666464291512966
+        "1": 0.9850678443908691,
+        "2": 0.005169161595404148,
+        "3": 0.009657265618443489
     },
     "sample": {
         "messages": [
@@ -8191,9 +8191,9 @@
         ]
     },
     "predict": {
-        "1": 0.9535747766494751,
-        "2": 0.01746533252298832,
-        "3": 0.02879546396434307
+        "1": 0.9720292091369629,
+        "2": 0.015711387619376183,
+        "3": 0.012236041948199272
     },
     "sample": {
         "messages": [
@@ -8235,9 +8235,9 @@
         ]
     },
     "predict": {
-        "1": 0.9351570010185242,
-        "2": 0.01177188940346241,
-        "3": 0.052757952362298965
+        "1": 0.9478249549865723,
+        "2": 0.019671479240059853,
+        "3": 0.032432783395051956
     },
     "sample": {
         "messages": [
@@ -8279,9 +8279,9 @@
         ]
     },
     "predict": {
-        "1": 0.008885451592504978,
-        "2": 0.9063406586647034,
-        "3": 0.08430281281471252
+        "1": 0.0021104495972394943,
+        "2": 0.9647808074951172,
+        "3": 0.033012982457876205
     },
     "sample": {
         "messages": [
@@ -8323,9 +8323,9 @@
         ]
     },
     "predict": {
-        "1": 0.19644363224506378,
-        "2": 0.19644363224506378,
-        "3": 0.6050889492034912
+        "1": 0.1386866271495819,
+        "2": 0.37698930501937866,
+        "3": 0.48406386375427246
     },
     "sample": {
         "messages": [
@@ -8367,9 +8367,9 @@
         ]
     },
     "predict": {
-        "1": 0.039932429790496826,
-        "2": 0.6246483325958252,
-        "3": 0.3343501687049866
+        "1": 0.05184370279312134,
+        "2": 0.7156802415847778,
+        "3": 0.23234733939170837
     },
     "sample": {
         "messages": [
@@ -8411,9 +8411,9 @@
         ]
     },
     "predict": {
-        "1": 0.895606517791748,
-        "2": 0.03064596839249134,
-        "3": 0.0735158622264862
+        "1": 0.9601175785064697,
+        "2": 0.019926603883504868,
+        "3": 0.019926603883504868
     },
     "sample": {
         "messages": [
@@ -8455,9 +8455,9 @@
         ]
     },
     "predict": {
-        "1": 0.7030915021896362,
-        "2": 0.20143909752368927,
-        "3": 0.0951530858874321
+        "1": 0.9432734251022339,
+        "2": 0.04144454374909401,
+        "3": 0.01524659525603056
     },
     "sample": {
         "messages": [
@@ -8499,9 +8499,9 @@
         ]
     },
     "predict": {
-        "1": 0.008257890120148659,
-        "2": 0.9544823169708252,
-        "3": 0.03700929507613182
+        "1": 0.0008018215303309262,
+        "2": 0.9963819980621338,
+        "3": 0.002798632252961397
     },
     "sample": {
         "messages": [
@@ -8543,9 +8543,9 @@
         ]
     },
     "predict": {
-        "1": 0.9234747290611267,
-        "2": 0.03580699861049652,
-        "3": 0.04057464748620987
+        "1": 0.9588665962219238,
+        "2": 0.03281060978770256,
+        "3": 0.008295821957290173
     },
     "sample": {
         "messages": [
@@ -8587,9 +8587,9 @@
         ]
     },
     "predict": {
-        "1": 0.0003791072522290051,
-        "2": 0.9973121881484985,
-        "3": 0.0021816114895045757
+        "1": 0.00012330948084127158,
+        "2": 0.9991870522499084,
+        "3": 0.0006262171664275229
     },
     "sample": {
         "messages": [
@@ -8631,9 +8631,9 @@
         ]
     },
     "predict": {
-        "1": 0.6739488840103149,
-        "2": 0.1930895894765854,
-        "3": 0.13270840048789978
+        "1": 0.7593835592269897,
+        "2": 0.19200223684310913,
+        "3": 0.04854576662182808
     },
     "sample": {
         "messages": [
@@ -8675,9 +8675,9 @@
         ]
     },
     "predict": {
-        "1": 0.8136776685714722,
-        "2": 0.07568380981683731,
-        "3": 0.1101192906498909
+        "1": 0.8733714818954468,
+        "2": 0.063266821205616,
+        "3": 0.063266821205616
     },
     "sample": {
         "messages": [
@@ -8719,9 +8719,9 @@
         ]
     },
     "predict": {
-        "1": 0.5865746140480042,
-        "2": 0.1680564433336258,
-        "3": 0.2445206642150879
+        "1": 0.8831384181976318,
+        "2": 0.07249242067337036,
+        "3": 0.04396887123584747
     },
     "sample": {
         "messages": [
@@ -8763,9 +8763,9 @@
         ]
     },
     "predict": {
-        "1": 0.9765577912330627,
-        "2": 0.0074561103247106075,
-        "3": 0.01578458584845066
+        "1": 0.9881987571716309,
+        "2": 0.0058760447427630424,
+        "3": 0.0058760447427630424
     },
     "sample": {
         "messages": [
@@ -8807,9 +8807,9 @@
         ]
     },
     "predict": {
-        "1": 0.0013082359218969941,
-        "2": 0.98602294921875,
-        "3": 0.012412196956574917
+        "1": 0.0011606181506067514,
+        "2": 0.9912360906600952,
+        "3": 0.007568180561065674
     },
     "sample": {
         "messages": [
@@ -8851,9 +8851,9 @@
         ]
     },
     "predict": {
-        "1": 0.12175899744033813,
-        "2": 0.7006747126579285,
-        "3": 0.17715831100940704
+        "1": 0.04855668172240257,
+        "2": 0.8606877326965332,
+        "3": 0.09071581810712814
     },
     "sample": {
         "messages": [
@@ -8895,9 +8895,9 @@
         ]
     },
     "predict": {
-        "1": 0.9733036160469055,
-        "2": 0.017826678231358528,
-        "3": 0.008420726284384727
+        "1": 0.9889312982559204,
+        "2": 0.0096951425075531,
+        "3": 0.0013120947405695915
     },
     "sample": {
         "messages": [
@@ -8939,9 +8939,9 @@
         ]
     },
     "predict": {
-        "1": 0.9689202308654785,
-        "2": 0.005084426607936621,
-        "3": 0.02582084946334362
+        "1": 0.9905210733413696,
+        "2": 0.0027821699623018503,
+        "3": 0.006674078293144703
     },
     "sample": {
         "messages": [
@@ -8983,9 +8983,9 @@
         ]
     },
     "predict": {
-        "1": 0.9123460054397583,
-        "2": 0.06609012186527252,
-        "3": 0.021456321701407433
+        "1": 0.8997890949249268,
+        "2": 0.08369342237710953,
+        "3": 0.016480213031172752
     },
     "sample": {
         "messages": [
@@ -9027,9 +9027,9 @@
         ]
     },
     "predict": {
-        "1": 0.3836027979850769,
-        "2": 0.43467894196510315,
-        "3": 0.18120113015174866
+        "1": 0.09234262257814407,
+        "2": 0.7731752991676331,
+        "3": 0.13435770571231842
     },
     "sample": {
         "messages": [
@@ -9071,9 +9071,9 @@
         ]
     },
     "predict": {
-        "1": 0.9943023920059204,
-        "2": 0.0024646292440593243,
-        "3": 0.0031646466813981533
+        "1": 0.9953448176383972,
+        "2": 0.002467213198542595,
+        "3": 0.0021773080807179213
     },
     "sample": {
         "messages": [
@@ -9115,9 +9115,9 @@
         ]
     },
     "predict": {
-        "1": 0.8954528570175171,
-        "2": 0.021059034392237663,
-        "3": 0.08329009264707565
+        "1": 0.9589095711708069,
+        "2": 0.01207089051604271,
+        "3": 0.028956560418009758
     },
     "sample": {
         "messages": [
@@ -9159,9 +9159,9 @@
         ]
     },
     "predict": {
-        "1": 0.00309029221534729,
-        "2": 0.970940887928009,
-        "3": 0.025874698534607887
+        "1": 0.0021383720450103283,
+        "2": 0.977545440196991,
+        "3": 0.020288309082388878
     },
     "sample": {
         "messages": [
@@ -9203,9 +9203,9 @@
         ]
     },
     "predict": {
-        "1": 0.9393674731254578,
-        "2": 0.028366440907120705,
-        "3": 0.03214338794350624
+        "1": 0.9794090390205383,
+        "2": 0.013970519416034222,
+        "3": 0.0065992060117423534
     },
     "sample": {
         "messages": [
@@ -9243,13 +9243,13 @@
         "acc": false,
         "f1_macro": [
             "3",
-            "1"
+            "2"
         ]
     },
     "predict": {
-        "1": 0.6094657182693481,
-        "2": 0.25406309962272644,
-        "3": 0.1359901875257492
+        "1": 0.3513769209384918,
+        "2": 0.5793225765228271,
+        "3": 0.06919021904468536
     },
     "sample": {
         "messages": [
@@ -9279,7 +9279,7 @@
         "prompt_len": 187,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": "1"
+        "generated_token": "2"
     }
 }
 {
@@ -9291,9 +9291,9 @@
         ]
     },
     "predict": {
-        "1": 0.964984118938446,
-        "2": 0.005738005042076111,
-        "3": 0.029139995574951172
+        "1": 0.99443119764328,
+        "2": 0.0014950667973607779,
+        "3": 0.004064013250172138
     },
     "sample": {
         "messages": [
@@ -9335,9 +9335,9 @@
         ]
     },
     "predict": {
-        "1": 0.11574511229991913,
-        "2": 0.6660671830177307,
-        "3": 0.21624034643173218
+        "1": 0.033020373433828354,
+        "2": 0.8516066074371338,
+        "3": 0.11525242030620575
     },
     "sample": {
         "messages": [
@@ -9379,9 +9379,9 @@
         ]
     },
     "predict": {
-        "1": 0.955115556716919,
-        "2": 0.012023130431771278,
-        "3": 0.032682254910469055
+        "1": 0.9939881563186646,
+        "2": 0.001918848603963852,
+        "3": 0.004062202293425798
     },
     "sample": {
         "messages": [
@@ -9423,9 +9423,9 @@
         ]
     },
     "predict": {
-        "1": 0.992239236831665,
-        "2": 0.004055055323988199,
-        "3": 0.0035785736981779337
+        "1": 0.9967954754829407,
+        "2": 0.0024708090350031853,
+        "3": 0.0007078985800035298
     },
     "sample": {
         "messages": [
@@ -9467,9 +9467,9 @@
         ]
     },
     "predict": {
-        "1": 0.5369768738746643,
-        "2": 0.0933125764131546,
-        "3": 0.3690584599971771
+        "1": 0.9223564863204956,
+        "2": 0.03156130388379097,
+        "3": 0.04592142254114151
     },
     "sample": {
         "messages": [
@@ -9511,9 +9511,9 @@
         ]
     },
     "predict": {
-        "1": 0.7285830974578857,
-        "2": 0.08701684325933456,
-        "3": 0.18421466648578644
+        "1": 0.6097311973571777,
+        "2": 0.13604941964149475,
+        "3": 0.25417378544807434
     },
     "sample": {
         "messages": [
@@ -9555,9 +9555,9 @@
         ]
     },
     "predict": {
-        "1": 0.6943958401679993,
-        "2": 0.10648905485868454,
-        "3": 0.1989477425813675
+        "1": 0.6044155359268188,
+        "2": 0.17316794395446777,
+        "3": 0.22235207259655
     },
     "sample": {
         "messages": [
@@ -9599,9 +9599,9 @@
         ]
     },
     "predict": {
-        "1": 0.9943283200263977,
-        "2": 0.002175084315240383,
-        "3": 0.0027928638737648726
+        "1": 0.9965786337852478,
+        "2": 0.0016977912746369839,
+        "3": 0.0014982953434810042
     },
     "sample": {
         "messages": [
@@ -9643,9 +9643,9 @@
         ]
     },
     "predict": {
-        "1": 0.3362922966480255,
-        "2": 0.43180787563323975,
-        "3": 0.23113010823726654
+        "1": 0.3261321485042572,
+        "2": 0.5377010107040405,
+        "3": 0.13595211505889893
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_RCB_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/darumeru_RCB_total.jsonl

@@ -2,7 +2,7 @@
     "task_name": "darumeru/RCB",
     "results": {
         "acc": 0.5863636363636363,
-        "f1_macro": 0.520344156087331
+        "f1_macro": 0.5032640286161413
     },
-    "leaderboard_result": 0.5533538962254836
+    "leaderboard_result": 0.5448138324898888
 }

llmtf_eval/darumeru_RWSD.jsonl

@@ -3,8 +3,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.032863784581422806,
-        "Нет": 0.960420548915863
+        "Да": 0.0009101922623813152,
+        "Нет": 0.9981470108032227
     },
     "sample": {
         "messages": [
@@ -42,8 +42,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9371574521064758,
-        "Нет": 0.05991046875715256
+        "Да": 0.87908935546875,
+        "Нет": 0.1189718022942543
     },
     "sample": {
         "messages": [
@@ -81,8 +81,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9854857921600342,
-        "Нет": 0.01094775926321745
+        "Да": 0.9857453107833862,
+        "Нет": 0.01240870263427496
     },
     "sample": {
         "messages": [
@@ -120,8 +120,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.986465334892273,
-        "Нет": 0.010958640836179256
+        "Да": 0.9977813363075256,
+        "Нет": 0.001699840184301138
     },
     "sample": {
         "messages": [
@@ -159,8 +159,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7939510941505432,
-        "Нет": 0.20074227452278137
+        "Да": 0.6485772728919983,
+        "Нет": 0.34715840220451355
     },
     "sample": {
         "messages": [
@@ -198,8 +198,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9801527857780457,
-        "Нет": 0.01584269292652607
+        "Да": 0.9979397654533386,
+        "Нет": 0.0005519448895938694
     },
     "sample": {
         "messages": [
@@ -237,8 +237,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9867241978645325,
-        "Нет": 0.010961515828967094
+        "Да": 0.9728478193283081,
+        "Нет": 0.025925515219569206
     },
     "sample": {
         "messages": [
@@ -276,8 +276,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6746264100074768,
-        "Нет": 0.2190191149711609
+        "Да": 0.7405515313148499,
+        "Нет": 0.10022275149822235
     },
     "sample": {
         "messages": [
@@ -315,8 +315,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.522964358329773,
-        "Нет": 0.4615144431591034
+        "Да": 0.9393686652183533,
+        "Нет": 0.04676840826869011
     },
     "sample": {
         "messages": [
@@ -354,8 +354,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6992032527923584,
-        "Нет": 0.2914712727069855
+        "Да": 0.5892989635467529,
+        "Нет": 0.4050188660621643
     },
     "sample": {
         "messages": [
@@ -390,11 +390,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.5266246795654297,
-        "Нет": 0.4647446572780609
+        "Да": 0.09505680948495865,
+        "Нет": 0.9018739461898804
     },
     "sample": {
         "messages": [
@@ -424,7 +424,7 @@
         "prompt_len": 143,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -432,8 +432,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8775055408477783,
-        "Нет": 0.1187574565410614
+        "Да": 0.7037761807441711,
+        "Нет": 0.293377548456192
     },
     "sample": {
         "messages": [
@@ -471,8 +471,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8865439891815186,
-        "Нет": 0.10588258504867554
+        "Да": 0.9742387533187866,
+        "Нет": 0.022911900654435158
     },
     "sample": {
         "messages": [
@@ -510,8 +510,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9848932027816772,
-        "Нет": 0.012397975660860538
+        "Да": 0.9971185922622681,
+        "Нет": 0.0021811879705637693
     },
     "sample": {
         "messages": [
@@ -549,8 +549,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9760686159133911,
-        "Нет": 0.020257657393813133
+        "Да": 0.9715492725372314,
+        "Нет": 0.025890910997986794
     },
     "sample": {
         "messages": [
@@ -588,8 +588,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.242937833070755,
-        "Нет": 0.7483012080192566
+        "Да": 0.2662963569164276,
+        "Нет": 0.7238684296607971
     },
     "sample": {
         "messages": [
@@ -627,8 +627,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.3468029201030731,
-        "Нет": 0.6479131579399109
+        "Да": 0.22212526202201843,
+        "Нет": 0.7752933502197266
     },
     "sample": {
         "messages": [
@@ -666,8 +666,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5013747215270996,
-        "Нет": 0.162772536277771
+        "Да": 0.494692862033844,
+        "Нет": 0.18198736011981964
     },
     "sample": {
         "messages": [
@@ -705,8 +705,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7420929670333862,
-        "Нет": 0.24092231690883636
+        "Да": 0.9787436127662659,
+        "Нет": 0.009595265612006187
     },
     "sample": {
         "messages": [
@@ -744,8 +744,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9416826367378235,
-        "Нет": 0.053126104176044464
+        "Да": 0.9297987222671509,
+        "Нет": 0.06735439598560333
     },
     "sample": {
         "messages": [
@@ -783,8 +783,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.24287085235118866,
-        "Нет": 0.748094916343689
+        "Да": 0.16405551135540009,
+        "Нет": 0.8331426978111267
     },
     "sample": {
         "messages": [
@@ -822,8 +822,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8775652647018433,
-        "Нет": 0.11876554787158966
+        "Да": 0.8790034651756287,
+        "Нет": 0.1189601868391037
     },
     "sample": {
         "messages": [
@@ -858,11 +858,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.5893592238426208,
-        "Нет": 0.4050602912902832
+        "Да": 0.29325181245803833,
+        "Нет": 0.7034745216369629
     },
     "sample": {
         "messages": [
@@ -892,7 +892,7 @@
         "prompt_len": 123,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -900,8 +900,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8630791306495667,
-        "Нет": 0.13235747814178467
+        "Да": 0.980563759803772,
+        "Нет": 0.017959652468562126
     },
     "sample": {
         "messages": [
@@ -939,8 +939,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8480771780014038,
-        "Нет": 0.14737370610237122
+        "Да": 0.7748723030090332,
+        "Нет": 0.22200463712215424
     },
     "sample": {
         "messages": [
@@ -978,8 +978,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9694455862045288,
-        "Нет": 0.02583484910428524
+        "Да": 0.9963346719741821,
+        "Нет": 0.0016973756719380617
     },
     "sample": {
         "messages": [
@@ -1017,8 +1017,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.06725172698497772,
-        "Нет": 0.9283813834190369
+        "Да": 0.0024708013515919447,
+        "Нет": 0.9967923760414124
     },
     "sample": {
         "messages": [
@@ -1056,8 +1056,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.38966134190559387,
-        "Нет": 0.44154417514801025
+        "Да": 0.15077032148838043,
+        "Нет": 0.6757057309150696
     },
     "sample": {
         "messages": [
@@ -1095,8 +1095,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9259219169616699,
-        "Нет": 0.05919220671057701
+        "Да": 0.9954113364219666,
+        "Нет": 0.00048585556214675307
     },
     "sample": {
         "messages": [
@@ -1134,8 +1134,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9430623054504395,
-        "Нет": 0.05320393666625023
+        "Да": 0.9902888536453247,
+        "Нет": 0.00856767687946558
     },
     "sample": {
         "messages": [
@@ -1173,8 +1173,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.14642727375030518,
-        "Нет": 0.8426308035850525
+        "Да": 0.005210899282246828,
+        "Нет": 0.9930216670036316
     },
     "sample": {
         "messages": [
@@ -1212,8 +1212,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9503581523895264,
-        "Нет": 0.04731554538011551
+        "Да": 0.9385889768600464,
+        "Нет": 0.06000198423862457
     },
     "sample": {
         "messages": [
@@ -1251,8 +1251,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9854260683059692,
-        "Нет": 0.012404683977365494
+        "Да": 0.9931262731552124,
+        "Нет": 0.005905344616621733
     },
     "sample": {
         "messages": [
@@ -1287,11 +1287,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.7919309735298157,
-        "Нет": 0.20023150742053986
+        "Да": 0.059942666441202164,
+        "Нет": 0.9376611113548279
     },
     "sample": {
         "messages": [
@@ -1321,7 +1321,7 @@
         "prompt_len": 140,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -1329,8 +1329,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.910967230796814,
-        "Нет": 0.08473315089941025
+        "Да": 0.9441565275192261,
+        "Нет": 0.05326566845178604
     },
     "sample": {
         "messages": [
@@ -1368,8 +1368,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9060622453689575,
-        "Нет": 0.08427691459655762
+        "Да": 0.9880475997924805,
+        "Нет": 0.008548286743462086
     },
     "sample": {
         "messages": [
@@ -1407,8 +1407,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6469748020172119,
-        "Нет": 0.3463006615638733
+        "Да": 0.5294978618621826,
+        "Нет": 0.46728020906448364
     },
     "sample": {
         "messages": [
@@ -1446,8 +1446,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.25853535532951355,
-        "Нет": 0.620194137096405
+        "Да": 0.14737920463085175,
+        "Нет": 0.7484533786773682
     },
     "sample": {
         "messages": [
@@ -1485,8 +1485,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.13199639320373535,
-        "Нет": 0.8607245683670044
+        "Да": 0.0948791354894638,
+        "Нет": 0.9001882076263428
     },
     "sample": {
         "messages": [
@@ -1524,8 +1524,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7227441072463989,
-        "Нет": 0.2658827304840088
+        "Да": 0.4968169927597046,
+        "Нет": 0.4968169927597046
     },
     "sample": {
         "messages": [
@@ -1560,11 +1560,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.40283966064453125,
-        "Нет": 0.5861282348632812
+        "Да": 0.8787282705307007,
+        "Нет": 0.11892293393611908
     },
     "sample": {
         "messages": [
@@ -1594,7 +1594,7 @@
         "prompt_len": 133,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
@@ -1602,8 +1602,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8903025984764099,
-        "Нет": 0.1063314825296402
+        "Да": 0.9029900431632996,
+        "Нет": 0.09517444670200348
     },
     "sample": {
         "messages": [
@@ -1641,8 +1641,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9681287407875061,
-        "Нет": 0.029234955087304115
+        "Да": 0.9376850128173828,
+        "Нет": 0.05994419753551483
     },
     "sample": {
         "messages": [
@@ -1680,8 +1680,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9937479496002197,
-        "Нет": 0.0031628820579499006
+        "Да": 0.9987090826034546,
+        "Нет": 0.0006259176298044622
     },
     "sample": {
         "messages": [
@@ -1719,8 +1719,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9675365686416626,
-        "Нет": 0.029217073693871498
+        "Да": 0.995770275592804,
+        "Нет": 0.003169318661093712
     },
     "sample": {
         "messages": [
@@ -1758,8 +1758,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8741616606712341,
-        "Нет": 0.11830490827560425
+        "Да": 0.9952654838562012,
+        "Нет": 0.0019213143968954682
     },
     "sample": {
         "messages": [
@@ -1797,8 +1797,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7925537824630737,
-        "Нет": 0.20038898289203644
+        "Да": 0.9368468523025513,
+        "Нет": 0.059890612959861755
     },
     "sample": {
         "messages": [
@@ -1836,8 +1836,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.019403239712119102,
-        "Нет": 0.9349005222320557
+        "Да": 0.005742038134485483,
+        "Нет": 0.96566241979599
     },
     "sample": {
         "messages": [
@@ -1875,8 +1875,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.11796693503856659,
-        "Нет": 0.8716643452644348
+        "Да": 0.0672793909907341,
+        "Нет": 0.9287633299827576
     },
     "sample": {
         "messages": [
@@ -1914,8 +1914,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7912249565124512,
-        "Нет": 0.20005299150943756
+        "Да": 0.9116905331611633,
+        "Нет": 0.08480042964220047
     },
     "sample": {
         "messages": [
@@ -1953,8 +1953,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9463266730308533,
-        "Нет": 0.04711483046412468
+        "Да": 0.9562659859657288,
+        "Нет": 0.04201539605855942
     },
     "sample": {
         "messages": [
@@ -1992,8 +1992,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.832128643989563,
-        "Нет": 0.16385583579540253
+        "Да": 0.8789796233177185,
+        "Нет": 0.11895695328712463
     },
     "sample": {
         "messages": [
@@ -2031,8 +2031,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.014033690094947815,
-        "Нет": 0.9838376641273499
+        "Да": 0.004067633766680956,
+        "Нет": 0.9953172206878662
     },
     "sample": {
         "messages": [
@@ -2070,8 +2070,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9858428835868835,
-        "Нет": 0.010951725766062737
+        "Да": 0.9979013204574585,
+        "Нет": 0.001500283950008452
     },
     "sample": {
         "messages": [
@@ -2109,8 +2109,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8302971124649048,
-        "Нет": 0.16349518299102783
+        "Да": 0.7949158549308777,
+        "Нет": 0.20098620653152466
     },
     "sample": {
         "messages": [
@@ -2148,8 +2148,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9885531663894653,
-        "Нет": 0.007547696121037006
+        "Да": 0.9975123405456543,
+        "Нет": 0.0006251675658859313
     },
     "sample": {
         "messages": [
@@ -2187,8 +2187,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.2920709252357483,
-        "Нет": 0.7006417512893677
+        "Да": 0.3760920464992523,
+        "Нет": 0.6200709342956543
     },
     "sample": {
         "messages": [
@@ -2223,11 +2223,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.6678000688552856,
-        "Нет": 0.2168029397726059
+        "Да": 0.1990211009979248,
+        "Нет": 0.6946519017219543
     },
     "sample": {
         "messages": [
@@ -2257,7 +2257,7 @@
         "prompt_len": 235,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -2265,8 +2265,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7976894974708557,
-        "Нет": 0.17798858880996704
+        "Да": 0.9801114201545715,
+        "Нет": 0.005143152549862862
     },
     "sample": {
         "messages": [
@@ -2304,8 +2304,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.07527783513069153,
-        "Нет": 0.9170718193054199
+        "Да": 0.003583510871976614,
+        "Нет": 0.9936082363128662
     },
     "sample": {
         "messages": [
@@ -2340,11 +2340,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.37255871295928955,
-        "Нет": 0.6142454743385315
+        "Да": 0.5901849269866943,
+        "Нет": 0.4056277871131897
     },
     "sample": {
         "messages": [
@@ -2374,7 +2374,7 @@
         "prompt_len": 104,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
@@ -2382,8 +2382,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9293378591537476,
-        "Нет": 0.06732100993394852
+        "Да": 0.9450209736824036,
+        "Нет": 0.053314436227083206
     },
     "sample": {
         "messages": [
@@ -2421,8 +2421,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.04727458953857422,
-        "Нет": 0.9495355486869812
+        "Да": 0.005905441008508205,
+        "Нет": 0.9931424856185913
     },
     "sample": {
         "messages": [
@@ -2460,8 +2460,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.025871502235531807,
-        "Нет": 0.9708210229873657
+        "Да": 0.0006259930087253451,
+        "Нет": 0.9988294243812561
     },
     "sample": {
         "messages": [
@@ -2499,8 +2499,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9473260045051575,
-        "Нет": 0.04716458544135094
+        "Да": 0.9432969689369202,
+        "Нет": 0.05321717634797096
     },
     "sample": {
         "messages": [
@@ -2538,8 +2538,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9853531718254089,
-        "Нет": 0.009660063311457634
+        "Да": 0.9971207976341248,
+        "Нет": 0.0004295023682061583
     },
     "sample": {
         "messages": [
@@ -2577,8 +2577,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9712432026863098,
-        "Нет": 0.022841451689600945
+        "Да": 0.9686570763587952,
+        "Нет": 0.02925090864300728
     },
     "sample": {
         "messages": [
@@ -2613,11 +2613,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.7352510690689087,
-        "Нет": 0.07749488949775696
+        "Да": 0.30602359771728516,
+        "Нет": 0.5045475959777832
     },
     "sample": {
         "messages": [
@@ -2647,16 +2647,16 @@
         "prompt_len": 168,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.4624602794647217,
-        "Нет": 0.524036169052124
+        "Да": 0.6088294386863708,
+        "Нет": 0.36927372217178345
     },
     "sample": {
         "messages": [
@@ -2686,7 +2686,7 @@
         "prompt_len": 118,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
@@ -2694,8 +2694,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.970051646232605,
-        "Нет": 0.025851000100374222
+        "Да": 0.9895563721656799,
+        "Нет": 0.008561340160667896
     },
     "sample": {
         "messages": [
@@ -2733,8 +2733,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.10544466227293015,
-        "Нет": 0.8828773498535156
+        "Да": 0.008557534776628017,
+        "Нет": 0.9891164898872375
     },
     "sample": {
         "messages": [
@@ -2772,8 +2772,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9641790986061096,
-        "Нет": 0.032992392778396606
+        "Да": 0.9760570526123047,
+        "Нет": 0.022954661399126053
     },
     "sample": {
         "messages": [
@@ -2811,8 +2811,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7006149888038635,
-        "Нет": 0.2920597493648529
+        "Да": 0.8137819766998291,
+        "Нет": 0.18157930672168732
     },
     "sample": {
         "messages": [
@@ -2850,8 +2850,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.3749728798866272,
-        "Нет": 0.6182257533073425
+        "Да": 0.13251744210720062,
+        "Нет": 0.864122211933136
     },
     "sample": {
         "messages": [
@@ -2889,8 +2889,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9091452956199646,
-        "Нет": 0.08456367999315262
+        "Да": 0.9009689092636108,
+        "Нет": 0.09496141970157623
     },
     "sample": {
         "messages": [
@@ -2928,8 +2928,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.981313943862915,
-        "Нет": 0.013997690752148628
+        "Да": 0.9982324242591858,
+        "Нет": 0.0003794570511672646
     },
     "sample": {
         "messages": [
@@ -2967,8 +2967,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7885371446609497,
-        "Нет": 0.19937340915203094
+        "Да": 0.675281286239624,
+        "Нет": 0.31898030638694763
     },
     "sample": {
         "messages": [
@@ -3003,11 +3003,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.48503968119621277,
-        "Нет": 0.3333625793457031
+        "Да": 0.034908607602119446,
+        "Нет": 0.900304913520813
     },
     "sample": {
         "messages": [
@@ -3037,7 +3037,7 @@
         "prompt_len": 185,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -3045,8 +3045,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6606457233428955,
-        "Нет": 0.3120669722557068
+        "Да": 0.9942964911460876,
+        "Нет": 0.000549929856788367
     },
     "sample": {
         "messages": [
@@ -3084,8 +3084,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8993855714797974,
-        "Нет": 0.09479454159736633
+        "Да": 0.9121109843254089,
+        "Нет": 0.08483953028917313
     },
     "sample": {
         "messages": [
@@ -3123,8 +3123,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9123592972755432,
-        "Нет": 0.07489100843667984
+        "Да": 0.9441512227058411,
+        "Нет": 0.053265370428562164
     },
     "sample": {
         "messages": [
@@ -3162,8 +3162,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9777423739433289,
-        "Нет": 0.02029239386320114
+        "Да": 0.9759252071380615,
+        "Нет": 0.022951561957597733
     },
     "sample": {
         "messages": [
@@ -3201,8 +3201,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9744960069656372,
-        "Нет": 0.02291795052587986
+        "Да": 0.9951752424240112,
+        "Нет": 0.004067054018378258
     },
     "sample": {
         "messages": [
@@ -3237,11 +3237,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.8751058578491211,
-        "Нет": 0.11843269318342209
+        "Да": 0.4357108473777771,
+        "Нет": 0.5594637989997864
     },
     "sample": {
         "messages": [
@@ -3271,7 +3271,7 @@
         "prompt_len": 124,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -3279,8 +3279,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9587691426277161,
-        "Нет": 0.03717551380395889
+        "Да": 0.9855395555496216,
+        "Нет": 0.01240611169487238
     },
     "sample": {
         "messages": [
@@ -3318,8 +3318,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9576495885848999,
-        "Нет": 0.037132102996110916
+        "Да": 0.9919529557228088,
+        "Нет": 0.004593654070049524
     },
     "sample": {
         "messages": [
@@ -3357,8 +3357,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9477784633636475,
-        "Нет": 0.04718710854649544
+        "Да": 0.9647388458251953,
+        "Нет": 0.0330115482211113
     },
     "sample": {
         "messages": [
@@ -3396,8 +3396,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.11363499611616135,
-        "Нет": 0.7409932017326355
+        "Да": 0.00720560597255826,
+        "Нет": 0.9437482357025146
     },
     "sample": {
         "messages": [
@@ -3435,8 +3435,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.3720705509185791,
-        "Нет": 0.6134406328201294
+        "Да": 0.13218553364276886,
+        "Нет": 0.8619579076766968
     },
     "sample": {
         "messages": [
@@ -3474,8 +3474,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9702175855636597,
-        "Нет": 0.025855422019958496
+        "Да": 0.9950782060623169,
+        "Нет": 0.0035888124257326126
     },
     "sample": {
         "messages": [
@@ -3513,8 +3513,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.18046143651008606,
-        "Нет": 0.8087720274925232
+        "Да": 0.041978299617767334,
+        "Нет": 0.9554216861724854
     },
     "sample": {
         "messages": [
@@ -3552,8 +3552,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9559286236763,
-        "Нет": 0.04200057312846184
+        "Да": 0.9225624203681946,
+        "Нет": 0.07572853565216064
     },
     "sample": {
         "messages": [
@@ -3591,8 +3591,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7273849248886108,
-        "Нет": 0.2675899863243103
+        "Да": 0.9849860668182373,
+        "Нет": 0.014050071127712727
     },
     "sample": {
         "messages": [
@@ -3630,8 +3630,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.84706050157547,
-        "Нет": 0.14719703793525696
+        "Да": 0.9603575468063354,
+        "Нет": 0.037237104028463364
     },
     "sample": {
         "messages": [
@@ -3669,8 +3669,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9708594083786011,
-        "Нет": 0.025872526690363884
+        "Да": 0.983910322189331,
+        "Нет": 0.014034726656973362
     },
     "sample": {
         "messages": [
@@ -3708,8 +3708,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9549539685249329,
-        "Нет": 0.03702758252620697
+        "Да": 0.9965747594833374,
+        "Нет": 0.0009087585494853556
     },
     "sample": {
         "messages": [
@@ -3747,8 +3747,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.986004650592804,
-        "Нет": 0.010953523218631744
+        "Да": 0.998910665512085,
+        "Нет": 0.00043027332867495716
     },
     "sample": {
         "messages": [
@@ -3783,11 +3783,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.6196132302284241,
-        "Нет": 0.20115895569324493
+        "Да": 0.11587158590555191,
+        "Нет": 0.7555776238441467
     },
     "sample": {
         "messages": [
@@ -3817,7 +3817,7 @@
         "prompt_len": 190,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -3825,8 +3825,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8544347286224365,
-        "Нет": 0.1310318112373352
+        "Да": 0.9935997724533081,
+        "Нет": 0.0024628876708447933
     },
     "sample": {
         "messages": [
@@ -3864,8 +3864,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.909803032875061,
-        "Нет": 0.08462486416101456
+        "Да": 0.9504597783088684,
+        "Нет": 0.04732060432434082
     },
     "sample": {
         "messages": [
@@ -3903,8 +3903,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.1803765594959259,
-        "Нет": 0.8083916306495667
+        "Да": 0.017950840294361115,
+        "Нет": 0.9800826907157898
     },
     "sample": {
         "messages": [
@@ -3939,11 +3939,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.8490814566612244,
-        "Нет": 0.14754821360111237
+        "Да": 0.3196840286254883,
+        "Нет": 0.6767711043357849
     },
     "sample": {
         "messages": [
@@ -3973,7 +3973,7 @@
         "prompt_len": 145,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -3981,8 +3981,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.005900894291698933,
-        "Нет": 0.9923778772354126
+        "Да": 0.0002611143863759935,
+        "Нет": 0.9994482398033142
     },
     "sample": {
         "messages": [
@@ -4017,11 +4017,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.6464490294456482,
-        "Нет": 0.34601926803588867
+        "Да": 0.31936371326446533,
+        "Нет": 0.6760929822921753
     },
     "sample": {
         "messages": [
@@ -4051,7 +4051,7 @@
         "prompt_len": 136,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -4059,8 +4059,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7941810488700867,
-        "Нет": 0.20080041885375977
+        "Да": 0.7956498265266418,
+        "Нет": 0.20117178559303284
     },
     "sample": {
         "messages": [
@@ -4098,8 +4098,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9935044050216675,
-        "Нет": 0.004060225561261177
+        "Да": 0.9989946484565735,
+        "Нет": 0.0002957471297122538
     },
     "sample": {
         "messages": [
@@ -4137,8 +4137,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6163051724433899,
-        "Нет": 0.37380799651145935
+        "Да": 0.7737246155738831,
+        "Нет": 0.2216758280992508
     },
     "sample": {
         "messages": [
@@ -4176,8 +4176,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8577578067779541,
-        "Нет": 0.013864363543689251
+        "Да": 0.8372783660888672,
+        "Нет": 0.028650088235735893
     },
     "sample": {
         "messages": [
@@ -4215,8 +4215,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.04719367250800133,
-        "Нет": 0.9479103088378906
+        "Да": 0.01241317018866539,
+        "Нет": 0.9861002564430237
     },
     "sample": {
         "messages": [
@@ -4254,8 +4254,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6457539796829224,
-        "Нет": 0.3456471860408783
+        "Да": 0.7518507838249207,
+        "Нет": 0.24409019947052002
     },
     "sample": {
         "messages": [
@@ -4293,8 +4293,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9581839442253113,
-        "Нет": 0.03715282306075096
+        "Да": 0.9377730488777161,
+        "Нет": 0.05994982644915581
     },
     "sample": {
         "messages": [
@@ -4332,8 +4332,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.901879072189331,
-        "Нет": 0.09505735337734222
+        "Да": 0.7960202693939209,
+        "Нет": 0.20126543939113617
     },
     "sample": {
         "messages": [
@@ -4371,8 +4371,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9956146478652954,
-        "Нет": 0.0027964769396930933
+        "Да": 0.9995843768119812,
+        "Нет": 0.00013978351489640772
     },
     "sample": {
         "messages": [
@@ -4410,8 +4410,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9656834006309509,
-        "Нет": 0.029161112383008003
+        "Да": 0.9554628133773804,
+        "Нет": 0.04198010638356209
     },
     "sample": {
         "messages": [
@@ -4449,8 +4449,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.959088146686554,
-        "Нет": 0.037187881767749786
+        "Да": 0.9594995379447937,
+        "Нет": 0.0372038334608078
     },
     "sample": {
         "messages": [
@@ -4488,8 +4488,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8877012133598328,
-        "Нет": 0.10602079331874847
+        "Да": 0.9700769186019897,
+        "Нет": 0.025851672515273094
     },
     "sample": {
         "messages": [
@@ -4527,8 +4527,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9932858347892761,
-        "Нет": 0.004059332422912121
+        "Да": 0.9993027448654175,
+        "Нет": 0.0002958383411169052
     },
     "sample": {
         "messages": [
@@ -4566,8 +4566,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8301488161087036,
-        "Нет": 0.01184143591672182
+        "Да": 0.8346498012542725,
+        "Нет": 0.015287145040929317
     },
     "sample": {
         "messages": [
@@ -4605,8 +4605,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.743435263633728,
-        "Нет": 0.24135808646678925
+        "Да": 0.8914243578910828,
+        "Нет": 0.09395543485879898
     },
     "sample": {
         "messages": [
@@ -4641,11 +4641,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.7268633246421814,
-        "Нет": 0.26739808917045593
+        "Да": 0.34696969389915466,
+        "Нет": 0.6482247114181519
     },
     "sample": {
         "messages": [
@@ -4675,7 +4675,7 @@
         "prompt_len": 250,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -4683,8 +4683,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9581593871116638,
-        "Нет": 0.03278641030192375
+        "Да": 0.9843570590019226,
+        "Нет": 0.014041098766028881
     },
     "sample": {
         "messages": [
@@ -4722,8 +4722,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9012726545333862,
-        "Нет": 0.09499343484640121
+        "Да": 0.9513174891471863,
+        "Нет": 0.04736330732703209
     },
     "sample": {
         "messages": [
@@ -4761,8 +4761,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.01095911767333746,
-        "Нет": 0.9865082502365112
+        "Да": 0.00048762941150926054,
+        "Нет": 0.9990455508232117
     },
     "sample": {
         "messages": [
@@ -4800,8 +4800,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9733633399009705,
-        "Нет": 0.022891312837600708
+        "Да": 0.9647670388221741,
+        "Нет": 0.0330125130712986
     },
     "sample": {
         "messages": [
@@ -4839,8 +4839,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8874251246452332,
-        "Нет": 0.10598782449960709
+        "Да": 0.8886758089065552,
+        "Нет": 0.10613718628883362
     },
     "sample": {
         "messages": [
@@ -4878,8 +4878,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7905874252319336,
-        "Нет": 0.1998918056488037
+        "Да": 0.9869338274002075,
+        "Нет": 0.00853865034878254
     },
     "sample": {
         "messages": [
@@ -4917,8 +4917,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8457257151603699,
-        "Нет": 0.14696508646011353
+        "Да": 0.9677151441574097,
+        "Нет": 0.02922246605157852
     },
     "sample": {
         "messages": [
@@ -4956,8 +4956,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.16352517902851105,
-        "Нет": 0.7328689694404602
+        "Да": 0.13170552253723145,
+        "Нет": 0.7579130530357361
     },
     "sample": {
         "messages": [
@@ -4995,8 +4995,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9039379954338074,
-        "Нет": 0.07419975101947784
+        "Да": 0.9837205410003662,
+        "Нет": 0.005849415902048349
     },
     "sample": {
         "messages": [
@@ -5034,8 +5034,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9675398468971252,
-        "Нет": 0.029217170551419258
+        "Да": 0.9917393922805786,
+        "Нет": 0.006682287435978651
     },
     "sample": {
         "messages": [
@@ -5073,8 +5073,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9691106081008911,
-        "Нет": 0.025825923308730125
+        "Да": 0.9750467538833618,
+        "Нет": 0.022930901497602463
     },
     "sample": {
         "messages": [
@@ -5112,8 +5112,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8907557129859924,
-        "Нет": 0.10638559609651566
+        "Да": 0.7291420698165894,
+        "Нет": 0.2682363986968994
     },
     "sample": {
         "messages": [
@@ -5151,8 +5151,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.13233713805675507,
-        "Нет": 0.8629465103149414
+        "Да": 0.05994865298271179,
+        "Нет": 0.93775475025177
     },
     "sample": {
         "messages": [
@@ -5187,11 +5187,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.6174233555793762,
-        "Нет": 0.37448617815971375
+        "Да": 0.31936290860176086,
+        "Нет": 0.6760912537574768
     },
     "sample": {
         "messages": [
@@ -5221,7 +5221,7 @@
         "prompt_len": 142,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -5229,8 +5229,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7012699842453003,
-        "Нет": 0.29233282804489136
+        "Да": 0.6484516859054565,
+        "Нет": 0.3470911979675293
     },
     "sample": {
         "messages": [
@@ -5268,8 +5268,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9821435809135437,
-        "Нет": 0.014009525068104267
+        "Да": 0.991758406162262,
+        "Нет": 0.004592753015458584
     },
     "sample": {
         "messages": [
@@ -5304,11 +5304,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.4635418951511383,
-        "Нет": 0.5252618193626404
+        "Да": 0.9371646642684937,
+        "Нет": 0.05991093069314957
     },
     "sample": {
         "messages": [
@@ -5338,7 +5338,7 @@
         "prompt_len": 93,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
@@ -5346,8 +5346,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.38681039214134216,
-        "Нет": 0.4383136034011841
+        "Да": 0.030796915292739868,
+        "Нет": 0.9000177979469299
     },
     "sample": {
         "messages": [
@@ -5385,8 +5385,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4322775602340698,
-        "Нет": 0.5550553798675537
+        "Да": 0.13232561945915222,
+        "Нет": 0.8628714084625244
     },
     "sample": {
         "messages": [
@@ -5424,8 +5424,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6173576712608337,
-        "Нет": 0.3744463622570038
+        "Да": 0.8320919275283813,
+        "Нет": 0.16384859383106232
     },
     "sample": {
         "messages": [
@@ -5463,8 +5463,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.032827626913785934,
-        "Нет": 0.9593639373779297
+        "Да": 0.0004872935824096203,
+        "Нет": 0.9983574748039246
     },
     "sample": {
         "messages": [
@@ -5502,8 +5502,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9372721314430237,
-        "Нет": 0.05991780012845993
+        "Да": 0.9310119152069092,
+        "Нет": 0.06744227558374405
     },
     "sample": {
         "messages": [
@@ -5541,8 +5541,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.31896644830703735,
-        "Нет": 0.6752519607543945
+        "Да": 0.04733540117740631,
+        "Нет": 0.9507570266723633
     },
     "sample": {
         "messages": [
@@ -5580,8 +5580,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.26729798316955566,
-        "Нет": 0.726591169834137
+        "Да": 0.18187052011489868,
+        "Нет": 0.815087080001831
     },
     "sample": {
         "messages": [
@@ -5619,8 +5619,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9336684942245483,
-        "Нет": 0.059687428176403046
+        "Да": 0.9099515080451965,
+        "Нет": 0.08463867008686066
     },
     "sample": {
         "messages": [
@@ -5658,8 +5658,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9812307953834534,
-        "Нет": 0.013996505178511143
+        "Да": 0.9968468546867371,
+        "Нет": 0.0009090066887438297
     },
     "sample": {
         "messages": [
@@ -5697,8 +5697,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8759110569953918,
-        "Нет": 0.1185416653752327
+        "Да": 0.9605898261070251,
+        "Нет": 0.037246108055114746
     },
     "sample": {
         "messages": [
@@ -5736,8 +5736,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.017087290063500404,
-        "Нет": 0.9329343438148499
+        "Да": 0.0024113699328154325,
+        "Нет": 0.972815990447998
     },
     "sample": {
         "messages": [
@@ -5772,11 +5772,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.43314412236213684,
-        "Нет": 0.5561680793762207
+        "Да": 0.7490108609199524,
+        "Нет": 0.24316821992397308
     },
     "sample": {
         "messages": [
@@ -5806,7 +5806,7 @@
         "prompt_len": 128,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
@@ -5814,8 +5814,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9359888434410095,
-        "Нет": 0.0598357617855072
+        "Да": 0.7953344583511353,
+        "Нет": 0.20109203457832336
     },
     "sample": {
         "messages": [
@@ -5853,8 +5853,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.09441380202770233,
-        "Нет": 0.8957732319831848
+        "Да": 0.0052118925377726555,
+        "Нет": 0.9932109713554382
     },
     "sample": {
         "messages": [
@@ -5892,8 +5892,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9841708540916443,
-        "Нет": 0.014038442634046078
+        "Да": 0.9696946144104004,
+        "Нет": 0.029282240197062492
     },
     "sample": {
         "messages": [
@@ -5931,8 +5931,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.845679759979248,
-        "Нет": 0.14695709943771362
+        "Да": 0.8631463050842285,
+        "Нет": 0.13236777484416962
     },
     "sample": {
         "messages": [
@@ -5970,8 +5970,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9694148898124695,
-        "Нет": 0.025834031403064728
+        "Да": 0.9298466444015503,
+        "Нет": 0.0673578679561615
     },
     "sample": {
         "messages": [
@@ -6009,8 +6009,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8619088530540466,
-        "Нет": 0.13217800855636597
+        "Да": 0.648496687412262,
+        "Нет": 0.34711527824401855
     },
     "sample": {
         "messages": [
@@ -6048,8 +6048,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9895976185798645,
-        "Нет": 0.005884361919015646
+        "Да": 0.9967240691184998,
+        "Нет": 0.0014985139714553952
     },
     "sample": {
         "messages": [
@@ -6087,8 +6087,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9162819385528564,
-        "Нет": 0.0752130001783371
+        "Да": 0.8478701710700989,
+        "Нет": 0.14733773469924927
     },
     "sample": {
         "messages": [
@@ -6126,8 +6126,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.1768205761909485,
-        "Нет": 0.699338972568512
+        "Да": 0.013336419127881527,
+        "Нет": 0.9349552392959595
     },
     "sample": {
         "messages": [
@@ -6165,8 +6165,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7893483638763428,
-        "Нет": 0.17612743377685547
+        "Да": 0.9814848899841309,
+        "Нет": 0.00353978737257421
     },
     "sample": {
         "messages": [
@@ -6204,8 +6204,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7707903981208801,
-        "Нет": 0.2208351492881775
+        "Да": 0.7275295853614807,
+        "Нет": 0.2676432132720947
     },
     "sample": {
         "messages": [
@@ -6240,11 +6240,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.5577213168144226,
-        "Нет": 0.4343538284301758
+        "Да": 0.24412353336811066,
+        "Нет": 0.7519534230232239
     },
     "sample": {
         "messages": [
@@ -6274,7 +6274,7 @@
         "prompt_len": 145,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -6282,8 +6282,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9500029683113098,
-        "Нет": 0.04729786142706871
+        "Да": 0.9451982378959656,
+        "Нет": 0.053324438631534576
     },
     "sample": {
         "messages": [
@@ -6321,8 +6321,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.03722477704286575,
-        "Нет": 0.9600396752357483
+        "Да": 0.004606299567967653,
+        "Нет": 0.9946836829185486
     },
     "sample": {
         "messages": [
@@ -6360,8 +6360,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7925233840942383,
-        "Нет": 0.2003812938928604
+        "Да": 0.5289238691329956,
+        "Нет": 0.4667736887931824
     },
     "sample": {
         "messages": [
@@ -6399,8 +6399,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9727248549461365,
-        "Нет": 0.022876296192407608
+        "Да": 0.9960262775421143,
+        "Нет": 0.0027976329438388348
     },
     "sample": {
         "messages": [
@@ -6438,8 +6438,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9886521697044373,
-        "Нет": 0.008553517051041126
+        "Да": 0.9986042380332947,
+        "Нет": 0.00048741401406005025
     },
     "sample": {
         "messages": [
@@ -6477,8 +6477,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.1635088175535202,
-        "Нет": 0.830366313457489
+        "Да": 0.012419172562658787,
+        "Нет": 0.986577033996582
     },
     "sample": {
         "messages": [
@@ -6516,8 +6516,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8635572195053101,
-        "Нет": 0.02954930253326893
+        "Да": 0.822433590888977,
+        "Нет": 0.052576418966054916
     },
     "sample": {
         "messages": [
@@ -6555,8 +6555,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9627586007118225,
-        "Нет": 0.019981415942311287
+        "Да": 0.9949613809585571,
+        "Нет": 0.00025994214229285717
     },
     "sample": {
         "messages": [
@@ -6594,8 +6594,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9411863088607788,
-        "Нет": 0.053098101168870926
+        "Да": 0.9376339912414551,
+        "Нет": 0.05994093418121338
     },
     "sample": {
         "messages": [
@@ -6630,11 +6630,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.4943678677082062,
-        "Нет": 0.4943678677082062
+        "Да": 0.1475498080253601,
+        "Нет": 0.849090576171875
     },
     "sample": {
         "messages": [
@@ -6664,7 +6664,7 @@
         "prompt_len": 144,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -6672,8 +6672,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9552298784255981,
-        "Нет": 0.04196987301111221
+        "Да": 0.9759706258773804,
+        "Нет": 0.022952629253268242
     },
     "sample": {
         "messages": [
@@ -6711,8 +6711,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.20047374069690704,
-        "Нет": 0.7928889989852905
+        "Да": 0.13257503509521484,
+        "Нет": 0.8644978404045105
     },
     "sample": {
         "messages": [
@@ -6750,8 +6750,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8746775388717651,
-        "Нет": 0.11837472766637802
+        "Да": 0.8489236831665039,
+        "Нет": 0.14752081036567688
     },
     "sample": {
         "messages": [
@@ -6789,8 +6789,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8764585852622986,
-        "Нет": 0.1186157688498497
+        "Да": 0.9444520473480225,
+        "Нет": 0.05328234285116196
     },
     "sample": {
         "messages": [
@@ -6828,8 +6828,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8873726725578308,
-        "Нет": 0.10598155111074448
+        "Да": 0.9968646168708801,
+        "Нет": 0.0010300579015165567
     },
     "sample": {
         "messages": [
@@ -6867,8 +6867,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8469632863998413,
-        "Нет": 0.14718014001846313
+        "Да": 0.7520197033882141,
+        "Нет": 0.24414503574371338
     },
     "sample": {
         "messages": [
@@ -6906,8 +6906,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9308017492294312,
-        "Нет": 0.013277173973619938
+        "Да": 0.9178116917610168,
+        "Нет": 0.0061841667629778385
     },
     "sample": {
         "messages": [
@@ -6945,8 +6945,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9480711817741394,
-        "Нет": 0.041655343025922775
+        "Да": 0.9809539318084717,
+        "Нет": 0.007489675190299749
     },
     "sample": {
         "messages": [
@@ -6984,8 +6984,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6168244481086731,
-        "Нет": 0.3741229176521301
+        "Да": 0.5280488729476929,
+        "Нет": 0.4660015106201172
     },
     "sample": {
         "messages": [
@@ -7023,8 +7023,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.059505194425582886,
-        "Нет": 0.9308179020881653
+        "Да": 0.002796539571136236,
+        "Нет": 0.9956369996070862
     },
     "sample": {
         "messages": [
@@ -7062,8 +7062,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9873995780944824,
-        "Нет": 0.010969019494950771
+        "Да": 0.969736635684967,
+        "Нет": 0.029283510521054268
     },
     "sample": {
         "messages": [
@@ -7101,8 +7101,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.0754489004611969,
-        "Нет": 0.9191557765007019
+        "Да": 0.0046051787212491035,
+        "Нет": 0.994441568851471
     },
     "sample": {
         "messages": [
@@ -7137,11 +7137,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.557893693447113,
-        "Нет": 0.4344880282878876
+        "Да": 0.18177473545074463,
+        "Нет": 0.8146578073501587
     },
     "sample": {
         "messages": [
@@ -7171,7 +7171,7 @@
         "prompt_len": 114,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -7179,8 +7179,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7928799390792847,
-        "Нет": 0.2004714459180832
+        "Да": 0.7515117526054382,
+        "Нет": 0.24398013949394226
     },
     "sample": {
         "messages": [
@@ -7218,8 +7218,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9572935104370117,
-        "Нет": 0.037118297070264816
+        "Да": 0.997649610042572,
+        "Нет": 0.0009097387082874775
     },
     "sample": {
         "messages": [
@@ -7257,8 +7257,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7723864316940308,
-        "Нет": 0.2212924212217331
+        "Да": 0.9931893348693848,
+        "Нет": 0.0059057194739580154
     },
     "sample": {
         "messages": [
@@ -7296,8 +7296,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8944242000579834,
-        "Нет": 0.03468059003353119
+        "Да": 0.9268401861190796,
+        "Нет": 0.010296264663338661
     },
     "sample": {
         "messages": [
@@ -7335,8 +7335,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9493322372436523,
-        "Нет": 0.0223261546343565
+        "Да": 0.9959421753883362,
+        "Нет": 6.578845932381228e-05
     },
     "sample": {
         "messages": [
@@ -7374,8 +7374,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8883539438247681,
-        "Нет": 0.10609874874353409
+        "Да": 0.8323367238044739,
+        "Нет": 0.16389679908752441
     },
     "sample": {
         "messages": [
@@ -7410,11 +7410,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.6958121657371521,
-        "Нет": 0.2900576591491699
+        "Да": 0.22137397527694702,
+        "Нет": 0.772671103477478
     },
     "sample": {
         "messages": [
@@ -7444,7 +7444,7 @@
         "prompt_len": 115,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -7452,8 +7452,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8900085091590881,
-        "Нет": 0.1062963604927063
+        "Да": 0.9384414553642273,
+        "Нет": 0.05999255180358887
     },
     "sample": {
         "messages": [
@@ -7491,8 +7491,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.43441683053970337,
-        "Нет": 0.5578022599220276
+        "Да": 0.43566492199897766,
+        "Нет": 0.5594048500061035
     },
     "sample": {
         "messages": [
@@ -7530,8 +7530,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9803441762924194,
-        "Нет": 0.015845786780118942
+        "Да": 0.9826499223709106,
+        "Нет": 0.015883056446909904
     },
     "sample": {
         "messages": [
@@ -7569,8 +7569,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9195212721824646,
-        "Нет": 0.07547890394926071
+        "Да": 0.8485281467437744,
+        "Нет": 0.14745207130908966
     },
     "sample": {
         "messages": [
@@ -7608,8 +7608,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9808001518249512,
-        "Нет": 0.013990362174808979
+        "Да": 0.997142493724823,
+        "Нет": 0.0008024335256777704
     },
     "sample": {
         "messages": [
@@ -7647,8 +7647,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8470878005027771,
-        "Нет": 0.1472017765045166
+        "Да": 0.9024802446365356,
+        "Нет": 0.09512071311473846
     },
     "sample": {
         "messages": [
@@ -7686,8 +7686,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.0599033385515213,
-        "Нет": 0.8269400596618652
+        "Да": 0.05354682356119156,
+        "Нет": 0.8376132845878601
     },
     "sample": {
         "messages": [
@@ -7722,11 +7722,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.3442055881023407,
-        "Нет": 0.6430606842041016
+        "Да": 0.7445687651634216,
+        "Нет": 0.2417260855436325
     },
     "sample": {
         "messages": [
@@ -7756,16 +7756,16 @@
         "prompt_len": 103,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.5572391152381897,
-        "Нет": 0.43397825956344604
+        "Да": 0.09495588392019272,
+        "Нет": 0.9009163975715637
     },
     "sample": {
         "messages": [
@@ -7795,7 +7795,7 @@
         "prompt_len": 255,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -7803,8 +7803,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9387038946151733,
-        "Нет": 0.05295805260539055
+        "Да": 0.9936006665229797,
+        "Нет": 0.005213937722146511
     },
     "sample": {
         "messages": [
@@ -7842,8 +7842,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9373016357421875,
-        "Нет": 0.05991968885064125
+        "Да": 0.8501814603805542,
+        "Нет": 0.14773938059806824
     },
     "sample": {
         "messages": [
@@ -7878,11 +7878,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.5583488345146179,
-        "Нет": 0.4348425269126892
+        "Да": 0.13254651427268982,
+        "Нет": 0.8643118739128113
     },
     "sample": {
         "messages": [
@@ -7912,7 +7912,7 @@
         "prompt_len": 91,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -7920,8 +7920,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.9197360277175903,
-        "Нет": 0.07549653202295303
+        "Да": 0.9826809763908386,
+        "Нет": 0.015883559361100197
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_RWSD_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/darumeru_RWSD_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "darumeru/RWSD",
     "results": {
-        "acc": 0.5343137254901961
+        "acc": 0.5441176470588235
     },
-    "leaderboard_result": 0.5343137254901961
+    "leaderboard_result": 0.5441176470588235
 }

llmtf_eval/darumeru_cp_para_ru.jsonl

@@ -1,7 +1,7 @@
 {
     "metric": {
-        "symbol_per_token": 2.5393939393939395,
-        "len": 1.0,
+        "symbol_per_token": 2.5602409638554215,
+        "len": 0.9939393939393939,
         "lcs": 1.0
     },
     "predict": {
@@ -44,6 +44,7 @@
             13999,
             12,
             117288,
+            100605,
             13,
             5524,
             10124,
@@ -171,7 +172,7 @@
             25262,
             13
         ],
-        "text": " Сб. «Киноварь» Альманах «Литературного особняка» No 1. М.,1922 «Коралловый корабль» «Литературно-худож. сб. голодающим Поволжья» «Из недр земли» «Балтийский альманах» «Новые стихи» 1. 1926 «Плетень. Антология». 1924 «Сегодня. ― Рязань,1921 «Сопо» Сб. «Голгофа строф» Строфы века. ― М., 1995 Сто поэтесс Серебряного века. ― СПб, 1996 Наталья Кугушева. Некрашеные весла. Проржавленные дни: Собрание стихотворений / Сост."
+        "text": " Сб. «Киноварь» Альманах «Литературного особняка» No 1. М.,1922 «Коралловый корабль» «Литературно-художествен. сб. голодающим Поволжья» «Из недр земли» «Балтийский альманах» «Новые стихи» 1. 1926 «Плетень. Антология». 1924 «Сегодня. ― Рязань,1921 «Сопо» Сб. «Голгофа строф» Строфы века. ― М., 1995 Сто поэтесс Серебряного века. ― СПб, 1996 Наталья Кугушева. Некрашеные весла. Проржавленные дни: Собрание стихотворений / Сост."
     },
     "sample": {
         "messages": [
@@ -199,8 +200,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.137566137566138,
-        "len": 0.9893617021276596,
+        "symbol_per_token": 4.176470588235294,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -255,9 +256,7 @@
             102730,
             125258,
             100994,
-            126138,
-            7094,
-            104564,
+            127826,
             2001,
             108849,
             100303,
@@ -394,7 +393,7 @@
             102735,
             13
         ],
-        "text": " Замок терял оборонительные функции и постепенно становился роскошным жильём дворцового типа для лица с высоким статусом. Процесс завершился в XVII веке, когда замок стал резиденцией государственного чиновника и просвещённого вельможи нового типа, каким был сын мэра города Амстердама — Питер Хофт. Писатель, поэт и драматург, член одной камеры риторов Амстердама, Питер Хофт превратил бывшую крепость в известный литературный салон. Он жил и трудился в замке 39 лет, где собирал вокруг себя литературно одарённых современников, среди которых — Вондел, Бредеро, Якоб Катс, художница-график и мастерица Мария Тесселсхаде Виссер и её сестра Анна Виссер, поэтесса, поэт и композитор Константин Гюйгенс. За рвами с водой были спланированы голландские сады, где были сад слив и сад трав."
+        "text": " Замок терял оборонительные функции и постепенно становился роскошным жильём дворцового типа для лица с высоким статусом. Процесс завершился в XVII веке, когда замок стал резиденцией государственного чиновника и просвещённого вельможи нового типа, каким был сын мэра города Амстердам — Питер Хофт. Писатель, поэт и драматург, член одной камеры риторов Амстердама, Питер Хофт превратил бывшую крепость в известный литературный салон. Он жил и трудился в замке 39 лет, где собирал вокруг себя литературно одарённых современников, среди которых — Вондел, Бредеро, Якоб Катс, художница-график и маст��рица Мария Тесселсхаде Виссер и её сестра Анна Виссер, поэтесса, поэт и композитор Константин Гюйгенс. За рвами с водой были спланированы голландские сады, где были сад слив и сад трав."
     },
     "sample": {
         "messages": [
@@ -465,7 +464,7 @@
             101302,
             129315,
             103633,
-            113376,
+            110076,
             106110,
             5524,
             18335,
@@ -655,7 +654,7 @@
             15,
             13
         ],
-        "text": " Холлинджер рассчитал PER таким образом, что средний показатель по лиге в каждом сезоне составляет всегда 15. 00Всего 24 раза в истории НБА игрок завершил сезон с PER выше 30,0. Самый высокий PER за сезон был зафиксирован у Янниса Адетокунбо в сезоне 2019/2020 и составил 31. 86. Майкл Джордан и Леброн Джеймс провели по 4 сезона с PER выше 30,0, Шакил О’Нил и Уилт Чемберлен — по 3 сезона, Энтони Дэвис и Яннис Адетокунбо — по 2 сезона, Дэвид Робинсон, Дуэйн Уэйд, Крис Пол, Трэйси Макгрэди, Стефен Карри, Рассел Уэстбрук и Джеймс Харден — по одному сезону в карьере. Сезон НБА 2008/2009 и 2018/2019 — единственный на данный момент в истории сезоны, когда более одного игрока получили PER более 30,0."
+        "text": " Холлинджер рассчитал PER таким образом, что средний показатель по лиге в каждом сезоне составляет всегда 15. 00Всего 24 раза в истории НБА игрок закончил сезон с PER выше 30,0. Самый высокий PER за сезон был зафиксирован у Янниса Адетокунбо в сезоне 2019/2020 и составил 31. 86. Майкл Джордан и Леброн Джеймс провели по 4 сезона с PER выше 30,0, Шакил О’Нил и Уилт Чемберлен — по 3 сезона, Энтони Дэвис и Яннис Адетокунбо — по 2 сезона, Дэвид Робинсон, Дуэйн Уэйд, Крис Пол, Трэйси Макгрэди, Стефен Карри, Рассел Уэстбрук и Джеймс Харден — по одному сезону в карьере. Сезон НБА 2008/2009 и 2018/2019 — единственный на данный момент в истории сезоны, когда более одного игрока получили PER более 30,0."
     },
     "sample": {
         "messages": [
@@ -1917,8 +1916,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.9468085106382977,
-        "len": 0.9946524064171123,
+        "symbol_per_token": 3.962566844919786,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -1998,8 +1997,7 @@
             13337,
             44155,
             13289,
-            138743,
-            31443,
+            127690,
             100752,
             126316,
             57297,
@@ -2111,7 +2109,7 @@
             104450,
             13
         ],
-        "text": " Гран-при Германии 1965 года — седьмой этап чемпионата мира по автогонкам в классе Формула-1 сезона 1965 года. Автогонки прошли 1 августа 1965 года на трассе Нюрбургринг в ФРГ. Команда «Хонда» пропустила этот этап чемпионата. «Лотус» расширила свою заявку до трёх автомобилей, усадив за руль на одну гонку местного пилота Герхарда Миттера. К постоянным участникам чемпионата добавились пилоты команды «Скудерия Чентро Суд» Мастен Грегори и не прошедший в итоге квалификацию Роберто Буссинелло. Также за руль автомобиля собственной команды вернулся Джек Брэбем. Крис Эймон вновь стартовал за частную команду Реджа Парнелла. В гонке Джим Кларк одержал победу, завоевав «большой шлем» и звание чемпиона мира за три этапа до окончания чемпионата."
+        "text": " Гран-при Германии 1965 года — седьмой эта�� чемпионата мира по автогонкам в классе Формула-1 сезона 1965 года. Автогонки прошли 1 августа 1965 года на трассе Нюрбургринг в ФРГ. Команда «Хонда» пропустила этот этап чемпионата. «Лотус» расширил свою заявку до трёх автомобилей, усадив за руль на одну гонку местного пилота Герхарда Миттера. К постоянным участникам чемпионата добавились пилоты команды «Скудерия Чентро Суд» Мастен Грегори и не прошедший в итоге квалификацию Роберто Буссинелло. Также за руль автомобиля собственной команды вернулся Джек Брэбем. Крис Эймон вновь стартовал за частную команду Реджа Парнелла. В гонке Джим Кларк одержал победу, завоевав «большой шлем» и звание чемпиона мира за три этапа до окончания чемпионата."
     },
     "sample": {
         "messages": [
@@ -2914,8 +2912,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.295857988165681,
-        "len": 1.0,
+        "symbol_per_token": 4.321428571428571,
+        "len": 0.9940476190476191,
         "lcs": 1.0
     },
     "predict": {
@@ -2998,8 +2996,7 @@
             5927,
             110734,
             13,
-            107881,
-            12507,
+            109621,
             100702,
             143914,
             131011,
@@ -3089,7 +3086,7 @@
             126333,
             13
         ],
-        "text": " В июле 1968 года в результате бескровного переворота к власти в Ираке пришла партия «Баас». Президенту республики по Конституции 1968 года давались также широкие полномочия. Вся власть сосредотачивалась в руках только одного человека — Ахмада аль-Бакра. В июле 1979 года аль-Бакр ушёл в отставку. Президентом стал Саддам Хусейн, хотя уже был де-факто лидером Ирака несколько лет до этого, имея контроль над спецслужбами. После ликвидации всех политических противников, в основном левого толка, Саддам получил фактически диктаторские полномочия в результате совмещения всех высших постов. В апреле 2003 года международная коалиция во главе с США вторглась в Ирак и свергла режим Саддама Хусейна, а сам он был схвачен и казнен."
+        "text": " В июле 1968 года в результате бескровного переворота к власти в Ираке пришла партия «Баас». Президенту республики по Конституции 1968 года давались также широкие полномочия. Вся власть сосредотачивалась в руках только одного человека — Ахмада аль-Бакра. В июле 1979 года аль-Бакр ушёл в отставку. президентом стал Саддам Хусейн, хотя уже был де-факто лидером Ирака несколько лет до этого, имея контроль над спецслужбами. После ликвидации всех политических противников, в основном левого толка, Саддам получил фактически диктаторские полномочия в результате совмещения всех высших постов. В апреле 2003 года международная коалиция во главе с США вторглась в Ирак и свергла режим Саддама Хусейна, а сам он был схвачен и казнен."
     },
     "sample": {
         "messages": [
@@ -4185,8 +4182,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.468599033816425,
-        "len": 1.0,
+        "symbol_per_token": 4.551724137931035,
+        "len": 0.9805825242718447,
         "lcs": 1.0
     },
     "predict": {
@@ -4255,7 +4252,7 @@
             21,
             100281,
             11,
-            116737,
+            104265,
             100706,
             12769,
             114288,
@@ -4272,7 +4269,7 @@
             11,
             100376,
             102508,
-            272,
+            5524,
             100876,
             12507,
             103297,
@@ -4336,9 +4333,7 @@
             94962,
             44946,
             137793,
-            100265,
-            66,
-            103824,
+            115795,
             105290,
             100853,
             5927,
@@ -4370,9 +4365,8 @@
             8341,
             101266,
             103513,
-            11,
             101925,
-            145333,
+            120482,
             109464,
             115403,
             39900,
@@ -4387,7 +4381,6 @@
             15,
             4,
             104990,
-            11,
             37405,
             116382,
             100447,
@@ -4398,7 +4391,7 @@
             102988,
             13
         ],
-        "text": " Точная медицина — инновационный подход в системе здравоохранения, при котором профилактика и лечение заболеваний подбирается главным образом по генетической информации. Он появился благодаря технологиям больших данных и снижению стоимости секвенирования ДНК. Первой страной, запустившей проект точной медицины, стали США в 2016 году,Термин «точная медицина» появился в 2009 году, после случая c Ником Волкером. У мальчика в 2 года сильно болел кишечник. К 6 годам он перенёс 160 операций. Потом, к его лечению подключился Ховард Джейкоб, который секвенировал геном мальчика и нашёл мутацию в гене XIAP, ответственном за редкий воcпалительный процесс в кишечнике, который лечится трансплантацией костного мозга. После операции Ник полностью выздоровел. Таким образом, только генетический анализ, помог побороть болезнь неясного происхождения. Он помогает приблизительно в 30% случаев, при неопределённом диагнозе. Примечания."
+        "text": " Точная медицина — инновационный подход в системе здравоохранения, при котором профилактика и лечение заболеваний подбирается главным образом по генетической информации. Он появился благодаря технологиям больших данных и снижению стоимости секвенирования ДНК. Первой страной, запустившей проект точной медицины, стали США в 2016 году, Термин «точная медицина» появился в 2009 году, после случая с Ником Волкером. У мальчика в 2 года сильно болел кишечник. К 6 годам он перенёс 160 операций. Потом, к его лечению подключился Ховард Джейкоб, который секвенировал геном мальчика и нашёл мутацию в гене XIAP, ответственном за редкий воспалительный процесс в кишечнике, который лечится трансплантацией костного мозга. После операции Ник полностью выздоровел. Таким образом, только генетический анализ помог победить болезнь неясного происхождения. Он помогает приблизительно в 30% случаев при неопределённом диагнозе. Примечания."
     },
     "sample": {
         "messages": [
@@ -4548,7 +4541,7 @@
             20,
             11562,
             13,
-            139911,
+            116347,
             128349,
             110576,
             2001,
@@ -4573,7 +4566,7 @@
             114466,
             13
         ],
-        "text": " Рябинки Рябинки — деревня в Можайском районе Московской области, в составе сельского поселения Замошинское. Численность постоянного населения по Всероссийской переписи 2010 года — 5 человек. До 2006 года Рябинки входили в состав Замошинского сельского округа. Деревня расположена на западе района, примерно в 11 км к юго-востоку от Уваровки, на суходоле, на автодороге \"46К-1130\" Уваровка — Можайск, высота над уровнем моря 235 м. Ближайшие населённые пункты — Храброво на северо-западе, Захаровка на севере и Высокое на северо-востоке."
+        "text": " Рябинки Рябинки — деревня в Можайском районе Московской области, в составе сельского поселения Замошинское. Численность постоянного населения по Всероссийской переписи 2010 года — 5 человек. До 2006 года Рябинки входили в состав Замошинского сельского округа. Деревня расположена на западе района, примерно в 11 км к юго-востоку от Уваровки, на суходоле, на автодороге \"46К-1130\" Уваровка — Можайск, высота над уровнем моря 235 м. ближайшие населённые пункты — Храброво на северо-западе, Захаровка на севере и Высокое на северо-востоке."
     },
     "sample": {
         "messages": [
@@ -5561,8 +5554,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.2846715328467155,
-        "len": 0.9926470588235294,
+        "symbol_per_token": 5.3161764705882355,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -5574,8 +5567,7 @@
             141432,
             68088,
             62731,
-            25,
-            674,
+            14443,
             117801,
             48150,
             13,
@@ -5704,7 +5696,7 @@
             104501,
             13
         ],
-        "text": " По форме морское страхование может быть: # Договорное. Предполагает заключение договора морского страхования со страховщиком, который за определённую плату обязуется возместить страхователю или выгодоприобретателю убытки, причинённые страховым случаем. Договорное морское страхование является одним из первых видов страхования. Первый известный договор морского страхования был заключён в 1347 году# Взаимное. Взаимное страхование осуществляется в клубах взаимного страхования. Клубы взаимного страхования впервые возникли в Англии после 1720 года. Особенностью взаимного страхования является то, что возможные убытки члена клуба взаимного страхования возмещаются из общего фонда, формируемого за счёт взносов членов клуба."
+        "text": " По форме морское страхование может быть:# Договорное. Предполагает заключение договора морского страхования со страховщиком, который за определённую плату обязуется возместить страхователю или выгодоприобретателю убытки, причинённые страховым случаем. Договорное морское страхование является одним из первых видов страхования. Первый известный договор морского страхования был заключён в 1347 году# Взаимное. Взаимное страхование осуществляется в клубах взаимного страхования. Клубы взаимного страхования впервые возникли в Англии после 1720 года. Особенностью взаимного страхования является то, что возможные убытки члена клуба взаимного страхования возмещаются из общего фонда, формируемого за счёт взносов членов клуба."
     },
     "sample": {
         "messages": [
@@ -6843,7 +6835,7 @@
             102326,
             5927,
             99491,
-            146065,
+            140756,
             127040,
             100625,
             111394,
@@ -6928,7 +6920,7 @@
             109507,
             13
         ],
-        "text": " Фильм стал первым опытом сотрудничества Китона с Metro-Goldwyn-Mayer и имел успех, однако уже через год компания лишила Китона творческого контроля над его фильмами, нанеся тем самым серьёзный и долговременный ущерб его карьере. Китон позднее назвал переход в MGM величайшей ошибкой своей карьеры. Фильм долгое время считался утерянным. Полная копия была обнаружена в 1968 году в Париже. В 1991 году выявили ещё одну копию, гораздо более высокого качества, но с отсутствием некоторых фрагментов. На их основе была смонтирована полная качественная версия. В 2005 году «Кинооператор» был включён в Национальный реестр фильмов."
+        "text": " Фильм стал первым опытом сотрудничества Китона с Metro-Goldwyn-Mayer и имел успех, однако уже через год компания лишила Китона творческого контроля над его фильмами, нанеся тем самым серьёзный и долговременный ущерб его карьере. Китон позднее назвал переход в MGM крупнейшей ошибкой своей карьеры. Фильм долгое время считался утерянным. Полная копия была обнаружена в 1968 году в Париже. В 1991 году выявили ещё одну копию, гораздо более высокого качества, но с отсутствием некоторых фрагментов. На их основе была смонтирована полная качественная версия. В 2005 году «Кинооператор» был включён в Национальный реестр фильмов."
     },
     "sample": {
         "messages": [
@@ -9576,7 +9568,7 @@
     "info": {
         "prompt_len": 130,
         "generated_len": [
-            233
+            232
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -9713,7 +9705,7 @@
     "info": {
         "prompt_len": 124,
         "generated_len": [
-            233
+            232
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -9842,7 +9834,7 @@
     "info": {
         "prompt_len": 116,
         "generated_len": [
-            233
+            232
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -9961,7 +9953,7 @@
     "info": {
         "prompt_len": 106,
         "generated_len": [
-            233
+            232
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -10211,14 +10203,14 @@
     "info": {
         "prompt_len": 237,
         "generated_len": [
-            233
+            232
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 3.3884297520661155,
+        "symbol_per_token": 3.4049586776859506,
         "len": 0.9916666666666667,
         "lcs": 1.0
     },
@@ -10290,7 +10282,7 @@
             102894,
             13,
             118889,
-            100431,
+            122415,
             11,
             108941,
             5524,
@@ -10345,7 +10337,7 @@
             104491,
             13
         ],
-        "text": " Образовано в 1957 году путем объединения сел \"Великие Хутора\", \"Малые Хутора\" и \"Кайдачиха\". На карте Винницы, датируемой 1916-м годом, находится рядом с Малыми хуторами в составе Винницы под названием Большие хутора. Числись, наряду с Малыми хуторами, как предместье Винницы. Исторически в состав Винницких хуторов входили села: Кайдачиха, Тененки и Геталка. Название Кайдачиха сохранила за собой часть села."
+        "text": " Образовано в 1957 году путем объединения сел \"Великие Хутора\", \"Малые Хутора\" и \"Кайдачиха\". На карте Винницы, датируемой 1916-м годом, находится рядом с Малыми хуторами в составе Винницы под названием Большие хутора. Числились, наряду с Малыми хуторами, как предместье Винницы. Исторически в состав Винницких хуторов входили села: Кайдачиха, Тененки и Геталка. Название Кайдачиха сохранила за собой часть села."
     },
     "sample": {
         "messages": [
@@ -10366,15 +10358,15 @@
     "info": {
         "prompt_len": 141,
         "generated_len": [
-            233
+            232
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 3.9785407725321886,
-        "len": 0.9956896551724138,
+        "symbol_per_token": 3.9956896551724137,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -10468,8 +10460,7 @@
             101300,
             100339,
             136892,
-            117901,
-            100490,
+            146493,
             101632,
             100806,
             103659,
@@ -10633,7 +10624,7 @@
     "info": {
         "prompt_len": 253,
         "generated_len": [
-            233
+            232
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -10813,7 +10804,7 @@
     "info": {
         "prompt_len": 167,
         "generated_len": [
-            233
+            232
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -13445,8 +13436,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.739130434782609,
-        "len": 1.0,
+        "symbol_per_token": 3.692857142857143,
+        "len": 0.9856115107913669,
         "lcs": 1.0
     },
     "predict": {
@@ -13519,8 +13510,10 @@
             101534,
             101226,
             13373,
-            143000,
-            47273,
+            100734,
+            54939,
+            104554,
+            1840,
             13,
             23784,
             12769,
@@ -13570,7 +13563,7 @@
             102606,
             11,
             8379,
-            120657,
+            128004,
             136712,
             100351,
             15088,
@@ -13589,7 +13582,7 @@
             109966,
             13
         ],
-        "text": " Русалка «Руса́лка: Письмо́ для краса́вицъ» — галицко-русская газета, которая издавалась для женщин в 1868—1870 во Львове. Выходила дважды в месяц. Издатель и редактор Северин Шехович. Печаталась на язычии. В «Русалке» публиковались художественные произведения, лирические поэзии, подавалась светская хроника, полезные советы по ведению хозяйства, печатались заметки о других народах, сообщалось о положении женщин в Англии и Германии, о намерение львовянок создать высшее женское учебное заведение. Вышло 24 номера."
+        "text": " Русалка «Руса́лка: Письмо́ для краса́вицъ» — галицко-русская газета, которая издавалась для женщин в 1868—1870 во Львове. Выходила дважды в месяц. Издатель и редактор Северин Шехович. Печаталась на язы́чьи. В «Русалке» публиковались художественные произведения, лирические поэзии, подавалась светская хроника, полезные советы по ведению хозяйства, печатались заметки о других народах, сообщалось о положении женщин в Англии и Германии, о намерении львовянок создать высшее женское учебное заведение. Вышло 24 номера."
     },
     "sample": {
         "messages": [
@@ -13617,8 +13610,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.9846938775510203,
-        "len": 0.9948717948717949,
+        "symbol_per_token": 4.0,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -13792,8 +13785,7 @@
             102026,
             102810,
             100334,
-            5372,
-            16742,
+            79686,
             13,
             105244,
             104531,
@@ -13819,7 +13811,7 @@
             94565,
             75608
         ],
-        "text": " В 1980-х годах популярность Национальной баскетбольной ассоциации резко возросла, и стало ясно, что 12 888 мест в «Memorial Coliseum», в котором в то время играл свои домашние игры «Портленд Трэйл Блэйзерс», больше не хватает. Начиная с 5 апреля 1977 года «Трэйл Блэйзерс» распродавали полностью все билеты на свои домашние игры. В 1988 году команду купил Пол Аллен, после чего команда выходила �� финал чемпионата в 1990 и 1992 годах. Вскоре Аллен решил построить новую арену для своей команды и в 1991 году основал Oregon Arena Corporation, частную компанию, в которой Аллен был единственным акционером, для строительства и управления новой ареной. Вскоре команда договорилась с городом Портленд о строительстве нового мультифункционального комплекса рядом с «Memorial Coliseum»."
+        "text": " В 1980-х годах популярность Национальной баскетбольной ассоциации резко возросла, и стало ясно, что 12 888 мест в «Memorial Coliseum», в котором в то время играл свои домашние игры «Портленд Трэйл Блэйзерс», больше не хватает. Начиная с 5 апреля 1977 года «Трэйл Блэйзерс» распродавали полностью все билеты на свои домашние игры. В 1988 году команду купил Пол Аллен, после чего команда выходила в финал чемпионата в 1990 и 1992 годах. Вскоре Аллен решил построить новую арену для своей команды и в 1991 году основал Oregon Arena Corporation, частную компанию, в которой Аллен был единственным акционером, для строительства и управления новой арены. Вскоре команда договорилась с городом Портленд о строительстве нового мультифункционального комплекса рядом с «Memorial Coliseum»."
     },
     "sample": {
         "messages": [
@@ -15684,7 +15676,7 @@
             97065,
             12,
             100446,
-            119653,
+            101621,
             12769,
             132254,
             100434,
@@ -15743,7 +15735,7 @@
             121286,
             13
         ],
-        "text": " Эрхарт часто упоминается в работах музыкантов, таких как Джони Митчелл, Патти Смит, Хитер Нова. Амелия Эрхарт явилась одним из главных персонажей фантастического фильма «Ночь в музее 2», где её роль исполнила актриса Эми Адамс. Амелия Эрхарт — центральный персонаж 1 серии 2 сезона «Тридцать Седьмые» сериала «». В телесериала-антологию «Американская история ужасов» одним из важных персонажей является Амелия Эрхарт. Её роль исполнила Лили Рэйб. В 2009 году вышел биографический фильм Миры Наир «Амелия», в главной роли — Хилари Суонк."
+        "text": " Эрхарт часто упоминается в работах музыкантов, таких как Джони Митчелл, Патти Смит, Хитер Нова. Амелия Эрхарт явилась одним из главных персонажей фантастического фильма «Ночь в музее 2», где её роль исполнила актриса Эми Адамс. Амелия Эрхарт — центральный персонаж 1 серии 2 сезона «Тридцать Седьмые» сериала «». В телесериала-антологии «Американская история ужасов» одним из важных персонажей является Амелия Эрхарт. Её роль исполнила Лили Рэйб. В 2009 году вышел биографический фильм Миры Наир «Амелия», в главной роли — Хилари Суонк."
     },
     "sample": {
         "messages": [
@@ -16898,7 +16890,7 @@
             81856,
             11,
             98851,
-            124079,
+            133768,
             104754,
             3865,
             117461,
@@ -16914,7 +16906,7 @@
             30,
             9135
         ],
-        "text": " В мистическом триллере Яна Нэза «Властелин старости», первая часть книги носит название «Чёрный дембель» и также посвящена одноименному персонажу. В книге Чёрный дембель — это лесной идол, обладающий телепортирующим свойством и отправляющий домой вся��ого, кто помажет его кровью из левого мизинца. Фильм Андрея Прошкина «Солдатский декамерон» в прессе называют «Возвращением Чёрного дембеля». Аналогичным представляется четвёртый сезон телесериала «Lost». В 17-ом эпизоде 15-го сезона сериала «Солдаты» старослужащие решили пошутить над молодыми, придумав легенду о Чёрном дембеле, который произносит капитану фразу: \"Покурим, служивый?!\""
+        "text": " В мистическом триллере Яна Нэза «Властелин старости», первая часть книги носит название «Чёрный дембель» и также посвящена одноименному персонажу. В книге Чёрный дембель — это лесной идол, обладающий телепортирующим свойством и отправляющий домой всякого, кто помажет его кровью из левого мизинца. Фильм Андрея Прошкина «Солдатский декамерон» в прессе называют «Возвращением Чёрного дембеля». Аналогичным представляется четвёртый сезон телесериала «Lost». В 17-ом эпизоде 15-го сезона сериала «Солдаты» старослужащие решили пошутить над молодыми, придумав легенду о Чёрном дембеле, который произносил капитану фразу: \"Покурим, служивый?!\""
     },
     "sample": {
         "messages": [
@@ -16942,7 +16934,7 @@
 }
 {
     "metric": {
-        "symbol_per_token": 2.706896551724138,
+        "symbol_per_token": 2.7241379310344827,
         "len": 1.0,
         "lcs": 1.0
     },
@@ -16958,7 +16950,7 @@
             13,
             143366,
             5591,
-            117063,
+            136350,
             13,
             131652,
             100273,
@@ -17006,7 +16998,7 @@
             23,
             13
         ],
-        "text": " Доходный дом М. П. Кудрявцева. Дмитровский переулок, 3. Доходный дом Якоби. Улица Декабристов, 5. Переулок Пирогова, 4. Доходный дом. Поварской переулок, 8."
+        "text": " Доходный дом М. П. Кудрявцевой. Дмитровский переулок, 3. Доходный дом Якоби. Улица Декабристов, 5. Переулок Пирогова, 4. Доходный дом. Поварской переулок, 8."
     },
     "sample": {
         "messages": [
@@ -17191,8 +17183,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.7412587412587412,
-        "len": 1.0,
+        "symbol_per_token": 3.801418439716312,
+        "len": 0.9859154929577465,
         "lcs": 1.0
     },
     "predict": {
@@ -17200,11 +17192,9 @@
             102612,
             100957,
             101767,
-            100835,
-            9882,
-            4268,
-            254,
-            18437,
+            102752,
+            198,
+            111697,
             108175,
             5927,
             110488,
@@ -17340,7 +17330,7 @@
             103588,
             497
         ],
-        "text": " Географическое положениеРасположен в южной части Приазово-Кубанской равнины, в южно-предгорной зоне, на левом берегу Кубани в 3 км на северо-запад от административного центра поселения — хутора Ольгинский.; Климатумеренно континентальный, без резких колебаний суточных и месячных температур. Продолжительность периода с температурой выше 0° С достигает 9-10 месяцев, из них половина — 4-5 месяцев — лето. Среднегодовая температура около +11°, постепенно нарастая от 15° в мае до 30° в августе. Годовая сумма осадков достигает 800 мм.."
+        "text": " Географическое положение\nРасположен в южной части Приазово-Кубанской равнины, в южно-предгорной зоне, на левом берегу Кубани в 3 км на северо-запад от административного центра поселения — хутора Ольгинский.; Климатумеренно континентальный, без резких колебаний суточных и месячных температур. Продолжительность периода с температурой выше 0° С достигает 9-10 месяцев, из них половина — 4-5 месяцев — лето. Среднегодовая температура около +11°, постепенно нарастая от 15° в мае до 30° в августе. Годовая сумма осадков достигает 800 мм.."
     },
     "sample": {
         "messages": [
@@ -18234,8 +18224,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.52808988764045,
-        "len": 0.9886363636363636,
+        "symbol_per_token": 4.556818181818182,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -18306,8 +18296,7 @@
             102055,
             13,
             101132,
-            100607,
-            101312,
+            125989,
             100983,
             108290,
             105801,
@@ -18329,7 +18318,7 @@
             101629,
             13
         ],
-        "text": " Стюарт родился в Сан-Филипе на Барбадосе. По состоянию на октябрь 2010 года он одинок и воспитывает дочь. Он окончил университет Вест-Индии и имеет степень в области политологии и права. Стюарт является адвокатом и его практику составляли дела из уголовного и корпоративного права. Поддерживал ряд общественных организаций и сейчас спонсирует Dayrells United Achievers Community клуб и спортивный клуб."
+        "text": " Стюарт родился в Сан-Филипе на Барбадосе. По состоянию на октябрь 2010 года он одинок и воспитывает дочь. Он окончил университет Вест-Индии и имеет степень в области политологии и права. Стюарт является адвокатом и его практику составляли дела из уголовного и корпоративного права. Поддержал ряд общественных организаций и сейчас спонсирует Dayrells United Achievers Community клуб и спортивный клуб."
     },
     "sample": {
         "messages": [
@@ -18554,7 +18543,7 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.265625,
+        "symbol_per_token": 3.26953125,
         "len": 1.0,
         "lcs": 1.0
     },
@@ -18804,7 +18793,7 @@
             18,
             24,
             16,
-            100312,
+            100739,
             11,
             5927,
             105277,
@@ -18816,7 +18805,7 @@
             102988,
             13
         ],
-        "text": " Известна с XV века, когда относилась к Бобольскому стану Боровского уезда. В материалах дозора 1613 года значится «За боярином, за князем Борисом Михайловичем Лыковым... Кухтина, а в ней пашни паханые крестьянские три полуосмины, да по речке по Кщеме по берегу сена пять копен». В 1782 году Кухтина и слобода на реке Кшома вместе с деревнями Алешина, Левина, Глухова и Реткина во владениях князя Василия Ивановича Долгорукова и Евдокии Александровны Зиновьевой. В 1780 году В. И. Долгоруков выставлял на продажу свои деревни в Медынском уезде, в том числе и Кухтину с 504 крепостными в ней. К 1859 году значилась как деревня 1-го стана Медынского уезда и насчитывала 33 двора и 328 жителей. После реформ 1861 года вошла в Глуховскую волость. К 1914 году население возросло до 391 человек, в деревне открылась земская школа. Примечания."
+        "text": " Известна с XV века, когда относилась к Бобольскому стану Боровского уезда. В материалах дозора 1613 года значится «За боярином, за князем Борисом Михайловичем Лыковым... Кухтина, а в ней пашни паханые крестьянские три полуосмины, да по речке по Кщеме по берегу сена пять копен». В 1782 году Кухтина и слобода на реке Кшома вместе с деревнями Алешина, Левина, Глухова и Реткина во владениях князя Василия Ивановича Долгорукова и Евдокии Александровны Зиновьевой. В 1780 году В. И. Долгоруков выставлял на продажу свои деревни в Медынском уезде, в том числе и Кухтину с 504 крепостными в ней. К 1859 году значилась как деревня 1-го стана Медынского уезда и насчитывала 33 двора и 328 жителей. После реформ 1861 года вошла в Глуховскую волость. К 1914 году население возросло до 391 человека, в деревне открылась земская школа. Примечания."
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_cp_para_ru_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/darumeru_cp_para_ru_total.jsonl

@@ -1,8 +1,8 @@
 {
     "task_name": "darumeru/cp_para_ru",
     "results": {
-        "symbol_per_token": 3.9920472926206347,
-        "len": 0.9992233172309354,
+        "symbol_per_token": 3.9953318595732386,
+        "len": 0.9990656928305265,
         "lcs": 1.0
     },
     "leaderboard_result": 1.0

llmtf_eval/darumeru_ruOpenBookQA_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/darumeru_ruOpenBookQA_total.jsonl

@@ -1,8 +1,8 @@
 {
     "task_name": "darumeru/ruOpenBookQA",
     "results": {
-        "acc": 0.8191580756013745,
-        "f1_macro": 0.8196610608491144
+        "acc": 0.8256013745704467,
+        "f1_macro": 0.8262484506706507
     },
-    "leaderboard_result": 0.8194095682252445
+    "leaderboard_result": 0.8259249126205487
 }

llmtf_eval/darumeru_ruWorldTree.jsonl

@@ -7,10 +7,10 @@
         ]
     },
     "predict": {
-        "A": 0.9267042279243469,
-        "B": 0.006244083866477013,
-        "C": 0.019233131781220436,
-        "D": 0.0003991709090769291
+        "A": 0.8083646893501282,
+        "B": 0.002003735862672329,
+        "C": 0.00792492926120758,
+        "D": 0.0005740798660553992
     },
     "sample": {
         "messages": [
@@ -55,10 +55,10 @@
         ]
     },
     "predict": {
-        "A": 0.06993252038955688,
-        "B": 0.04241621494293213,
-        "C": 0.009464338421821594,
-        "D": 0.8519524931907654
+        "A": 0.15475726127624512,
+        "B": 0.012703250162303448,
+        "C": 0.00563703291118145,
+        "D": 0.7859222292900085
     },
     "sample": {
         "messages": [
@@ -103,10 +103,10 @@
         ]
     },
     "predict": {
-        "A": 0.04956065118312836,
-        "B": 0.020659951493144035,
-        "C": 0.0052236532792449,
-        "D": 0.8784834742546082
+        "A": 0.31166568398475647,
+        "B": 0.04217936098575592,
+        "C": 0.022576985880732536,
+        "D": 0.5138497948646545
     },
     "sample": {
         "messages": [
@@ -151,10 +151,10 @@
         ]
     },
     "predict": {
-        "A": 0.0031011193059384823,
-        "B": 0.9743426442146301,
-        "C": 0.010823969729244709,
-        "D": 0.00037037587026134133
+        "A": 0.003776660654693842,
+        "B": 0.9241183996200562,
+        "C": 0.013181840069591999,
+        "D": 0.00031000719172880054
     },
     "sample": {
         "messages": [
@@ -199,10 +199,10 @@
         ]
     },
     "predict": {
-        "A": 0.00047633916256017983,
-        "B": 0.9759142994880676,
-        "C": 8.277532469946891e-05,
-        "D": 0.00012043739116052166
+        "A": 0.00042170536471530795,
+        "B": 0.9197037816047668,
+        "C": 9.409518679603934e-05,
+        "D": 0.0001457374746678397
     },
     "sample": {
         "messages": [
@@ -247,10 +247,10 @@
         ]
     },
     "predict": {
-        "A": 0.9008681178092957,
-        "B": 0.006070001516491175,
-        "C": 0.0010548080317676067,
-        "D": 0.05759056657552719
+        "A": 0.9196767210960388,
+        "B": 0.0005414644838310778,
+        "C": 0.00019919364422094077,
+        "D": 0.011577022261917591
     },
     "sample": {
         "messages": [
@@ -295,10 +295,10 @@
         ]
     },
     "predict": {
-        "A": 0.19447897374629974,
-        "B": 0.7691792249679565,
-        "C": 0.003143459791317582,
-        "D": 0.0014848652062937617
+        "A": 0.12421192973852158,
+        "B": 0.8099634647369385,
+        "C": 0.0035236210096627474,
+        "D": 0.0018860583659261465
     },
     "sample": {
         "messages": [
@@ -336,17 +336,17 @@
 }
 {
     "metric": {
-        "acc": false,
+        "acc": true,
         "f1_macro": [
             "B",
-            "A"
+            "B"
         ]
     },
     "predict": {
-        "A": 0.42820805311203003,
-        "B": 0.42820805311203003,
-        "C": 0.08431915938854218,
-        "D": 0.0015443594893440604
+        "A": 0.034649889916181564,
+        "B": 0.8936324119567871,
+        "C": 0.023814497515559196,
+        "D": 0.0012621221831068397
     },
     "sample": {
         "messages": [
@@ -379,7 +379,7 @@
         "prompt_len": 100,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " A"
+        "generated_token": " B"
     }
 }
 {
@@ -391,10 +391,10 @@
         ]
     },
     "predict": {
-        "A": 0.0010158381192013621,
-        "B": 0.001304362085647881,
-        "C": 0.0002266641240566969,
-        "D": 0.9831031560897827
+        "A": 0.0006095240241847932,
+        "B": 0.00032625472522340715,
+        "C": 0.00010591940372250974,
+        "D": 0.9725516438484192
     },
     "sample": {
         "messages": [
@@ -439,10 +439,10 @@
         ]
     },
     "predict": {
-        "A": 0.0008937068632803857,
-        "B": 0.980068564414978,
-        "C": 0.0002560512803029269,
-        "D": 0.0002901441475842148
+        "A": 0.0008576838881708682,
+        "B": 0.8835787177085876,
+        "C": 0.000230842488235794,
+        "D": 0.0003155242884531617
     },
     "sample": {
         "messages": [
@@ -487,10 +487,10 @@
         ]
     },
     "predict": {
-        "A": 0.958181619644165,
-        "B": 0.00028366464539431036,
-        "C": 2.6384921511635184e-05,
-        "D": 0.00010435438889544457
+        "A": 0.8171983361244202,
+        "B": 2.5498946342850104e-05,
+        "C": 6.05653076490853e-06,
+        "D": 2.889409188355785e-05
     },
     "sample": {
         "messages": [
@@ -535,10 +535,10 @@
         ]
     },
     "predict": {
-        "A": 0.0002925069711636752,
-        "B": 0.9880499243736267,
-        "C": 0.00010760730219772086,
-        "D": 8.380464714718983e-05
+        "A": 0.00019500845519360155,
+        "B": 0.9003536701202393,
+        "C": 9.211547148879617e-05,
+        "D": 5.947421959717758e-05
     },
     "sample": {
         "messages": [
@@ -583,10 +583,10 @@
         ]
     },
     "predict": {
-        "A": 0.9481245875358582,
-        "B": 0.00638841325417161,
-        "C": 0.0012579531176015735,
-        "D": 0.0007629871251992881
+        "A": 0.8504703044891357,
+        "B": 0.0007755285478197038,
+        "C": 0.00013476665480993688,
+        "D": 0.00015271062147803605
     },
     "sample": {
         "messages": [
@@ -631,10 +631,10 @@
         ]
     },
     "predict": {
-        "A": 0.0007998207001946867,
-        "B": 0.0007058392511680722,
-        "C": 0.9938957095146179,
-        "D": 0.00025966373505070806
+        "A": 0.00022923716460354626,
+        "B": 0.00013903938815928996,
+        "C": 0.9942631125450134,
+        "D": 3.102387927356176e-05
     },
     "sample": {
         "messages": [
@@ -679,10 +679,10 @@
         ]
     },
     "predict": {
-        "A": 0.6329915523529053,
-        "B": 0.26387014985084534,
-        "C": 0.05195911228656769,
-        "D": 0.02781170792877674
+        "A": 0.5274410247802734,
+        "B": 0.0432949960231781,
+        "C": 0.3625045716762543,
+        "D": 0.009660419076681137
     },
     "sample": {
         "messages": [
@@ -727,10 +727,10 @@
         ]
     },
     "predict": {
-        "A": 0.9591424465179443,
-        "B": 0.001634014188311994,
-        "C": 0.00015198698383755982,
-        "D": 0.0003645978285931051
+        "A": 0.8802456259727478,
+        "B": 0.00020294930436648428,
+        "C": 6.189604755491018e-05,
+        "D": 7.947609992697835e-05
     },
     "sample": {
         "messages": [
@@ -775,10 +775,10 @@
         ]
     },
     "predict": {
-        "A": 0.0019080494530498981,
-        "B": 0.0016838478622958064,
-        "C": 0.988394021987915,
-        "D": 0.00022788399655837566
+        "A": 0.0004528310673777014,
+        "B": 0.00029236971749924123,
+        "C": 0.987586259841919,
+        "D": 5.4082956921774894e-05
     },
     "sample": {
         "messages": [
@@ -823,10 +823,10 @@
         ]
     },
     "predict": {
-        "A": 0.0010133893229067326,
-        "B": 0.0006146517116576433,
-        "C": 0.00025622494285926223,
-        "D": 0.9807332754135132
+        "A": 0.0006091722170822322,
+        "B": 0.00011995313252555206,
+        "C": 0.00018578703748062253,
+        "D": 0.9131003022193909
     },
     "sample": {
         "messages": [
@@ -871,10 +871,10 @@
         ]
     },
     "predict": {
-        "A": 0.005092415027320385,
-        "B": 0.970442533493042,
-        "C": 0.0014590013306587934,
-        "D": 0.005770462099462748
+        "A": 0.024812722578644753,
+        "B": 0.9310905337333679,
+        "C": 0.0004544608818832785,
+        "D": 0.010343481786549091
     },
     "sample": {
         "messages": [
@@ -919,10 +919,10 @@
         ]
     },
     "predict": {
-        "A": 0.0001554303744342178,
-        "B": 0.980872631072998,
-        "C": 7.342011667788029e-05,
-        "D": 0.00042250356636941433
+        "A": 0.00020775984739884734,
+        "B": 0.9011102318763733,
+        "C": 0.0001427911192877218,
+        "D": 0.0004983899416401982
     },
     "sample": {
         "messages": [
@@ -967,10 +967,10 @@
         ]
     },
     "predict": {
-        "A": 0.0006083791959099472,
-        "B": 0.9707249402999878,
-        "C": 5.6588083680253476e-05,
-        "D": 0.0001357477594865486
+        "A": 0.00038656190736219287,
+        "B": 0.8430588245391846,
+        "C": 6.717438373016194e-05,
+        "D": 0.00019437551964074373
     },
     "sample": {
         "messages": [
@@ -1015,10 +1015,10 @@
         ]
     },
     "predict": {
-        "A": 0.807960569858551,
-        "B": 0.01152493804693222,
-        "C": 0.0037416000850498676,
-        "D": 0.1590968668460846
+        "A": 0.7685906887054443,
+        "B": 0.0031410546507686377,
+        "C": 0.004570207092911005,
+        "D": 0.17149576544761658
     },
     "sample": {
         "messages": [
@@ -1063,10 +1063,10 @@
         ]
     },
     "predict": {
-        "A": 0.8553978800773621,
-        "B": 0.10216271132230759,
-        "C": 0.001286038663238287,
-        "D": 0.007400641683489084
+        "A": 0.8609814643859863,
+        "B": 0.005119582638144493,
+        "C": 0.0002548890479374677,
+        "D": 0.0006928602233529091
     },
     "sample": {
         "messages": [
@@ -1111,10 +1111,10 @@
         ]
     },
     "predict": {
-        "A": 0.023307716473937035,
-        "B": 0.7718455195426941,
-        "C": 0.029927698895335197,
-        "D": 0.15198539197444916
+        "A": 0.009837214834988117,
+        "B": 0.7814667820930481,
+        "C": 0.04995749518275261,
+        "D": 0.09333289414644241
     },
     "sample": {
         "messages": [
@@ -1159,10 +1159,10 @@
         ]
     },
     "predict": {
-        "A": 0.9551103115081787,
-        "B": 0.0056792935356497765,
-        "C": 0.00019433474517427385,
-        "D": 0.0002202101022703573
+        "A": 0.8799240589141846,
+        "B": 0.000295181613182649,
+        "C": 5.460310785565525e-05,
+        "D": 3.9948488847585395e-05
     },
     "sample": {
         "messages": [
@@ -1207,10 +1207,10 @@
         ]
     },
     "predict": {
-        "A": 0.005171413999050856,
-        "B": 0.002155766123905778,
-        "C": 0.9854970574378967,
-        "D": 0.0005802165251225233
+        "A": 0.0035674353130161762,
+        "B": 0.00042606936767697334,
+        "C": 0.989150881767273,
+        "D": 0.0001220709236804396
     },
     "sample": {
         "messages": [
@@ -1255,10 +1255,10 @@
         ]
     },
     "predict": {
-        "A": 0.9729668498039246,
-        "B": 0.004505730699747801,
-        "C": 0.0005381327355280519,
-        "D": 0.0008872309699654579
+        "A": 0.9231448769569397,
+        "B": 0.00047964268014766276,
+        "C": 0.00016576008056290448,
+        "D": 0.00013741993461735547
     },
     "sample": {
         "messages": [
@@ -1303,10 +1303,10 @@
         ]
     },
     "predict": {
-        "A": 0.0007963357493281364,
-        "B": 0.0003761623811442405,
-        "C": 0.9895651340484619,
-        "D": 7.407076918752864e-05
+        "A": 0.0008886674768291414,
+        "B": 0.00010613619815558195,
+        "C": 0.9745422005653381,
+        "D": 2.0899455194012262e-05
     },
     "sample": {
         "messages": [
@@ -1351,10 +1351,10 @@
         ]
     },
     "predict": {
-        "A": 0.0006172035355120897,
-        "B": 0.000898025871720165,
-        "C": 0.001017596572637558,
-        "D": 0.9848049283027649
+        "A": 0.0020921395625919104,
+        "B": 0.0009283812250941992,
+        "C": 0.002370704896748066,
+        "D": 0.9564105272293091
     },
     "sample": {
         "messages": [
@@ -1399,10 +1399,10 @@
         ]
     },
     "predict": {
-        "A": 0.022696077823638916,
-        "B": 0.002111064037308097,
-        "C": 0.9650617241859436,
-        "D": 0.0008267044904641807
+        "A": 0.02012338675558567,
+        "B": 0.000570856558624655,
+        "C": 0.9695991277694702,
+        "D": 0.0004176475922577083
     },
     "sample": {
         "messages": [
@@ -1447,10 +1447,10 @@
         ]
     },
     "predict": {
-        "A": 0.0003325058496557176,
-        "B": 0.0005482094711624086,
-        "C": 0.9911859631538391,
-        "D": 3.5045857657678425e-05
+        "A": 0.00018826460291165859,
+        "B": 6.506250792881474e-05,
+        "C": 0.9849522709846497,
+        "D": 1.1306168744340539e-05
     },
     "sample": {
         "messages": [
@@ -1495,10 +1495,10 @@
         ]
     },
     "predict": {
-        "A": 9.53021299210377e-05,
-        "B": 0.9915772676467896,
-        "C": 1.0044770533568226e-05,
-        "D": 0.00020175462123006582
+        "A": 0.00017164651944767684,
+        "B": 0.9559273719787598,
+        "C": 1.3235958249424584e-05,
+        "D": 9.780123218661174e-05
     },
     "sample": {
         "messages": [
@@ -1543,10 +1543,10 @@
         ]
     },
     "predict": {
-        "A": 0.00516895018517971,
-        "B": 0.0003304399433545768,
-        "C": 0.0003304399433545768,
-        "D": 0.985027551651001
+        "A": 0.0006828533369116485,
+        "B": 2.1950285372440703e-05,
+        "C": 5.605201658909209e-05,
+        "D": 0.9615291357040405
     },
     "sample": {
         "messages": [
@@ -1591,10 +1591,10 @@
         ]
     },
     "predict": {
-        "A": 0.9588794112205505,
-        "B": 0.002693295245990157,
-        "C": 0.00017217658751178533,
-        "D": 0.00010443038627272472
+        "A": 0.9041392803192139,
+        "B": 0.00019582838285714388,
+        "C": 4.104786057723686e-05,
+        "D": 2.6502490072743967e-05
     },
     "sample": {
         "messages": [
@@ -1639,10 +1639,10 @@
         ]
     },
     "predict": {
-        "A": 0.0003672928723972291,
-        "B": 0.9662322402000427,
-        "C": 0.00032413480221293867,
-        "D": 0.0011313415598124266
+        "A": 0.000404251622967422,
+        "B": 0.8816385865211487,
+        "C": 0.0003797592653427273,
+        "D": 0.001325489953160286
     },
     "sample": {
         "messages": [
@@ -1687,10 +1687,10 @@
         ]
     },
     "predict": {
-        "A": 0.0019159945659339428,
-        "B": 0.0003772817144636065,
-        "C": 0.9925097227096558,
-        "D": 7.42911797715351e-05
+        "A": 0.0010193608468398452,
+        "B": 9.481532470090315e-05,
+        "C": 0.986512303352356,
+        "D": 3.27672969433479e-05
     },
     "sample": {
         "messages": [
@@ -1735,10 +1735,10 @@
         ]
     },
     "predict": {
-        "A": 0.012313049286603928,
-        "B": 0.004529717843979597,
-        "C": 0.9781466126441956,
-        "D": 0.00025554915191605687
+        "A": 0.0014960976550355554,
+        "B": 0.00017868337454274297,
+        "C": 0.9951168298721313,
+        "D": 4.2441020923433825e-05
     },
     "sample": {
         "messages": [
@@ -1783,10 +1783,10 @@
         ]
     },
     "predict": {
-        "A": 2.728473918978125e-05,
-        "B": 8.404290565522388e-05,
-        "C": 3.503429616102949e-05,
-        "D": 0.9908589720726013
+        "A": 2.6055766284116544e-05,
+        "B": 0.00011677383008645847,
+        "C": 2.6055766284116544e-05,
+        "D": 0.9462281465530396
     },
     "sample": {
         "messages": [
@@ -1831,10 +1831,10 @@
         ]
     },
     "predict": {
-        "A": 0.0007857180899009109,
-        "B": 0.00016469546244479716,
-        "C": 0.0031075754668563604,
-        "D": 0.976371169090271
+        "A": 0.00031024852069094777,
+        "B": 3.2699954317649826e-05,
+        "C": 0.007061223033815622,
+        "D": 0.9248377680778503
     },
     "sample": {
         "messages": [
@@ -1879,10 +1879,10 @@
         ]
     },
     "predict": {
-        "A": 0.949167013168335,
-        "B": 0.0063954368233680725,
-        "C": 0.00046328394091688097,
-        "D": 0.00046328394091688097
+        "A": 0.8788755536079407,
+        "B": 0.0013213359052315354,
+        "C": 0.00011545705638127401,
+        "D": 0.00021570218086708337
     },
     "sample": {
         "messages": [
@@ -1927,10 +1927,10 @@
         ]
     },
     "predict": {
-        "A": 0.0021619710605591536,
-        "B": 0.0016837448347359896,
-        "C": 0.9883335828781128,
-        "D": 0.0016837448347359896
+        "A": 0.0008992572547867894,
+        "B": 0.00039904299774207175,
+        "C": 0.9861553311347961,
+        "D": 0.00039904299774207175
     },
     "sample": {
         "messages": [
@@ -1975,10 +1975,10 @@
         ]
     },
     "predict": {
-        "A": 0.9732915163040161,
-        "B": 0.0045072343200445175,
-        "C": 0.0006912067183293402,
-        "D": 0.00047505900147370994
+        "A": 0.9313504099845886,
+        "B": 0.0004545877454802394,
+        "C": 0.00021473201923072338,
+        "D": 0.00015710131265223026
     },
     "sample": {
         "messages": [
@@ -2023,10 +2023,10 @@
         ]
     },
     "predict": {
-        "A": 0.8787161111831665,
-        "B": 0.10494767874479294,
-        "C": 5.1224458729848266e-05,
-        "D": 0.0002947764005511999
+        "A": 0.8250501155853271,
+        "B": 0.11165838688611984,
+        "C": 0.00010181927063968033,
+        "D": 0.00031362546724267304
     },
     "sample": {
         "messages": [
@@ -2071,10 +2071,10 @@
         ]
     },
     "predict": {
-        "A": 0.6028928756713867,
-        "B": 0.13452358543872833,
-        "C": 0.018205787986516953,
-        "D": 0.22179192304611206
+        "A": 0.7817774415016174,
+        "B": 0.09337000548839569,
+        "C": 0.0076642767526209354,
+        "D": 0.034348905086517334
     },
     "sample": {
         "messages": [
@@ -2119,10 +2119,10 @@
         ]
     },
     "predict": {
-        "A": 0.1136971041560173,
-        "B": 0.5774015784263611,
-        "C": 0.27274519205093384,
-        "D": 0.005660646129399538
+        "A": 0.16010281443595886,
+        "B": 0.43520450592041016,
+        "C": 0.3389376103878021,
+        "D": 0.0025878206361085176
     },
     "sample": {
         "messages": [
@@ -2167,10 +2167,10 @@
         ]
     },
     "predict": {
-        "A": 0.0011578967096284032,
-        "B": 0.001684729941189289,
-        "C": 0.9889118671417236,
-        "D": 0.00021418934920802712
+        "A": 0.00048233545385301113,
+        "B": 0.000258175510680303,
+        "C": 0.9881993532180786,
+        "D": 4.7757675929460675e-05
     },
     "sample": {
         "messages": [
@@ -2215,10 +2215,10 @@
         ]
     },
     "predict": {
-        "A": 0.009518876671791077,
-        "B": 0.0030903269071131945,
-        "C": 0.9709517955780029,
-        "D": 0.0021239484194666147
+        "A": 0.0031023963820189238,
+        "B": 0.00039442541310563684,
+        "C": 0.9747439026832581,
+        "D": 0.0004757678834721446
     },
     "sample": {
         "messages": [
@@ -2263,10 +2263,10 @@
         ]
     },
     "predict": {
-        "A": 0.0010208814637735486,
-        "B": 0.00017740258772391826,
-        "C": 6.526276411022991e-05,
-        "D": 0.9879839420318604
+        "A": 0.0004945184336975217,
+        "B": 1.317846999882022e-05,
+        "C": 1.317846999882022e-05,
+        "D": 0.9517754316329956
     },
     "sample": {
         "messages": [
@@ -2311,10 +2311,10 @@
         ]
     },
     "predict": {
-        "A": 0.001136316917836666,
-        "B": 0.9704814553260803,
-        "C": 7.264231680892408e-05,
-        "D": 0.00019746228645090014
+        "A": 0.0019184870179742575,
+        "B": 0.8238899111747742,
+        "C": 0.00011521411215653643,
+        "D": 0.0004556806234177202
     },
     "sample": {
         "messages": [
@@ -2359,10 +2359,10 @@
         ]
     },
     "predict": {
-        "A": 0.002425240119919181,
-        "B": 0.9784116744995117,
-        "C": 0.0021402668207883835,
-        "D": 0.001470982446335256
+        "A": 0.0014164040330797434,
+        "B": 0.9421092867851257,
+        "C": 0.0012499721487984061,
+        "D": 0.0013305884785950184
     },
     "sample": {
         "messages": [
@@ -2407,10 +2407,10 @@
         ]
     },
     "predict": {
-        "A": 0.0003258752403780818,
-        "B": 0.0003258752403780818,
-        "C": 0.000135845024487935,
-        "D": 0.9714204668998718
+        "A": 0.00013452829443849623,
+        "B": 8.15955427242443e-05,
+        "C": 7.20078096492216e-05,
+        "D": 0.9037197828292847
     },
     "sample": {
         "messages": [
@@ -2455,10 +2455,10 @@
         ]
     },
     "predict": {
-        "A": 0.9573699831962585,
-        "B": 0.0023730830289423466,
-        "C": 0.0009892481612041593,
-        "D": 0.015474444255232811
+        "A": 0.952965259552002,
+        "B": 0.0004104826657567173,
+        "C": 0.0005972487269900739,
+        "D": 0.0038945511914789677
     },
     "sample": {
         "messages": [
@@ -2503,10 +2503,10 @@
         ]
     },
     "predict": {
-        "A": 0.003989450167864561,
-        "B": 0.9761862754821777,
-        "C": 0.0024197238963097334,
-        "D": 0.0008901666733436286
+        "A": 0.005962250754237175,
+        "B": 0.8848764896392822,
+        "C": 0.002193389693275094,
+        "D": 0.00033636720036156476
     },
     "sample": {
         "messages": [
@@ -2551,10 +2551,10 @@
         ]
     },
     "predict": {
-        "A": 0.004001671448349953,
-        "B": 0.0018902558367699385,
-        "C": 0.0008928935858421028,
-        "D": 0.9791767001152039
+        "A": 0.00024997632135637105,
+        "B": 0.00010420564649393782,
+        "C": 0.00046701732208020985,
+        "D": 0.9568158984184265
     },
     "sample": {
         "messages": [
@@ -2599,10 +2599,10 @@
         ]
     },
     "predict": {
-        "A": 0.005133773200213909,
-        "B": 0.005817327182739973,
-        "C": 0.9783239960670471,
-        "D": 0.0005083123687654734
+        "A": 0.002452207962051034,
+        "B": 0.0009602983482182026,
+        "C": 0.989291250705719,
+        "D": 9.508241782896221e-05
     },
     "sample": {
         "messages": [
@@ -2647,10 +2647,10 @@
         ]
     },
     "predict": {
-        "A": 0.0044960579834878445,
-        "B": 0.01078548189252615,
-        "C": 0.9708780646324158,
-        "D": 0.0007812976255081594
+        "A": 0.0018877492984756827,
+        "B": 0.003112372476607561,
+        "C": 0.9778783321380615,
+        "D": 0.00021179959003347903
     },
     "sample": {
         "messages": [
@@ -2695,10 +2695,10 @@
         ]
     },
     "predict": {
-        "A": 0.2579152286052704,
-        "B": 0.011332003399729729,
-        "C": 0.7010862231254578,
-        "D": 0.0025285116862505674
+        "A": 0.28472578525543213,
+        "B": 0.006696108728647232,
+        "C": 0.6027644872665405,
+        "D": 0.002173908054828644
     },
     "sample": {
         "messages": [
@@ -2743,10 +2743,10 @@
         ]
     },
     "predict": {
-        "A": 0.9646680951118469,
-        "B": 0.007365331053733826,
-        "C": 0.0006850825739093125,
-        "D": 0.00015286257257685065
+        "A": 0.9139541983604431,
+        "B": 0.0005727994721382856,
+        "C": 0.00012006530596408993,
+        "D": 2.6790188712766394e-05
     },
     "sample": {
         "messages": [
@@ -2784,17 +2784,17 @@
 }
 {
     "metric": {
-        "acc": true,
+        "acc": false,
         "f1_macro": [
             "D",
-            "D"
+            "C"
         ]
     },
     "predict": {
-        "A": 0.02033146843314171,
-        "B": 0.008475417271256447,
-        "C": 0.280667245388031,
-        "D": 0.6732857823371887
+        "A": 0.023137446492910385,
+        "B": 0.003333265194669366,
+        "C": 0.5266058444976807,
+        "D": 0.41012105345726013
     },
     "sample": {
         "messages": [
@@ -2827,7 +2827,7 @@
         "prompt_len": 107,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " D"
+        "generated_token": " C"
     }
 }
 {
@@ -2839,10 +2839,10 @@
         ]
     },
     "predict": {
-        "A": 0.0016785148764029145,
-        "B": 0.002155255526304245,
-        "C": 0.9852637052536011,
-        "D": 7.37487935111858e-05
+        "A": 0.001142913824878633,
+        "B": 0.0005071649793535471,
+        "C": 0.9761156439781189,
+        "D": 3.045762423425913e-05
     },
     "sample": {
         "messages": [
@@ -2887,10 +2887,10 @@
         ]
     },
     "predict": {
-        "A": 0.934412956237793,
-        "B": 0.028216825798153877,
-        "C": 0.0006635961472056806,
-        "D": 0.0026245738845318556
+        "A": 0.862457275390625,
+        "B": 0.003524665953591466,
+        "C": 0.0002553259546402842,
+        "D": 0.0006940478342585266
     },
     "sample": {
         "messages": [
@@ -2935,10 +2935,10 @@
         ]
     },
     "predict": {
-        "A": 0.9757316708564758,
-        "B": 0.0024185969959944487,
-        "C": 0.00013644791033584625,
-        "D": 3.9092974475352094e-05
+        "A": 0.9318557977676392,
+        "B": 0.0003126027877442539,
+        "C": 2.73149289569119e-05,
+        "D": 8.330582204507664e-06
     },
     "sample": {
         "messages": [
@@ -2983,10 +2983,10 @@
         ]
     },
     "predict": {
-        "A": 0.9602599143981934,
-        "B": 0.0006018204730935395,
-        "C": 0.0002508760953787714,
-        "D": 5.5978031014092267e-05
+        "A": 0.8516117334365845,
+        "B": 4.964441905030981e-05,
+        "C": 6.374470103764907e-05,
+        "D": 1.040603547153296e-05
     },
     "sample": {
         "messages": [
@@ -3031,10 +3031,10 @@
         ]
     },
     "predict": {
-        "A": 0.0005483828717842698,
-        "B": 0.00042708098771981895,
-        "C": 0.9914994835853577,
-        "D": 0.00022859997989144176
+        "A": 0.0002588847419247031,
+        "B": 4.7888868721202016e-05,
+        "C": 0.990913987159729,
+        "D": 3.29135000356473e-05
     },
     "sample": {
         "messages": [
@@ -3079,10 +3079,10 @@
         ]
     },
     "predict": {
-        "A": 0.0011572608491405845,
-        "B": 0.00025821977760642767,
-        "C": 0.000546651310287416,
-        "D": 0.9883687496185303
+        "A": 0.0004712917434517294,
+        "B": 7.227493188111112e-05,
+        "C": 0.00026853394228965044,
+        "D": 0.965573251247406
     },
     "sample": {
         "messages": [
@@ -3127,10 +3127,10 @@
         ]
     },
     "predict": {
-        "A": 0.9641531705856323,
-        "B": 0.0044649154879152775,
-        "C": 0.0004153017944190651,
-        "D": 0.0005332580185495317
+        "A": 0.8506309986114502,
+        "B": 0.0005674959975294769,
+        "C": 0.00023656753182876855,
+        "D": 0.0001347921061096713
     },
     "sample": {
         "messages": [
@@ -3175,10 +3175,10 @@
         ]
     },
     "predict": {
-        "A": 0.9255848526954651,
-        "B": 0.001576844835653901,
-        "C": 0.011651393957436085,
-        "D": 0.0003104991337750107
+        "A": 0.8284039497375488,
+        "B": 0.00045817726640962064,
+        "C": 0.007167098578065634,
+        "D": 0.00010882664355449378
     },
     "sample": {
         "messages": [
@@ -3223,10 +3223,10 @@
         ]
     },
     "predict": {
-        "A": 0.0014470161404460669,
-        "B": 0.00034369644708931446,
-        "C": 0.010692084208130836,
-        "D": 0.9624707102775574
+        "A": 0.0004875806043855846,
+        "B": 7.024264778010547e-05,
+        "C": 0.0001487036788603291,
+        "D": 0.9384225606918335
     },
     "sample": {
         "messages": [
@@ -3271,10 +3271,10 @@
         ]
     },
     "predict": {
-        "A": 0.9591203927993774,
-        "B": 0.0008746046223677695,
-        "C": 0.0006811427301727235,
-        "D": 0.000151983491377905
+        "A": 0.8664288520812988,
+        "B": 0.00013729545753449202,
+        "C": 0.00018766064022202045,
+        "D": 3.471372474450618e-05
     },
     "sample": {
         "messages": [
@@ -3319,10 +3319,10 @@
         ]
     },
     "predict": {
-        "A": 0.9620494246482849,
-        "B": 0.0034696918446570635,
-        "C": 4.949249705532566e-05,
-        "D": 0.0002513436193112284
+        "A": 0.913275420665741,
+        "B": 0.00106933549977839,
+        "C": 2.6770290787681006e-05,
+        "D": 5.323908044374548e-05
     },
     "sample": {
         "messages": [
@@ -3367,10 +3367,10 @@
         ]
     },
     "predict": {
-        "A": 0.0011606268817558885,
-        "B": 0.0009038971620611846,
-        "C": 0.9912436008453369,
-        "D": 0.0007976864580996335
+        "A": 0.0003124263312201947,
+        "B": 0.0001672297512413934,
+        "C": 0.9913952946662903,
+        "D": 0.00018949611694552004
     },
     "sample": {
         "messages": [
@@ -3415,10 +3415,10 @@
         ]
     },
     "predict": {
-        "A": 0.20963551104068756,
-        "B": 0.11220978200435638,
-        "C": 0.569848358631134,
-        "D": 0.06006157025694847
+        "A": 0.14045383036136627,
+        "B": 0.0355122908949852,
+        "C": 0.7132834792137146,
+        "D": 0.07517952471971512
     },
     "sample": {
         "messages": [
@@ -3463,10 +3463,10 @@
         ]
     },
     "predict": {
-        "A": 0.00020123437570873648,
-        "B": 0.9890204071998596,
-        "C": 4.490145875024609e-05,
-        "D": 0.0006198454648256302
+        "A": 0.00028015353018417954,
+        "B": 0.9463216066360474,
+        "C": 0.00014087003364693373,
+        "D": 0.0005930849583819509
     },
     "sample": {
         "messages": [
@@ -3511,10 +3511,10 @@
         ]
     },
     "predict": {
-        "A": 0.046383075416088104,
-        "B": 0.019335340708494186,
-        "C": 0.8221595883369446,
-        "D": 0.0981929674744606
+        "A": 0.022060750052332878,
+        "B": 0.00434401910752058,
+        "C": 0.7305517196655273,
+        "D": 0.20930656790733337
     },
     "sample": {
         "messages": [
@@ -3559,10 +3559,10 @@
         ]
     },
     "predict": {
-        "A": 0.9512759447097778,
-        "B": 0.0006755717913620174,
-        "C": 0.0001935545587912202,
-        "D": 5.545431122300215e-05
+        "A": 0.8805655241012573,
+        "B": 9.590131230652332e-05,
+        "C": 5.133227023179643e-05,
+        "D": 1.297883045481285e-05
     },
     "sample": {
         "messages": [
@@ -3607,10 +3607,10 @@
         ]
     },
     "predict": {
-        "A": 0.06585405766963959,
-        "B": 0.010099046863615513,
-        "C": 0.9090871214866638,
-        "D": 0.0004437211318872869
+        "A": 0.02225474826991558,
+        "B": 0.0020700141321867704,
+        "C": 0.946295976638794,
+        "D": 0.00010305993055226281
     },
     "sample": {
         "messages": [
@@ -3655,10 +3655,10 @@
         ]
     },
     "predict": {
-        "A": 0.9536270499229431,
-        "B": 0.0014337202301248908,
-        "C": 0.0002823162649292499,
-        "D": 0.0016246180748566985
+        "A": 0.9033163785934448,
+        "B": 0.00019565015099942684,
+        "C": 0.0002846693096216768,
+        "D": 0.0006026449264027178
     },
     "sample": {
         "messages": [
@@ -3703,10 +3703,10 @@
         ]
     },
     "predict": {
-        "A": 0.0006195997702889144,
-        "B": 0.9886283874511719,
-        "C": 0.00012200643686810508,
-        "D": 0.0002582876186352223
+        "A": 0.00046633565216325223,
+        "B": 0.8975334763526917,
+        "C": 4.9151414714287966e-05,
+        "D": 0.00023448828142136335
     },
     "sample": {
         "messages": [
@@ -3751,10 +3751,10 @@
         ]
     },
     "predict": {
-        "A": 0.0054350425489246845,
-        "B": 0.058432213962078094,
-        "C": 0.9140336513519287,
-        "D": 0.0025673327036201954
+        "A": 0.004041610285639763,
+        "B": 0.04081881791353226,
+        "C": 0.9290319681167603,
+        "D": 0.001232621492817998
     },
     "sample": {
         "messages": [
@@ -3799,10 +3799,10 @@
         ]
     },
     "predict": {
-        "A": 0.9477488994598389,
-        "B": 0.00266203167848289,
-        "C": 0.0005241850740276277,
-        "D": 0.0006730669992975891
+        "A": 0.8338299989700317,
+        "B": 0.000630356022156775,
+        "C": 0.0004069884598720819,
+        "D": 0.0003169629198964685
     },
     "sample": {
         "messages": [
@@ -3847,10 +3847,10 @@
         ]
     },
     "predict": {
-        "A": 0.010807669721543789,
-        "B": 0.0012907920172438025,
-        "C": 0.0006097269360907376,
-        "D": 0.9728753566741943
+        "A": 0.022072235122323036,
+        "B": 0.000458094640634954,
+        "C": 0.00040426707710139453,
+        "D": 0.9385353326797485
     },
     "sample": {
         "messages": [
@@ -3895,10 +3895,10 @@
         ]
     },
     "predict": {
-        "A": 0.006523268762975931,
-        "B": 0.010755052790045738,
-        "C": 0.0011335740564391017,
-        "D": 0.9681389331817627
+        "A": 0.0034444406628608704,
+        "B": 0.0025200066156685352,
+        "C": 0.0006782505661249161,
+        "D": 0.9550479054450989
     },
     "sample": {
         "messages": [
@@ -3943,10 +3943,10 @@
         ]
     },
     "predict": {
-        "A": 0.0004279864951968193,
-        "B": 0.0004279864951968193,
-        "C": 0.9936016201972961,
-        "D": 4.2376399505883455e-05
+        "A": 0.00016578385839238763,
+        "B": 5.382213566917926e-05,
+        "C": 0.9828234910964966,
+        "D": 1.4486030522675719e-05
     },
     "sample": {
         "messages": [
@@ -3991,10 +3991,10 @@
         ]
     },
     "predict": {
-        "A": 0.9749540686607361,
-        "B": 0.0007845777436159551,
-        "C": 5.683461859007366e-05,
-        "D": 0.000692387402523309
+        "A": 0.9040003418922424,
+        "B": 0.0001839354808907956,
+        "C": 2.6498417355469428e-05,
+        "D": 0.00023617781698703766
     },
     "sample": {
         "messages": [
@@ -4039,10 +4039,10 @@
         ]
     },
     "predict": {
-        "A": 0.0009315163479186594,
-        "B": 0.02256857603788376,
-        "C": 0.9596402645111084,
-        "D": 0.00046839588321745396
+        "A": 0.0003953882842324674,
+        "B": 0.001886292127892375,
+        "C": 0.977123498916626,
+        "D": 8.287788659799844e-05
     },
     "sample": {
         "messages": [
@@ -4087,10 +4087,10 @@
         ]
     },
     "predict": {
-        "A": 0.0006124175270088017,
-        "B": 0.0002552935911808163,
-        "C": 0.0001988228759728372,
-        "D": 0.9771684408187866
+        "A": 0.00046344229485839605,
+        "B": 7.565486885141581e-05,
+        "C": 0.00011007719149347395,
+        "D": 0.8919647336006165
     },
     "sample": {
         "messages": [
@@ -4135,10 +4135,10 @@
         ]
     },
     "predict": {
-        "A": 0.0005479357205331326,
-        "B": 0.0005479357205331326,
-        "C": 0.990691065788269,
-        "D": 4.497730333241634e-05
+        "A": 0.00033002824056893587,
+        "B": 8.344421075889841e-05,
+        "C": 0.9838003516197205,
+        "D": 1.3621893231174909e-05
     },
     "sample": {
         "messages": [
@@ -4183,10 +4183,10 @@
         ]
     },
     "predict": {
-        "A": 0.028838220983743668,
-        "B": 0.00567858200520277,
-        "C": 0.9549907445907593,
-        "D": 0.00010400686733191833
+        "A": 0.01547334622591734,
+        "B": 0.001439245417714119,
+        "C": 0.9573020339012146,
+        "D": 5.940474875387736e-05
     },
     "sample": {
         "messages": [
@@ -4231,10 +4231,10 @@
         ]
     },
     "predict": {
-        "A": 0.0013048736145719886,
-        "B": 0.0040192934684455395,
-        "C": 0.9834887385368347,
-        "D": 0.00029115666984580457
+        "A": 0.0004255225940141827,
+        "B": 0.0004255225940141827,
+        "C": 0.9878815412521362,
+        "D": 6.525600474560633e-05
     },
     "sample": {
         "messages": [
@@ -4279,10 +4279,10 @@
         ]
     },
     "predict": {
-        "A": 0.06617826968431473,
-        "B": 0.08497458696365356,
-        "C": 0.7114834785461426,
-        "D": 0.12363728135824203
+        "A": 0.05640007555484772,
+        "B": 0.011105834506452084,
+        "C": 0.882245659828186,
+        "D": 0.034208375960588455
     },
     "sample": {
         "messages": [
@@ -4327,10 +4327,10 @@
         ]
     },
     "predict": {
-        "A": 0.0027580747846513987,
-        "B": 0.004547296557575464,
-        "C": 0.9819425940513611,
-        "D": 0.00025654089404270053
+        "A": 0.0013033975847065449,
+        "B": 0.0010805545607581735,
+        "C": 0.982376217842102,
+        "D": 5.379764115787111e-05
     },
     "sample": {
         "messages": [
@@ -4375,10 +4375,10 @@
         ]
     },
     "predict": {
-        "A": 0.032655343413352966,
-        "B": 0.9543290734291077,
-        "C": 0.00032014172757044435,
-        "D": 0.00022002997866366059
+        "A": 0.0012170878471806645,
+        "B": 0.8617463707923889,
+        "C": 0.00023965880973264575,
+        "D": 0.00032757475855760276
     },
     "sample": {
         "messages": [
@@ -4423,10 +4423,10 @@
         ]
     },
     "predict": {
-        "A": 0.9640735983848572,
-        "B": 0.0016424150671809912,
-        "C": 0.00017310924886260182,
-        "D": 0.000533214071765542
+        "A": 0.8509471416473389,
+        "B": 0.0006043208413757384,
+        "C": 0.00012667253031395376,
+        "D": 0.00017314082651864737
     },
     "sample": {
         "messages": [
@@ -4471,10 +4471,10 @@
         ]
     },
     "predict": {
-        "A": 0.0009053238318301737,
-        "B": 0.0005491066258400679,
-        "C": 0.9928081035614014,
-        "D": 5.787541522295214e-05
+        "A": 0.0005093108047731221,
+        "B": 0.00013707915786653757,
+        "C": 0.9802456498146057,
+        "D": 2.8733349608955905e-05
     },
     "sample": {
         "messages": [
@@ -4519,10 +4519,10 @@
         ]
     },
     "predict": {
-        "A": 0.0011523454450070858,
-        "B": 0.0010169412707909942,
-        "C": 0.11754243075847626,
-        "D": 0.8685275912284851
+        "A": 0.0011250952957198024,
+        "B": 0.0008762250654399395,
+        "C": 0.11476283520460129,
+        "D": 0.8479890823364258
     },
     "sample": {
         "messages": [
@@ -4567,10 +4567,10 @@
         ]
     },
     "predict": {
-        "A": 0.9004296660423279,
-        "B": 0.03081100806593895,
-        "C": 0.00882750190794468,
-        "D": 0.011334736831486225
+        "A": 0.8803030252456665,
+        "B": 0.004619406070560217,
+        "C": 0.002982512814924121,
+        "D": 0.004619406070560217
     },
     "sample": {
         "messages": [
@@ -4615,10 +4615,10 @@
         ]
     },
     "predict": {
-        "A": 0.0018768664449453354,
-        "B": 0.003973326180130243,
-        "C": 0.0012899501016363502,
-        "D": 0.9722408652305603
+        "A": 0.0012638963526114821,
+        "B": 0.0016228752210736275,
+        "C": 0.0012638963526114821,
+        "D": 0.9526039958000183
     },
     "sample": {
         "messages": [
@@ -4663,10 +4663,10 @@
         ]
     },
     "predict": {
-        "A": 0.0003932033432647586,
-        "B": 0.9717237949371338,
-        "C": 0.001655448111705482,
-        "D": 0.005099138710647821
+        "A": 0.0002721854252740741,
+        "B": 0.9194064140319824,
+        "C": 0.0009500204469077289,
+        "D": 0.006194911431521177
     },
     "sample": {
         "messages": [
@@ -4711,10 +4711,10 @@
         ]
     },
     "predict": {
-        "A": 0.005782830063253641,
-        "B": 0.9725225567817688,
-        "C": 0.00047468364937230945,
-        "D": 0.0003696839848998934
+        "A": 0.01438629999756813,
+        "B": 0.8900488615036011,
+        "C": 0.0007162516703829169,
+        "D": 0.0004081079096067697
     },
     "sample": {
         "messages": [
@@ -4759,10 +4759,10 @@
         ]
     },
     "predict": {
-        "A": 8.387576963286847e-05,
-        "B": 0.0035664886236190796,
-        "C": 0.9888884425163269,
-        "D": 0.00037590513238683343
+        "A": 1.3694114386453293e-05,
+        "B": 0.0003317780210636556,
+        "C": 0.9890163540840149,
+        "D": 0.0001220543053932488
     },
     "sample": {
         "messages": [
@@ -4807,10 +4807,10 @@
         ]
     },
     "predict": {
-        "A": 0.000883266213349998,
-        "B": 0.9686190485954285,
-        "C": 6.010701690684073e-05,
-        "D": 6.010701690684073e-05
+        "A": 0.0006961707258597016,
+        "B": 0.8650952577590942,
+        "C": 5.0430437113391235e-05,
+        "D": 7.33758497517556e-05
     },
     "sample": {
         "messages": [
@@ -4855,10 +4855,10 @@
         ]
     },
     "predict": {
-        "A": 0.002416313858702779,
-        "B": 0.9748104810714722,
-        "C": 0.0027380422689020634,
-        "D": 0.0035157157108187675
+        "A": 0.0009528240188956261,
+        "B": 0.9221196174621582,
+        "C": 0.002017128514125943,
+        "D": 0.0015709414146840572
     },
     "sample": {
         "messages": [
@@ -4903,10 +4903,10 @@
         ]
     },
     "predict": {
-        "A": 0.00025676790392026305,
-        "B": 0.9828115105628967,
-        "C": 2.8808563001803122e-05,
-        "D": 6.910815136507154e-05
+        "A": 0.0002208972437074408,
+        "B": 0.900042712688446,
+        "C": 2.8083930374123156e-05,
+        "D": 4.928883208776824e-05
     },
     "sample": {
         "messages": [
@@ -4951,10 +4951,10 @@
         ]
     },
     "predict": {
-        "A": 0.002145660575479269,
-        "B": 0.005832509603351355,
-        "C": 0.0002261509362142533,
-        "D": 0.9808773398399353
+        "A": 0.0003653603489510715,
+        "B": 0.0005315961316227913,
+        "C": 0.00010467749234521762,
+        "D": 0.9611483812332153
     },
     "sample": {
         "messages": [
@@ -4999,10 +4999,10 @@
         ]
     },
     "predict": {
-        "A": 0.003138886531814933,
-        "B": 0.003138886531814933,
-        "C": 0.9862087965011597,
-        "D": 0.0001379130408167839
+        "A": 0.0014809591230005026,
+        "B": 0.00039859474054537714,
+        "C": 0.9850475788116455,
+        "D": 3.2718646252760664e-05
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_ruWorldTree_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/darumeru_ruWorldTree_total.jsonl

@@ -2,7 +2,7 @@
     "task_name": "darumeru/ruWorldTree",
     "results": {
         "acc": 0.9047619047619048,
-        "f1_macro": 0.9048601269315972
+        "f1_macro": 0.9038817229146561
     },
-    "leaderboard_result": 0.904811015846751
+    "leaderboard_result": 0.9043218138382805
 }

llmtf_eval/evaluation_log.txt

@@ -1,251 +1,251 @@
-INFO: 2024-10-26 10:00:21,600: llmtf.base.evaluator: Starting eval on ['darumeru/multiq']
-INFO: 2024-10-26 10:00:21,601: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:21,601: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:23,554: llmtf.base.evaluator: Starting eval on ['darumeru/parus']
-INFO: 2024-10-26 10:00:23,554: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:23,554: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:25,061: llmtf.base.evaluator: Starting eval on ['darumeru/rcb']
-INFO: 2024-10-26 10:00:25,062: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:25,062: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:25,825: llmtf.base.darumeru/MultiQ: Loading Dataset: 4.22s
-INFO: 2024-10-26 10:00:25,839: llmtf.base.darumeru/PARus: Loading Dataset: 2.28s
-INFO: 2024-10-26 10:00:27,118: llmtf.base.evaluator: Starting eval on ['darumeru/ruopenbookqa']
-INFO: 2024-10-26 10:00:27,118: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:27,118: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:27,739: llmtf.base.darumeru/RCB: Loading Dataset: 2.68s
-INFO: 2024-10-26 10:00:29,086: llmtf.base.darumeru/PARus: Processing Dataset: 3.25s
-INFO: 2024-10-26 10:00:29,088: llmtf.base.darumeru/PARus: Results for darumeru/PARus:
-INFO: 2024-10-26 10:00:29,102: llmtf.base.darumeru/PARus: {'acc': 0.8}
-INFO: 2024-10-26 10:00:29,102: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:00:29,105: llmtf.base.evaluator: 
+INFO: 2024-10-28 13:15:15,094: llmtf.base.evaluator: Starting eval on ['darumeru/multiq']
+INFO: 2024-10-28 13:15:15,094: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:15:15,094: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:15:16,695: llmtf.base.evaluator: Starting eval on ['darumeru/parus']
+INFO: 2024-10-28 13:15:16,695: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:15:16,695: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:15:18,943: llmtf.base.darumeru/PARus: Loading Dataset: 2.25s
+INFO: 2024-10-28 13:15:19,297: llmtf.base.darumeru/MultiQ: Loading Dataset: 4.20s
+INFO: 2024-10-28 13:15:22,318: llmtf.base.darumeru/PARus: Processing Dataset: 3.37s
+INFO: 2024-10-28 13:15:22,318: llmtf.base.darumeru/PARus: Results for darumeru/PARus:
+INFO: 2024-10-28 13:15:22,329: llmtf.base.darumeru/PARus: {'acc': 0.78}
+INFO: 2024-10-28 13:15:22,330: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:15:22,330: llmtf.base.evaluator: 
 mean	darumeru/PARus
-0.800	0.800
-INFO: 2024-10-26 10:00:30,121: llmtf.base.evaluator: Starting eval on ['darumeru/ruworldtree']
-INFO: 2024-10-26 10:00:30,122: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:30,122: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:30,879: llmtf.base.darumeru/ruOpenBookQA: Loading Dataset: 3.76s
-INFO: 2024-10-26 10:00:31,330: llmtf.base.evaluator: Starting eval on ['darumeru/rwsd']
-INFO: 2024-10-26 10:00:31,330: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:31,330: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:32,861: llmtf.base.darumeru/RCB: Processing Dataset: 5.12s
-INFO: 2024-10-26 10:00:32,862: llmtf.base.darumeru/RCB: Results for darumeru/RCB:
-INFO: 2024-10-26 10:00:32,870: llmtf.base.darumeru/RCB: {'acc': 0.5863636363636363, 'f1_macro': 0.520344156087331}
-INFO: 2024-10-26 10:00:32,871: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:00:32,874: llmtf.base.evaluator: 
-mean	darumeru/PARus	darumeru/RCB
-0.677	0.800	0.553
-INFO: 2024-10-26 10:00:33,148: llmtf.base.darumeru/ruWorldTree: Loading Dataset: 3.03s
-INFO: 2024-10-26 10:00:33,497: llmtf.base.evaluator: Starting eval on ['daru/treewayextractive']
-INFO: 2024-10-26 10:00:33,498: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:33,498: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:34,009: llmtf.base.darumeru/RWSD: Loading Dataset: 2.68s
-INFO: 2024-10-26 10:00:35,785: llmtf.base.darumeru/ruWorldTree: Processing Dataset: 2.64s
-INFO: 2024-10-26 10:00:35,787: llmtf.base.darumeru/ruWorldTree: Results for darumeru/ruWorldTree:
-INFO: 2024-10-26 10:00:35,795: llmtf.base.darumeru/ruWorldTree: {'acc': 0.9047619047619048, 'f1_macro': 0.9048601269315972}
-INFO: 2024-10-26 10:00:35,795: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:00:35,799: llmtf.base.evaluator: 
-mean	darumeru/PARus	darumeru/RCB	darumeru/ruWorldTree
-0.753	0.800	0.553	0.905
-INFO: 2024-10-26 10:00:36,096: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/rummlu']
-INFO: 2024-10-26 10:00:36,096: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:36,096: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:39,654: llmtf.base.darumeru/RWSD: Processing Dataset: 5.64s
-INFO: 2024-10-26 10:00:39,655: llmtf.base.darumeru/RWSD: Results for darumeru/RWSD:
-INFO: 2024-10-26 10:00:39,660: llmtf.base.darumeru/RWSD: {'acc': 0.5343137254901961}
-INFO: 2024-10-26 10:00:39,660: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:00:39,664: llmtf.base.evaluator: 
-mean	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/ruWorldTree
-0.698	0.800	0.553	0.534	0.905
-INFO: 2024-10-26 10:00:40,963: llmtf.base.evaluator: Starting eval on ['daru/treewayabstractive']
-INFO: 2024-10-26 10:00:40,963: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:40,963: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:43,550: llmtf.base.evaluator: Starting eval on ['darumeru/cp_para_ru']
-INFO: 2024-10-26 10:00:43,550: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:00:43,550: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:00:44,771: llmtf.base.daru/treewayabstractive: Loading Dataset: 3.81s
-INFO: 2024-10-26 10:00:46,698: llmtf.base.darumeru/cp_para_ru: Loading Dataset: 3.15s
-INFO: 2024-10-26 10:00:46,725: llmtf.base.daru/treewayextractive: Loading Dataset: 13.23s
-INFO: 2024-10-26 10:01:01,719: llmtf.base.darumeru/ruOpenBookQA: Processing Dataset: 30.84s
-INFO: 2024-10-26 10:01:01,720: llmtf.base.darumeru/ruOpenBookQA: Results for darumeru/ruOpenBookQA:
-INFO: 2024-10-26 10:01:01,734: llmtf.base.darumeru/ruOpenBookQA: {'acc': 0.8191580756013745, 'f1_macro': 0.8196610608491144}
-INFO: 2024-10-26 10:01:01,743: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:01:01,747: llmtf.base.evaluator: 
-mean	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/ruOpenBookQA	darumeru/ruWorldTree
-0.722	0.800	0.553	0.534	0.819	0.905
-INFO: 2024-10-26 10:02:41,817: llmtf.base.darumeru/cp_para_ru: Processing Dataset: 115.10s
-INFO: 2024-10-26 10:02:41,820: llmtf.base.darumeru/cp_para_ru: Results for darumeru/cp_para_ru:
-INFO: 2024-10-26 10:02:41,823: llmtf.base.darumeru/cp_para_ru: {'symbol_per_token': 3.9920472926206347, 'len': 0.9992233172309354, 'lcs': 1.0}
-INFO: 2024-10-26 10:02:41,824: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:02:41,830: llmtf.base.nlpcoreteam/ruMMLU: Loading Dataset: 125.73s
-INFO: 2024-10-26 10:02:41,835: llmtf.base.evaluator: 
-mean	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/cp_para_ru	darumeru/ruOpenBookQA	darumeru/ruWorldTree
-0.769	0.800	0.553	0.534	1.000	0.819	0.905
-INFO: 2024-10-26 10:03:13,156: llmtf.base.daru/treewayabstractive: Processing Dataset: 148.37s
-INFO: 2024-10-26 10:03:13,158: llmtf.base.daru/treewayabstractive: Results for daru/treewayabstractive:
-INFO: 2024-10-26 10:03:13,162: llmtf.base.daru/treewayabstractive: {'rouge1': 0.3486928379990829, 'rouge2': 0.12579847916639003}
-INFO: 2024-10-26 10:03:13,164: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:03:13,169: llmtf.base.evaluator: 
-mean	daru/treewayabstractive	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/cp_para_ru	darumeru/ruOpenBookQA	darumeru/ruWorldTree
-0.693	0.237	0.800	0.553	0.534	1.000	0.819	0.905
-INFO: 2024-10-26 10:04:19,979: llmtf.base.darumeru/MultiQ: Processing Dataset: 234.15s
-INFO: 2024-10-26 10:04:19,982: llmtf.base.darumeru/MultiQ: Results for darumeru/MultiQ:
-INFO: 2024-10-26 10:04:19,986: llmtf.base.darumeru/MultiQ: {'f1': 0.28476692977698215, 'em': 0.17304015296367112}
-INFO: 2024-10-26 10:04:19,991: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:04:19,997: llmtf.base.evaluator: 
-mean	daru/treewayabstractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/cp_para_ru	darumeru/ruOpenBookQA	darumeru/ruWorldTree
-0.635	0.237	0.229	0.800	0.553	0.534	1.000	0.819	0.905
-INFO: 2024-10-26 10:04:32,092: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/enmmlu']
-INFO: 2024-10-26 10:04:32,092: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
-INFO: 2024-10-26 10:04:32,092: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
-INFO: 2024-10-26 10:05:58,778: llmtf.base.daru/treewayextractive: Processing Dataset: 312.04s
-INFO: 2024-10-26 10:05:58,782: llmtf.base.daru/treewayextractive: Results for daru/treewayextractive:
-INFO: 2024-10-26 10:05:59,016: llmtf.base.daru/treewayextractive: {'r-prec': 0.3931765512265512}
-INFO: 2024-10-26 10:05:59,058: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:05:59,066: llmtf.base.evaluator: 
-mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/cp_para_ru	darumeru/ruOpenBookQA	darumeru/ruWorldTree
-0.608	0.237	0.393	0.229	0.800	0.553	0.534	1.000	0.819	0.905
-INFO: 2024-10-26 10:06:34,248: llmtf.base.nlpcoreteam/enMMLU: Loading Dataset: 122.16s
-INFO: 2024-10-26 10:07:49,582: llmtf.base.nlpcoreteam/ruMMLU: Processing Dataset: 307.75s
-INFO: 2024-10-26 10:07:49,584: llmtf.base.nlpcoreteam/ruMMLU: Results for nlpcoreteam/ruMMLU:
-INFO: 2024-10-26 10:07:49,630: llmtf.base.nlpcoreteam/ruMMLU:                                        metric
+0.780	0.780
+INFO: 2024-10-28 13:15:30,304: llmtf.base.evaluator: Starting eval on ['darumeru/ruopenbookqa']
+INFO: 2024-10-28 13:15:30,304: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:15:30,304: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:15:33,637: llmtf.base.darumeru/ruOpenBookQA: Loading Dataset: 3.33s
+INFO: 2024-10-28 13:16:05,173: llmtf.base.darumeru/ruOpenBookQA: Processing Dataset: 31.54s
+INFO: 2024-10-28 13:16:05,173: llmtf.base.darumeru/ruOpenBookQA: Results for darumeru/ruOpenBookQA:
+INFO: 2024-10-28 13:16:05,184: llmtf.base.darumeru/ruOpenBookQA: {'acc': 0.8256013745704467, 'f1_macro': 0.8262484506706507}
+INFO: 2024-10-28 13:16:05,191: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:16:05,192: llmtf.base.evaluator: 
+mean	darumeru/PARus	darumeru/ruOpenBookQA
+0.803	0.780	0.826
+INFO: 2024-10-28 13:16:13,923: llmtf.base.evaluator: Starting eval on ['darumeru/rwsd']
+INFO: 2024-10-28 13:16:13,923: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:16:13,923: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:16:16,429: llmtf.base.darumeru/RWSD: Loading Dataset: 2.51s
+INFO: 2024-10-28 13:16:22,246: llmtf.base.darumeru/RWSD: Processing Dataset: 5.82s
+INFO: 2024-10-28 13:16:22,246: llmtf.base.darumeru/RWSD: Results for darumeru/RWSD:
+INFO: 2024-10-28 13:16:22,247: llmtf.base.darumeru/RWSD: {'acc': 0.5441176470588235}
+INFO: 2024-10-28 13:16:22,248: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:16:22,249: llmtf.base.evaluator: 
+mean	darumeru/PARus	darumeru/RWSD	darumeru/ruOpenBookQA
+0.717	0.780	0.544	0.826
+INFO: 2024-10-28 13:16:31,348: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/rummlu']
+INFO: 2024-10-28 13:16:31,348: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:16:31,348: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:18:38,554: llmtf.base.nlpcoreteam/ruMMLU: Loading Dataset: 127.21s
+INFO: 2024-10-28 13:20:06,478: llmtf.base.darumeru/MultiQ: Processing Dataset: 287.18s
+INFO: 2024-10-28 13:20:06,479: llmtf.base.darumeru/MultiQ: Results for darumeru/MultiQ:
+INFO: 2024-10-28 13:20:06,480: llmtf.base.darumeru/MultiQ: {'f1': 0.2503859074384594, 'em': 0.14531548757170173}
+INFO: 2024-10-28 13:20:06,488: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:20:06,489: llmtf.base.evaluator: 
+mean	darumeru/MultiQ	darumeru/PARus	darumeru/RWSD	darumeru/ruOpenBookQA
+0.587	0.198	0.780	0.544	0.826
+INFO: 2024-10-28 13:20:15,334: llmtf.base.evaluator: Starting eval on ['darumeru/rcb']
+INFO: 2024-10-28 13:20:15,335: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:20:15,335: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:20:18,179: llmtf.base.darumeru/RCB: Loading Dataset: 2.84s
+INFO: 2024-10-28 13:20:23,505: llmtf.base.darumeru/RCB: Processing Dataset: 5.33s
+INFO: 2024-10-28 13:20:23,506: llmtf.base.darumeru/RCB: Results for darumeru/RCB:
+INFO: 2024-10-28 13:20:23,510: llmtf.base.darumeru/RCB: {'acc': 0.5863636363636363, 'f1_macro': 0.5032640286161413}
+INFO: 2024-10-28 13:20:23,511: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:20:23,512: llmtf.base.evaluator: 
+mean	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/ruOpenBookQA
+0.579	0.198	0.780	0.545	0.544	0.826
+INFO: 2024-10-28 13:20:32,046: llmtf.base.evaluator: Starting eval on ['darumeru/ruworldtree']
+INFO: 2024-10-28 13:20:32,046: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:20:32,046: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:20:34,403: llmtf.base.darumeru/ruWorldTree: Loading Dataset: 2.36s
+INFO: 2024-10-28 13:20:36,969: llmtf.base.darumeru/ruWorldTree: Processing Dataset: 2.57s
+INFO: 2024-10-28 13:20:36,969: llmtf.base.darumeru/ruWorldTree: Results for darumeru/ruWorldTree:
+INFO: 2024-10-28 13:20:36,972: llmtf.base.darumeru/ruWorldTree: {'acc': 0.9047619047619048, 'f1_macro': 0.9038817229146561}
+INFO: 2024-10-28 13:20:36,972: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:20:36,972: llmtf.base.evaluator: 
+mean	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/ruOpenBookQA	darumeru/ruWorldTree
+0.633	0.198	0.780	0.545	0.544	0.826	0.904
+INFO: 2024-10-28 13:20:45,488: llmtf.base.evaluator: Starting eval on ['daru/treewayextractive']
+INFO: 2024-10-28 13:20:45,488: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:20:45,488: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:20:59,443: llmtf.base.daru/treewayextractive: Loading Dataset: 13.95s
+INFO: 2024-10-28 13:23:49,533: llmtf.base.nlpcoreteam/ruMMLU: Processing Dataset: 310.98s
+INFO: 2024-10-28 13:23:49,533: llmtf.base.nlpcoreteam/ruMMLU: Results for nlpcoreteam/ruMMLU:
+INFO: 2024-10-28 13:23:49,597: llmtf.base.nlpcoreteam/ruMMLU:                                        metric
 subject                                      
-abstract_algebra                     0.430000
-anatomy                              0.577778
-astronomy                            0.743421
-business_ethics                      0.670000
-clinical_knowledge                   0.701887
-college_biology                      0.687500
+abstract_algebra                     0.480000
+anatomy                              0.562963
+astronomy                            0.769737
+business_ethics                      0.640000
+clinical_knowledge                   0.671698
+college_biology                      0.673611
 college_chemistry                    0.470000
-college_computer_science             0.640000
-college_mathematics                  0.470000
+college_computer_science             0.670000
+college_mathematics                  0.440000
 college_medicine                     0.589595
-college_physics                      0.490196
-computer_security                    0.710000
-conceptual_physics                   0.668085
-econometrics                         0.464912
-electrical_engineering               0.579310
-elementary_mathematics               0.624339
-formal_logic                         0.420635
-global_facts                         0.400000
-high_school_biology                  0.806452
-high_school_chemistry                0.536946
-high_school_computer_science         0.790000
-high_school_european_history         0.763636
-high_school_geography                0.777778
-high_school_government_and_politics  0.715026
-high_school_macroeconomics           0.653846
-high_school_mathematics              0.462963
-high_school_microeconomics           0.714286
-high_school_physics                  0.490066
+college_physics                      0.480392
+computer_security                    0.720000
+conceptual_physics                   0.655319
+econometrics                         0.482456
+electrical_engineering               0.606897
+elementary_mathematics               0.616402
+formal_logic                         0.428571
+global_facts                         0.370000
+high_school_biology                  0.809677
+high_school_chemistry                0.571429
+high_school_computer_science         0.770000
+high_school_european_history         0.751515
+high_school_geography                0.782828
+high_school_government_and_politics  0.725389
+high_school_macroeconomics           0.658974
+high_school_mathematics              0.525926
+high_school_microeconomics           0.705882
+high_school_physics                  0.463576
 high_school_psychology               0.796330
-high_school_statistics               0.625000
-high_school_us_history               0.754902
-high_school_world_history            0.776371
-human_aging                          0.618834
+high_school_statistics               0.606481
+high_school_us_history               0.779412
+high_school_world_history            0.801688
+human_aging                          0.632287
 human_sexuality                      0.717557
-international_law                    0.702479
-jurisprudence                        0.685185
-logical_fallacies                    0.613497
-machine_learning                     0.446429
-management                           0.737864
-marketing                            0.799145
+international_law                    0.743802
+jurisprudence                        0.675926
+logical_fallacies                    0.662577
+machine_learning                     0.482143
+management                           0.747573
+marketing                            0.816239
 medical_genetics                     0.650000
-miscellaneous                        0.717752
-moral_disputes                       0.604046
-moral_scenarios                      0.242458
-nutrition                            0.705882
-philosophy                           0.639871
-prehistory                           0.626543
-professional_accounting              0.446809
-professional_law                     0.399609
-professional_medicine                0.595588
-professional_psychology              0.601307
-public_relations                     0.600000
-security_studies                     0.673469
-sociology                            0.711443
+miscellaneous                        0.711367
+moral_disputes                       0.627168
+moral_scenarios                      0.244693
+nutrition                            0.689542
+philosophy                           0.646302
+prehistory                           0.660494
+professional_accounting              0.439716
+professional_law                     0.411343
+professional_medicine                0.613971
+professional_psychology              0.591503
+public_relations                     0.545455
+security_studies                     0.665306
+sociology                            0.736318
 us_foreign_policy                    0.800000
 virology                             0.500000
-world_religions                      0.730994
-INFO: 2024-10-26 10:07:49,638: llmtf.base.nlpcoreteam/ruMMLU:                                    metric
+world_religions                      0.760234
+INFO: 2024-10-28 13:23:49,606: llmtf.base.nlpcoreteam/ruMMLU:                                    metric
 subject                                  
-STEM                             0.592817
-humanities                       0.612325
-other (business, health, misc.)  0.622224
-social sciences                  0.685496
-INFO: 2024-10-26 10:07:49,666: llmtf.base.nlpcoreteam/ruMMLU: {'acc': 0.6282155966274303}
-INFO: 2024-10-26 10:07:49,702: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:07:49,714: llmtf.base.evaluator: 
-mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/cp_para_ru	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/ruMMLU
-0.610	0.237	0.393	0.229	0.800	0.553	0.534	1.000	0.819	0.905	0.628
-INFO: 2024-10-26 10:11:09,714: llmtf.base.nlpcoreteam/enMMLU: Processing Dataset: 275.46s
-INFO: 2024-10-26 10:11:09,718: llmtf.base.nlpcoreteam/enMMLU: Results for nlpcoreteam/enMMLU:
-INFO: 2024-10-26 10:11:09,763: llmtf.base.nlpcoreteam/enMMLU:                                        metric
+STEM                             0.600644
+humanities                       0.630286
+other (business, health, misc.)  0.616782
+social sciences                  0.684000
+INFO: 2024-10-28 13:23:49,611: llmtf.base.nlpcoreteam/ruMMLU: {'acc': 0.6329281396317665}
+INFO: 2024-10-28 13:23:49,646: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:23:49,648: llmtf.base.evaluator: 
+mean	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/ruMMLU
+0.633	0.198	0.780	0.545	0.544	0.826	0.904	0.633
+INFO: 2024-10-28 13:23:57,887: llmtf.base.evaluator: Starting eval on ['daru/treewayabstractive']
+INFO: 2024-10-28 13:23:57,887: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:23:57,887: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:24:02,221: llmtf.base.daru/treewayabstractive: Loading Dataset: 4.33s
+INFO: 2024-10-28 13:26:15,188: llmtf.base.daru/treewayextractive: Processing Dataset: 315.74s
+INFO: 2024-10-28 13:26:15,188: llmtf.base.daru/treewayextractive: Results for daru/treewayextractive:
+INFO: 2024-10-28 13:26:15,447: llmtf.base.daru/treewayextractive: {'r-prec': 0.40380281385281386}
+INFO: 2024-10-28 13:26:15,501: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:26:15,503: llmtf.base.evaluator: 
+mean	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/ruMMLU
+0.604	0.404	0.198	0.780	0.545	0.544	0.826	0.904	0.633
+INFO: 2024-10-28 13:26:24,206: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/enmmlu']
+INFO: 2024-10-28 13:26:24,207: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:26:24,207: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:26:48,154: llmtf.base.daru/treewayabstractive: Processing Dataset: 165.93s
+INFO: 2024-10-28 13:26:48,154: llmtf.base.daru/treewayabstractive: Results for daru/treewayabstractive:
+INFO: 2024-10-28 13:26:48,155: llmtf.base.daru/treewayabstractive: {'rouge1': 0.3489002151166006, 'rouge2': 0.12404569962254197}
+INFO: 2024-10-28 13:26:48,156: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:26:48,157: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/ruMMLU
+0.563	0.236	0.404	0.198	0.780	0.545	0.544	0.826	0.904	0.633
+INFO: 2024-10-28 13:28:23,832: llmtf.base.nlpcoreteam/enMMLU: Loading Dataset: 119.62s
+INFO: 2024-10-28 13:33:05,781: llmtf.base.nlpcoreteam/enMMLU: Processing Dataset: 281.95s
+INFO: 2024-10-28 13:33:05,781: llmtf.base.nlpcoreteam/enMMLU: Results for nlpcoreteam/enMMLU:
+INFO: 2024-10-28 13:33:05,844: llmtf.base.nlpcoreteam/enMMLU:                                        metric
 subject                                      
-abstract_algebra                     0.510000
-anatomy                              0.703704
-astronomy                            0.848684
-business_ethics                      0.770000
-clinical_knowledge                   0.777358
-college_biology                      0.847222
-college_chemistry                    0.550000
-college_computer_science             0.710000
+abstract_algebra                     0.450000
+anatomy                              0.725926
+astronomy                            0.861842
+business_ethics                      0.750000
+clinical_knowledge                   0.762264
+college_biology                      0.854167
+college_chemistry                    0.510000
+college_computer_science             0.720000
 college_mathematics                  0.470000
-college_medicine                     0.693642
-college_physics                      0.519608
-computer_security                    0.780000
+college_medicine                     0.699422
+college_physics                      0.509804
+computer_security                    0.770000
 conceptual_physics                   0.706383
-econometrics                         0.596491
-electrical_engineering               0.668966
+econometrics                         0.605263
+electrical_engineering               0.696552
 elementary_mathematics               0.666667
-formal_logic                         0.484127
-global_facts                         0.450000
-high_school_biology                  0.867742
-high_school_chemistry                0.630542
-high_school_computer_science         0.860000
-high_school_european_history         0.800000
-high_school_geography                0.878788
-high_school_government_and_politics  0.943005
+formal_logic                         0.492063
+global_facts                         0.420000
+high_school_biology                  0.861290
+high_school_chemistry                0.620690
+high_school_computer_science         0.840000
+high_school_european_history         0.824242
+high_school_geography                0.873737
+high_school_government_and_politics  0.927461
 high_school_macroeconomics           0.761538
-high_school_mathematics              0.551852
-high_school_microeconomics           0.865546
+high_school_mathematics              0.566667
+high_school_microeconomics           0.873950
 high_school_physics                  0.582781
-high_school_psychology               0.882569
-high_school_statistics               0.717593
-high_school_us_history               0.848039
-high_school_world_history            0.848101
-human_aging                          0.784753
-human_sexuality                      0.748092
-international_law                    0.785124
-jurisprudence                        0.787037
-logical_fallacies                    0.834356
-machine_learning                     0.535714
-management                           0.864078
-marketing                            0.901709
-medical_genetics                     0.790000
-miscellaneous                        0.846743
-moral_disputes                       0.731214
-moral_scenarios                      0.401117
-nutrition                            0.790850
-philosophy                           0.729904
-prehistory                           0.793210
-professional_accounting              0.570922
-professional_law                     0.507171
-professional_medicine                0.764706
-professional_psychology              0.745098
-public_relations                     0.700000
+high_school_psychology               0.888073
+high_school_statistics               0.708333
+high_school_us_history               0.838235
+high_school_world_history            0.860759
+human_aging                          0.762332
+human_sexuality                      0.786260
+international_law                    0.809917
+jurisprudence                        0.796296
+logical_fallacies                    0.828221
+machine_learning                     0.526786
+management                           0.854369
+marketing                            0.914530
+medical_genetics                     0.810000
+miscellaneous                        0.848020
+moral_disputes                       0.736994
+moral_scenarios                      0.459218
+nutrition                            0.797386
+philosophy                           0.723473
+prehistory                           0.805556
+professional_accounting              0.556738
+professional_law                     0.507823
+professional_medicine                0.742647
+professional_psychology              0.750000
+public_relations                     0.636364
 security_studies                     0.759184
 sociology                            0.845771
-us_foreign_policy                    0.880000
-virology                             0.518072
-world_religions                      0.847953
-INFO: 2024-10-26 10:11:09,771: llmtf.base.nlpcoreteam/enMMLU:                                    metric
+us_foreign_policy                    0.850000
+virology                             0.506024
+world_religions                      0.853801
+INFO: 2024-10-28 13:33:05,852: llmtf.base.nlpcoreteam/enMMLU:                                    metric
 subject                                  
-STEM                             0.667986
-humanities                       0.722873
-other (business, health, misc.)  0.730467
-social sciences                  0.800507
-INFO: 2024-10-26 10:11:09,779: llmtf.base.nlpcoreteam/enMMLU: {'acc': 0.7304583527816666}
-INFO: 2024-10-26 10:11:09,811: llmtf.base.evaluator: Ended eval
-INFO: 2024-10-26 10:11:09,819: llmtf.base.evaluator: 
+STEM                             0.662331
+humanities                       0.733585
+other (business, health, misc.)  0.724976
+social sciences                  0.796467
+INFO: 2024-10-28 13:33:05,857: llmtf.base.nlpcoreteam/enMMLU: {'acc': 0.7293395108036221}
+INFO: 2024-10-28 13:33:05,908: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:33:05,910: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU
+0.580	0.236	0.404	0.198	0.780	0.545	0.544	0.826	0.904	0.729	0.633
+INFO: 2024-10-28 13:33:14,562: llmtf.base.evaluator: Starting eval on ['darumeru/cp_para_ru']
+INFO: 2024-10-28 13:33:14,562: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147077]
+INFO: 2024-10-28 13:33:14,562: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['<|im_end|>']
+INFO: 2024-10-28 13:33:17,057: llmtf.base.darumeru/cp_para_ru: Loading Dataset: 2.49s
+INFO: 2024-10-28 13:35:21,669: llmtf.base.darumeru/cp_para_ru: Processing Dataset: 124.61s
+INFO: 2024-10-28 13:35:21,670: llmtf.base.darumeru/cp_para_ru: Results for darumeru/cp_para_ru:
+INFO: 2024-10-28 13:35:21,670: llmtf.base.darumeru/cp_para_ru: {'symbol_per_token': 3.9953318595732386, 'len': 0.9990656928305265, 'lcs': 1.0}
+INFO: 2024-10-28 13:35:21,671: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-28 13:35:21,672: llmtf.base.evaluator: 
 mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/cp_para_ru	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU
-0.621	0.237	0.393	0.229	0.800	0.553	0.534	1.000	0.819	0.905	0.730	0.628
+0.618	0.236	0.404	0.198	0.780	0.545	0.544	1.000	0.826	0.904	0.729	0.633

llmtf_eval/evaluation_results.txt

@@ -1,2 +1,2 @@
 mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/cp_para_ru	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU
-0.621	0.237	0.393	0.229	0.800	0.553	0.534	1.000	0.819	0.905	0.730	0.628
+0.618	0.236	0.404	0.198	0.780	0.545	0.544	1.000	0.826	0.904	0.729	0.633

llmtf_eval/nlpcoreteam_enMMLU.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f679f84c651ffdd921961a9544f1e3c1eb75e2ea8c3e89924a5bbd41658c50e4
-size 37139349
+oid sha256:fc07f15afc2e7d294c21eaa53bf13ecc02de10a3e0ad24fb4069782ffd2b824d
+size 37151487

llmtf_eval/nlpcoreteam_enMMLU_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/nlpcoreteam_enMMLU_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "nlpcoreteam/enMMLU",
     "results": {
-        "acc": 0.7304583527816666
+        "acc": 0.7293395108036221
     },
-    "leaderboard_result": 0.7304583527816666
+    "leaderboard_result": 0.7293395108036221
 }

llmtf_eval/nlpcoreteam_ruMMLU.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e9ed19a34b0064491314326cf6d4c8d1b9abd67664c9ae754aea132d31f6a0f3
-size 43073105
+oid sha256:4cc91b97136bf186fa58110749f74acabe67622fc15f701b0d80e99f6c7c8b98
+size 43079975

llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl

@@ -1,7 +1,7 @@
 {
     "custom_generation_config": null,
     "model_params": {
-        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_7B_ext_u48_full_two_stage_lr5e4_peft_mlp_32_32_lm_head_lora_bs256_as1.5_pv14/simpo2",
+        "model_name_or_path": "/workdir/data/models/qwen/ruadapt_qwen2.5_7B_ext_u48_part1-2_lr5e4_peft_mlp_32_32_bs128_as1.5_pv8_ft0_as1.35_kto1_as0.75_simpo2_as1.0",
         "generation_config": {
             "bos_token_id": 147075,
             "do_sample": true,

llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "nlpcoreteam/ruMMLU",
     "results": {
-        "acc": 0.6282155966274303
+        "acc": 0.6329281396317665
     },
-    "leaderboard_result": 0.6282155966274303
+    "leaderboard_result": 0.6329281396317665
 }

model-00001-of-00004.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:64b23699748148a2e0b6f34a30cc42544a8d3a13645eae60e3a8bb1708f2058f
+oid sha256:ced0d7e87bf96698ea4ce51f917c7af5abe45d8296e2c4a1438757891b0b712c
 size 4977848024

model-00002-of-00004.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f2b6196874fa79e9ceac10bb527f5482c9cf7c6c940e13668ad6ab2c5b47476c
+oid sha256:82a3a4f6c2794d64ad174cf490cd66af92bc84da72a34f8d2eab554313f432db
 size 4991495856

model-00003-of-00004.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6bfe35a5c03981c86d876f992ca768f583b83997c2eb1dc1ed10c12fa059aad0
+oid sha256:42794acbdd8181eb05a5b8414d13416971897ed26d93b5b7ee34006dd4902582
 size 4136329648

model-00004-of-00004.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:78d4361516b998390c98d9e8160d6a7950700fc492d9d5cefea8762f9de6947f
+oid sha256:534e5a443cdf880d415077cb75ba0cf6caa6c35fb3a6fc3bbc06b410912c5fc3
 size 1054391424