Hugging Face's logo

redis
/
langcache-reranker-v2-granite-bce-eps0.5

Text Ranking
sentence-transformers
Safetensors
English
modernbert
cross-encoder
text-classification
sentence-pair-classification
semantic-similarity
semantic-search
retrieval
reranking
Generated from Trainer
dataset_size:40015318
loss:BinaryCrossEntropyLoss
Eval Results
Model card Files
xet
Community
adbaral commited on
Commit
c6d3496
·
verified ·
1 Parent(s): 095c307

Add new CrossEncoder model

Browse files
Files changed (2) hide show
  1. README.md +85 -85
  2. model.safetensors +1 -1
README.md CHANGED
@@ -41,25 +41,25 @@ model-index:
41
  type: test_cls
42
  metrics:
43
  - type: accuracy
44
- value: 0.7440382414327072
45
  name: Accuracy
46
  - type: accuracy_threshold
47
- value: 0.0966796875
48
  name: Accuracy Threshold
49
  - type: f1
50
- value: 0.7504625757230123
51
  name: F1
52
  - type: f1_threshold
53
- value: 0.08056640625
54
  name: F1 Threshold
55
  - type: precision
56
- value: 0.6481185561368562
57
  name: Precision
58
  - type: recall
59
- value: 0.8911898383649881
60
  name: Recall
61
  - type: average_precision
62
- value: 0.7367110835450397
63
  name: Average Precision
64
  - task:
65
  type: cross-encoder-reranking
@@ -69,13 +69,13 @@ model-index:
69
  type: NanoQuoraRetrieval_R25
70
  metrics:
71
  - type: map
72
- value: 0.636
73
  name: Map
74
  - type: mrr@1
75
- value: 0.48
76
  name: Mrr@1
77
  - type: ndcg@1
78
- value: 0.48
79
  name: Ndcg@1
80
  - task:
81
  type: cross-encoder-reranking
@@ -85,13 +85,13 @@ model-index:
85
  type: NanoMSMARCO_R25
86
  metrics:
87
  - type: map
88
- value: 0.3878
89
  name: Map
90
  - type: mrr@1
91
- value: 0.22
92
  name: Mrr@1
93
  - type: ndcg@1
94
- value: 0.22
95
  name: Ndcg@1
96
  - task:
97
  type: cross-encoder-reranking
@@ -101,13 +101,13 @@ model-index:
101
  type: NanoNQ_R25
102
  metrics:
103
  - type: map
104
- value: 0.54
105
  name: Map
106
  - type: mrr@1
107
- value: 0.38
108
  name: Mrr@1
109
  - type: ndcg@1
110
- value: 0.38
111
  name: Ndcg@1
112
  - task:
113
  type: cross-encoder-nano-beir
@@ -117,13 +117,13 @@ model-index:
117
  type: NanoBEIR_R25_mean
118
  metrics:
119
  - type: map
120
- value: 0.5212
121
  name: Map
122
  - type: mrr@1
123
- value: 0.36
124
  name: Mrr@1
125
  - type: ndcg@1
126
- value: 0.36
127
  name: Ndcg@1
128
  ---
129
 
@@ -227,13 +227,13 @@ You can finetune this model on your own dataset.
227
 
228
  | Metric | Value |
229
  |:----------------------|:-----------|
230
- | accuracy | 0.744 |
231
- | accuracy_threshold | 0.0967 |
232
- | f1 | 0.7505 |
233
- | f1_threshold | 0.0806 |
234
- | precision | 0.6481 |
235
- | recall | 0.8912 |
236
- | **average_precision** | **0.7367** |
237
 
238
  #### Cross Encoder Reranking
239
 
@@ -248,9 +248,9 @@ You can finetune this model on your own dataset.
248
 
249
  | Metric | NanoQuoraRetrieval_R25 | NanoMSMARCO_R25 | NanoNQ_R25 |
250
  |:-----------|:-----------------------|:---------------------|:---------------------|
251
- | map | 0.6360 (-0.1944) | 0.3878 (-0.1000) | 0.5400 (+0.1200) |
252
- | mrr@1 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.3800 (+0.1400) |
253
- | **ndcg@1** | **0.4800 (-0.3200)** | **0.2200 (-0.1200)** | **0.3800 (+0.1400)** |
254
 
255
  #### Cross Encoder Nano BEIR
256
 
@@ -271,9 +271,9 @@ You can finetune this model on your own dataset.
271
 
272
  | Metric | Value |
273
  |:-----------|:---------------------|
274
- | map | 0.5212 (-0.0581) |
275
- | mrr@1 | 0.3600 (-0.1000) |
276
- | **ndcg@1** | **0.3600 (-0.1000)** |
277
 
278
  <!--
279
  ## Bias, Risks and Limitations
@@ -407,7 +407,7 @@ You can finetune this model on your own dataset.
407
  - `bf16_full_eval`: False
408
  - `fp16_full_eval`: False
409
  - `tf32`: None
410
- - `local_rank`: 1
411
  - `ddp_backend`: None
412
  - `tpu_num_cores`: None
413
  - `tpu_metrics_debug`: False
@@ -508,7 +508,7 @@ You can finetune this model on your own dataset.
508
  | 0.0816 | 17000 | 0.1825 | - | - | - | - | - | - |
509
  | 0.0864 | 18000 | 0.1822 | - | - | - | - | - | - |
510
  | 0.0912 | 19000 | 0.1819 | - | - | - | - | - | - |
511
- | 0.0960 | 20000 | 0.1817 | 0.1721 | 0.5644 | 0.3500 (-0.4500) | 0.4000 (+0.0600) | 0.6200 (+0.3800) | 0.4567 (-0.0033) |
512
  | 0.1008 | 21000 | 0.1814 | - | - | - | - | - | - |
513
  | 0.1056 | 22000 | 0.1813 | - | - | - | - | - | - |
514
  | 0.1104 | 23000 | 0.1811 | - | - | - | - | - | - |
@@ -528,7 +528,7 @@ You can finetune this model on your own dataset.
528
  | 0.1775 | 37000 | 0.1792 | - | - | - | - | - | - |
529
  | 0.1823 | 38000 | 0.1791 | - | - | - | - | - | - |
530
  | 0.1871 | 39000 | 0.179 | - | - | - | - | - | - |
531
- | 0.1919 | 40000 | 0.179 | 0.1659 | 0.5924 | 0.5900 (-0.2100) | 0.3400 (+0.0000) | 0.4200 (+0.1800) | 0.4500 (-0.0100) |
532
  | 0.1967 | 41000 | 0.1789 | - | - | - | - | - | - |
533
  | 0.2015 | 42000 | 0.1788 | - | - | - | - | - | - |
534
  | 0.2063 | 43000 | 0.1787 | - | - | - | - | - | - |
@@ -548,7 +548,7 @@ You can finetune this model on your own dataset.
548
  | 0.2735 | 57000 | 0.1773 | - | - | - | - | - | - |
549
  | 0.2783 | 58000 | 0.1771 | - | - | - | - | - | - |
550
  | 0.2831 | 59000 | 0.1771 | - | - | - | - | - | - |
551
- | 0.2879 | 60000 | 0.177 | 0.1599 | 0.6188 | 0.5500 (-0.2500) | 0.2500 (-0.0900) | 0.3400 (+0.1000) | 0.3800 (-0.0800) |
552
  | 0.2927 | 61000 | 0.1769 | - | - | - | - | - | - |
553
  | 0.2975 | 62000 | 0.1768 | - | - | - | - | - | - |
554
  | 0.3023 | 63000 | 0.1768 | - | - | - | - | - | - |
@@ -568,7 +568,7 @@ You can finetune this model on your own dataset.
568
  | 0.3695 | 77000 | 0.1753 | - | - | - | - | - | - |
569
  | 0.3743 | 78000 | 0.1752 | - | - | - | - | - | - |
570
  | 0.3791 | 79000 | 0.1751 | - | - | - | - | - | - |
571
- | 0.3839 | 80000 | 0.175 | 0.1535 | 0.6302 | 0.3100 (-0.4900) | 0.2100 (-0.1300) | 0.2600 (+0.0200) | 0.2600 (-0.2000) |
572
  | 0.3887 | 81000 | 0.175 | - | - | - | - | - | - |
573
  | 0.3934 | 82000 | 0.1749 | - | - | - | - | - | - |
574
  | 0.3982 | 83000 | 0.1748 | - | - | - | - | - | - |
@@ -588,7 +588,7 @@ You can finetune this model on your own dataset.
588
  | 0.4654 | 97000 | 0.1744 | - | - | - | - | - | - |
589
  | 0.4702 | 98000 | 0.1744 | - | - | - | - | - | - |
590
  | 0.4750 | 99000 | 0.1744 | - | - | - | - | - | - |
591
- | 0.4798 | 100000 | 0.1745 | 0.1477 | 0.6789 | 0.4300 (-0.3700) | 0.1400 (-0.2000) | 0.2100 (-0.0300) | 0.2600 (-0.2000) |
592
  | 0.4846 | 101000 | 0.1744 | - | - | - | - | - | - |
593
  | 0.4894 | 102000 | 0.1744 | - | - | - | - | - | - |
594
  | 0.4942 | 103000 | 0.1744 | - | - | - | - | - | - |
@@ -608,7 +608,7 @@ You can finetune this model on your own dataset.
608
  | 0.5614 | 117000 | 0.1742 | - | - | - | - | - | - |
609
  | 0.5662 | 118000 | 0.1742 | - | - | - | - | - | - |
610
  | 0.5710 | 119000 | 0.1742 | - | - | - | - | - | - |
611
- | 0.5758 | 120000 | 0.1741 | 0.1434 | 0.7067 | 0.4400 (-0.3600) | 0.1400 (-0.2000) | 0.2800 (+0.0400) | 0.2867 (-0.1733) |
612
  | 0.5806 | 121000 | 0.1742 | - | - | - | - | - | - |
613
  | 0.5854 | 122000 | 0.1742 | - | - | - | - | - | - |
614
  | 0.5902 | 123000 | 0.1742 | - | - | - | - | - | - |
@@ -628,7 +628,7 @@ You can finetune this model on your own dataset.
628
  | 0.6573 | 137000 | 0.174 | - | - | - | - | - | - |
629
  | 0.6621 | 138000 | 0.1741 | - | - | - | - | - | - |
630
  | 0.6669 | 139000 | 0.174 | - | - | - | - | - | - |
631
- | 0.6717 | 140000 | 0.1741 | 0.1425 | 0.7185 | 0.5500 (-0.2500) | 0.1600 (-0.1800) | 0.2700 (+0.0300) | 0.3267 (-0.1333) |
632
  | 0.6765 | 141000 | 0.174 | - | - | - | - | - | - |
633
  | 0.6813 | 142000 | 0.1741 | - | - | - | - | - | - |
634
  | 0.6861 | 143000 | 0.174 | - | - | - | - | - | - |
@@ -648,7 +648,7 @@ You can finetune this model on your own dataset.
648
  | 0.7533 | 157000 | 0.1741 | - | - | - | - | - | - |
649
  | 0.7581 | 158000 | 0.174 | - | - | - | - | - | - |
650
  | 0.7629 | 159000 | 0.174 | - | - | - | - | - | - |
651
- | 0.7677 | 160000 | 0.174 | 0.1412 | 0.7241 | 0.4400 (-0.3600) | 0.1800 (-0.1600) | 0.3900 (+0.1500) | 0.3367 (-0.1233) |
652
  | 0.7725 | 161000 | 0.174 | - | - | - | - | - | - |
653
  | 0.7773 | 162000 | 0.1739 | - | - | - | - | - | - |
654
  | 0.7821 | 163000 | 0.174 | - | - | - | - | - | - |
@@ -668,7 +668,7 @@ You can finetune this model on your own dataset.
668
  | 0.8493 | 177000 | 0.174 | - | - | - | - | - | - |
669
  | 0.8541 | 178000 | 0.174 | - | - | - | - | - | - |
670
  | 0.8589 | 179000 | 0.1739 | - | - | - | - | - | - |
671
- | 0.8637 | 180000 | 0.1739 | 0.1403 | 0.7210 | 0.5400 (-0.2600) | 0.1700 (-0.1700) | 0.3700 (+0.1300) | 0.3600 (-0.1000) |
672
  | 0.8685 | 181000 | 0.174 | - | - | - | - | - | - |
673
  | 0.8733 | 182000 | 0.174 | - | - | - | - | - | - |
674
  | 0.8781 | 183000 | 0.1739 | - | - | - | - | - | - |
@@ -688,7 +688,7 @@ You can finetune this model on your own dataset.
688
  | 0.9452 | 197000 | 0.1739 | - | - | - | - | - | - |
689
  | 0.9500 | 198000 | 0.174 | - | - | - | - | - | - |
690
  | 0.9548 | 199000 | 0.1739 | - | - | - | - | - | - |
691
- | 0.9596 | 200000 | 0.1739 | 0.1405 | 0.7288 | 0.4900 (-0.3100) | 0.1800 (-0.1600) | 0.3400 (+0.1000) | 0.3367 (-0.1233) |
692
  | 0.9644 | 201000 | 0.174 | - | - | - | - | - | - |
693
  | 0.9692 | 202000 | 0.174 | - | - | - | - | - | - |
694
  | 0.9740 | 203000 | 0.1739 | - | - | - | - | - | - |
@@ -708,7 +708,7 @@ You can finetune this model on your own dataset.
708
  | 1.0412 | 217000 | 0.1739 | - | - | - | - | - | - |
709
  | 1.0460 | 218000 | 0.1739 | - | - | - | - | - | - |
710
  | 1.0508 | 219000 | 0.1739 | - | - | - | - | - | - |
711
- | 1.0556 | 220000 | 0.174 | 0.1395 | 0.7293 | 0.4700 (-0.3300) | 0.1600 (-0.1800) | 0.3700 (+0.1300) | 0.3333 (-0.1267) |
712
  | 1.0604 | 221000 | 0.1739 | - | - | - | - | - | - |
713
  | 1.0652 | 222000 | 0.1738 | - | - | - | - | - | - |
714
  | 1.0700 | 223000 | 0.1739 | - | - | - | - | - | - |
@@ -728,7 +728,7 @@ You can finetune this model on your own dataset.
728
  | 1.1372 | 237000 | 0.1739 | - | - | - | - | - | - |
729
  | 1.1420 | 238000 | 0.1739 | - | - | - | - | - | - |
730
  | 1.1468 | 239000 | 0.1739 | - | - | - | - | - | - |
731
- | 1.1516 | 240000 | 0.1738 | 0.1394 | 0.7353 | 0.5400 (-0.2600) | 0.1800 (-0.1600) | 0.3700 (+0.1300) | 0.3633 (-0.0967) |
732
  | 1.1564 | 241000 | 0.174 | - | - | - | - | - | - |
733
  | 1.1612 | 242000 | 0.1739 | - | - | - | - | - | - |
734
  | 1.1660 | 243000 | 0.1738 | - | - | - | - | - | - |
@@ -748,7 +748,7 @@ You can finetune this model on your own dataset.
748
  | 1.2331 | 257000 | 0.1739 | - | - | - | - | - | - |
749
  | 1.2379 | 258000 | 0.1739 | - | - | - | - | - | - |
750
  | 1.2427 | 259000 | 0.1738 | - | - | - | - | - | - |
751
- | 1.2475 | 260000 | 0.1738 | 0.1392 | 0.7347 | 0.5000 (-0.3000) | 0.2200 (-0.1200) | 0.4000 (+0.1600) | 0.3733 (-0.0867) |
752
  | 1.2523 | 261000 | 0.174 | - | - | - | - | - | - |
753
  | 1.2571 | 262000 | 0.1739 | - | - | - | - | - | - |
754
  | 1.2619 | 263000 | 0.1739 | - | - | - | - | - | - |
@@ -768,7 +768,7 @@ You can finetune this model on your own dataset.
768
  | 1.3291 | 277000 | 0.1739 | - | - | - | - | - | - |
769
  | 1.3339 | 278000 | 0.1738 | - | - | - | - | - | - |
770
  | 1.3387 | 279000 | 0.1739 | - | - | - | - | - | - |
771
- | 1.3435 | 280000 | 0.1738 | 0.1394 | 0.7403 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.3800 (+0.1400) | 0.3700 (-0.0900) |
772
  | 1.3483 | 281000 | 0.1739 | - | - | - | - | - | - |
773
  | 1.3531 | 282000 | 0.1739 | - | - | - | - | - | - |
774
  | 1.3579 | 283000 | 0.1738 | - | - | - | - | - | - |
@@ -788,7 +788,7 @@ You can finetune this model on your own dataset.
788
  | 1.4251 | 297000 | 0.1738 | - | - | - | - | - | - |
789
  | 1.4299 | 298000 | 0.1738 | - | - | - | - | - | - |
790
  | 1.4347 | 299000 | 0.1738 | - | - | - | - | - | - |
791
- | 1.4394 | 300000 | 0.1738 | 0.1395 | 0.7296 | 0.5400 (-0.2600) | 0.1900 (-0.1500) | 0.3400 (+0.1000) | 0.3567 (-0.1033) |
792
  | 1.4442 | 301000 | 0.1739 | - | - | - | - | - | - |
793
  | 1.4490 | 302000 | 0.1738 | - | - | - | - | - | - |
794
  | 1.4538 | 303000 | 0.1737 | - | - | - | - | - | - |
@@ -808,7 +808,7 @@ You can finetune this model on your own dataset.
808
  | 1.5210 | 317000 | 0.1737 | - | - | - | - | - | - |
809
  | 1.5258 | 318000 | 0.1738 | - | - | - | - | - | - |
810
  | 1.5306 | 319000 | 0.1739 | - | - | - | - | - | - |
811
- | 1.5354 | 320000 | 0.1738 | 0.1388 | 0.7260 | 0.4600 (-0.3400) | 0.1800 (-0.1600) | 0.3100 (+0.0700) | 0.3167 (-0.1433) |
812
  | 1.5402 | 321000 | 0.1738 | - | - | - | - | - | - |
813
  | 1.5450 | 322000 | 0.1738 | - | - | - | - | - | - |
814
  | 1.5498 | 323000 | 0.1738 | - | - | - | - | - | - |
@@ -828,7 +828,7 @@ You can finetune this model on your own dataset.
828
  | 1.6170 | 337000 | 0.1739 | - | - | - | - | - | - |
829
  | 1.6218 | 338000 | 0.1738 | - | - | - | - | - | - |
830
  | 1.6266 | 339000 | 0.1738 | - | - | - | - | - | - |
831
- | 1.6314 | 340000 | 0.1738 | 0.1388 | 0.7378 | 0.5300 (-0.2700) | 0.2000 (-0.1400) | 0.3600 (+0.1200) | 0.3633 (-0.0967) |
832
  | 1.6362 | 341000 | 0.1737 | - | - | - | - | - | - |
833
  | 1.6410 | 342000 | 0.1738 | - | - | - | - | - | - |
834
  | 1.6458 | 343000 | 0.1737 | - | - | - | - | - | - |
@@ -848,7 +848,7 @@ You can finetune this model on your own dataset.
848
  | 1.7129 | 357000 | 0.1738 | - | - | - | - | - | - |
849
  | 1.7177 | 358000 | 0.1737 | - | - | - | - | - | - |
850
  | 1.7225 | 359000 | 0.1738 | - | - | - | - | - | - |
851
- | 1.7273 | 360000 | 0.1738 | 0.1386 | 0.7351 | 0.5100 (-0.2900) | 0.1800 (-0.1600) | 0.3900 (+0.1500) | 0.3600 (-0.1000) |
852
  | 1.7321 | 361000 | 0.1738 | - | - | - | - | - | - |
853
  | 1.7369 | 362000 | 0.1737 | - | - | - | - | - | - |
854
  | 1.7417 | 363000 | 0.1738 | - | - | - | - | - | - |
@@ -868,7 +868,7 @@ You can finetune this model on your own dataset.
868
  | 1.8089 | 377000 | 0.1738 | - | - | - | - | - | - |
869
  | 1.8137 | 378000 | 0.1737 | - | - | - | - | - | - |
870
  | 1.8185 | 379000 | 0.1738 | - | - | - | - | - | - |
871
- | **1.8233** | **380000** | **0.1737** | **0.1384** | **0.7393** | **0.6000 (-0.2000)** | **0.1800 (-0.1600)** | **0.3800 (+0.1400)** | **0.3867 (-0.0733)** |
872
  | 1.8281 | 381000 | 0.1738 | - | - | - | - | - | - |
873
  | 1.8329 | 382000 | 0.1738 | - | - | - | - | - | - |
874
  | 1.8377 | 383000 | 0.1738 | - | - | - | - | - | - |
@@ -888,7 +888,7 @@ You can finetune this model on your own dataset.
888
  | 1.9049 | 397000 | 0.1739 | - | - | - | - | - | - |
889
  | 1.9097 | 398000 | 0.1738 | - | - | - | - | - | - |
890
  | 1.9145 | 399000 | 0.1738 | - | - | - | - | - | - |
891
- | 1.9193 | 400000 | 0.1738 | 0.1389 | 0.7406 | 0.5200 (-0.2800) | 0.1700 (-0.1700) | 0.3800 (+0.1400) | 0.3567 (-0.1033) |
892
  | 1.9241 | 401000 | 0.1739 | - | - | - | - | - | - |
893
  | 1.9289 | 402000 | 0.1738 | - | - | - | - | - | - |
894
  | 1.9337 | 403000 | 0.1738 | - | - | - | - | - | - |
@@ -908,7 +908,7 @@ You can finetune this model on your own dataset.
908
  | 2.0008 | 417000 | 0.1737 | - | - | - | - | - | - |
909
  | 2.0056 | 418000 | 0.1737 | - | - | - | - | - | - |
910
  | 2.0104 | 419000 | 0.1738 | - | - | - | - | - | - |
911
- | 2.0152 | 420000 | 0.1737 | 0.1384 | 0.7383 | 0.5000 (-0.3000) | 0.1800 (-0.1600) | 0.3600 (+0.1200) | 0.3467 (-0.1133) |
912
  | 2.0200 | 421000 | 0.1738 | - | - | - | - | - | - |
913
  | 2.0248 | 422000 | 0.1737 | - | - | - | - | - | - |
914
  | 2.0296 | 423000 | 0.1738 | - | - | - | - | - | - |
@@ -928,7 +928,7 @@ You can finetune this model on your own dataset.
928
  | 2.0968 | 437000 | 0.1738 | - | - | - | - | - | - |
929
  | 2.1016 | 438000 | 0.1738 | - | - | - | - | - | - |
930
  | 2.1064 | 439000 | 0.1738 | - | - | - | - | - | - |
931
- | 2.1112 | 440000 | 0.1738 | 0.1388 | 0.7334 | 0.4600 (-0.3400) | 0.1867 (-0.1533) | 0.3700 (+0.1300) | 0.3389 (-0.1211) |
932
  | 2.1160 | 441000 | 0.1739 | - | - | - | - | - | - |
933
  | 2.1208 | 442000 | 0.1738 | - | - | - | - | - | - |
934
  | 2.1256 | 443000 | 0.1738 | - | - | - | - | - | - |
@@ -948,7 +948,7 @@ You can finetune this model on your own dataset.
948
  | 2.1928 | 457000 | 0.1738 | - | - | - | - | - | - |
949
  | 2.1976 | 458000 | 0.1739 | - | - | - | - | - | - |
950
  | 2.2024 | 459000 | 0.1737 | - | - | - | - | - | - |
951
- | 2.2072 | 460000 | 0.1738 | 0.1390 | 0.7351 | 0.4700 (-0.3300) | 0.2000 (-0.1400) | 0.3467 (+0.1067) | 0.3389 (-0.1211) |
952
  | 2.2120 | 461000 | 0.1738 | - | - | - | - | - | - |
953
  | 2.2168 | 462000 | 0.1738 | - | - | - | - | - | - |
954
  | 2.2216 | 463000 | 0.1738 | - | - | - | - | - | - |
@@ -968,7 +968,7 @@ You can finetune this model on your own dataset.
968
  | 2.2887 | 477000 | 0.1738 | - | - | - | - | - | - |
969
  | 2.2935 | 478000 | 0.1738 | - | - | - | - | - | - |
970
  | 2.2983 | 479000 | 0.1738 | - | - | - | - | - | - |
971
- | 2.3031 | 480000 | 0.1739 | 0.1386 | 0.7331 | 0.5000 (-0.3000) | 0.2000 (-0.1400) | 0.3800 (+0.1400) | 0.3600 (-0.1000) |
972
  | 2.3079 | 481000 | 0.1738 | - | - | - | - | - | - |
973
  | 2.3127 | 482000 | 0.1738 | - | - | - | - | - | - |
974
  | 2.3175 | 483000 | 0.1738 | - | - | - | - | - | - |
@@ -988,7 +988,7 @@ You can finetune this model on your own dataset.
988
  | 2.3847 | 497000 | 0.1738 | - | - | - | - | - | - |
989
  | 2.3895 | 498000 | 0.1737 | - | - | - | - | - | - |
990
  | 2.3943 | 499000 | 0.1738 | - | - | - | - | - | - |
991
- | 2.3991 | 500000 | 0.1737 | 0.1385 | 0.7423 | 0.5000 (-0.3000) | 0.2200 (-0.1200) | 0.3900 (+0.1500) | 0.3700 (-0.0900) |
992
  | 2.4039 | 501000 | 0.1737 | - | - | - | - | - | - |
993
  | 2.4087 | 502000 | 0.1738 | - | - | - | - | - | - |
994
  | 2.4135 | 503000 | 0.1737 | - | - | - | - | - | - |
@@ -1008,7 +1008,7 @@ You can finetune this model on your own dataset.
1008
  | 2.4807 | 517000 | 0.1738 | - | - | - | - | - | - |
1009
  | 2.4854 | 518000 | 0.1738 | - | - | - | - | - | - |
1010
  | 2.4902 | 519000 | 0.1737 | - | - | - | - | - | - |
1011
- | 2.4950 | 520000 | 0.1738 | 0.1388 | 0.7321 | 0.4700 (-0.3300) | 0.2000 (-0.1400) | 0.3300 (+0.0900) | 0.3333 (-0.1267) |
1012
  | 2.4998 | 521000 | 0.1737 | - | - | - | - | - | - |
1013
  | 2.5046 | 522000 | 0.1738 | - | - | - | - | - | - |
1014
  | 2.5094 | 523000 | 0.1738 | - | - | - | - | - | - |
@@ -1028,7 +1028,7 @@ You can finetune this model on your own dataset.
1028
  | 2.5766 | 537000 | 0.1737 | - | - | - | - | - | - |
1029
  | 2.5814 | 538000 | 0.1738 | - | - | - | - | - | - |
1030
  | 2.5862 | 539000 | 0.1738 | - | - | - | - | - | - |
1031
- | 2.5910 | 540000 | 0.1738 | 0.1388 | 0.7369 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.3700 (+0.1300) | 0.3567 (-0.1033) |
1032
  | 2.5958 | 541000 | 0.1737 | - | - | - | - | - | - |
1033
  | 2.6006 | 542000 | 0.1737 | - | - | - | - | - | - |
1034
  | 2.6054 | 543000 | 0.1738 | - | - | - | - | - | - |
@@ -1048,7 +1048,7 @@ You can finetune this model on your own dataset.
1048
  | 2.6726 | 557000 | 0.1738 | - | - | - | - | - | - |
1049
  | 2.6774 | 558000 | 0.1738 | - | - | - | - | - | - |
1050
  | 2.6822 | 559000 | 0.1738 | - | - | - | - | - | - |
1051
- | 2.6870 | 560000 | 0.1737 | 0.1388 | 0.7382 | 0.4800 (-0.3200) | 0.2000 (-0.1400) | 0.3600 (+0.1200) | 0.3467 (-0.1133) |
1052
  | 2.6918 | 561000 | 0.1737 | - | - | - | - | - | - |
1053
  | 2.6966 | 562000 | 0.1738 | - | - | - | - | - | - |
1054
  | 2.7014 | 563000 | 0.1738 | - | - | - | - | - | - |
@@ -1068,7 +1068,7 @@ You can finetune this model on your own dataset.
1068
  | 2.7685 | 577000 | 0.1738 | - | - | - | - | - | - |
1069
  | 2.7733 | 578000 | 0.1738 | - | - | - | - | - | - |
1070
  | 2.7781 | 579000 | 0.1737 | - | - | - | - | - | - |
1071
- | 2.7829 | 580000 | 0.1738 | 0.1387 | 0.7350 | 0.4800 (-0.3200) | 0.1800 (-0.1600) | 0.3600 (+0.1200) | 0.3400 (-0.1200) |
1072
  | 2.7877 | 581000 | 0.1739 | - | - | - | - | - | - |
1073
  | 2.7925 | 582000 | 0.1737 | - | - | - | - | - | - |
1074
  | 2.7973 | 583000 | 0.1737 | - | - | - | - | - | - |
@@ -1088,7 +1088,7 @@ You can finetune this model on your own dataset.
1088
  | 2.8645 | 597000 | 0.1738 | - | - | - | - | - | - |
1089
  | 2.8693 | 598000 | 0.1738 | - | - | - | - | - | - |
1090
  | 2.8741 | 599000 | 0.1738 | - | - | - | - | - | - |
1091
- | 2.8789 | 600000 | 0.1738 | 0.1388 | 0.7361 | 0.4800 (-0.3200) | 0.2000 (-0.1400) | 0.3800 (+0.1400) | 0.3533 (-0.1067) |
1092
  | 2.8837 | 601000 | 0.1738 | - | - | - | - | - | - |
1093
  | 2.8885 | 602000 | 0.1738 | - | - | - | - | - | - |
1094
  | 2.8933 | 603000 | 0.1738 | - | - | - | - | - | - |
@@ -1108,7 +1108,7 @@ You can finetune this model on your own dataset.
1108
  | 2.9605 | 617000 | 0.1737 | - | - | - | - | - | - |
1109
  | 2.9653 | 618000 | 0.1738 | - | - | - | - | - | - |
1110
  | 2.9701 | 619000 | 0.1739 | - | - | - | - | - | - |
1111
- | 2.9749 | 620000 | 0.1738 | 0.1388 | 0.7355 | 0.4800 (-0.3200) | 0.2100 (-0.1300) | 0.3700 (+0.1300) | 0.3533 (-0.1067) |
1112
  | 2.9797 | 621000 | 0.1737 | - | - | - | - | - | - |
1113
  | 2.9845 | 622000 | 0.1738 | - | - | - | - | - | - |
1114
  | 2.9893 | 623000 | 0.1738 | - | - | - | - | - | - |
@@ -1128,7 +1128,7 @@ You can finetune this model on your own dataset.
1128
  | 3.0564 | 637000 | 0.1739 | - | - | - | - | - | - |
1129
  | 3.0612 | 638000 | 0.1738 | - | - | - | - | - | - |
1130
  | 3.0660 | 639000 | 0.1737 | - | - | - | - | - | - |
1131
- | 3.0708 | 640000 | 0.1738 | 0.1388 | 0.7382 | 0.5000 (-0.3000) | 0.1900 (-0.1500) | 0.3800 (+0.1400) | 0.3567 (-0.1033) |
1132
  | 3.0756 | 641000 | 0.1738 | - | - | - | - | - | - |
1133
  | 3.0804 | 642000 | 0.1738 | - | - | - | - | - | - |
1134
  | 3.0852 | 643000 | 0.1738 | - | - | - | - | - | - |
@@ -1148,7 +1148,7 @@ You can finetune this model on your own dataset.
1148
  | 3.1524 | 657000 | 0.1738 | - | - | - | - | - | - |
1149
  | 3.1572 | 658000 | 0.1738 | - | - | - | - | - | - |
1150
  | 3.1620 | 659000 | 0.1738 | - | - | - | - | - | - |
1151
- | 3.1668 | 660000 | 0.1738 | 0.1390 | 0.7365 | 0.4600 (-0.3400) | 0.1900 (-0.1500) | 0.3900 (+0.1500) | 0.3467 (-0.1133) |
1152
  | 3.1716 | 661000 | 0.1738 | - | - | - | - | - | - |
1153
  | 3.1764 | 662000 | 0.1738 | - | - | - | - | - | - |
1154
  | 3.1812 | 663000 | 0.1738 | - | - | - | - | - | - |
@@ -1168,7 +1168,7 @@ You can finetune this model on your own dataset.
1168
  | 3.2484 | 677000 | 0.1738 | - | - | - | - | - | - |
1169
  | 3.2532 | 678000 | 0.1739 | - | - | - | - | - | - |
1170
  | 3.2580 | 679000 | 0.1738 | - | - | - | - | - | - |
1171
- | 3.2628 | 680000 | 0.1738 | 0.1390 | 0.7363 | 0.4800 (-0.3200) | 0.2000 (-0.1400) | 0.4300 (+0.1900) | 0.3700 (-0.0900) |
1172
  | 3.2676 | 681000 | 0.1738 | - | - | - | - | - | - |
1173
  | 3.2723 | 682000 | 0.1738 | - | - | - | - | - | - |
1174
  | 3.2771 | 683000 | 0.1738 | - | - | - | - | - | - |
@@ -1188,7 +1188,7 @@ You can finetune this model on your own dataset.
1188
  | 3.3443 | 697000 | 0.1737 | - | - | - | - | - | - |
1189
  | 3.3491 | 698000 | 0.1739 | - | - | - | - | - | - |
1190
  | 3.3539 | 699000 | 0.1738 | - | - | - | - | - | - |
1191
- | 3.3587 | 700000 | 0.1738 | 0.1390 | 0.7367 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.4000 (+0.1600) | 0.3667 (-0.0933) |
1192
  | 3.3635 | 701000 | 0.1739 | - | - | - | - | - | - |
1193
  | 3.3683 | 702000 | 0.1738 | - | - | - | - | - | - |
1194
  | 3.3731 | 703000 | 0.1738 | - | - | - | - | - | - |
@@ -1208,7 +1208,7 @@ You can finetune this model on your own dataset.
1208
  | 3.4403 | 717000 | 0.1738 | - | - | - | - | - | - |
1209
  | 3.4451 | 718000 | 0.1738 | - | - | - | - | - | - |
1210
  | 3.4499 | 719000 | 0.1737 | - | - | - | - | - | - |
1211
- | 3.4547 | 720000 | 0.1737 | 0.1389 | 0.7375 | 0.5000 (-0.3000) | 0.2100 (-0.1300) | 0.3900 (+0.1500) | 0.3667 (-0.0933) |
1212
  | 3.4595 | 721000 | 0.1738 | - | - | - | - | - | - |
1213
  | 3.4643 | 722000 | 0.1738 | - | - | - | - | - | - |
1214
  | 3.4691 | 723000 | 0.1738 | - | - | - | - | - | - |
@@ -1228,7 +1228,7 @@ You can finetune this model on your own dataset.
1228
  | 3.5362 | 737000 | 0.1737 | - | - | - | - | - | - |
1229
  | 3.5410 | 738000 | 0.1738 | - | - | - | - | - | - |
1230
  | 3.5458 | 739000 | 0.1738 | - | - | - | - | - | - |
1231
- | 3.5506 | 740000 | 0.1738 | 0.1390 | 0.7373 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.3600 (+0.1200) | 0.3533 (-0.1067) |
1232
  | 3.5554 | 741000 | 0.1738 | - | - | - | - | - | - |
1233
  | 3.5602 | 742000 | 0.1737 | - | - | - | - | - | - |
1234
  | 3.5650 | 743000 | 0.1738 | - | - | - | - | - | - |
@@ -1248,7 +1248,7 @@ You can finetune this model on your own dataset.
1248
  | 3.6322 | 757000 | 0.1738 | - | - | - | - | - | - |
1249
  | 3.6370 | 758000 | 0.1737 | - | - | - | - | - | - |
1250
  | 3.6418 | 759000 | 0.1738 | - | - | - | - | - | - |
1251
- | 3.6466 | 760000 | 0.1737 | 0.1390 | 0.7366 | 0.4900 (-0.3100) | 0.2200 (-0.1200) | 0.4100 (+0.1700) | 0.3733 (-0.0867) |
1252
  | 3.6514 | 761000 | 0.1739 | - | - | - | - | - | - |
1253
  | 3.6562 | 762000 | 0.1738 | - | - | - | - | - | - |
1254
  | 3.6610 | 763000 | 0.1738 | - | - | - | - | - | - |
@@ -1268,7 +1268,7 @@ You can finetune this model on your own dataset.
1268
  | 3.7282 | 777000 | 0.1738 | - | - | - | - | - | - |
1269
  | 3.7330 | 778000 | 0.1738 | - | - | - | - | - | - |
1270
  | 3.7378 | 779000 | 0.1738 | - | - | - | - | - | - |
1271
- | 3.7426 | 780000 | 0.1738 | 0.1390 | 0.7361 | 0.4800 (-0.3200) | 0.2100 (-0.1300) | 0.3700 (+0.1300) | 0.3533 (-0.1067) |
1272
  | 3.7474 | 781000 | 0.1737 | - | - | - | - | - | - |
1273
  | 3.7522 | 782000 | 0.1738 | - | - | - | - | - | - |
1274
  | 3.7570 | 783000 | 0.1739 | - | - | - | - | - | - |
@@ -1288,7 +1288,7 @@ You can finetune this model on your own dataset.
1288
  | 3.8241 | 797000 | 0.1738 | - | - | - | - | - | - |
1289
  | 3.8289 | 798000 | 0.1738 | - | - | - | - | - | - |
1290
  | 3.8337 | 799000 | 0.1738 | - | - | - | - | - | - |
1291
- | 3.8385 | 800000 | 0.1739 | 0.1391 | 0.7367 | 0.5000 (-0.3000) | 0.2250 (-0.1150) | 0.3900 (+0.1500) | 0.3717 (-0.0883) |
1292
  | 3.8433 | 801000 | 0.1739 | - | - | - | - | - | - |
1293
  | 3.8481 | 802000 | 0.1738 | - | - | - | - | - | - |
1294
  | 3.8529 | 803000 | 0.1739 | - | - | - | - | - | - |
@@ -1308,7 +1308,7 @@ You can finetune this model on your own dataset.
1308
  | 3.9201 | 817000 | 0.1738 | - | - | - | - | - | - |
1309
  | 3.9249 | 818000 | 0.1739 | - | - | - | - | - | - |
1310
  | 3.9297 | 819000 | 0.1738 | - | - | - | - | - | - |
1311
- | 3.9345 | 820000 | 0.1738 | 0.1390 | 0.7373 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.3800 (+0.1400) | 0.3600 (-0.1000) |
1312
  | 3.9393 | 821000 | 0.1738 | - | - | - | - | - | - |
1313
  | 3.9441 | 822000 | 0.1738 | - | - | - | - | - | - |
1314
  | 3.9489 | 823000 | 0.1738 | - | - | - | - | - | - |
@@ -1328,7 +1328,7 @@ You can finetune this model on your own dataset.
1328
  | 4.0161 | 837000 | 0.1738 | - | - | - | - | - | - |
1329
  | 4.0209 | 838000 | 0.1738 | - | - | - | - | - | - |
1330
  | 4.0257 | 839000 | 0.1738 | - | - | - | - | - | - |
1331
- | 4.0305 | 840000 | 0.1738 | 0.1391 | 0.7370 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.3900 (+0.1500) | 0.3633 (-0.0967) |
1332
  | 4.0353 | 841000 | 0.1738 | - | - | - | - | - | - |
1333
  | 4.0401 | 842000 | 0.1738 | - | - | - | - | - | - |
1334
  | 4.0449 | 843000 | 0.1738 | - | - | - | - | - | - |
@@ -1348,7 +1348,7 @@ You can finetune this model on your own dataset.
1348
  | 4.1120 | 857000 | 0.1738 | - | - | - | - | - | - |
1349
  | 4.1168 | 858000 | 0.1739 | - | - | - | - | - | - |
1350
  | 4.1216 | 859000 | 0.1739 | - | - | - | - | - | - |
1351
- | 4.1264 | 860000 | 0.1739 | 0.1391 | 0.7365 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.4000 (+0.1600) | 0.3667 (-0.0933) |
1352
  | 4.1312 | 861000 | 0.1739 | - | - | - | - | - | - |
1353
  | 4.1360 | 862000 | 0.1739 | - | - | - | - | - | - |
1354
  | 4.1408 | 863000 | 0.1739 | - | - | - | - | - | - |
@@ -1368,7 +1368,7 @@ You can finetune this model on your own dataset.
1368
  | 4.2080 | 877000 | 0.1738 | - | - | - | - | - | - |
1369
  | 4.2128 | 878000 | 0.1738 | - | - | - | - | - | - |
1370
  | 4.2176 | 879000 | 0.1738 | - | - | - | - | - | - |
1371
- | 4.2224 | 880000 | 0.1739 | 0.1391 | 0.7365 | 0.4800 (-0.3200) | 0.2100 (-0.1300) | 0.3467 (+0.1067) | 0.3456 (-0.1144) |
1372
  | 4.2272 | 881000 | 0.1738 | - | - | - | - | - | - |
1373
  | 4.2320 | 882000 | 0.1738 | - | - | - | - | - | - |
1374
  | 4.2368 | 883000 | 0.1739 | - | - | - | - | - | - |
@@ -1388,7 +1388,7 @@ You can finetune this model on your own dataset.
1388
  | 4.3040 | 897000 | 0.1739 | - | - | - | - | - | - |
1389
  | 4.3088 | 898000 | 0.1738 | - | - | - | - | - | - |
1390
  | 4.3136 | 899000 | 0.1739 | - | - | - | - | - | - |
1391
- | 4.3183 | 900000 | 0.1738 | 0.1391 | 0.7365 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.3800 (+0.1400) | 0.3600 (-0.1000) |
1392
  | 4.3231 | 901000 | 0.1739 | - | - | - | - | - | - |
1393
  | 4.3279 | 902000 | 0.1738 | - | - | - | - | - | - |
1394
  | 4.3327 | 903000 | 0.1738 | - | - | - | - | - | - |
@@ -1408,7 +1408,7 @@ You can finetune this model on your own dataset.
1408
  | 4.3999 | 917000 | 0.1738 | - | - | - | - | - | - |
1409
  | 4.4047 | 918000 | 0.1737 | - | - | - | - | - | - |
1410
  | 4.4095 | 919000 | 0.1738 | - | - | - | - | - | - |
1411
- | 4.4143 | 920000 | 0.1737 | 0.1391 | 0.7367 | 0.4800 (-0.3200) | 0.2600 (-0.0800) | 0.3700 (+0.1300) | 0.3700 (-0.0900) |
1412
  | 4.4191 | 921000 | 0.1738 | - | - | - | - | - | - |
1413
  | 4.4239 | 922000 | 0.1738 | - | - | - | - | - | - |
1414
  | 4.4287 | 923000 | 0.1738 | - | - | - | - | - | - |
@@ -1428,7 +1428,7 @@ You can finetune this model on your own dataset.
1428
  | 4.4959 | 937000 | 0.1738 | - | - | - | - | - | - |
1429
  | 4.5007 | 938000 | 0.1738 | - | - | - | - | - | - |
1430
  | 4.5055 | 939000 | 0.1738 | - | - | - | - | - | - |
1431
- | 4.5103 | 940000 | 0.1738 | 0.1391 | 0.7369 | 0.4800 (-0.3200) | 0.2100 (-0.1300) | 0.4200 (+0.1800) | 0.3700 (-0.0900) |
1432
  | 4.5151 | 941000 | 0.1738 | - | - | - | - | - | - |
1433
  | 4.5199 | 942000 | 0.1738 | - | - | - | - | - | - |
1434
  | 4.5247 | 943000 | 0.1738 | - | - | - | - | - | - |
@@ -1448,7 +1448,7 @@ You can finetune this model on your own dataset.
1448
  | 4.5918 | 957000 | 0.1738 | - | - | - | - | - | - |
1449
  | 4.5966 | 958000 | 0.1737 | - | - | - | - | - | - |
1450
  | 4.6014 | 959000 | 0.1737 | - | - | - | - | - | - |
1451
- | 4.6062 | 960000 | 0.1738 | 0.1391 | 0.7367 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.4000 (+0.1600) | 0.3667 (-0.0933) |
1452
  | 4.6110 | 961000 | 0.1738 | - | - | - | - | - | - |
1453
  | 4.6158 | 962000 | 0.1739 | - | - | - | - | - | - |
1454
  | 4.6206 | 963000 | 0.1739 | - | - | - | - | - | - |
@@ -1468,7 +1468,7 @@ You can finetune this model on your own dataset.
1468
  | 4.6878 | 977000 | 0.1738 | - | - | - | - | - | - |
1469
  | 4.6926 | 978000 | 0.1738 | - | - | - | - | - | - |
1470
  | 4.6974 | 979000 | 0.1738 | - | - | - | - | - | - |
1471
- | 4.7022 | 980000 | 0.1739 | 0.1391 | 0.7364 | 0.5100 (-0.2900) | 0.2000 (-0.1400) | 0.3800 (+0.1400) | 0.3633 (-0.0967) |
1472
  | 4.7070 | 981000 | 0.1738 | - | - | - | - | - | - |
1473
  | 4.7118 | 982000 | 0.1739 | - | - | - | - | - | - |
1474
  | 4.7166 | 983000 | 0.1738 | - | - | - | - | - | - |
@@ -1488,7 +1488,7 @@ You can finetune this model on your own dataset.
1488
  | 4.7838 | 997000 | 0.1738 | - | - | - | - | - | - |
1489
  | 4.7886 | 998000 | 0.1738 | - | - | - | - | - | - |
1490
  | 4.7934 | 999000 | 0.1738 | - | - | - | - | - | - |
1491
- | 4.7982 | 1000000 | 0.1737 | 0.1391 | 0.7367 | 0.4800 (-0.3200) | 0.2000 (-0.1400) | 0.3400 (+0.1000) | 0.3400 (-0.1200) |
1492
  | 4.8030 | 1001000 | 0.1738 | - | - | - | - | - | - |
1493
  | 4.8078 | 1002000 | 0.1739 | - | - | - | - | - | - |
1494
  | 4.8126 | 1003000 | 0.1738 | - | - | - | - | - | - |
@@ -1508,7 +1508,7 @@ You can finetune this model on your own dataset.
1508
  | 4.8797 | 1017000 | 0.1738 | - | - | - | - | - | - |
1509
  | 4.8845 | 1018000 | 0.1739 | - | - | - | - | - | - |
1510
  | 4.8893 | 1019000 | 0.1738 | - | - | - | - | - | - |
1511
- | 4.8941 | 1020000 | 0.1738 | 0.1391 | 0.7367 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.3700 (+0.1300) | 0.3567 (-0.1033) |
1512
  | 4.8989 | 1021000 | 0.1739 | - | - | - | - | - | - |
1513
  | 4.9037 | 1022000 | 0.1739 | - | - | - | - | - | - |
1514
  | 4.9085 | 1023000 | 0.1738 | - | - | - | - | - | - |
@@ -1528,7 +1528,7 @@ You can finetune this model on your own dataset.
1528
  | 4.9757 | 1037000 | 0.1738 | - | - | - | - | - | - |
1529
  | 4.9805 | 1038000 | 0.1738 | - | - | - | - | - | - |
1530
  | 4.9853 | 1039000 | 0.1738 | - | - | - | - | - | - |
1531
- | 4.9901 | 1040000 | 0.1738 | 0.1391 | 0.7367 | 0.4800 (-0.3200) | 0.2200 (-0.1200) | 0.3800 (+0.1400) | 0.3600 (-0.1000) |
1532
  | 4.9949 | 1041000 | 0.1738 | - | - | - | - | - | - |
1533
  | 4.9997 | 1042000 | 0.1738 | - | - | - | - | - | - |
1534
 
 
41
  type: test_cls
42
  metrics:
43
  - type: accuracy
44
+ value: 0.7486299064162122
45
  name: Accuracy
46
  - type: accuracy_threshold
47
+ value: 0.09521484375
48
  name: Accuracy Threshold
49
  - type: f1
50
+ value: 0.7540239164438165
51
  name: F1
52
  - type: f1_threshold
53
+ value: 0.078125
54
  name: F1 Threshold
55
  - type: precision
56
+ value: 0.6489913794975355
57
  name: Precision
58
  - type: recall
59
+ value: 0.8996177347018631
60
  name: Recall
61
  - type: average_precision
62
+ value: 0.739506568318167
63
  name: Average Precision
64
  - task:
65
  type: cross-encoder-reranking
 
69
  type: NanoQuoraRetrieval_R25
70
  metrics:
71
  - type: map
72
+ value: 0.6478
73
  name: Map
74
  - type: mrr@1
75
+ value: 0.5
76
  name: Mrr@1
77
  - type: ndcg@1
78
+ value: 0.51
79
  name: Ndcg@1
80
  - task:
81
  type: cross-encoder-reranking
 
85
  type: NanoMSMARCO_R25
86
  metrics:
87
  - type: map
88
+ value: 0.3689
89
  name: Map
90
  - type: mrr@1
91
+ value: 0.2
92
  name: Mrr@1
93
  - type: ndcg@1
94
+ value: 0.2
95
  name: Ndcg@1
96
  - task:
97
  type: cross-encoder-reranking
 
101
  type: NanoNQ_R25
102
  metrics:
103
  - type: map
104
+ value: 0.5243
105
  name: Map
106
  - type: mrr@1
107
+ value: 0.4
108
  name: Mrr@1
109
  - type: ndcg@1
110
+ value: 0.4
111
  name: Ndcg@1
112
  - task:
113
  type: cross-encoder-nano-beir
 
117
  type: NanoBEIR_R25_mean
118
  metrics:
119
  - type: map
120
+ value: 0.5136
121
  name: Map
122
  - type: mrr@1
123
+ value: 0.3667
124
  name: Mrr@1
125
  - type: ndcg@1
126
+ value: 0.37
127
  name: Ndcg@1
128
  ---
129
 
 
227
 
228
  | Metric | Value |
229
  |:----------------------|:-----------|
230
+ | accuracy | 0.7486 |
231
+ | accuracy_threshold | 0.0952 |
232
+ | f1 | 0.754 |
233
+ | f1_threshold | 0.0781 |
234
+ | precision | 0.649 |
235
+ | recall | 0.8996 |
236
+ | **average_precision** | **0.7395** |
237
 
238
  #### Cross Encoder Reranking
239
 
 
248
 
249
  | Metric | NanoQuoraRetrieval_R25 | NanoMSMARCO_R25 | NanoNQ_R25 |
250
  |:-----------|:-----------------------|:---------------------|:---------------------|
251
+ | map | 0.6478 (-0.1827) | 0.3689 (-0.1189) | 0.5243 (+0.1043) |
252
+ | mrr@1 | 0.5000 (-0.3000) | 0.2000 (-0.1400) | 0.4000 (+0.1600) |
253
+ | **ndcg@1** | **0.5100 (-0.2900)** | **0.2000 (-0.1400)** | **0.4000 (+0.1600)** |
254
 
255
  #### Cross Encoder Nano BEIR
256
 
 
271
 
272
  | Metric | Value |
273
  |:-----------|:---------------------|
274
+ | map | 0.5136 (-0.0658) |
275
+ | mrr@1 | 0.3667 (-0.0933) |
276
+ | **ndcg@1** | **0.3700 (-0.0900)** |
277
 
278
  <!--
279
  ## Bias, Risks and Limitations
 
407
  - `bf16_full_eval`: False
408
  - `fp16_full_eval`: False
409
  - `tf32`: None
410
+ - `local_rank`: 0
411
  - `ddp_backend`: None
412
  - `tpu_num_cores`: None
413
  - `tpu_metrics_debug`: False
 
508
  | 0.0816 | 17000 | 0.1825 | - | - | - | - | - | - |
509
  | 0.0864 | 18000 | 0.1822 | - | - | - | - | - | - |
510
  | 0.0912 | 19000 | 0.1819 | - | - | - | - | - | - |
511
+ | 0.0960 | 20000 | 0.1817 | 0.1721 | 0.5585 | 0.3000 (-0.5000) | 0.3900 (+0.0500) | 0.5500 (+0.3100) | 0.4133 (-0.0467) |
512
  | 0.1008 | 21000 | 0.1814 | - | - | - | - | - | - |
513
  | 0.1056 | 22000 | 0.1813 | - | - | - | - | - | - |
514
  | 0.1104 | 23000 | 0.1811 | - | - | - | - | - | - |
 
528
  | 0.1775 | 37000 | 0.1792 | - | - | - | - | - | - |
529
  | 0.1823 | 38000 | 0.1791 | - | - | - | - | - | - |
530
  | 0.1871 | 39000 | 0.179 | - | - | - | - | - | - |
531
+ | 0.1919 | 40000 | 0.179 | 0.1659 | 0.5798 | 0.6000 (-0.2000) | 0.3200 (-0.0200) | 0.4767 (+0.2367) | 0.4656 (+0.0056) |
532
  | 0.1967 | 41000 | 0.1789 | - | - | - | - | - | - |
533
  | 0.2015 | 42000 | 0.1788 | - | - | - | - | - | - |
534
  | 0.2063 | 43000 | 0.1787 | - | - | - | - | - | - |
 
548
  | 0.2735 | 57000 | 0.1773 | - | - | - | - | - | - |
549
  | 0.2783 | 58000 | 0.1771 | - | - | - | - | - | - |
550
  | 0.2831 | 59000 | 0.1771 | - | - | - | - | - | - |
551
+ | 0.2879 | 60000 | 0.177 | 0.1599 | 0.6128 | 0.5300 (-0.2700) | 0.1900 (-0.1500) | 0.3400 (+0.1000) | 0.3533 (-0.1067) |
552
  | 0.2927 | 61000 | 0.1769 | - | - | - | - | - | - |
553
  | 0.2975 | 62000 | 0.1768 | - | - | - | - | - | - |
554
  | 0.3023 | 63000 | 0.1768 | - | - | - | - | - | - |
 
568
  | 0.3695 | 77000 | 0.1753 | - | - | - | - | - | - |
569
  | 0.3743 | 78000 | 0.1752 | - | - | - | - | - | - |
570
  | 0.3791 | 79000 | 0.1751 | - | - | - | - | - | - |
571
+ | 0.3839 | 80000 | 0.175 | 0.1535 | 0.6545 | 0.3800 (-0.4200) | 0.2100 (-0.1300) | 0.2600 (+0.0200) | 0.2833 (-0.1767) |
572
  | 0.3887 | 81000 | 0.175 | - | - | - | - | - | - |
573
  | 0.3934 | 82000 | 0.1749 | - | - | - | - | - | - |
574
  | 0.3982 | 83000 | 0.1748 | - | - | - | - | - | - |
 
588
  | 0.4654 | 97000 | 0.1744 | - | - | - | - | - | - |
589
  | 0.4702 | 98000 | 0.1744 | - | - | - | - | - | - |
590
  | 0.4750 | 99000 | 0.1744 | - | - | - | - | - | - |
591
+ | 0.4798 | 100000 | 0.1745 | 0.1477 | 0.6925 | 0.5600 (-0.2400) | 0.2000 (-0.1400) | 0.2600 (+0.0200) | 0.3400 (-0.1200) |
592
  | 0.4846 | 101000 | 0.1744 | - | - | - | - | - | - |
593
  | 0.4894 | 102000 | 0.1744 | - | - | - | - | - | - |
594
  | 0.4942 | 103000 | 0.1744 | - | - | - | - | - | - |
 
608
  | 0.5614 | 117000 | 0.1742 | - | - | - | - | - | - |
609
  | 0.5662 | 118000 | 0.1742 | - | - | - | - | - | - |
610
  | 0.5710 | 119000 | 0.1742 | - | - | - | - | - | - |
611
+ | 0.5758 | 120000 | 0.1741 | 0.1434 | 0.7063 | 0.5300 (-0.2700) | 0.1600 (-0.1800) | 0.2500 (+0.0100) | 0.3133 (-0.1467) |
612
  | 0.5806 | 121000 | 0.1742 | - | - | - | - | - | - |
613
  | 0.5854 | 122000 | 0.1742 | - | - | - | - | - | - |
614
  | 0.5902 | 123000 | 0.1742 | - | - | - | - | - | - |
 
628
  | 0.6573 | 137000 | 0.174 | - | - | - | - | - | - |
629
  | 0.6621 | 138000 | 0.1741 | - | - | - | - | - | - |
630
  | 0.6669 | 139000 | 0.174 | - | - | - | - | - | - |
631
+ | 0.6717 | 140000 | 0.1741 | 0.1425 | 0.7261 | 0.5300 (-0.2700) | 0.1600 (-0.1800) | 0.3300 (+0.0900) | 0.3400 (-0.1200) |
632
  | 0.6765 | 141000 | 0.174 | - | - | - | - | - | - |
633
  | 0.6813 | 142000 | 0.1741 | - | - | - | - | - | - |
634
  | 0.6861 | 143000 | 0.174 | - | - | - | - | - | - |
 
648
  | 0.7533 | 157000 | 0.1741 | - | - | - | - | - | - |
649
  | 0.7581 | 158000 | 0.174 | - | - | - | - | - | - |
650
  | 0.7629 | 159000 | 0.174 | - | - | - | - | - | - |
651
+ | 0.7677 | 160000 | 0.174 | 0.1412 | 0.7252 | 0.4800 (-0.3200) | 0.1600 (-0.1800) | 0.3067 (+0.0667) | 0.3156 (-0.1444) |
652
  | 0.7725 | 161000 | 0.174 | - | - | - | - | - | - |
653
  | 0.7773 | 162000 | 0.1739 | - | - | - | - | - | - |
654
  | 0.7821 | 163000 | 0.174 | - | - | - | - | - | - |
 
668
  | 0.8493 | 177000 | 0.174 | - | - | - | - | - | - |
669
  | 0.8541 | 178000 | 0.174 | - | - | - | - | - | - |
670
  | 0.8589 | 179000 | 0.1739 | - | - | - | - | - | - |
671
+ | 0.8637 | 180000 | 0.1739 | 0.1403 | 0.7127 | 0.4000 (-0.4000) | 0.1800 (-0.1600) | 0.3700 (+0.1300) | 0.3167 (-0.1433) |
672
  | 0.8685 | 181000 | 0.174 | - | - | - | - | - | - |
673
  | 0.8733 | 182000 | 0.174 | - | - | - | - | - | - |
674
  | 0.8781 | 183000 | 0.1739 | - | - | - | - | - | - |
 
688
  | 0.9452 | 197000 | 0.1739 | - | - | - | - | - | - |
689
  | 0.9500 | 198000 | 0.174 | - | - | - | - | - | - |
690
  | 0.9548 | 199000 | 0.1739 | - | - | - | - | - | - |
691
+ | 0.9596 | 200000 | 0.1739 | 0.1405 | 0.7189 | 0.4100 (-0.3900) | 0.1800 (-0.1600) | 0.3700 (+0.1300) | 0.3200 (-0.1400) |
692
  | 0.9644 | 201000 | 0.174 | - | - | - | - | - | - |
693
  | 0.9692 | 202000 | 0.174 | - | - | - | - | - | - |
694
  | 0.9740 | 203000 | 0.1739 | - | - | - | - | - | - |
 
708
  | 1.0412 | 217000 | 0.1739 | - | - | - | - | - | - |
709
  | 1.0460 | 218000 | 0.1739 | - | - | - | - | - | - |
710
  | 1.0508 | 219000 | 0.1739 | - | - | - | - | - | - |
711
+ | 1.0556 | 220000 | 0.174 | 0.1395 | 0.7357 | 0.5800 (-0.2200) | 0.1800 (-0.1600) | 0.3800 (+0.1400) | 0.3800 (-0.0800) |
712
  | 1.0604 | 221000 | 0.1739 | - | - | - | - | - | - |
713
  | 1.0652 | 222000 | 0.1738 | - | - | - | - | - | - |
714
  | 1.0700 | 223000 | 0.1739 | - | - | - | - | - | - |
 
728
  | 1.1372 | 237000 | 0.1739 | - | - | - | - | - | - |
729
  | 1.1420 | 238000 | 0.1739 | - | - | - | - | - | - |
730
  | 1.1468 | 239000 | 0.1739 | - | - | - | - | - | - |
731
+ | 1.1516 | 240000 | 0.1738 | 0.1394 | 0.7347 | 0.4200 (-0.3800) | 0.1900 (-0.1500) | 0.3600 (+0.1200) | 0.3233 (-0.1367) |
732
  | 1.1564 | 241000 | 0.174 | - | - | - | - | - | - |
733
  | 1.1612 | 242000 | 0.1739 | - | - | - | - | - | - |
734
  | 1.1660 | 243000 | 0.1738 | - | - | - | - | - | - |
 
748
  | 1.2331 | 257000 | 0.1739 | - | - | - | - | - | - |
749
  | 1.2379 | 258000 | 0.1739 | - | - | - | - | - | - |
750
  | 1.2427 | 259000 | 0.1738 | - | - | - | - | - | - |
751
+ | 1.2475 | 260000 | 0.1738 | 0.1392 | 0.7325 | 0.4500 (-0.3500) | 0.2000 (-0.1400) | 0.3600 (+0.1200) | 0.3367 (-0.1233) |
752
  | 1.2523 | 261000 | 0.174 | - | - | - | - | - | - |
753
  | 1.2571 | 262000 | 0.1739 | - | - | - | - | - | - |
754
  | 1.2619 | 263000 | 0.1739 | - | - | - | - | - | - |
 
768
  | 1.3291 | 277000 | 0.1739 | - | - | - | - | - | - |
769
  | 1.3339 | 278000 | 0.1738 | - | - | - | - | - | - |
770
  | 1.3387 | 279000 | 0.1739 | - | - | - | - | - | - |
771
+ | 1.3435 | 280000 | 0.1738 | 0.1394 | 0.7343 | 0.4900 (-0.3100) | 0.1600 (-0.1800) | 0.4100 (+0.1700) | 0.3533 (-0.1067) |
772
  | 1.3483 | 281000 | 0.1739 | - | - | - | - | - | - |
773
  | 1.3531 | 282000 | 0.1739 | - | - | - | - | - | - |
774
  | 1.3579 | 283000 | 0.1738 | - | - | - | - | - | - |
 
788
  | 1.4251 | 297000 | 0.1738 | - | - | - | - | - | - |
789
  | 1.4299 | 298000 | 0.1738 | - | - | - | - | - | - |
790
  | 1.4347 | 299000 | 0.1738 | - | - | - | - | - | - |
791
+ | 1.4394 | 300000 | 0.1738 | 0.1395 | 0.7236 | 0.4000 (-0.4000) | 0.1800 (-0.1600) | 0.3900 (+0.1500) | 0.3233 (-0.1367) |
792
  | 1.4442 | 301000 | 0.1739 | - | - | - | - | - | - |
793
  | 1.4490 | 302000 | 0.1738 | - | - | - | - | - | - |
794
  | 1.4538 | 303000 | 0.1737 | - | - | - | - | - | - |
 
808
  | 1.5210 | 317000 | 0.1737 | - | - | - | - | - | - |
809
  | 1.5258 | 318000 | 0.1738 | - | - | - | - | - | - |
810
  | 1.5306 | 319000 | 0.1739 | - | - | - | - | - | - |
811
+ | 1.5354 | 320000 | 0.1738 | 0.1388 | 0.7420 | 0.4800 (-0.3200) | 0.1800 (-0.1600) | 0.4000 (+0.1600) | 0.3533 (-0.1067) |
812
  | 1.5402 | 321000 | 0.1738 | - | - | - | - | - | - |
813
  | 1.5450 | 322000 | 0.1738 | - | - | - | - | - | - |
814
  | 1.5498 | 323000 | 0.1738 | - | - | - | - | - | - |
 
828
  | 1.6170 | 337000 | 0.1739 | - | - | - | - | - | - |
829
  | 1.6218 | 338000 | 0.1738 | - | - | - | - | - | - |
830
  | 1.6266 | 339000 | 0.1738 | - | - | - | - | - | - |
831
+ | 1.6314 | 340000 | 0.1738 | 0.1388 | 0.7394 | 0.4900 (-0.3100) | 0.1800 (-0.1600) | 0.4000 (+0.1600) | 0.3567 (-0.1033) |
832
  | 1.6362 | 341000 | 0.1737 | - | - | - | - | - | - |
833
  | 1.6410 | 342000 | 0.1738 | - | - | - | - | - | - |
834
  | 1.6458 | 343000 | 0.1737 | - | - | - | - | - | - |
 
848
  | 1.7129 | 357000 | 0.1738 | - | - | - | - | - | - |
849
  | 1.7177 | 358000 | 0.1737 | - | - | - | - | - | - |
850
  | 1.7225 | 359000 | 0.1738 | - | - | - | - | - | - |
851
+ | 1.7273 | 360000 | 0.1738 | 0.1386 | 0.7350 | 0.5067 (-0.2933) | 0.2300 (-0.1100) | 0.4200 (+0.1800) | 0.3856 (-0.0744) |
852
  | 1.7321 | 361000 | 0.1738 | - | - | - | - | - | - |
853
  | 1.7369 | 362000 | 0.1737 | - | - | - | - | - | - |
854
  | 1.7417 | 363000 | 0.1738 | - | - | - | - | - | - |
 
868
  | 1.8089 | 377000 | 0.1738 | - | - | - | - | - | - |
869
  | 1.8137 | 378000 | 0.1737 | - | - | - | - | - | - |
870
  | 1.8185 | 379000 | 0.1738 | - | - | - | - | - | - |
871
+ | 1.8233 | 380000 | 0.1737 | 0.1384 | 0.7420 | 0.4700 (-0.3300) | 0.2000 (-0.1400) | 0.4100 (+0.1700) | 0.3600 (-0.1000) |
872
  | 1.8281 | 381000 | 0.1738 | - | - | - | - | - | - |
873
  | 1.8329 | 382000 | 0.1738 | - | - | - | - | - | - |
874
  | 1.8377 | 383000 | 0.1738 | - | - | - | - | - | - |
 
888
  | 1.9049 | 397000 | 0.1739 | - | - | - | - | - | - |
889
  | 1.9097 | 398000 | 0.1738 | - | - | - | - | - | - |
890
  | 1.9145 | 399000 | 0.1738 | - | - | - | - | - | - |
891
+ | 1.9193 | 400000 | 0.1738 | 0.1389 | 0.7360 | 0.4600 (-0.3400) | 0.2200 (-0.1200) | 0.4200 (+0.1800) | 0.3667 (-0.0933) |
892
  | 1.9241 | 401000 | 0.1739 | - | - | - | - | - | - |
893
  | 1.9289 | 402000 | 0.1738 | - | - | - | - | - | - |
894
  | 1.9337 | 403000 | 0.1738 | - | - | - | - | - | - |
 
908
  | 2.0008 | 417000 | 0.1737 | - | - | - | - | - | - |
909
  | 2.0056 | 418000 | 0.1737 | - | - | - | - | - | - |
910
  | 2.0104 | 419000 | 0.1738 | - | - | - | - | - | - |
911
+ | **2.0152** | **420000** | **0.1737** | **0.1384** | **0.7446** | **0.6100 (-0.1900)** | **0.2100 (-0.1300)** | **0.3800 (+0.1400)** | **0.4000 (-0.0600)** |
912
  | 2.0200 | 421000 | 0.1738 | - | - | - | - | - | - |
913
  | 2.0248 | 422000 | 0.1737 | - | - | - | - | - | - |
914
  | 2.0296 | 423000 | 0.1738 | - | - | - | - | - | - |
 
928
  | 2.0968 | 437000 | 0.1738 | - | - | - | - | - | - |
929
  | 2.1016 | 438000 | 0.1738 | - | - | - | - | - | - |
930
  | 2.1064 | 439000 | 0.1738 | - | - | - | - | - | - |
931
+ | 2.1112 | 440000 | 0.1738 | 0.1388 | 0.7355 | 0.4700 (-0.3300) | 0.2000 (-0.1400) | 0.3900 (+0.1500) | 0.3533 (-0.1067) |
932
  | 2.1160 | 441000 | 0.1739 | - | - | - | - | - | - |
933
  | 2.1208 | 442000 | 0.1738 | - | - | - | - | - | - |
934
  | 2.1256 | 443000 | 0.1738 | - | - | - | - | - | - |
 
948
  | 2.1928 | 457000 | 0.1738 | - | - | - | - | - | - |
949
  | 2.1976 | 458000 | 0.1739 | - | - | - | - | - | - |
950
  | 2.2024 | 459000 | 0.1737 | - | - | - | - | - | - |
951
+ | 2.2072 | 460000 | 0.1738 | 0.1390 | 0.7377 | 0.5000 (-0.3000) | 0.2000 (-0.1400) | 0.4000 (+0.1600) | 0.3667 (-0.0933) |
952
  | 2.2120 | 461000 | 0.1738 | - | - | - | - | - | - |
953
  | 2.2168 | 462000 | 0.1738 | - | - | - | - | - | - |
954
  | 2.2216 | 463000 | 0.1738 | - | - | - | - | - | - |
 
968
  | 2.2887 | 477000 | 0.1738 | - | - | - | - | - | - |
969
  | 2.2935 | 478000 | 0.1738 | - | - | - | - | - | - |
970
  | 2.2983 | 479000 | 0.1738 | - | - | - | - | - | - |
971
+ | 2.3031 | 480000 | 0.1739 | 0.1386 | 0.7417 | 0.5400 (-0.2600) | 0.1900 (-0.1500) | 0.4400 (+0.2000) | 0.3900 (-0.0700) |
972
  | 2.3079 | 481000 | 0.1738 | - | - | - | - | - | - |
973
  | 2.3127 | 482000 | 0.1738 | - | - | - | - | - | - |
974
  | 2.3175 | 483000 | 0.1738 | - | - | - | - | - | - |
 
988
  | 2.3847 | 497000 | 0.1738 | - | - | - | - | - | - |
989
  | 2.3895 | 498000 | 0.1737 | - | - | - | - | - | - |
990
  | 2.3943 | 499000 | 0.1738 | - | - | - | - | - | - |
991
+ | 2.3991 | 500000 | 0.1737 | 0.1385 | 0.7404 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.4100 (+0.1700) | 0.3767 (-0.0833) |
992
  | 2.4039 | 501000 | 0.1737 | - | - | - | - | - | - |
993
  | 2.4087 | 502000 | 0.1738 | - | - | - | - | - | - |
994
  | 2.4135 | 503000 | 0.1737 | - | - | - | - | - | - |
 
1008
  | 2.4807 | 517000 | 0.1738 | - | - | - | - | - | - |
1009
  | 2.4854 | 518000 | 0.1738 | - | - | - | - | - | - |
1010
  | 2.4902 | 519000 | 0.1737 | - | - | - | - | - | - |
1011
+ | 2.4950 | 520000 | 0.1738 | 0.1388 | 0.7382 | 0.5100 (-0.2900) | 0.2000 (-0.1400) | 0.4200 (+0.1800) | 0.3767 (-0.0833) |
1012
  | 2.4998 | 521000 | 0.1737 | - | - | - | - | - | - |
1013
  | 2.5046 | 522000 | 0.1738 | - | - | - | - | - | - |
1014
  | 2.5094 | 523000 | 0.1738 | - | - | - | - | - | - |
 
1028
  | 2.5766 | 537000 | 0.1737 | - | - | - | - | - | - |
1029
  | 2.5814 | 538000 | 0.1738 | - | - | - | - | - | - |
1030
  | 2.5862 | 539000 | 0.1738 | - | - | - | - | - | - |
1031
+ | 2.5910 | 540000 | 0.1738 | 0.1388 | 0.7373 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.4100 (+0.1700) | 0.3800 (-0.0800) |
1032
  | 2.5958 | 541000 | 0.1737 | - | - | - | - | - | - |
1033
  | 2.6006 | 542000 | 0.1737 | - | - | - | - | - | - |
1034
  | 2.6054 | 543000 | 0.1738 | - | - | - | - | - | - |
 
1048
  | 2.6726 | 557000 | 0.1738 | - | - | - | - | - | - |
1049
  | 2.6774 | 558000 | 0.1738 | - | - | - | - | - | - |
1050
  | 2.6822 | 559000 | 0.1738 | - | - | - | - | - | - |
1051
+ | 2.6870 | 560000 | 0.1737 | 0.1388 | 0.7335 | 0.4500 (-0.3500) | 0.1900 (-0.1500) | 0.3900 (+0.1500) | 0.3433 (-0.1167) |
1052
  | 2.6918 | 561000 | 0.1737 | - | - | - | - | - | - |
1053
  | 2.6966 | 562000 | 0.1738 | - | - | - | - | - | - |
1054
  | 2.7014 | 563000 | 0.1738 | - | - | - | - | - | - |
 
1068
  | 2.7685 | 577000 | 0.1738 | - | - | - | - | - | - |
1069
  | 2.7733 | 578000 | 0.1738 | - | - | - | - | - | - |
1070
  | 2.7781 | 579000 | 0.1737 | - | - | - | - | - | - |
1071
+ | 2.7829 | 580000 | 0.1738 | 0.1387 | 0.7400 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.4000 (+0.1600) | 0.3767 (-0.0833) |
1072
  | 2.7877 | 581000 | 0.1739 | - | - | - | - | - | - |
1073
  | 2.7925 | 582000 | 0.1737 | - | - | - | - | - | - |
1074
  | 2.7973 | 583000 | 0.1737 | - | - | - | - | - | - |
 
1088
  | 2.8645 | 597000 | 0.1738 | - | - | - | - | - | - |
1089
  | 2.8693 | 598000 | 0.1738 | - | - | - | - | - | - |
1090
  | 2.8741 | 599000 | 0.1738 | - | - | - | - | - | - |
1091
+ | 2.8789 | 600000 | 0.1738 | 0.1388 | 0.7398 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.3900 (+0.1500) | 0.3700 (-0.0900) |
1092
  | 2.8837 | 601000 | 0.1738 | - | - | - | - | - | - |
1093
  | 2.8885 | 602000 | 0.1738 | - | - | - | - | - | - |
1094
  | 2.8933 | 603000 | 0.1738 | - | - | - | - | - | - |
 
1108
  | 2.9605 | 617000 | 0.1737 | - | - | - | - | - | - |
1109
  | 2.9653 | 618000 | 0.1738 | - | - | - | - | - | - |
1110
  | 2.9701 | 619000 | 0.1739 | - | - | - | - | - | - |
1111
+ | 2.9749 | 620000 | 0.1738 | 0.1388 | 0.7415 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.4200 (+0.1800) | 0.3833 (-0.0767) |
1112
  | 2.9797 | 621000 | 0.1737 | - | - | - | - | - | - |
1113
  | 2.9845 | 622000 | 0.1738 | - | - | - | - | - | - |
1114
  | 2.9893 | 623000 | 0.1738 | - | - | - | - | - | - |
 
1128
  | 3.0564 | 637000 | 0.1739 | - | - | - | - | - | - |
1129
  | 3.0612 | 638000 | 0.1738 | - | - | - | - | - | - |
1130
  | 3.0660 | 639000 | 0.1737 | - | - | - | - | - | - |
1131
+ | 3.0708 | 640000 | 0.1738 | 0.1388 | 0.7392 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.4100 (+0.1700) | 0.3767 (-0.0833) |
1132
  | 3.0756 | 641000 | 0.1738 | - | - | - | - | - | - |
1133
  | 3.0804 | 642000 | 0.1738 | - | - | - | - | - | - |
1134
  | 3.0852 | 643000 | 0.1738 | - | - | - | - | - | - |
 
1148
  | 3.1524 | 657000 | 0.1738 | - | - | - | - | - | - |
1149
  | 3.1572 | 658000 | 0.1738 | - | - | - | - | - | - |
1150
  | 3.1620 | 659000 | 0.1738 | - | - | - | - | - | - |
1151
+ | 3.1668 | 660000 | 0.1738 | 0.1390 | 0.7394 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.4000 (+0.1600) | 0.3733 (-0.0867) |
1152
  | 3.1716 | 661000 | 0.1738 | - | - | - | - | - | - |
1153
  | 3.1764 | 662000 | 0.1738 | - | - | - | - | - | - |
1154
  | 3.1812 | 663000 | 0.1738 | - | - | - | - | - | - |
 
1168
  | 3.2484 | 677000 | 0.1738 | - | - | - | - | - | - |
1169
  | 3.2532 | 678000 | 0.1739 | - | - | - | - | - | - |
1170
  | 3.2580 | 679000 | 0.1738 | - | - | - | - | - | - |
1171
+ | 3.2628 | 680000 | 0.1738 | 0.1390 | 0.7391 | 0.5400 (-0.2600) | 0.2000 (-0.1400) | 0.4200 (+0.1800) | 0.3867 (-0.0733) |
1172
  | 3.2676 | 681000 | 0.1738 | - | - | - | - | - | - |
1173
  | 3.2723 | 682000 | 0.1738 | - | - | - | - | - | - |
1174
  | 3.2771 | 683000 | 0.1738 | - | - | - | - | - | - |
 
1188
  | 3.3443 | 697000 | 0.1737 | - | - | - | - | - | - |
1189
  | 3.3491 | 698000 | 0.1739 | - | - | - | - | - | - |
1190
  | 3.3539 | 699000 | 0.1738 | - | - | - | - | - | - |
1191
+ | 3.3587 | 700000 | 0.1738 | 0.1390 | 0.7394 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.4000 (+0.1600) | 0.3733 (-0.0867) |
1192
  | 3.3635 | 701000 | 0.1739 | - | - | - | - | - | - |
1193
  | 3.3683 | 702000 | 0.1738 | - | - | - | - | - | - |
1194
  | 3.3731 | 703000 | 0.1738 | - | - | - | - | - | - |
 
1208
  | 3.4403 | 717000 | 0.1738 | - | - | - | - | - | - |
1209
  | 3.4451 | 718000 | 0.1738 | - | - | - | - | - | - |
1210
  | 3.4499 | 719000 | 0.1737 | - | - | - | - | - | - |
1211
+ | 3.4547 | 720000 | 0.1737 | 0.1389 | 0.7397 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.3900 (+0.1500) | 0.3700 (-0.0900) |
1212
  | 3.4595 | 721000 | 0.1738 | - | - | - | - | - | - |
1213
  | 3.4643 | 722000 | 0.1738 | - | - | - | - | - | - |
1214
  | 3.4691 | 723000 | 0.1738 | - | - | - | - | - | - |
 
1228
  | 3.5362 | 737000 | 0.1737 | - | - | - | - | - | - |
1229
  | 3.5410 | 738000 | 0.1738 | - | - | - | - | - | - |
1230
  | 3.5458 | 739000 | 0.1738 | - | - | - | - | - | - |
1231
+ | 3.5506 | 740000 | 0.1738 | 0.1390 | 0.7397 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.4100 (+0.1700) | 0.3767 (-0.0833) |
1232
  | 3.5554 | 741000 | 0.1738 | - | - | - | - | - | - |
1233
  | 3.5602 | 742000 | 0.1737 | - | - | - | - | - | - |
1234
  | 3.5650 | 743000 | 0.1738 | - | - | - | - | - | - |
 
1248
  | 3.6322 | 757000 | 0.1738 | - | - | - | - | - | - |
1249
  | 3.6370 | 758000 | 0.1737 | - | - | - | - | - | - |
1250
  | 3.6418 | 759000 | 0.1738 | - | - | - | - | - | - |
1251
+ | 3.6466 | 760000 | 0.1737 | 0.1390 | 0.7403 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.3700 (+0.1300) | 0.3633 (-0.0967) |
1252
  | 3.6514 | 761000 | 0.1739 | - | - | - | - | - | - |
1253
  | 3.6562 | 762000 | 0.1738 | - | - | - | - | - | - |
1254
  | 3.6610 | 763000 | 0.1738 | - | - | - | - | - | - |
 
1268
  | 3.7282 | 777000 | 0.1738 | - | - | - | - | - | - |
1269
  | 3.7330 | 778000 | 0.1738 | - | - | - | - | - | - |
1270
  | 3.7378 | 779000 | 0.1738 | - | - | - | - | - | - |
1271
+ | 3.7426 | 780000 | 0.1738 | 0.1390 | 0.7393 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.4000 (+0.1600) | 0.3767 (-0.0833) |
1272
  | 3.7474 | 781000 | 0.1737 | - | - | - | - | - | - |
1273
  | 3.7522 | 782000 | 0.1738 | - | - | - | - | - | - |
1274
  | 3.7570 | 783000 | 0.1739 | - | - | - | - | - | - |
 
1288
  | 3.8241 | 797000 | 0.1738 | - | - | - | - | - | - |
1289
  | 3.8289 | 798000 | 0.1738 | - | - | - | - | - | - |
1290
  | 3.8337 | 799000 | 0.1738 | - | - | - | - | - | - |
1291
+ | 3.8385 | 800000 | 0.1739 | 0.1391 | 0.7387 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.3800 (+0.1400) | 0.3667 (-0.0933) |
1292
  | 3.8433 | 801000 | 0.1739 | - | - | - | - | - | - |
1293
  | 3.8481 | 802000 | 0.1738 | - | - | - | - | - | - |
1294
  | 3.8529 | 803000 | 0.1739 | - | - | - | - | - | - |
 
1308
  | 3.9201 | 817000 | 0.1738 | - | - | - | - | - | - |
1309
  | 3.9249 | 818000 | 0.1739 | - | - | - | - | - | - |
1310
  | 3.9297 | 819000 | 0.1738 | - | - | - | - | - | - |
1311
+ | 3.9345 | 820000 | 0.1738 | 0.1390 | 0.7392 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.3800 (+0.1400) | 0.3700 (-0.0900) |
1312
  | 3.9393 | 821000 | 0.1738 | - | - | - | - | - | - |
1313
  | 3.9441 | 822000 | 0.1738 | - | - | - | - | - | - |
1314
  | 3.9489 | 823000 | 0.1738 | - | - | - | - | - | - |
 
1328
  | 4.0161 | 837000 | 0.1738 | - | - | - | - | - | - |
1329
  | 4.0209 | 838000 | 0.1738 | - | - | - | - | - | - |
1330
  | 4.0257 | 839000 | 0.1738 | - | - | - | - | - | - |
1331
+ | 4.0305 | 840000 | 0.1738 | 0.1391 | 0.7393 | 0.5100 (-0.2900) | 0.1900 (-0.1500) | 0.3800 (+0.1400) | 0.3600 (-0.1000) |
1332
  | 4.0353 | 841000 | 0.1738 | - | - | - | - | - | - |
1333
  | 4.0401 | 842000 | 0.1738 | - | - | - | - | - | - |
1334
  | 4.0449 | 843000 | 0.1738 | - | - | - | - | - | - |
 
1348
  | 4.1120 | 857000 | 0.1738 | - | - | - | - | - | - |
1349
  | 4.1168 | 858000 | 0.1739 | - | - | - | - | - | - |
1350
  | 4.1216 | 859000 | 0.1739 | - | - | - | - | - | - |
1351
+ | 4.1264 | 860000 | 0.1739 | 0.1391 | 0.7392 | 0.5200 (-0.2800) | 0.2200 (-0.1200) | 0.4100 (+0.1700) | 0.3833 (-0.0767) |
1352
  | 4.1312 | 861000 | 0.1739 | - | - | - | - | - | - |
1353
  | 4.1360 | 862000 | 0.1739 | - | - | - | - | - | - |
1354
  | 4.1408 | 863000 | 0.1739 | - | - | - | - | - | - |
 
1368
  | 4.2080 | 877000 | 0.1738 | - | - | - | - | - | - |
1369
  | 4.2128 | 878000 | 0.1738 | - | - | - | - | - | - |
1370
  | 4.2176 | 879000 | 0.1738 | - | - | - | - | - | - |
1371
+ | 4.2224 | 880000 | 0.1739 | 0.1391 | 0.7389 | 0.5200 (-0.2800) | 0.2200 (-0.1200) | 0.4200 (+0.1800) | 0.3867 (-0.0733) |
1372
  | 4.2272 | 881000 | 0.1738 | - | - | - | - | - | - |
1373
  | 4.2320 | 882000 | 0.1738 | - | - | - | - | - | - |
1374
  | 4.2368 | 883000 | 0.1739 | - | - | - | - | - | - |
 
1388
  | 4.3040 | 897000 | 0.1739 | - | - | - | - | - | - |
1389
  | 4.3088 | 898000 | 0.1738 | - | - | - | - | - | - |
1390
  | 4.3136 | 899000 | 0.1739 | - | - | - | - | - | - |
1391
+ | 4.3183 | 900000 | 0.1738 | 0.1391 | 0.7393 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.4100 (+0.1700) | 0.3800 (-0.0800) |
1392
  | 4.3231 | 901000 | 0.1739 | - | - | - | - | - | - |
1393
  | 4.3279 | 902000 | 0.1738 | - | - | - | - | - | - |
1394
  | 4.3327 | 903000 | 0.1738 | - | - | - | - | - | - |
 
1408
  | 4.3999 | 917000 | 0.1738 | - | - | - | - | - | - |
1409
  | 4.4047 | 918000 | 0.1737 | - | - | - | - | - | - |
1410
  | 4.4095 | 919000 | 0.1738 | - | - | - | - | - | - |
1411
+ | 4.4143 | 920000 | 0.1737 | 0.1391 | 0.7394 | 0.5000 (-0.3000) | 0.2000 (-0.1400) | 0.3900 (+0.1500) | 0.3633 (-0.0967) |
1412
  | 4.4191 | 921000 | 0.1738 | - | - | - | - | - | - |
1413
  | 4.4239 | 922000 | 0.1738 | - | - | - | - | - | - |
1414
  | 4.4287 | 923000 | 0.1738 | - | - | - | - | - | - |
 
1428
  | 4.4959 | 937000 | 0.1738 | - | - | - | - | - | - |
1429
  | 4.5007 | 938000 | 0.1738 | - | - | - | - | - | - |
1430
  | 4.5055 | 939000 | 0.1738 | - | - | - | - | - | - |
1431
+ | 4.5103 | 940000 | 0.1738 | 0.1391 | 0.7391 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.4100 (+0.1700) | 0.3800 (-0.0800) |
1432
  | 4.5151 | 941000 | 0.1738 | - | - | - | - | - | - |
1433
  | 4.5199 | 942000 | 0.1738 | - | - | - | - | - | - |
1434
  | 4.5247 | 943000 | 0.1738 | - | - | - | - | - | - |
 
1448
  | 4.5918 | 957000 | 0.1738 | - | - | - | - | - | - |
1449
  | 4.5966 | 958000 | 0.1737 | - | - | - | - | - | - |
1450
  | 4.6014 | 959000 | 0.1737 | - | - | - | - | - | - |
1451
+ | 4.6062 | 960000 | 0.1738 | 0.1391 | 0.7394 | 0.5200 (-0.2800) | 0.2100 (-0.1300) | 0.3900 (+0.1500) | 0.3733 (-0.0867) |
1452
  | 4.6110 | 961000 | 0.1738 | - | - | - | - | - | - |
1453
  | 4.6158 | 962000 | 0.1739 | - | - | - | - | - | - |
1454
  | 4.6206 | 963000 | 0.1739 | - | - | - | - | - | - |
 
1468
  | 4.6878 | 977000 | 0.1738 | - | - | - | - | - | - |
1469
  | 4.6926 | 978000 | 0.1738 | - | - | - | - | - | - |
1470
  | 4.6974 | 979000 | 0.1738 | - | - | - | - | - | - |
1471
+ | 4.7022 | 980000 | 0.1739 | 0.1391 | 0.7395 | 0.5200 (-0.2800) | 0.2000 (-0.1400) | 0.4100 (+0.1700) | 0.3767 (-0.0833) |
1472
  | 4.7070 | 981000 | 0.1738 | - | - | - | - | - | - |
1473
  | 4.7118 | 982000 | 0.1739 | - | - | - | - | - | - |
1474
  | 4.7166 | 983000 | 0.1738 | - | - | - | - | - | - |
 
1488
  | 4.7838 | 997000 | 0.1738 | - | - | - | - | - | - |
1489
  | 4.7886 | 998000 | 0.1738 | - | - | - | - | - | - |
1490
  | 4.7934 | 999000 | 0.1738 | - | - | - | - | - | - |
1491
+ | 4.7982 | 1000000 | 0.1737 | 0.1391 | 0.7392 | 0.5400 (-0.2600) | 0.2000 (-0.1400) | 0.4000 (+0.1600) | 0.3800 (-0.0800) |
1492
  | 4.8030 | 1001000 | 0.1738 | - | - | - | - | - | - |
1493
  | 4.8078 | 1002000 | 0.1739 | - | - | - | - | - | - |
1494
  | 4.8126 | 1003000 | 0.1738 | - | - | - | - | - | - |
 
1508
  | 4.8797 | 1017000 | 0.1738 | - | - | - | - | - | - |
1509
  | 4.8845 | 1018000 | 0.1739 | - | - | - | - | - | - |
1510
  | 4.8893 | 1019000 | 0.1738 | - | - | - | - | - | - |
1511
+ | 4.8941 | 1020000 | 0.1738 | 0.1391 | 0.7393 | 0.5300 (-0.2700) | 0.2000 (-0.1400) | 0.4000 (+0.1600) | 0.3767 (-0.0833) |
1512
  | 4.8989 | 1021000 | 0.1739 | - | - | - | - | - | - |
1513
  | 4.9037 | 1022000 | 0.1739 | - | - | - | - | - | - |
1514
  | 4.9085 | 1023000 | 0.1738 | - | - | - | - | - | - |
 
1528
  | 4.9757 | 1037000 | 0.1738 | - | - | - | - | - | - |
1529
  | 4.9805 | 1038000 | 0.1738 | - | - | - | - | - | - |
1530
  | 4.9853 | 1039000 | 0.1738 | - | - | - | - | - | - |
1531
+ | 4.9901 | 1040000 | 0.1738 | 0.1391 | 0.7395 | 0.5100 (-0.2900) | 0.2000 (-0.1400) | 0.4000 (+0.1600) | 0.3700 (-0.0900) |
1532
  | 4.9949 | 1041000 | 0.1738 | - | - | - | - | - | - |
1533
  | 4.9997 | 1042000 | 0.1738 | - | - | - | - | - | - |
1534
 
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:a93334c7dc666eb8be5591b9f14ad6f8095ff6aec71ea1f4908a74d8a009d686
3
  size 299225554
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5f299367322ad35265cace4e6953fb70bb3e723e0b451cf3a856aa52c509db83
3
  size 299225554