meandyou200175/e5-query-sql

SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: vinai/phobert-base-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/e5-query-sql")
# Run inference
sentences = [
    'Cho mình ghế massage Daikiosan công suất nhỏ hơn 158W có không ạ?',
    'Ghế massage Daikiosan DK-180, công suất 120W, nhiều chế độ, Giá: 3.950.000',
    'Ghế massage Daikiosan DK-180, công suất 210W, nhiều chế độ, Giá: 3.950.000',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5257
cosine_accuracy@2	0.753
cosine_accuracy@5	0.9563
cosine_accuracy@10	0.9931
cosine_accuracy@100	0.9966
cosine_precision@1	0.5257
cosine_precision@2	0.3765
cosine_precision@5	0.1913
cosine_precision@10	0.0993
cosine_precision@100	0.01
cosine_recall@1	0.5257
cosine_recall@2	0.753
cosine_recall@5	0.9563
cosine_recall@10	0.9931
cosine_recall@100	0.9966
cosine_ndcg@10	0.776
cosine_mrr@1	0.5257
cosine_mrr@2	0.6394
cosine_mrr@5	0.6984
cosine_mrr@10	0.704
cosine_mrr@100	0.7042
cosine_map@100	0.7042

Training Details

Training Dataset

Unnamed Dataset

• Size: 10,494 training samples
• Columns: query, positive, negative_1, negative_2, negative_3, negative_4, negative_5, negative_6, negative_7, negative_8, negative_9, negative_10, negative_11, negative_12, negative_13, negative_14, and negative_15
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative_1	negative_2	negative_3	negative_4	negative_5	negative_6	negative_7	negative_8	negative_9	negative_10	negative_11	negative_12	negative_13	negative_14	negative_15
  type	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string
  details	min: 5 tokens mean: 14.4 tokens max: 27 tokens	min: 17 tokens mean: 27.51 tokens max: 91 tokens	min: 18 tokens mean: 28.07 tokens max: 91 tokens	min: 18 tokens mean: 27.79 tokens max: 91 tokens	min: 18 tokens mean: 27.84 tokens max: 91 tokens	min: 18 tokens mean: 27.87 tokens max: 91 tokens	min: 18 tokens mean: 27.86 tokens max: 96 tokens	min: 18 tokens mean: 27.84 tokens max: 91 tokens	min: 18 tokens mean: 27.97 tokens max: 91 tokens	min: 17 tokens mean: 28.06 tokens max: 93 tokens	min: 18 tokens mean: 27.92 tokens max: 96 tokens	min: 18 tokens mean: 27.64 tokens max: 91 tokens	min: 18 tokens mean: 27.3 tokens max: 110 tokens	min: 18 tokens mean: 27.74 tokens max: 110 tokens	min: 17 tokens mean: 27.3 tokens max: 110 tokens	min: 16 tokens mean: 27.41 tokens max: 110 tokens	min: 17 tokens mean: 27.4 tokens max: 110 tokens

• Samples:

  query	positive	negative_1	negative_2	negative_3	negative_4	negative_5	negative_6	negative_7	negative_8	negative_9	negative_10	negative_11	negative_12	negative_13	negative_14	negative_15
  Máy hút ẩm công suất 34L/ngày và độ ồn nhỏ hơn 45dB	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 25L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 41.8L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 39.8L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 44.9L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 45.6L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 43.7L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 37.2L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 41.5L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 42.6L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 43.8L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy hút ẩm Sharp DW-J27FV-S, công suất hút 39.7L/ngày, độ ồn chỉ 38dB vận hành êm ái, lọc HEPA loại bỏ bụi mịn, khử mùi bằng than hoạt tính, bình chứa 4L, có chế độ sấy quần áo, bánh xe di chuyển linh hoạt, bảo hành 24 tháng, Giá 8.790.000	Máy giặt LG Inverter 9kg, Lồng ngang, Giặt hơi nước, Giá: 9.500.000	Máy lọc nước Sunhouse SHA8810, công suất lọc 10L/h, 8 lõi lọc, Giá: 6.500.000	Ghế văn phòng Noble WB-205, xoay 360°, tựa lưng cao, chịu lực 160kg, Giá: 2.450.000	Ghế gấp Inox bọc nệm, Tải trọng 100kg, Giá: 650.000	Quạt điều hòa Sunhouse SHD7725, Lưu lượng 5.500 m³/h, Bình nước 50L, Giá: 4.900.000
  Cho mình bàn ủi khô công suất lớn hơn 750W được không ạ?	Bàn ủi khô Tefal FV1020, công suất 1000W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 690W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 580W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 460W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 660W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 610W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 440W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 620W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 510W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 540W, Giá: 380.000	Bàn ủi khô Tefal FV1020, công suất 430W, Giá: 380.000	Máy lọc Kangaroo KG111, công suất 25L/h, 9 lõi lọc, vòi nhựa ABS, Giá 7.550.000	Màn hình Samsung Odyssey Neo G9, 49 inch, 240Hz, 2K, Giá: 42.000.000	Máy sấy tóc Philips HP8230, Công suất 2100W, 2 chế độ gió, Giá: 620.000	Robot hút bụi Ecovacs Deebot T10, Pin 5200mAh, Hút 5000Pa, Giá: 12.900.000	Loa kéo Sansui SA2-12, Công suất 600W, Kèm micro, Giá: 4.900.000
  mình cần tủ rượu dung tích lớn hơn 56 chai	Tủ ướp rượu Kadeka KS140TL, Sức chứa 140 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 39.1 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 51.7 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 29.9 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 49.4 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 46.6 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 37.7 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 50.2 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 51.5 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 34.2 chai, Kính chống UV, Inverter, Giá: 28.500.000	Tủ ướp rượu Kadeka KS140TL, Sức chứa 42.1 chai, Kính chống UV, Inverter, Giá: 28.500.000	Nồi áp suất điện Philips HD2137, dung tích 6L, công suất 1000W, Giá: 1.755.000	Máy sấy tóc Panasonic EH-ND11, công suất 1600W, 2 tốc độ, Giá: 450.000	Tủ quần áo gỗ MDF 3 cánh, Cao 2m, Rộng 1m6, Giá: 6.500.000	Máy sấy Electrolux EDH802, công suất 2000W, sức chứa 8kg, Giá: 12.500.000	Bàn học gỗ MDF, Rộng 1m2, Ngăn kéo bên, Giá: 2.400.000

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,166 evaluation samples
• Columns: query, positive, negative_1, negative_2, negative_3, negative_4, negative_5, negative_6, negative_7, negative_8, negative_9, negative_10, negative_11, negative_12, negative_13, negative_14, and negative_15
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative_1	negative_2	negative_3	negative_4	negative_5	negative_6	negative_7	negative_8	negative_9	negative_10	negative_11	negative_12	negative_13	negative_14	negative_15
  type	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string
  details	min: 6 tokens mean: 14.35 tokens max: 27 tokens	min: 17 tokens mean: 27.84 tokens max: 96 tokens	min: 17 tokens mean: 27.97 tokens max: 96 tokens	min: 17 tokens mean: 27.92 tokens max: 96 tokens	min: 18 tokens mean: 27.96 tokens max: 96 tokens	min: 17 tokens mean: 27.89 tokens max: 96 tokens	min: 17 tokens mean: 27.86 tokens max: 96 tokens	min: 17 tokens mean: 27.85 tokens max: 96 tokens	min: 17 tokens mean: 28.07 tokens max: 96 tokens	min: 18 tokens mean: 27.99 tokens max: 91 tokens	min: 18 tokens mean: 27.64 tokens max: 110 tokens	min: 18 tokens mean: 27.43 tokens max: 91 tokens	min: 18 tokens mean: 27.43 tokens max: 110 tokens	min: 17 tokens mean: 27.15 tokens max: 73 tokens	min: 17 tokens mean: 27.6 tokens max: 96 tokens	min: 18 tokens mean: 27.39 tokens max: 110 tokens	min: 17 tokens mean: 27.65 tokens max: 110 tokens

• Samples:

  query	positive	negative_1	negative_2	negative_3	negative_4	negative_5	negative_6	negative_7	negative_8	negative_9	negative_10	negative_11	negative_12	negative_13	negative_14	negative_15
  tôi muốn xe đạp thể thao khung carbon dưới 14kg	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 8.5kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 19.2kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 19.7kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 16.1kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 19.8kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 16.6kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 19.4kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 15.7kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 15.3kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 17.9kg, Groupset Shimano 105, Giá: 42,900,000	Xe đạp Giant TCR Advanced 2, Khung carbon, Trọng lượng: 16.4kg, Groupset Shimano 105, Giá: 42,900,000	Bếp từ Sunhouse SHD6017, Công suất: 1400W, Mặt kính chịu lực, 8 chế độ nấu, Giá: 899,000	Quạt bàn Midea FZ40-15DB, công suất 60W, 3 tốc độ, Giá: 350.000	Máy lọc không khí Coway AP-1009CH, Diện tích phòng 33m2, Lọc HEPA, Giá: 4.200.000	Máy chiếu ViewSonic PA503X, Tuổi thọ 15.000h, Độ sáng 3.800 Lumens, Giá: 9.900.000	Bếp từ đôi Kangaroo KG499N, Công suất 2200W, Mặt kính Schott, Giá: 4.200.000
  mình cần máy in tốc độ trên 25 trang/phút và giá nhỏ hơn 9 triệu	Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 6.800.000	Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 11.000.000	Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 13.000.000	Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 12.000.000	Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 9.968.000	Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 9.979.000	Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 10.000.000	Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 9.467.000	Balo laptop Xiaomi 15.6 inch, chống nước, nhiều ngăn, Giá: 980.000	Máy lọc nước Karofi KAQ-U95, Công suất 780W, 10 lõi lọc, Giá: 6.500.000	Máy sấy tóc Panasonic EH-ND64, Công suất 1600W, 3 mức gió, Giá: 750.000	Tủ lạnh Samsung Inverter RT35K5982SL, Dung tích 360L, Công nghệ Twin Cooling Plus, Giá: 10.900.000	Máy ảnh Canon EOS M50 Mark II, Trọng lượng: 387g, Cảm biến APS-C 24.1MP, Quay 4K, Màn hình xoay lật, Giá: 15,900,000	Đèn năng lượng mặt trời Sunhouse SH-SOL28, công suất 28W, pin lithium 12V, Giá 650.000	Điện thoại Samsung Galaxy M14, pin 6000mAh, màn hình 6.6 inch, RAM 6GB, ROM 128GB, Giá 4.290.000	Giày Converse Chuck Taylor 1970s High, Canvas, Giá: 1.850.000
  Máy lọc nước công suất nhỏ hơn 1445W	Máy lọc nước Karofi KSI90, công suất 850W, 9 lõi lọc, tiết kiệm điện, Giá 3.790.000	Máy lọc nước Karofi KSI90, công suất 1900W, 9 lõi lọc, tiết kiệm điện, Giá 3.790.000	Máy lọc nước Karofi KSI90, công suất 2000W, 9 lõi lọc, tiết kiệm điện, Giá 3.790.000	Máy lọc nước Karofi KSI90, công suất 1600W, 9 lõi lọc, tiết kiệm điện, Giá 3.790.000	Máy lọc nước Karofi KSI90, công suất 1500W, 9 lõi lọc, tiết kiệm điện, Giá 3.790.000	Máy lọc nước Karofi KSI90, công suất 1700W, 9 lõi lọc, tiết kiệm điện, Giá 3.790.000	Máy lọc nước Karofi KSI90, công suất 2100W, 9 lõi lọc, tiết kiệm điện, Giá 3.790.000	Máy xay Philips HR2056, Cối 0.7L, 4 cánh thép, Giá: 650.000	Loa JBL PartyBox 110, Công suất 160W, Chống nước IPX4, Giá: 8.500.000	Lò vi sóng Electrolux 25L, công suất 900W, chức năng rã đông, Giá: 3.500.000	Đèn năng lượng mặt trời Sunhouse SH-SOL30, công suất 25W, pin lithium 12V, Giá: 650.000	Loa Sony SRS-XB23, công suất 25W, pin 12h, chống nước IP67, Giá: 3.200.000	Máy sấy tóc Panasonic EH-ND11, 1900W, chế độ ion âm, Giá: 785.000	Sofa nỉ nhập khẩu, Chiều dài 2m2, 3 chỗ ngồi, Giá: 11.500.000	Tủ đông Alaska BCD-3.568, Dung tích 360L, 2 ngăn đông-mát, Giá: 9.500.000	Gạo ST25 túi 5kg, Hạt dài, dẻo, thơm tự nhiên, Xuất xứ: Sóc Trăng, Chứng nhận OCOP, Giá: 240.000

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• learning_rate: 2e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_ndcg@10
-1	-1	-	-	0.1885
0.0762	100	3.4564	-	-
0.1524	200	2.4965	-	-
0.2287	300	2.4147	-	-
0.3049	400	2.2799	-	-
0.3811	500	1.9016	-	-
0.4573	600	1.6222	-	-
0.5335	700	1.5005	-	-
0.6098	800	1.2556	-	-
0.6860	900	1.2152	-	-
0.7622	1000	1.0514	0.7850	0.5380
0.8384	1100	0.9779	-	-
0.9146	1200	0.7901	-	-
0.9909	1300	0.8193	-	-
1.0671	1400	0.6562	-	-
1.1433	1500	0.5943	-	-
1.2195	1600	0.6152	-	-
1.2957	1700	0.497	-	-
1.3720	1800	0.5094	-	-
1.4482	1900	0.3873	-	-
1.5244	2000	0.3555	0.3186	0.6475
1.6006	2100	0.3265	-	-
1.6768	2200	0.3788	-	-
1.7530	2300	0.3472	-	-
1.8293	2400	0.341	-	-
1.9055	2500	0.3419	-	-
1.9817	2600	0.3228	-	-
2.0579	2700	0.3064	-	-
2.1341	2800	0.2423	-	-
2.2104	2900	0.2225	-	-
2.2866	3000	0.2204	0.2283	0.6909
2.3628	3100	0.2097	-	-
2.4390	3200	0.2072	-	-
2.5152	3300	0.2057	-	-
2.5915	3400	0.2142	-	-
2.6677	3500	0.1964	-	-
2.7439	3600	0.1807	-	-
2.8201	3700	0.1822	-	-
2.8963	3800	0.1836	-	-
2.9726	3900	0.1889	-	-
3.0488	4000	0.1487	0.1836	0.7172
3.125	4100	0.1519	-	-
3.2012	4200	0.1684	-	-
3.2774	4300	0.1211	-	-
3.3537	4400	0.1554	-	-
3.4299	4500	0.1421	-	-
3.5061	4600	0.1339	-	-
3.5823	4700	0.1324	-	-
3.6585	4800	0.138	-	-
3.7348	4900	0.1181	-	-
3.8110	5000	0.139	0.1709	0.7259
3.8872	5100	0.1284	-	-
3.9634	5200	0.1172	-	-
4.0396	5300	0.0993	-	-
4.1159	5400	0.1183	-	-
4.1921	5500	0.0865	-	-
4.2683	5600	0.0926	-	-
4.3445	5700	0.0973	-	-
4.4207	5800	0.1106	-	-
4.4970	5900	0.1024	-	-
4.5732	6000	0.0842	0.1439	0.7421
4.6494	6100	0.0927	-	-
4.7256	6200	0.0867	-	-
4.8018	6300	0.1022	-	-
4.8780	6400	0.1124	-	-
4.9543	6500	0.0839	-	-
5.0305	6600	0.1063	-	-
5.1067	6700	0.0764	-	-
5.1829	6800	0.0687	-	-
5.2591	6900	0.0863	-	-
5.3354	7000	0.0804	0.1185	0.7501
5.4116	7100	0.0726	-	-
5.4878	7200	0.0627	-	-
5.5640	7300	0.0644	-	-
5.6402	7400	0.0682	-	-
5.7165	7500	0.0713	-	-
5.7927	7600	0.0753	-	-
5.8689	7700	0.0815	-	-
5.9451	7800	0.0663	-	-
6.0213	7900	0.083	-	-
6.0976	8000	0.0682	0.1262	0.7626
6.1738	8100	0.0711	-	-
6.25	8200	0.0581	-	-
6.3262	8300	0.0655	-	-
6.4024	8400	0.0612	-	-
6.4787	8500	0.0714	-	-
6.5549	8600	0.0509	-	-
6.6311	8700	0.0486	-	-
6.7073	8800	0.0456	-	-
6.7835	8900	0.0724	-	-
6.8598	9000	0.0596	0.1049	0.7675
6.9360	9100	0.0424	-	-
7.0122	9200	0.0617	-	-
7.0884	9300	0.0484	-	-
7.1646	9400	0.0506	-	-
7.2409	9500	0.0561	-	-
7.3171	9600	0.0502	-	-
7.3933	9700	0.0357	-	-
7.4695	9800	0.0476	-	-
7.5457	9900	0.0379	-	-
7.6220	10000	0.0455	0.1063	0.7706
7.6982	10100	0.0479	-	-
7.7744	10200	0.0605	-	-
7.8506	10300	0.0486	-	-
7.9268	10400	0.0591	-	-
8.0030	10500	0.0445	-	-
8.0793	10600	0.0369	-	-
8.1555	10700	0.041	-	-
8.2317	10800	0.0449	-	-
8.3079	10900	0.0387	-	-
8.3841	11000	0.0263	0.1080	0.7706
8.4604	11100	0.0248	-	-
8.5366	11200	0.0475	-	-
8.6128	11300	0.056	-	-
8.6890	11400	0.0401	-	-
8.7652	11500	0.043	-	-
8.8415	11600	0.0447	-	-
8.9177	11700	0.0461	-	-
8.9939	11800	0.0436	-	-
9.0701	11900	0.0373	-	-
9.1463	12000	0.0498	0.1015	0.7761
9.2226	12100	0.0284	-	-
9.2988	12200	0.0421	-	-
9.375	12300	0.0327	-	-
9.4512	12400	0.0476	-	-
9.5274	12500	0.0381	-	-
9.6037	12600	0.0377	-	-
9.6799	12700	0.0449	-	-
9.7561	12800	0.0344	-	-
9.8323	12900	0.0249	-	-
9.9085	13000	0.0411	0.0993	0.7760
9.9848	13100	0.0466	-	-

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Accelerate: 1.8.1
• Datasets: 3.6.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}