SentenceTransformer based on answerdotai/ModernBERT-base

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: answerdotai/ModernBERT-base
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'người tiếp_nhận hồ_sơ có trách_nhiệm gì trong quá_trình chứng_thực hợp_đồng , giao_dịch ?',
    'điều 20 . chứng_thực hợp_đồng , giao_dịch tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông \n 1 . trường_hợp người yêu_cầu chứng_thực hợp_đồng , giao_dịch nộp hồ_sơ trực_tiếp tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông , thì các bên phải ký trước mặt người tiếp_nhận hồ_sơ . trường_hợp người giao_kết_hợp_đồng , giao_dịch là đại_diện của tổ_chức tín_dụng , doanh_nghiệp đã đăng_ký chữ_ký mẫu tại cơ_quan thực_hiện chứng_thực , thì người đó có_thể ký trước vào hợp_đồng , giao_dịch . người tiếp_nhận hồ_sơ có trách_nhiệm đối_chiếu chữ_ký trong hợp_đồng , giao_dịch với chữ_ký mẫu . nếu thấy chữ_ký trong hợp_đồng , giao_dịch khác chữ_ký mẫu , thì yêu_cầu người đó ký trước mặt người tiếp_nhận hồ_sơ . người tiếp_nhận hồ_sơ phải chịu trách_nhiệm về việc các bên đã ký trước mặt mình . \n 2 . người tiếp_nhận hồ_sơ có trách_nhiệm kiểm_tra giấy_tờ , hồ_sơ .',
    'điều 8 . trị_giá tính thuế , thời_điểm tính thuế \n 1 . trị_giá tính thuế_xuất_khẩu , thuế_nhập_khẩu là trị_giá hải_quan theo quy_định của luật hải_quan . \n 2 . thời_điểm tính thuế_xuất_khẩu , thuế_nhập_khẩu là thời_điểm đăng_ký tờ khai hải_quan . đối_với hàng_hóa xuất_khẩu , nhập_khẩu thuộc đối_tượng không chịu thuế , miễn thuế_xuất_khẩu , thuế_nhập_khẩu hoặc áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan nhưng được thay_đổi về đối_tượng không chịu thuế , miễn thuế , áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan theo quy_định của pháp_luật thì thời_điểm tính thuế là thời_điểm đăng_ký tờ khai hải_quan mới . thời_điểm đăng_ký tờ khai hải_quan thực_hiện theo quy_định của pháp_luật về hải_quan .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Dataset: public_administrative
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.5845

Training Details

Training Dataset

Unnamed Dataset

Size: 63,130 training samples
Columns: query, positive, and negative

Approximate statistics based on the first 1000 samples:

	query	positive	negative
type	string	string	string
details	min: 35 tokens mean: 85.74 tokens max: 225 tokens	min: 289 tokens mean: 584.64 tokens max: 923 tokens	min: 299 tokens mean: 581.07 tokens max: 929 tokens

Samples:

query	positive	negative
`bộ tài_chính quy_định thế_nào về chi_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ?`	c ) chi công_tác_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ( nếu có ) thực_hiện theo quy_định tại thông_tư số 102 / 2012 / tt - btc ngày 21 / 6 / 2012 của bộ tài_chính quy_định_chế_độ công_tác_phí cho cán_bộ , công_chức nhà_nước đi công_tác ngắn_hạn ở nước_ngoài do ngân_sách nhà_nước bảo_đảm kinh_phí ; d ) chi tập_huấn nghiệp_vụ cho văn_phòng con_nuôi nước_ngoài tại việt_nam được thực_hiện theo quy_định tại thông_tư số 139 / 2010 / tt - btc ngày 21 / 9 / 2010 của bộ tài_chính quy_định việc lập dự_toán , quản_lý và sử_dụng kinh_phí từ ngân_sách nhà_nước dành cho công_tác đào_tạo , bồi_dưỡng cán_bộ , công_chức ;	điều 15 . nhiệm_vụ , quyền_hạn của bộ tài_chính 1 . là cơ_quan đầu_mối giúp chính_phủ thống_nhất quản_lý nhà_nước về tài_sản công . 2 . chủ_trì xây_dựng , trình cơ_quan , người có thẩm_quyền ban_hành_văn_bản quy_phạm_pháp_luật về : a ) chế_độ quản_lý , sử_dụng tài_sản công tại cơ_quan , tổ_chức , đơn_vị ; việc phân_cấp thẩm_quyền quyết_định trong quản_lý , sử_dụng tài_sản công ; b ) tiêu_chuẩn , định mức sử_dụng trụ_sở làm_việc , xe ô_tô , tài_sản công của cơ_quan đại_diện ngoại_giao , cơ_quan đại_diện lãnh_sự , cơ_quan đại_diện tại tổ_chức quốc_tế theo quy_định của pháp_luật về cơ_quan đại_diện của việt_nam ở nước_ngoài và cơ_quan , tổ_chức , đơn_vị khác của việt_nam ở nước_ngoài ( sau đây gọi là cơ_quan việt_nam ở nước_ngoài ) , máy_móc , thiết_bị và các tài_sản công được sử_dụng phổ_biến tại cơ_quan , tổ_chức , đơn_vị , trừ nhà ở công_vụ và tài_sản đặc_biệt tại đơn_vị lực_lượng vũ_trang nhân_dân ;
`khi thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm những chi_phí nào ?`	a ) giá đất được trừ để tính thuế giá_trị gia_tăng được quy_định cụ_thể như sau : - trường_hợp được nhà_nước giao đất để đầu_tư cơ_sở hạ_tầng xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm tiền_sử_dụng đất phải nộp ngân_sách nhà_nước ( không kể tiền_sử_dụng đất được miễn , giảm ) và chi_phí bồi_thường , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp đấu_giá quyền sử_dụng đất thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất trúng đấu_giá ; - trường_hợp thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng là tiền thuê đất phải nộp ngân_sách nhà_nước ( không bao_gồm tiền thuê đất được miễn , giảm ) và chi_phí đền_bù , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp cơ_sở kinh_doanh nhận chuyển_nhượng quyền sử_dụng đất của các tổ_chức , cá_nhân thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất tại thời_điểm nhận chuyển_nhượng quyền sử_dụng đất bao_gồm c...	5 . phối_hợp với cơ_quan bảo_hiểm xã_hội trả sổ bảo_hiểm xã_hội cho người lao_động , xác_nhận thời_gian đóng bảo_hiểm xã_hội khi người lao_động chấm_dứt hợp_đồng lao_động , hợp_đồng làm_việc hoặc thôi_việc theo quy_định của pháp_luật . 6 . cung_cấp chính_xác , đầy_đủ , kịp_thời thông_tin , tài_liệu liên_quan đến việc đóng , hưởng bảo_hiểm xã_hội theo yêu_cầu của cơ_quan quản_lý nhà_nước có thẩm_quyền , cơ_quan bảo_hiểm xã_hội . 7 . định_kỳ 06 tháng , niêm_yết công_khai_thông_tin về việc đóng bảo_hiểm xã_hội cho người lao_động ; cung_cấp thông_tin về việc đóng bảo_hiểm xã_hội của người lao_động khi người lao_động hoặc tổ_chức công_đoàn yêu_cầu . 8 . hằng năm , niêm_yết công_khai_thông_tin đóng bảo_hiểm xã_hội của người lao_động do cơ_quan bảo_hiểm xã_hội cung_cấp theo quy_định tại khoản 7 điều 23 của luật này . điều 22 . quyền của cơ_quan bảo_hiểm xã_hội 1 . tổ_chức quản_lý nhân_sự , tài_chính và tài_sản theo quy_định của pháp_luật . 2 . từ_chối yêu_cầu trả bảo_hiểm xã_hội ,...
`nếu tôi vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế sẽ xử_lý như thế_nào ?`	trường_hợp tại biên_bản kiểm_tra trước hoàn thuế xác_định người nộp thuế vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế_ban_hành quyết_định xử_lý vi_phạm_pháp_luật về thuế và bù_trừ số tiền thuế được hoàn của người nộp thuế tại quyết_định hoàn thuế_kiêm bù_trừ thu ngân_sách nhà_nước theo mẫu_số 02 / qđ - ht ban_hành kèm theo phụ_lục i thông_tư này . d ) đối_với hồ_sơ hoàn nộp thừa của người nộp thuế có khoản nộp thừa tại tỉnh nơi được hưởng khoản thu_phân_bổ , cơ_quan thuế quản_lý trực_tiếp chủ_trì tổng_hợp nghĩa_vụ thuế , số thuế đã nộp ngân_sách nhà_nước tại trụ_sở chính và các tỉnh nơi được hưởng khoản thu_phân_bổ .	điều 59 . quản_lý nhà_nước về kinh_doanh casino 1 . chính_phủ thống_nhất quản_lý nhà_nước về kinh_doanh casino và ban_hành chính_sách điều_chỉnh hoạt_động_kinh_doanh casino theo thẩm_quyền . 2 . thủ_tướng chính_phủ a ) phê_duyệt chủ_trương , chính_sách , ban_hành các văn_bản quy_phạm_pháp_luật và biện_pháp cần_thiết theo thẩm_quyền để quản_lý hoạt_động_kinh_doanh casino theo quy_định tại nghị_định này và quy_định của pháp_luật có liên_quan ; b ) chấp_thuận số_lượng máy trò_chơi , bàn trò_chơi và điều_chỉnh số_lượng máy trò_chơi , bàn trò_chơi tối_đa đối_với dự_án khu dịch_vụ , du_lịch và vui_chơi giải_trí tổng_hợp có casino theo quy_định tại điều 7 và điều 8 nghị_định này ; c ) quyết_định các nội_dung khác có liên_quan đến hoạt_động_kinh_doanh casino theo thẩm_quyền quy_định tại nghị_định này và quy_định của pháp_luật . 3 . bộ tài_chính chịu trách_nhiệm trước chính_phủ thực_hiện quản_lý nhà_nước về kinh_doanh casino , bao_gồm : a ) nghiên_cứu , xây_dựng trình cấp có thẩm_...

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

Size: 7,015 evaluation samples
Columns: query, positive, and negative

Approximate statistics based on the first 1000 samples:

	query	positive	negative
type	string	string	string
details	min: 37 tokens mean: 85.51 tokens max: 173 tokens	min: 297 tokens mean: 587.0 tokens max: 931 tokens	min: 276 tokens mean: 585.64 tokens max: 906 tokens

Samples:

query	positive	negative
`cục y_tế dự_phòng có vai_trò gì trong việc xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người ?`	điều 13 . trách_nhiệm của cục y_tế dự_phòng - bộ y_tế 1 . đầu_mối của bộ y_tế phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn triển_khai các hoạt_động phối_hợp phòng , chống bệnh lây_truyền từ động_vật sang người . 2 . chỉ_đạo toàn_bộ các hoạt_động về phối_hợp giữa ngành y_tế và nông_nghiệp trong phòng , chống bệnh lây_truyền từ động_vật sang người đối_với các đơn_vị trong ngành y_tế . 3 . phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn xây_dựng , đề_xuất sửa_đổi các hướng_dẫn giám_sát bệnh lây_truyền từ động_vật sang người ; xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người . 4 . định_kỳ 6 tháng_một lần , tổ_chức họp giao_ban với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn và các đơn_vị liên_quan để đánh_giá hoạt_động phối_hợp trong giám_sát phòng , chống bệnh lây_truyền từ động_vật sang người .	khoản 1 . chi thường_xuyên : a ) chi thanh_toán cá_nhân : tiền_lương , tiền công , phụ_cấp lương , các khoản đóng_góp theo lương ( bảo_hiểm xã_hội , bảo_hiểm y_tế , bảo_hiểm_thất_nghiệp ( nếu có ) , kinh_phí công_đoàn ) ; tiền khen_thưởng thành_tích theo danh_hiệu thi_đua và các khoản thanh_toán khác cho cá_nhân ; b ) chi quản_lý hành_chính : chi thanh_toán dịch_vụ công_cộng ; vật_tư văn_phòng ; thông_tin tuyên_truyền , liên_lạc ; hội_nghị ; chi công_tác_phí ; chi thuê_mướn ; sửa_chữa , bảo_trì , bảo_dưỡng thường_xuyên tài_sản cố_định và các khoản chi hành_chính khác ; c ) chi hoạt_động nghiệp_vụ : mua_sắm vật_tư , hàng_hóa dùng cho chuyên_môn , nghiệp_vụ ; thiết_bị an_toàn kho_quỹ , thiết_bị kiểm_đếm ; ấn chỉ các loại ; trang_phục , bảo_hộ lao_động ; các khoản nghiệp_vụ kiểm_đếm , đảo kho , điều_chuyển , bảo_vệ an_toàn kho , tiền , vàng_bạc , đá_quý , ngoại_tệ và các chứng_chỉ có_giá ; bảo_quản , lưu_trữ tài_liệu , chứng_từ ; các khoản nghiệp_vụ khác ; d ) chi_phối_hợp tổ_chức...
`theo quy_định , tay_vịn phải được lắp_đặt như thế_nào ở khu_vực cạnh cửa ra vào trên xe_khách thành_phố để người khuyết_tật tiếp_cận ?`	trong bất_kỳ khu_vực nào không phải lối đi dọc mà hành_khách có_thể đứng : 2.3.4.1.3 . từ khu_vực cạnh cửa ra vào liền kề ngay cửa ra vào ưu_tiên đến ít_nhất một ghế ưu_tiên , tay_vịn có độ cao từ 800 mm đến 900 mm so với sàn xe ; hoặc ở khu_vực không phù_hợp với những yêu_cầu đó , tay_vịn không cần phải bố_trí liên_tục , nhưng khoảng trống giữa các tay_vịn không được lớn hơn 1050 mm , và phải có một tay_vịn thẳng_đứng bố_trí tại ít_nhất một phía của khoảng trống giữa các tay_vịn nói trên với chiều dài nằm trong khoảng từ độ cao 1200 mm đến độ cao không nhỏ hơn 1500 mm so với sàn xe . 2.3.4.1.4 . tay_vịn được bố_trí ở cả hai bên của khu_vực phía trong cửa vào hoặc cửa ra : 2.3.4.2 .	điều 15 . 1 . hội_đồng quản_trị thực_hiện chức_năng quản_lý hoạt_động của tổng_công_ty , chịu trách_nhiệm về sự phát_triển của tổng_công_ty theo nhiệm_vụ nhà_nước giao . 2 . hội_đồng quản_trị có các quyền_hạn và nhiệm_vụ sau : a ) nhận vốn ( kể_cả nợ ) , đất_đai , tài_nguyên và các nguồn_lực khác do nhà_nước giao cho tổng_công_ty . b ) xem_xét , phê_duyệt phương_án do tổng_giám_đốc đề_nghị về việc phân giao vốn và các nguồn_lực khác cho các đơn_vị thành_viên và phương_án điều_hoà_vốn và các nguồn_lực khác giữa các đơn_vị thành_viên ; kiểm_tra , giám_sát việc thực_hiện các phương_án đó ; c ) kiểm_tra , giám_sát mọi hoạt_động trong tổng_công_ty ; trong đó có việc sử_dụng , bảo_toàn , phát_triển vốn và các nguồn_lực được giao ; việc thực_hiện các nghị_định và quyết_định của hội_đồng quản_trị , các quy_định của luật_pháp ; việc thực_hiện nghĩa_vụ đối_với nhà_nước .
`ngày 01 tháng 01 năm 2018 có ý_nghĩa gì đối_với nghị_định về trình_tự , thủ_tục , mức tiền pháp_nhân thương_mại phải nộp để bảo_đảm thi_hành án ?`	chương iv. điều_khoản thi_hành điều 10 . hiệu_lực thi_hành . nghị_định này có hiệu_lực thi_hành từ ngày 01 tháng 01 năm 2018 . điều 11 . trách_nhiệm thi_hành . các bộ_trưởng , thủ_trưởng cơ_quan ngang bộ , thủ_trưởng cơ_quan thuộc chính_phủ , chủ_tịch ủy_ban nhân_dân các tỉnh , thành_phố trực_thuộc trung_ương và các đối_tượng áp_dụng của nghị_định chịu trách_nhiệm thi_hành nghị_định này . / nơi nhận : - ban bí_thư trung_ương đảng ; - thủ_tướng , các phó_thủ_tướng chính_phủ ; - các bộ , cơ_quan ngang bộ , cơ_quan thuộc chính_phủ ; - hđnd , ubnd các tỉnh , thành_phố trực_thuộc trung_ương ; - văn_phòng trung_ương và các ban của đảng ; - văn_phòng tổng_bí_thư ; - văn_phòng chủ_tịch nước ; - hội_đồng dân_tộc và các ủy_ban của quốc_hội ; - văn_phòng quốc_hội ; - tòa_án nhân_dân tối_cao ; - viện kiểm_sát_nhân_dân tối_cao ; - kiểm_toán nhà_nước ; - ủy_ban giám_sát tài_chính quốc_gia ; - ngân_hàng chính_sách xã_hội ; - ngân_hàng phát_triển việt_nam ;	viên_chức đăng_ký dự_thi thăng_hạng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp. viên_chức đăng_ký dự_xét thăng_hạng thuộc đối_tượng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp được xác_nhận đáp_ứng tiêu_chuẩn về ngoại_ngữ , tin_học khi đăng_ký dự_xét thăng_hạng . trường_hợp không thuộc đối_tượng miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp thì trong hồ_sơ dự xét phải có minh chứng đáp_ứng yêu_cầu về tiêu_chuẩn ngoại_ngữ , tin_học của chức_danh nghề_nghiệp đăng_ký dự_xét thăng_hạng .

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 2
per_device_eval_batch_size: 2
learning_rate: 2e-05
warmup_ratio: 0.05
bf16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 2
per_device_eval_batch_size: 2
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	public_administrative_cosine_accuracy
0	0	-	0.5845
0.0032	100	1.3479	-
0.0063	200	1.3106	-
0.0095	300	1.3496	-
0.0127	400	1.1463	-
0.0158	500	0.7624	-
0.0190	600	0.6289	-
0.0222	700	0.5052	-
0.0253	800	0.5615	-
0.0285	900	0.2871	-
0.0317	1000	0.4623	-
0.0348	1100	0.5214	-
0.0380	1200	0.4097	-
0.0412	1300	0.4068	-
0.0444	1400	0.2873	-
0.0475	1500	0.3133	-
0.0507	1600	0.1869	-
0.0539	1700	0.3004	-
0.0570	1800	0.2164	-
0.0602	1900	0.293	-
0.0634	2000	0.17	-
0.0665	2100	0.1669	-
0.0697	2200	0.1337	-
0.0729	2300	0.2076	-
0.0760	2400	0.2348	-
0.0792	2500	0.2016	-
0.0824	2600	0.1139	-
0.0855	2700	0.2098	-
0.0887	2800	0.1562	-
0.0919	2900	0.1301	-
0.0950	3000	0.1271	-
0.0982	3100	0.1226	-
0.1014	3200	0.147	-
0.1045	3300	0.1135	-
0.1077	3400	0.1004	-
0.1109	3500	0.0795	-
0.1141	3600	0.1719	-
0.1172	3700	0.1445	-
0.1204	3800	0.1206	-
0.1236	3900	0.0458	-
0.1267	4000	0.1122	-
0.1299	4100	0.0483	-
0.1331	4200	0.0493	-
0.1362	4300	0.0883	-
0.1394	4400	0.0926	-
0.1426	4500	0.1196	-
0.1457	4600	0.0793	-
0.1489	4700	0.1418	-
0.1521	4800	0.1341	-
0.1552	4900	0.106	-
0.1584	5000	0.1032	-
0.1616	5100	0.0789	-
0.1647	5200	0.0513	-
0.1679	5300	0.0244	-
0.1711	5400	0.0621	-
0.1742	5500	0.0301	-
0.1774	5600	0.0456	-
0.1806	5700	0.0444	-
0.1837	5800	0.0573	-
0.1869	5900	0.0635	-
0.1901	6000	0.1086	-
0.1933	6100	0.1383	-
0.1964	6200	0.1049	-
0.1996	6300	0.0843	-
0.2028	6400	0.0458	-
0.2059	6500	0.059	-
0.2091	6600	0.0269	-
0.2123	6700	0.0417	-
0.2154	6800	0.0593	-
0.2186	6900	0.0534	-
0.2218	7000	0.0718	-
0.2249	7100	0.1301	-
0.2281	7200	0.0705	-
0.2313	7300	0.0492	-
0.2344	7400	0.0908	-
0.2376	7500	0.0462	-
0.2408	7600	0.0772	-
0.2439	7700	0.0906	-
0.2471	7800	0.0739	-
0.2503	7900	0.0325	-
0.2534	8000	0.1081	-
0.2566	8100	0.0472	-
0.2598	8200	0.0613	-
0.2629	8300	0.0281	-
0.2661	8400	0.0184	-
0.2693	8500	0.0447	-
0.2725	8600	0.0609	-
0.2756	8700	0.0323	-
0.2788	8800	0.0794	-
0.2820	8900	0.0477	-
0.2851	9000	0.0819	-
0.2883	9100	0.0838	-
0.2915	9200	0.0512	-
0.2946	9300	0.0641	-
0.2978	9400	0.0549	-
0.3010	9500	0.0328	-
0.3041	9600	0.0338	-
0.3073	9700	0.0976	-
0.3105	9800	0.0413	-
0.3136	9900	0.0746	-
0.3168	10000	0.0683	-
0.3200	10100	0.0137	-
0.3231	10200	0.0521	-
0.3263	10300	0.0518	-
0.3295	10400	0.0764	-
0.3326	10500	0.0447	-
0.3358	10600	0.0698	-
0.3390	10700	0.0488	-
0.3422	10800	0.0288	-
0.3453	10900	0.0155	-
0.3485	11000	0.0443	-
0.3517	11100	0.0451	-
0.3548	11200	0.0735	-
0.3580	11300	0.0245	-
0.3612	11400	0.0311	-
0.3643	11500	0.0565	-
0.3675	11600	0.0447	-
0.3707	11700	0.0785	-
0.3738	11800	0.0509	-
0.3770	11900	0.0496	-
0.3802	12000	0.0482	-
0.3833	12100	0.0174	-
0.3865	12200	0.0665	-
0.3897	12300	0.0475	-
0.3928	12400	0.01	-
0.3960	12500	0.0345	-
0.3992	12600	0.027	-
0.4023	12700	0.0364	-
0.4055	12800	0.0226	-
0.4087	12900	0.1074	-
0.4118	13000	0.0179	-
0.4150	13100	0.0377	-
0.4182	13200	0.0384	-
0.4214	13300	0.0309	-
0.4245	13400	0.0277	-
0.4277	13500	0.0196	-
0.4309	13600	0.0386	-
0.4340	13700	0.0135	-
0.4372	13800	0.0375	-
0.4404	13900	0.0583	-
0.4435	14000	0.0175	-
0.4467	14100	0.0366	-
0.4499	14200	0.0445	-
0.4530	14300	0.014	-
0.4562	14400	0.0369	-
0.4594	14500	0.0109	-
0.4625	14600	0.0151	-
0.4657	14700	0.0487	-
0.4689	14800	0.0166	-
0.4720	14900	0.0047	-
0.4752	15000	0.0247	-
0.4784	15100	0.0198	-
0.4815	15200	0.0492	-
0.4847	15300	0.027	-
0.4879	15400	0.0368	-
0.4911	15500	0.0072	-
0.4942	15600	0.0448	-
0.4974	15700	0.0334	-
0.5006	15800	0.0401	-
0.5037	15900	0.0158	-
0.5069	16000	0.0247	-
0.5101	16100	0.0452	-
0.5132	16200	0.0337	-
0.5164	16300	0.0106	-
0.5196	16400	0.0105	-
0.5227	16500	0.0167	-
0.5259	16600	0.0104	-
0.5291	16700	0.022	-
0.5322	16800	0.0591	-
0.5354	16900	0.0227	-
0.5386	17000	0.0503	-
0.5417	17100	0.0424	-
0.5449	17200	0.0185	-
0.5481	17300	0.0174	-
0.5512	17400	0.0086	-
0.5544	17500	0.0292	-
0.5576	17600	0.0072	-
0.5607	17700	0.0633	-
0.5639	17800	0.0425	-
0.5671	17900	0.0208	-
0.5703	18000	0.009	-
0.5734	18100	0.0394	-
0.5766	18200	0.0096	-
0.5798	18300	0.0171	-
0.5829	18400	0.0246	-
0.5861	18500	0.0508	-
0.5893	18600	0.0138	-
0.5924	18700	0.0344	-
0.5956	18800	0.0345	-
0.5988	18900	0.044	-
0.6019	19000	0.0234	-
0.6051	19100	0.0118	-
0.6083	19200	0.0333	-
0.6114	19300	0.0182	-
0.6146	19400	0.0115	-
0.6178	19500	0.0321	-
0.6209	19600	0.015	-
0.6241	19700	0.0245	-
0.6273	19800	0.0202	-
0.6304	19900	0.0365	-
0.6336	20000	0.0057	-
0.6368	20100	0.1269	-
0.6399	20200	0.0281	-
0.6431	20300	0.0092	-
0.6463	20400	0.0486	-
0.6495	20500	0.0323	-
0.6526	20600	0.0175	-
0.6558	20700	0.0078	-
0.6590	20800	0.0143	-
0.6621	20900	0.0159	-
0.6653	21000	0.0261	-
0.6685	21100	0.0083	-
0.6716	21200	0.0232	-
0.6748	21300	0.009	-
0.6780	21400	0.0051	-
0.6811	21500	0.0091	-
0.6843	21600	0.0189	-
0.6875	21700	0.0044	-
0.6906	21800	0.0284	-
0.6938	21900	0.0231	-
0.6970	22000	0.0137	-
0.7001	22100	0.0412	-
0.7033	22200	0.0111	-
0.7065	22300	0.063	-
0.7096	22400	0.0182	-
0.7128	22500	0.0261	-
0.7160	22600	0.0221	-
0.7192	22700	0.0534	-
0.7223	22800	0.0295	-
0.7255	22900	0.0073	-
0.7287	23000	0.0075	-
0.7318	23100	0.0309	-
0.7350	23200	0.0279	-
0.7382	23300	0.013	-
0.7413	23400	0.0147	-
0.7445	23500	0.0154	-
0.7477	23600	0.0158	-
0.7508	23700	0.0157	-
0.7540	23800	0.0052	-
0.7572	23900	0.0072	-
0.7603	24000	0.0132	-
0.7635	24100	0.0243	-
0.7667	24200	0.0201	-
0.7698	24300	0.0168	-
0.7730	24400	0.0132	-
0.7762	24500	0.014	-
0.7793	24600	0.0351	-
0.7825	24700	0.0318	-
0.7857	24800	0.0099	-
0.7888	24900	0.0395	-
0.7920	25000	0.0185	-
0.7952	25100	0.0114	-
0.7984	25200	0.0246	-
0.8015	25300	0.0392	-
0.8047	25400	0.0042	-
0.8079	25500	0.0188	-
0.8110	25600	0.0126	-
0.8142	25700	0.0535	-
0.8174	25800	0.0164	-
0.8205	25900	0.0433	-
0.8237	26000	0.0313	-
0.8269	26100	0.0157	-
0.8300	26200	0.0188	-
0.8332	26300	0.0307	-
0.8364	26400	0.0074	-
0.8395	26500	0.0468	-
0.8427	26600	0.0138	-
0.8459	26700	0.0044	-
0.8490	26800	0.0366	-
0.8522	26900	0.0343	-
0.8554	27000	0.0051	-
0.8585	27100	0.0294	-
0.8617	27200	0.0373	-
0.8649	27300	0.0097	-
0.8681	27400	0.0177	-
0.8712	27500	0.0124	-
0.8744	27600	0.0126	-
0.8776	27700	0.0128	-
0.8807	27800	0.01	-
0.8839	27900	0.0119	-
0.8871	28000	0.0169	-
0.8902	28100	0.0081	-
0.8934	28200	0.0075	-
0.8966	28300	0.0159	-
0.8997	28400	0.0094	-
0.9029	28500	0.0154	-
0.9061	28600	0.0079	-
0.9092	28700	0.0088	-
0.9124	28800	0.0046	-
0.9156	28900	0.0038	-
0.9187	29000	0.0132	-
0.9219	29100	0.0128	-
0.9251	29200	0.0141	-
0.9282	29300	0.0033	-
0.9314	29400	0.0103	-
0.9346	29500	0.034	-
0.9377	29600	0.0036	-
0.9409	29700	0.0229	-
0.9441	29800	0.0113	-
0.9473	29900	0.0136	-
0.9504	30000	0.0283	-
0.9536	30100	0.0181	-
0.9568	30200	0.0108	-
0.9599	30300	0.0208	-
0.9631	30400	0.0227	-
0.9663	30500	0.0192	-
0.9694	30600	0.0122	-
0.9726	30700	0.0061	-
0.9758	30800	0.039	-
0.9789	30900	0.0115	-
0.9821	31000	0.0122	-
0.9853	31100	0.0085	-
0.9884	31200	0.035	-
0.9916	31300	0.016	-
0.9948	31400	0.0337	-
0.9979	31500	0.0056	-
1.0011	31600	0.0119	-
1.0043	31700	0.0046	-
1.0074	31800	0.005	-
1.0106	31900	0.0076	-
1.0138	32000	0.0067	-
1.0169	32100	0.0047	-
1.0201	32200	0.0144	-
1.0233	32300	0.0434	-
1.0265	32400	0.0357	-
1.0296	32500	0.0062	-
1.0328	32600	0.0336	-
1.0360	32700	0.0352	-
1.0391	32800	0.0043	-
1.0423	32900	0.0148	-
1.0455	33000	0.0042	-
1.0486	33100	0.0044	-
1.0518	33200	0.0155	-
1.0550	33300	0.0251	-
1.0581	33400	0.0092	-
1.0613	33500	0.0207	-
1.0645	33600	0.0074	-
1.0676	33700	0.0352	-
1.0708	33800	0.0071	-
1.0740	33900	0.0083	-
1.0771	34000	0.0119	-
1.0803	34100	0.0073	-
1.0835	34200	0.0282	-
1.0866	34300	0.0097	-
1.0898	34400	0.0062	-
1.0930	34500	0.0127	-
1.0962	34600	0.0117	-
1.0993	34700	0.0163	-
1.1025	34800	0.0221	-
1.1057	34900	0.0145	-
1.1088	35000	0.0073	-
1.1120	35100	0.0065	-
1.1152	35200	0.0333	-
1.1183	35300	0.0048	-
1.1215	35400	0.0169	-
1.1247	35500	0.0045	-
1.1278	35600	0.0272	-
1.1310	35700	0.0065	-
1.1342	35800	0.0026	-
1.1373	35900	0.0139	-
1.1405	36000	0.0219	-
1.1437	36100	0.0132	-
1.1468	36200	0.0087	-
1.1500	36300	0.0038	-
1.1532	36400	0.0322	-
1.1563	36500	0.0109	-
1.1595	36600	0.0059	-
1.1627	36700	0.0072	-
1.1658	36800	0.0026	-
1.1690	36900	0.0115	-
1.1722	37000	0.0288	-
1.1754	37100	0.0018	-
1.1785	37200	0.0091	-
1.1817	37300	0.0095	-
1.1849	37400	0.0066	-
1.1880	37500	0.001	-
1.1912	37600	0.0195	-
1.1944	37700	0.0222	-
1.1975	37800	0.0063	-
1.2007	37900	0.0139	-
1.2039	38000	0.005	-
1.2070	38100	0.0075	-
1.2102	38200	0.0095	-
1.2134	38300	0.0083	-
1.2165	38400	0.0031	-
1.2197	38500	0.0026	-
1.2229	38600	0.0018	-
1.2260	38700	0.0116	-
1.2292	38800	0.0037	-
1.2324	38900	0.0146	-
1.2355	39000	0.0118	-
1.2387	39100	0.009	-
1.2419	39200	0.0078	-
1.2450	39300	0.0118	-
1.2482	39400	0.0061	-
1.2514	39500	0.0154	-
1.2546	39600	0.0161	-
1.2577	39700	0.0051	-
1.2609	39800	0.0113	-
1.2641	39900	0.0047	-
1.2672	40000	0.0051	-
1.2704	40100	0.0054	-
1.2736	40200	0.0085	-
1.2767	40300	0.0097	-
1.2799	40400	0.009	-
1.2831	40500	0.0081	-
1.2862	40600	0.0091	-
1.2894	40700	0.0204	-
1.2926	40800	0.0102	-
1.2957	40900	0.0124	-
1.2989	41000	0.0051	-
1.3021	41100	0.0081	-
1.3052	41200	0.0011	-
1.3084	41300	0.0023	-
1.3116	41400	0.0024	-
1.3147	41500	0.0155	-
1.3179	41600	0.0087	-
1.3211	41700	0.0339	-
1.3243	41800	0.0044	-
1.3274	41900	0.008	-
1.3306	42000	0.0261	-
1.3338	42100	0.0026	-
1.3369	42200	0.0154	-
1.3401	42300	0.0067	-
1.3433	42400	0.0033	-
1.3464	42500	0.0046	-
1.3496	42600	0.011	-
1.3528	42700	0.0054	-
1.3559	42800	0.0154	-
1.3591	42900	0.0016	-
1.3623	43000	0.0261	-
1.3654	43100	0.007	-
1.3686	43200	0.0011	-
1.3718	43300	0.0058	-
1.3749	43400	0.0047	-
1.3781	43500	0.0044	-
1.3813	43600	0.0037	-
1.3844	43700	0.0039	-
1.3876	43800	0.028	-
1.3908	43900	0.0043	-
1.3939	44000	0.0016	-
1.3971	44100	0.0074	-
1.4003	44200	0.0042	-
1.4035	44300	0.0025	-
1.4066	44400	0.0257	-
1.4098	44500	0.0173	-
1.4130	44600	0.0019	-
1.4161	44700	0.0024	-
1.4193	44800	0.0037	-
1.4225	44900	0.004	-
1.4256	45000	0.0015	-
1.4288	45100	0.0062	-
1.4320	45200	0.0044	-
1.4351	45300	0.0022	-
1.4383	45400	0.0013	-
1.4415	45500	0.0038	-
1.4446	45600	0.0016	-
1.4478	45700	0.0129	-
1.4510	45800	0.0027	-
1.4541	45900	0.0039	-
1.4573	46000	0.003	-
1.4605	46100	0.0015	-
1.4636	46200	0.0005	-
1.4668	46300	0.0031	-
1.4700	46400	0.0076	-
1.4732	46500	0.0008	-
1.4763	46600	0.0019	-
1.4795	46700	0.0013	-
1.4827	46800	0.0024	-
1.4858	46900	0.0103	-
1.4890	47000	0.001	-
1.4922	47100	0.0026	-
1.4953	47200	0.0019	-
1.4985	47300	0.002	-
1.5017	47400	0.0023	-
1.5048	47500	0.0019	-
1.5080	47600	0.0032	-
1.5112	47700	0.0201	-
1.5143	47800	0.0023	-
1.5175	47900	0.0019	-
1.5207	48000	0.0016	-
1.5238	48100	0.0017	-
1.5270	48200	0.0077	-
1.5302	48300	0.0188	-
1.5333	48400	0.0014	-
1.5365	48500	0.0057	-
1.5397	48600	0.0012	-
1.5428	48700	0.0021	-
1.5460	48800	0.001	-
1.5492	48900	0.0007	-
1.5524	49000	0.0032	-
1.5555	49100	0.0015	-
1.5587	49200	0.0006	-
1.5619	49300	0.0234	-
1.5650	49400	0.0073	-
1.5682	49500	0.002	-
1.5714	49600	0.0009	-
1.5745	49700	0.0015	-
1.5777	49800	0.0019	-
1.5809	49900	0.0036	-
1.5840	50000	0.0013	-
1.5872	50100	0.0036	-
1.5904	50200	0.0011	-
1.5935	50300	0.0044	-
1.5967	50400	0.0013	-
1.5999	50500	0.0009	-
1.6030	50600	0.0026	-
1.6062	50700	0.0016	-
1.6094	50800	0.0179	-
1.6125	50900	0.0005	-
1.6157	51000	0.0016	-
1.6189	51100	0.0111	-
1.6220	51200	0.0043	-
1.6252	51300	0.0008	-
1.6284	51400	0.0027	-
1.6316	51500	0.0037	-
1.6347	51600	0.0039	-
1.6379	51700	0.0295	-
1.6411	51800	0.0041	-
1.6442	51900	0.0026	-
1.6474	52000	0.001	-
1.6506	52100	0.0008	-
1.6537	52200	0.0016	-
1.6569	52300	0.0009	-
1.6601	52400	0.0013	-
1.6632	52500	0.0008	-
1.6664	52600	0.0021	-
1.6696	52700	0.0004	-
1.6727	52800	0.0027	-
1.6759	52900	0.0006	-
1.6791	53000	0.0002	-
1.6822	53100	0.0005	-
1.6854	53200	0.0054	-
1.6886	53300	0.0004	-
1.6917	53400	0.0015	-
1.6949	53500	0.0013	-
1.6981	53600	0.0016	-
1.7013	53700	0.0072	-
1.7044	53800	0.0014	-
1.7076	53900	0.0054	-
1.7108	54000	0.0031	-
1.7139	54100	0.0018	-
1.7171	54200	0.0177	-
1.7203	54300	0.0014	-
1.7234	54400	0.0019	-
1.7266	54500	0.0012	-
1.7298	54600	0.0005	-
1.7329	54700	0.0013	-
1.7361	54800	0.0032	-
1.7393	54900	0.0028	-
1.7424	55000	0.0012	-
1.7456	55100	0.005	-
1.7488	55200	0.0059	-
1.7519	55300	0.001	-
1.7551	55400	0.0032	-
1.7583	55500	0.0006	-
1.7614	55600	0.01	-
1.7646	55700	0.0014	-
1.7678	55800	0.0012	-
1.7709	55900	0.002	-
1.7741	56000	0.0024	-
1.7773	56100	0.0006	-
1.7805	56200	0.002	-
1.7836	56300	0.0019	-
1.7868	56400	0.0004	-
1.7900	56500	0.001	-
1.7931	56600	0.0032	-
1.7963	56700	0.0004	-
1.7995	56800	0.0015	-
1.8026	56900	0.0013	-
1.8058	57000	0.0015	-
1.8090	57100	0.0024	-
1.8121	57200	0.0071	-
1.8153	57300	0.0096	-
1.8185	57400	0.0008	-
1.8216	57500	0.0043	-
1.8248	57600	0.0011	-
1.8280	57700	0.0009	-
1.8311	57800	0.0054	-

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.3.1
Transformers: 4.49.0.dev0
PyTorch: 2.5.1+cu121
Accelerate: 1.2.1
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

Downloads last month: 3

Safetensors

Model size

0.1B params

Tensor type

F32

Model tree for anhtuansh/modernBERT-ft-2e

Base model

answerdotai/ModernBERT-base

Finetuned

(1012)

this model

Papers for anhtuansh/modernBERT-ft-2e

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Paper • 1908.10084 • Published Aug 27, 2019 • 9

Efficient Natural Language Response Suggestion for Smart Reply

Paper • 1705.00652 • Published May 1, 2017

Evaluation results

Cosine Accuracy on public administrative
self-reported

0.584