Hugging Face's logo

hungq
/
hust_sbert

Sentence Similarity
sentence-transformers
Safetensors
roberta
feature-extraction
dense
Generated from Trainer
dataset_size:11033
loss:CosineSimilarityLoss
Model card Files
xet
Community

SentenceTransformer based on keepitreal/vietnamese-sbert

This is a sentence-transformers model finetuned from keepitreal/vietnamese-sbert. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: keepitreal/vietnamese-sbert
  • Maximum Sequence Length: 256 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("hungq/hust_sbert")
# Run inference
sentences = [
    'kiện bảo đảm chất lượng, hiệu quả học tập và sự hài lòng của người học đối với các lớp \nhọc phần.  \n2. Kết quả học tập trong một học kỳ của sinh viên được đánh giá trên cơ sở điểm của \ncác học phần đã đăng ký học thuộc CTĐT nhưng không tính các học phần có điểm R và \n10 \n \n các học phần về ngoại ngữ cơ bản, Giáo dục thể chất, Giáo dục quốc phòng -an ninh, thể \nhiện bằng các chỉ số sau đây:  \na) Tổng số TC của các học phần có điểm đạt trong học kỳ (số TC đạt).  \nb) Tổng số TC của các học phần có điểm không đạt trong học kỳ (số TC không đạt).  \nc) Điểm trung bình học kỳ (GPA).',
    'c) Điểm trung bình học kỳ (GPA).  \n3. Kết quả tiến bộ học tập của sinh viên từ đầu khóa được đánh giá trên cơ sở điểm \ncủa các học phần đã học thuộc CTĐT nhưng không tính các học phần về ngoại ngữ cơ bản, \nGiáo dục thể chất, Giáo dục quốc phòng -an ninh, thể hiện bằng các chỉ số sau đây:  \na) Số TC tích lũy (số TCTL).  \nb) Tổng số TC của các học phần đã học nhưng chưa đạt từ đầu khóa (số TC nợ đọng).  \nc) Điểm trung bình tích lũy (CPA).  \n4. Kết quả học tập học kỳ hè được đánh giá ở kỳ chính kế tiếp.  \n5. Sinh viên được xếp hạng trình độ năm học căn cứ số TC tích lũy (TCTL) như sau:  \nSố TCTL  < 32 32 - 63 64 - 95 96 -127 ≥ 128',
    'cho một học phần yêu cầu trong chương trình.  \nb) Người học được phép học một học phần thay thế được  chỉ định để lấy kết quả \nthay cho một học phần yêu cầ u trong  chương trình  nhưng không còn được giảng dạ y.  \n6. Đề cương chi  tiết của từng  học ph ần thể hiện rõ khối lượng học tập, điều kiện \ntham dự học phần, mục tiêu và kết quả mong đợi, mức độ đáp ứng chuẩn  đầu ra của \nchương trình, cách thức đánh giá học phần, nội d ung và kế hoạ ch học tập, phương thức \nvà ngôn ngữ giảng dạy, gi áo trình và tà i liệu tham  khảo.  \nĐiều 5. Đi ểm học phần \n1. Một học phần từ 2 TC trở lên được đánh giá từ hai điểm thành phần là điểm',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9360, 0.6081],
#         [0.9360, 1.0000, 0.5043],
#         [0.6081, 0.5043, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

  • Size: 11,033 training samples
  • Columns: sentence_0, sentence_1, and label
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1 label
    type string string float
    details
    • min: 3 tokens
    • mean: 173.46 tokens
    • max: 256 tokens
    • min: 3 tokens
    • mean: 172.3 tokens
    • max: 256 tokens
    • min: 0.0
    • mean: 0.46
    • max: 1.0
  • Samples:
    sentence_0 sentence_1 label
    2. Nguồn tài trợ hợp pháp từ các tổ chức, cá nhân và doanh nghiệp.
    Điều 5. Nguyên tắc xét cấp học bổng
    1. Học bổng được xét, cấp cho người học hoặc nhóm người học có đề tài ĐATN
    góp phần cải tiến, nâng cao chất lượng, hiệu quả kinh doanh, sản xuất hoặc chất lượng
    các dịch vụ an sinh xã hội trong các cơ quan, tổ chức, doanh nghiệp tại quê hương của
    người học.
    2. Học bổng được xét, cấp theo học kỳ và được thực hiện vào 2 học kỳ chính của
    năm học.
    3. Học bổng được xét theo đơn vị quản ngành và theo thứ tự điểm đánh giá về
    mức độ ứng dụng của đề tài ĐATN từ cao xuống thấp; trường hợp điểm đánh giá về    		 một văn bằng tốt nghiệp duy nhất.
    Chương III
    TIÊU CHUẨN, HỒ SƠ VÀ QUY TRÌNH ĐĂNG KÝ XÉT, CẤP HỌC BỔNG
    Điều 6. Tiêu chuẩn được đăng ký xét học bổng
    1. Tiêu chuẩn đối với sinh viên:
    Sinh viên hoặc nhóm sinh viên cùng thực hiện đề tài ĐATN đạt đồng thời các
    điều kiện sau được đăng ký xét học bổng:
    a) Toàn bộ các thành viên trong nhóm thực hiện đề tài ĐATN phải có điểm học
    tập trung bình tích lũy đạt từ loại khá trở lên (CPA ≥ 2.5);
    b) Có đề tài ĐATN góp phần cải tiến, nâng cao chất lượng, hiệu quả kinh doanh,
    sản xuất hoặc chất lượng các dịch vụ an sinh xã hội tại quê hương của một trong số sinh
    viên cùng thực hiện đề tài ĐATN.    		 1.0
    tắc như sau:
    Dải điểm thang 4 Dải điểm thang
    10 tương đương Công thức quy đổi
    Điểm thang 10 = Điểm thang 4 × a + b
    2,0 đến cận 2,5 5,5 đến cận 7,0 a = 3,00; b = −0,5
    2,5 đến cận 3,2 7,0 đến cận 8,0 a = 1,42; b = 3,45
    3,2 đến cận 3,6 8,0 đến cận 9,0 a = 2,50; b = 0.00
    3,6 đến tròn 4,0 9,0 đến tròn 10 a = 2,50; b = 0.00
    Điều 13. Đ ồ án/khóa lu ận tốt nghi ệp đại học
    Các học phần tốt nghiệp bao gồm đồ án tốt nghiệp cử nhân, khóa luận tốt nghiệp cử
    nhân (ĐATN).
    1. Sinh viên được giao đề tài ĐATN nếu đảm bảo các điều kiện học phần, bao gồm    		 Ngày ...... tháng ...... năm ............

    Sinh viên
    (Ký và ghi rõ họ tên)    		 0.0
    2. Chương trình trao đổi đăng ký tham gia:
    a) Tên Chương trình trao đổi: ...........................................................................................
    b) Tên trường đại học/ doanh nghiệp đăng ký học tập/ thực tập tại nước ngoài: .............
    ...........................................................................................................................................
    c) Tên quốc gia đến học tập/ thực tập: .............................................................................
    d) Ngôn ngữ đăng ký học tập/ thực tập: ...........................................................................    		 học hình th ức chính quy và các CTĐT k ể từ khóa 70 tr ở về sau, tr ừ các quy đ ịnh sau:
    a) Bảng quy đ ổi tương đương các ch ứng ch ỉ ngoại ngữ áp dụng cho toàn b ộ sinh
    viên các khóa, đ ối với các ch ứng ch ỉ được cấp kể từ ngày Quy đ ịnh này có hi ệu lực;
    b) Đ ối với sinh viên các khóa t ừ 69 tr ở về trước, nếu mức quy đ ổi tương đương
    cùng m ột chứng ch ỉ ngoại ngữ theo Quy đ ịnh này khác v ới mức quy đ ổi theo quy đ ịnh
    trước đây thì áp d ụng m ức quy đ ổi cao hơn trong hai quy đ ịnh; m ức cao hơn đư ợc xác
    định theo Khung năng l ực ngo ại ngữ 6 bậc dùng cho Vi ệt Nam.    		 0.0
  • Loss: CosineSimilarityLoss with these parameters:
    {
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • num_train_epochs: 2
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 2
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • project: huggingface
  • trackio_space_id: trackio
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: no
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: True
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss
0.7246 500 0.0893
1.4493 1000 0.0563

Framework Versions

  • Python: 3.12.12
  • Sentence Transformers: 5.1.2
  • Transformers: 4.57.1
  • PyTorch: 2.8.0+cu126
  • Accelerate: 1.11.0
  • Datasets: 4.0.0
  • Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
16
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for hungq/hust_sbert

Base model

keepitreal/vietnamese-sbert
Finetuned
(24)
this model