Hugging Face's logo

HJUNN
/
bge-m3b-Art-Therapy-embedding-fine-tuning

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
dense
Generated from Trainer
dataset_size:573
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files
xet
Community

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-m3
  • Maximum Sequence Length: 8192 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '"위급한 상황에서 빠른 결정을 위해 사용되는 이분법적 질문의 예시입니다."',
    '■ 1번. 네/아니오 를 이끌어 내는 질문 원하는 답을 재빠르게 얻는다는 장점이 있다. 이는 위급한 상황에서 매우 유용한데, 만약 상대방의 의사와 상관없이 위기상황을 판단해야 하는 경우에 매우 효과적으로 사용된다. → 당신은 혹시 현재 자살에 대한 생각이 있으십니까? 단점으로는 질문을 받는 사람에 대한 의견 표출의 기회가 단 두개로 국한됨으로, 상대방이 의도한 정확한 느낌을 무시해버리는 경우가 있다. → 자살을 하고 싶은 이유는 무엇인지, 또는 언제부터 그런 생각을 하게 됬는지에 대해 알 수 없다. 그러므로 확실하게 답을 알아야겠다고 판단되는 경우에 이러한 질문을 사용하여야 한다.',
    '■ 기형적인 머리를 그린다 상대방이 심리적으로 어려워 보이는 경우에 한하여, 다음과 같은 증세를 예측해 볼 수 있다. 단 이것이 심리적 어려움, 또는 신체적 어려움을 판단하는 진단기준이 되어서는 안 된다. 1) 뇌 손상을 입은 경우 2) 지능발달이 원활이 이루어지지 않은 경우 3) 심리적으로 극도로 혼란스러운 경우 자신과 다른 성별의 머리를 눈에 띄게 크게 그린다 이성이 자신의 성별보다 훨신 유능하고 우월한 능력이 있다고 믿는다. 성인 남성의 경우, 어머니에 대한 정서적인 문제를 가질 수 있다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5284, 0.2025],
#         [0.5284, 1.0000, 0.1227],
#         [0.2025, 0.1227, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

  • Size: 573 training samples
  • Columns: sentence_0 and sentence_1
  • Approximate statistics based on the first 573 samples:
    sentence_0 sentence_1
    type string string
    details
    • min: 11 tokens
    • mean: 21.47 tokens
    • max: 38 tokens
    • min: 51 tokens
    • mean: 140.53 tokens
    • max: 347 tokens
  • Samples:
    sentence_0 sentence_1
    화면 왼쪽 하단에는 작은 새가 앉아 있습니다. ■ 두 번째로 '왜 그것을 그렸는가(Why?)'에 대한 전략이다. 어떤 대상을 그렸는지 명확히 파악이 되었다면, 그 대상을 어떤 이유로 그렸는지 유추해 보는 과정이 필요하다.
    그림 속에는 메마른 뿌리가 꼬여 있는 모습이 보입니다. ■ 죽은 뿌리를 그린다 현실을 살아갈 수 있는 능력을 잃어버린 듯한 느낌을 받는다 자신이 가지고 있던 '삶의 목표' 또는 '동기 부여'를 잃어버렸던 적이 존재한다. (이와 같은 경우, 삶을 살아가며 혼란스럽다고 표현한다.) 무언가에 극도로 절박하게 매달리듯이, 반복적으로 한 주제에 대하여 상상하고 행동한다. (이와 같은 경우, 목적과 행동이 뒤바뀐 듯한 인상을 준다. ex. 깨끗하기 위해서 손을 씻는 것이 아닌 손을 씻기 위해 미친듯이 깨끗해지길 바람. 수업을 듣기 위해 제 시간에 맞춰 일어나는 것이 아닌 모든 계획대로 행동해야 수업이라는 '관문'을 통과했다고 생각함.)
    한 남성이 비정상적으로 큰 머리와 긴 목을 가진 인물을 그리고 있습니다. 9. 위급한 상황임을 의심해 볼 수 있는 묘사 다음과 같은 그림의 묘사가 반복해서 나타날 경우, 상대방이 정신적으로 극도로 혼란스럽거나 위험한 상태임을 암시할 수 있다. (Donald P. Ogdon, 1981) 단 이것이 정신적 어려움을 판단하는 진단기준이 되어서는 안 된다. • 남성이 지나치게 큰 머리를 그린다 • 머리만 똑 떼어 그린다 • 눈을 그리지 않는다 • 옆 모습 그림에서 눈을 두 개 그린다 • 머리카락이 없다 • 이빨을 그린다 • 괴물, 귀신 혹은 동물을 그린다 • 기괴한 얼굴 표정을 그린다 • 비정상적으로 길고 얇은 목을 그린다 • 몸통만 그린다 • 기계, 또는 로봇을 그린다 • 사각형, 또는 기하학적인 몸통을 그린다 • 어깨가 없다 • 팔이 없다 • 팔을 날개처럼 그렸다 • 관절을 매우 강조했다 • 손이 없다 • 남자가 그린 ‘여성’ 그림에서 지나치게 가슴을 크게 그렸다 • 발이 없다 • 자세가 경직되어 있다 • 성기를 그린다 • 옷을 입지 않았다 • 옷 속이 비치듯, 몸의 세부사항을 그린다 • 단추를 강조한다 • 장기 내부를 표현한다 • 허리 아래를 그리기 거부한다 • 줄 몇개로 허리 아래를 표시한다 • 뒷 모습을 그린다 • 옆 얼굴과 앞 얼굴이 뒤섞여있다 • 빙빙 돌고 있거나 과한 움직임을 나타낸다 • 토막난 사람을 그린다
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 32
  • num_train_epochs: 2
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 32
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 2
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • project: huggingface
  • trackio_space_id: trackio
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: no
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: True
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin
  • router_mapping: {}
  • learning_rate_mapping: {}

Framework Versions

  • Python: 3.12.12
  • Sentence Transformers: 5.1.2
  • Transformers: 4.57.1
  • PyTorch: 2.8.0+cu126
  • Accelerate: 1.11.0
  • Datasets: 4.0.0
  • Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
116
Safetensors
Model size
0.6B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for HJUNN/bge-m3b-Art-Therapy-embedding-fine-tuning

Base model

BAAI/bge-m3
Finetuned
(348)
this model