Hugging Face's logo

Hizlan
/
ciso-cross-encoder

Text Ranking
sentence-transformers
Safetensors
xlm-roberta
cross-encoder
reranker
Generated from Trainer
dataset_size:628
loss:FitMixinLoss
Model card Files
xet
Community

CrossEncoder based on cross-encoder/mmarco-mMiniLMv2-L12-H384-v1

This is a Cross Encoder model finetuned from cross-encoder/mmarco-mMiniLMv2-L12-H384-v1 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

Model Sources

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of texts
pairs = [
    ['9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben.', 'Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben.'],
    ['Der Emittent der Sicherheiten muss eine hohe Bonität aufweisen und die Sicherheiten dürfen nicht von der Gegenpartei oder von einer dem Konzern der Gegenpartei angehörigen oder davon abhängigen Gesellschaft begeben sein.', 'Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen.'],
    ['5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.', '5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.'],
    ['1. Die Fondsleitung darf für Rechnung der Teilvermögen keine Kredite gewähren.', 'Verbot von Krediten und Bürgschaften: Zulasten eines Effektenfonds dürfen keine Kredite gewährt und keine Bürgschaften abgeschlossen werden.'],
    ['Zudem müssen die den Derivaten zugrunde liegenden Basiswerte nach diesem Fondsvertrag für das entsprechende Teilvermögen als Anlagen zulässig sein.', 'Deckung mit anderen Anlagen bei Indexderivaten: Deckung mit anderen Anlagen ist zulässig, wenn das Derivat auf einen extern berechneten Index lautet, der repräsentativ und korreliert ist.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    '9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben.',
    [
        'Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben.',
        'Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen.',
        '5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.',
        'Verbot von Krediten und Bürgschaften: Zulasten eines Effektenfonds dürfen keine Kredite gewährt und keine Bürgschaften abgeschlossen werden.',
        'Deckung mit anderen Anlagen bei Indexderivaten: Deckung mit anderen Anlagen ist zulässig, wenn das Derivat auf einen extern berechneten Index lautet, der repräsentativ und korreliert ist.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 628 training samples
  • Columns: sentence_0, sentence_1, and label
  • Approximate statistics based on the first 628 samples:
    sentence_0 sentence_1 label
    type string string float
    details
    • min: 30 characters
    • mean: 235.09 characters
    • max: 1055 characters
    • min: 30 characters
    • mean: 205.17 characters
    • max: 696 characters
    • min: 0.0
    • mean: 0.5
    • max: 1.0
  • Samples:
    sentence_0 sentence_1 label
    9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben. Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben. 1.0
    Der Emittent der Sicherheiten muss eine hohe Bonität aufweisen und die Sicherheiten dürfen nicht von der Gegenpartei oder von einer dem Konzern der Gegenpartei angehörigen oder davon abhängigen Gesellschaft begeben sein. Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen. 1.0
    5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein. 5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein. 1.0
  • Loss: FitMixinLoss

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 1
  • per_device_eval_batch_size: 1
  • num_train_epochs: 20

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 1
  • per_device_eval_batch_size: 1
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 20
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss
0.7962 500 2.0688
1.5924 1000 1.0619
2.3885 1500 0.3302
3.1847 2000 0.4093
3.9809 2500 0.2725
4.7771 3000 0.1523
5.5732 3500 0.0737
6.3694 4000 0.0784
7.1656 4500 0.1115
7.9618 5000 0.1435
8.7580 5500 0.1006
9.5541 6000 0.0482
10.3503 6500 0.033
11.1465 7000 0.0273
11.9427 7500 0.127
12.7389 8000 0.2191
13.5350 8500 0.0331
14.3312 9000 0.0001
15.1274 9500 0.0137
15.9236 10000 0.0136
16.7197 10500 0.0235
17.5159 11000 0.0001
18.3121 11500 0.012
19.1083 12000 0.0112
19.9045 12500 0.0113

Framework Versions

  • Python: 3.12.11
  • Sentence Transformers: 5.1.0
  • Transformers: 4.55.4
  • PyTorch: 2.8.0+cu126
  • Accelerate: 1.10.1
  • Datasets: 4.0.0
  • Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
5
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
Text Ranking
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Hizlan/ciso-cross-encoder

Base model

nreimers/mMiniLMv2-L12-H384-distilled-from-XLMR-Large
Quantized
cross-encoder/mmarco-mMiniLMv2-L12-H384-v1
Finetuned
(6)
this model

Paper for Hizlan/ciso-cross-encoder