Updated README

README.md

@@ -2,468 +2,239 @@
 tags:
 - sentence-transformers
 - sentence-similarity
-- feature-extraction
-- dense
-- generated_from_trainer
-- dataset_size:24000
-- loss:MultipleNegativesRankingLoss
-base_model: impresso-project/histlux-gte-multilingual-base
+- dataset_size:120000
+- multilingual
+base_model: Alibaba-NLP/gte-multilingual-base
 widget:
-- source_sentence: Das geschah vor fast 4 Jahren.
+- source_sentence: Who is filming along?
   sentences:
-  - Das geschah vqr fast 4 Jahren.
-  - 'Bundesbeschluss über dFetigstellung der kombinierten Anlage bei der Schweizerischen
-    Meterologischen Anstalt (METALERT II) vom. September 1982Die Bundesveramlung der
-    Schweizerischen Eidgenosseschaft, gestützt auf Artikel 85 Ziffer 10 der Bundesverfassung,
-    nach Einsicht in eine Botschaft des Bundesrates vom 21. Dezember 1981 ''), beschliesst:
-    Art. l Für die Fertigstellung der kombinierten Anlage bei der Schweizerischen
-    Meteorologischen Anstalt nach der Botschaft vom 21. Dezember 1981 wird ein Objektkedit
-    von 8,95 Millionen Franken bewilgt. Art. Dieser Beschluss ist nicht allgemeinverbindlich;
-    er untersteht nict dem Referendum. tänderat,. Juni 1982 Nationalrat,. eptember
-    1982 Der Präsident: Dreyer Die Präsidentin: Lang Die Sekretärin: Hube Der Protokollführer:
-    Zwicker 8177 '') BB11982 I 153 ,. 1982-870'
-  - 'Ei weise Rat. Ludwig XIV. von Frankreich erschien im Jahre 1872 mit einer ansehnlichen
-    Macht vor den Toren Amsterdams, welches nicht dn nötigen Widersand zu leisten
-    imstande war. Bei der Bevülke» rung herrscte die glühte Bestürzung und der Magistrat
-    beratschlagte, was unter diesen Umständen zu tun sei. Man kam dain überein. dem
-    König de Schlssel der Stadt zu überreichen. In diesem Augenblick bemerkte man.
-    daß ein alter Bürgermeister eingeschlafen war und seine Stimme noch nicht abgegeben
-    hatte Man weckte ihn: er erkundigte sich nach dem Resultat der Beratung. »Wir
-    wllen" hieß es.dem Knige die Schlüssel der Stadt übergeben." »Hat er se schon
-    verlangt?" fragte der ehrwüdige Vater der Stadt. »Noch nicht", mar die ntwort..Dann,
-    meine Herren", erwiderte er, »wollen wir wenigstens so lange waten, bis er sie
-    fordert. Dieser Einfall rettete die Reublik, denn schon am nächstenTage sah Ludwig
-    sich, eingetretener Umstände wegen, veranlaßt, der Stadt den Rücken zu wenden.'
-- source_sentence: CHP lideri Kemal Kılıçdaroğlu, şehit cenazesinde kendisine yumurta
-    atan eylemciyi, 'Sen Müslüman bile olamazsın' diye eleştirdi.
+  - Wién filmt mat?
+  - >-
+    Weider huet den Tatarescu drop higewisen, datt Rumänien durch seng
+    krichsbedélegong op de 6eite vun den allie'erten 110.000 mann verluer hätt.
+  - Brambilla 130.08.03 St.
+- source_sentence: 'Four potential scenarios could still play out: Jean Asselborn.'
   sentences:
-  - Nous l'apcpelons ainsi car c'ebst un gamin, un gosse, et Goliath est ce géant
-    costafdzet immense.
-  - wHP liderıi Klemal Kılıçdaroğlu, şehit cenazesinde kendiEsine yumurta atan eylemciyi,
-    'Sen Müslüman bile olmazsın' iye eleştirdi.
-  - Der ausserordentliche Parteitag der westdeutschen Sozialdemokraten Bonn. Der ausserordentliche
-    Parteitag der wesdeutschen Sozialdemokraten begann am Mittwoch, ‘l6. April, in
-    Godesberg. Der Parteivorstand hatte ich mit sechs Anträgen bemüht, das Heft in
-    die Hand zu bekommen. Um die Wähler nicht zu verärgern und die Eiigkeit zu bwahren,
-    legte di Parteispitze eine eigene Resolution zur Deutschlandpolitik vo, die das
-    Wort «Anerkennung» für die DDR vermeidt. Dem linken Flügel kommt die Parteispitze
-    dadurch entgegen, dass die «Staatliche Existenz» der DDR anerkannt wird. Zwischen
-    den gleichberechtigten Regierungen in Bon und Ostberlin werden Verträge un Verhandlungen
-    in Aussicht genommen. Das auptthema des Parteitages soll aberdas Regierungsprogramm
-    der SPD abgebe. Als Kanzlekandidaten will die Parteispitze den jetzigen Aussenminister
-    Willy Brand vorschlagn.
-- source_sentence: Aber ich gab ihnen den Raum dafür.
+  - >-
+    Dann ass nach eng Antenne hei um Kierchbierg virgesi Richtung RTL Gebai, do
+    gëtt jo een ganz neie Wunnquartier gebaut.
+  - >-
+    D'bedélegong un de wählen wir ganz stärk gewiéscht a munche ge'genden wor re
+    eso'gucr me' we' 90 prozent.
+  - Jean Asselborn gesäit 4 Méiglechkeeten, wéi et kéint virugoen.
+- source_sentence: >-
+    Non-profit organisation Passerell, which provides legal council to refugees
+    in Luxembourg, announced that it has to make four employees redundant in
+    August due to a lack of funding.
   sentences:
-  - Initiative américaine pour réduire la dette de l'Argentine et du Brésil New York
-    (AFP).-Les autorités bancares américaines ont invité les banques commerciales
-    amricaines à nnuler 20 % de leur créance de 14 milliards de dollrs sur leBrésil
-    et l'Argentine, selon un article paru dans l'édition de jeudidu Wall Street Journal.
-    Le Wall Street Journal écrit, citant des sources bancaires, que les banques ont
-    reçu une lettre de la Commission publique officielle Interagency Counry Exposure
-    eview Committe, regroupant notamment la Réserve'Fédérale, (Fed) et un fons de
-    garantie (Fédéral Deposit Insurance Cor.) leurenjoignant de prendre des mesures
-    comptables. Les banques se sont refusées jeudi matin à tout commentaire Le Brésil
-    et l'Argentineont suspendu le paiement des intérêts et du principal d leur dette.
-    Alors qu'une décision de ce type était attendue de la part de la Commission e
-    ce qui concerne l'Argentine, compte tenu de la dgradation de lasituation financière
-    du pays, linclusion du Brésil a causé une surprise, indique-t-on par ailleurs
-    dans les mileux bancaires. Le Brésil, aen pline restructuration économique, devait
-    retourner à la table des négociations à l'automne. Cette décision va compliquer
-    les négociations entre les banues commerciales et les pays endettés.
-  - Aber ichgab ihnen den Raum dafür.
-  - '1709 Botschaft des Bndesrates an die Bundesversammlung bereffend Übertragung
-    der Konzession der Strassenbahn von Bern nach Zollikofen (B. Z. B.), mit Abzwegung
-    von der Tiefenaubrücke nach orblaufen, auf die Solothurn- Zollikof en-Bern-B ahn
-    A. -G. in Solothurn. (Vom 2. Februar 1923.) Mit Eingabe vom 30. Juni 1922 stellte
-    die Direktion der Solothurn-Zollikofen-Bern-Bhn (S. Z. B.) in Solothurn das Gesuch,
-    es sei die am 25. Juni 1909 (E. A. S. XXV, 195) erteilte und am 22. Dezember 1911
-    (E. A. S. XXVII, 273) abgeändert Konzession dr Strassenbahn von Bern nah Zollikofen,
-    mit Abzweigung von der Tiefenaubrückenach Worblaufen, auf sie (S. Z. B.) m Sinnedes
-    zwischen beiden Bahngesellschaften abgeschlossenen Fusionsvertrages vom 16. Mrz
-    1922 zu übertragen. Gemäss diesem Fusions vertrag (§ 1) haben sich die Solothurn-Bern-Bahn
-    (E. S. B.) und die Bern-Worblaufen-Zollikofen- Bahn (B. Z. B.) unter dem Namen
-    Solothurn-Zollikofen-Bern Bahn (S. Z. B.)zu einer einzigen Gesellschaft in der
-    Weise vereinigt, dass die Solothurn-Bern-Bahn (E. S. B.) die Bern-Worblaufen-
-    Zollikofen-Bahn (B. Z. B.) in sich aufnimmt. Infolge dieser Fusion gehen die Konzssion
-    der letztern, soie alle Akiven und Passiven mit Einschluss derMiet-, Pacht-, Betriebs-
-    und sonstigen Verträge auf die Solothurn-Bern-Bahn (E. S. B.), nun Solothurn-Zollikofen-Bern-Bahn
-    (S. Z. B.) über, während die Bern-Worblaufen-Zollikofen-Bahn (B. Z. B. mit Wirkung
-    auf den 1 Januar 1922 aufgelöst wird. Lau § des Fusionsvertrages übernimmt die
-    Solothurn-Bern- Bahn (E. S. B.), nun Solothurn-Zollikofen-Bern-Bahn (S. Z. B.),
-    das gesamte ständige, sich inangekündigter Stellung befindliche Personal der Bern-Worblaufen-Zollikofen-Bahn.
-    Sie verpflichtet sih ( 6), der Verwirklichung des Zweckes der Bern-Worblaufen-Zollikofe-Bahn,
-    d h. dem Betrieb einer Strassenbahn Zollikofe-Bern alle Aufmerksamkeit zu schenken,
-    den Lokalverkehr Zollikofen-Bern voll aufrechtzuerhalten ud nach Bedürfnis und
-    Möglichkeit auszubauen, also nebn dein durchgehenden Verkehr dienenden Zügen auch
-    dio nötige Zahl von Lokalzügen zu führen. Die berechtigten Wünsche der interessierten
-    Bevölkrung sind dabei nach Möglichkeit zu berücksichtigen. In ihren Vernehmlassungen
-    vom 14. August bzw. 8. Dezember 1922 erheben die Regierungen der Kantone Solothurn
-    und Bern gegen die Konzessonsübertragung kine Einwendung. Da auch von unserer
-    Seite nichts zu bemerken ist, beantragen wir Ihnen, dem Übertragungsesuchedurch
-    Annahm des nachfolgenden Bundesbeschlussentwurfes zu entsprechen. Wir benützen
-    auch diesen Anlass, Sie unserer ausgezeichnetn Hochachtung z versichern. Bern,
-    den 2. Februar 1923. Im Namen des Schweiz. Bundesrates, Der Bundespräsident: Scheurer.
-    Der Bundeskanzler: Steiger. (Entwurf.) Bndesbeschluss betreffend Übertraung der
-    Konzession der Strassenbahnvon Bern nach Zollikofen (ß. Z. B.), mit Abzweigung
-    von der Tiefenaubrücke nach Worblaufen, aufdieSolothurn- Zollikofen-Bern-Bahn
-    A. -G. in Solothurn. Die Bundesversammlung. der schweizerischen Eidgenssenschft,nach
-    Einsicht . einer Engabe de Diretion der Solothurn-Zollikofen-Bern- Bahn in Solothurn,
-    vom 30. Juni 1922, samt Beilagen, 2. einer Botschaft des Bundesrates vom 2. Februar
-    1923, beschliesst: . Die durch Bundesbeschlus vom 25. Juni 1909 (E. A. S. XXV,
-    195) erteilte und durch Bundesbeschluss vom 22. Der zember 1911 (E. A. S. XXVII,
-    273) abgeänderte Konzession einer Strassenbahn von Bern nach Zollikofen, mit Abzweigung
-    von de- Tiefenaubrücke nach Worblaufen, wird unter den gleichen Bedingungen auf
-    die Solothurn-ollikofen-Bern-Bahn A.-G. in Solothurn übertragen. . Der Bundesrat
-    ist mit dem Vollzug des gegenwärtigen Beschlusses, welcher am in Kraft tritt,
-    beauftragt.'
-- source_sentence: Der syrische Bürgerkrieg, die Flüchtlingskrise und der Weltklimagipfel
-    in Paris waren Themen, die das Jahr 2015 dominierten. Der Blick zurück wird so
-    zu einem Ausblick auf das, was uns erst noch bevorsteht.
+  - Oetringen nach Remich....8.20» 215»
+  - >-
+    D'ASBL Passerell, déi sech ëm d'Berodung vu Refugiéeën a Saache Rechtsfroe
+    këmmert, wäert am August mussen hir véier fix Salariéen entloossen.
+  - D'Regierung huet allerdéngs "just" 180.041 Doudeger verzeechent.
+- source_sentence: This regulation was temporarily lifted during the Covid pandemic.
   sentences:
-  - Der syrische Bügerkrieg, die Flüchtlibgskrise und der Welitklimagipifel in Pais
-    waren Themen, die das Jahr 2015 dominiRrten.üDekr Blick zJrück wird so zu einem
-    Ausblick auf das, was uns erst nch bevorsteht.
-  - Und dann beginnen i ein unglaubliches Ballett.
-  - El malagueño Antoio Galdeano, Apoño, las ha visto de todos los colores para asentarse
-    en el centro del campo del Zaragoza
-- source_sentence: Denken Sie nur an Sebastian und wie er die Katze kaufte, um seine
-    Reputation zu schützen.
+  - Six Jours vu New-York si fir d’équipe Girgetti — Debacco
+  - Dës Reegelung gouf wärend der Covid-Pandemie ausgesat.
+  - ING-Marathon ouni gréisser Tëschefäll ofgelaf - 18 Leit hospitaliséiert.
+- source_sentence: The cross-border workers should also receive more wages.
   sentences:
-  - et sivous êtes trsèse sincère, c'est dur d'aimer un toxicomane. Il w a beaucoup
-    de gens qui savent ça dans cette ièce.
-  - J'ai reçu un bip des srgences vers 2hldu matin pour unhe fzmme avec un ulcère
-    diabtique à son pied.
-  - Denken Sie nur an Sebastian und wise er die Kakze kaute, um rseine Reputation
-    zu schützen.
+  - D'grenzarbechetr missten och me' lo'n kre'en.
+  - >-
+    De Néckel: Firun! Dât ass jo ailes, wèll 't get dach neischt un der Bréck
+    gemâcht!
+  - >-
+    D'Grande-Duchesse Josephine Charlotte an hir Ministeren hunn d'Land
+    verlooss, et war den Optakt vun der Zäit am Exil.
 pipeline_tag: sentence-similarity
 library_name: sentence-transformers
+model-index:
+- name: >-
+    SentenceTransformer based on
+    Alibaba-NLP/gte-multilingual-base
+  results:
+  - task:
+      type: contemporary-lb
+      name: Contemporary-lb
+    dataset:
+      name: Contemporary-lb
+      type: contemporary-lb
+    metrics:
+    - type: accuracy
+      value: 0.6216
+      name: SIB-200(LB) accuracy
+    - type: accuracy
+      value: 0.6282
+      name: ParaLUX accuracy
+  - task:
+      type: bitext-mining
+      name: LBHistoricalBitextMining
+    dataset:
+      name: LBHistoricalBitextMining
+      type: lb-en
+    metrics:
+    - type: accuracy
+      value: 0.9683
+      name: LB<->FR accuracy
+    - type: accuracy
+      value: 0.9715
+      name: LB<->EN accuracy
+    - type: mean_accuracy
+      value: 0.9793
+      name: LB<->DE accuracy
+license: agpl-3.0
+datasets:
+- impresso-project/HistLuxAlign
+- fredxlpy/LuxAlign
+language:
+- lb
 ---
 
-# SentenceTransformer based on impresso-project/histlux-gte-multilingual-base
+# Luxembourgish adaptation of Alibaba-NLP/gte-multilingual-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [Alibaba-NLP/gte-multilingual-base](https://huggingface.co/Alibaba-NLP/gte-multilingual-base) further adapted to support Historical and Contemporary Luxembourgish. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for (cross-lingual) semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
 
-This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [impresso-project/histlux-gte-multilingual-base](https://huggingface.co/impresso-project/histlux-gte-multilingual-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
 
 ## Model Details
 
+This model is specialised to perform cross-lingual semantic search to and from Historical/Contemporary Luxembourgish. This model would be particularly useful for libraries and archives that want to perform semantic search and longitudinal studies within their collections.
+
+This is an [Alibaba-NLP/gte-multilingual-base](https://huggingface.co/Alibaba-NLP/gte-multilingual-base) model that was further adapted by (Michail et al., 2025)
+
+## Limitations
+
+We also release a model that performs better (18pp) on ParaLUX. If finding monolingual exact matches within adversarial collections is of at-most importance, please use [histlux-paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/impresso-project/histlux-paraphrase-multilingual-mpnet-base-v2)
+
 ### Model Description
-- **Model Type:** Sentence Transformer
-- **Base model:** [impresso-project/histlux-gte-multilingual-base](https://huggingface.co/impresso-project/histlux-gte-multilingual-base) <!-- at revision 52be259f395fcf46ea47d0ebec8598392a90107f -->
+- **Model Type:** GTE-Multilingual-Base
+- **Base model:** [Alibaba-NLP/gte-multilingual-base](https://huggingface.co/Alibaba-NLP/gte-multilingual-base)
 - **Maximum Sequence Length:** 8192 tokens
 - **Output Dimensionality:** 768 dimensions
 - **Similarity Function:** Cosine Similarity
-<!-- - **Training Dataset:** Unknown -->
-<!-- - **Language:** Unknown -->
-<!-- - **License:** Unknown -->
+- **Training Dataset:** See below
 
-### Model Sources
 
-- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
-- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
-- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+## Usage (Sentence-Transformers)
 
-### Full Model Architecture
+Using this model becomes easy when you have [sentence-transformers](https://www.SBERT.net) installed:
 
 ```
-SentenceTransformer(
-  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'NewModel'})
-  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
-  (2): Normalize()
-)
-```
-
-## Usage
-
-### Direct Usage (Sentence Transformers)
-
-First install the Sentence Transformers library:
-
-```bash
 pip install -U sentence-transformers
 ```
 
-Then you can load this model and run inference.
+Then you can use the model like this:
+
 ```python
 from sentence_transformers import SentenceTransformer
+sentences = ["This is an example sentence", "Each sentence is converted"]
 
-# Download from the 🤗 Hub
-model = SentenceTransformer("sentence_transformers_model_id")
-# Run inference
-sentences = [
-    'Denken Sie nur an Sebastian und wie er die Katze kaufte, um seine Reputation zu schützen.',
-    'Denken Sie nur an Sebastian und wise er die Kakze kaute, um rseine Reputation zu schützen.',
-    "J'ai reçu un bip des srgences vers 2hldu matin pour unhe fzmme avec un ulcère diabtique à son pied.",
-]
+model = SentenceTransformer('impresso-project/halloween_workshop_ocr_robust_with_lux_preview', trust_remote_code=True)
 embeddings = model.encode(sentences)
-print(embeddings.shape)
-# [3, 768]
-
-# Get the similarity scores for the embeddings
-similarities = model.similarity(embeddings, embeddings)
-print(similarities)
-# tensor([[1.0000, 0.9083, 0.0497],
-#         [0.9083, 1.0000, 0.0266],
-#         [0.0497, 0.0266, 1.0000]])
+print(embeddings)
 ```
 
-<!--
-### Direct Usage (Transformers)
-
-<details><summary>Click to see the direct usage in Transformers</summary>
-
-</details>
--->
-
-<!--
-### Downstream Usage (Sentence Transformers)
-
-You can finetune this model on your own dataset.
-
-<details><summary>Click to expand</summary>
-
-</details>
--->
 
-<!--
-### Out-of-Scope Use
+## Training Details
 
-*List how the model may foreseeably be misused and address what users ought not to do with the model.*
--->
+### Training Dataset
 
-<!--
-## Bias, Risks and Limitations
+The parallel sentences data mix is the following:
 
-*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
--->
+impresso-project/HistLuxAlign:
+  - LB-FR (x20,000)
+  - LB-EN (x20,000)
+  - LB-DE (x20,000)
 
-<!--
-### Recommendations
+fredxlpy/LuxAlign:
+  - LB-FR (x40,000)
+  - LB-EN (x20,000)
 
-*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
--->
+Total: 120 000 Sentence pairs in mixed batches of size 8
 
-## Training Details
 
-### Training Dataset
+### Contrastive Training
+The model was trained with the parameters:
+```
+**Loss**:
 
-#### Unnamed Dataset
-
-* Size: 24,000 training samples
-* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
-* Approximate statistics based on the first 1000 samples:
-  |         | sentence_0                                                                           | sentence_1                                                                           | label                                                         |
-  |:--------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:--------------------------------------------------------------|
-  | type    | string                                                                               | string                                                                               | float                                                         |
-  | details | <ul><li>min: 6 tokens</li><li>mean: 302.64 tokens</li><li>max: 8192 tokens</li></ul> | <ul><li>min: 6 tokens</li><li>mean: 312.67 tokens</li><li>max: 8192 tokens</li></ul> | <ul><li>min: 1.0</li><li>mean: 1.0</li><li>max: 1.0</li></ul> |
-* Samples:
-  | sentence_0                                                                                                        | sentence_1                                                                                                         | label            |
-  |:------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------|:-----------------|
-  | <code>Le Thaïlandais Apichatpong Weerasethakul est le grand gagnant d'un Festival marqué par des surprises</code> | <code>Le TÜaïlandais Apichatpong Weeraswethakul est e grand gagnantC d'un Fesiival marqué par des surprises</code> | <code>1.0</code> |
-  | <code>Конкурс - не цыганский табор, не может в одночасье сорваться с места</code>                                 | <code>Конкурс - нехцыганскиб табор, не может в одночасье сорваться с ыеста</code>                                  | <code>1.0</code> |
-  | <code>Произошли «сход с рельсов поезда, взрыв на химкомбинате, пожары и даже крушения самолетов»</code>           | <code>Произошли «сход ьс рельсов поезда, взрыв нза химкомбикнате, шпожары и даже крушения самолетов»</code>        | <code>1.0</code> |
-* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
-  ```json
-  {
-      "scale": 20.0,
-      "similarity_fct": "cos_sim",
-      "gather_across_devices": false
-  }
+`sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLoss` with parameters:
+  ```
+  {'scale': 20.0, 'similarity_fct': 'cos_sim'}
   ```
 
-### Training Hyperparameters
-#### Non-Default Hyperparameters
-
-- `num_train_epochs`: 1
-- `fp16`: True
-- `multi_dataset_batch_sampler`: round_robin
-
-#### All Hyperparameters
-<details><summary>Click to expand</summary>
-
-- `overwrite_output_dir`: False
-- `do_predict`: False
-- `eval_strategy`: no
-- `prediction_loss_only`: True
-- `per_device_train_batch_size`: 8
-- `per_device_eval_batch_size`: 8
-- `per_gpu_train_batch_size`: None
-- `per_gpu_eval_batch_size`: None
-- `gradient_accumulation_steps`: 1
-- `eval_accumulation_steps`: None
-- `torch_empty_cache_steps`: None
-- `learning_rate`: 5e-05
-- `weight_decay`: 0.0
-- `adam_beta1`: 0.9
-- `adam_beta2`: 0.999
-- `adam_epsilon`: 1e-08
-- `max_grad_norm`: 1
-- `num_train_epochs`: 1
-- `max_steps`: -1
-- `lr_scheduler_type`: linear
-- `lr_scheduler_kwargs`: {}
-- `warmup_ratio`: 0.0
-- `warmup_steps`: 0
-- `log_level`: passive
-- `log_level_replica`: warning
-- `log_on_each_node`: True
-- `logging_nan_inf_filter`: True
-- `save_safetensors`: True
-- `save_on_each_node`: False
-- `save_only_model`: False
-- `restore_callback_states_from_checkpoint`: False
-- `no_cuda`: False
-- `use_cpu`: False
-- `use_mps_device`: False
-- `seed`: 42
-- `data_seed`: None
-- `jit_mode_eval`: False
-- `bf16`: False
-- `fp16`: True
-- `fp16_opt_level`: O1
-- `half_precision_backend`: auto
-- `bf16_full_eval`: False
-- `fp16_full_eval`: False
-- `tf32`: None
-- `local_rank`: 0
-- `ddp_backend`: None
-- `tpu_num_cores`: None
-- `tpu_metrics_debug`: False
-- `debug`: []
-- `dataloader_drop_last`: False
-- `dataloader_num_workers`: 0
-- `dataloader_prefetch_factor`: None
-- `past_index`: -1
-- `disable_tqdm`: False
-- `remove_unused_columns`: True
-- `label_names`: None
-- `load_best_model_at_end`: False
-- `ignore_data_skip`: False
-- `fsdp`: []
-- `fsdp_min_num_params`: 0
-- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
-- `fsdp_transformer_layer_cls_to_wrap`: None
-- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
-- `parallelism_config`: None
-- `deepspeed`: None
-- `label_smoothing_factor`: 0.0
-- `optim`: adamw_torch_fused
-- `optim_args`: None
-- `adafactor`: False
-- `group_by_length`: False
-- `length_column_name`: length
-- `project`: huggingface
-- `trackio_space_id`: trackio
-- `ddp_find_unused_parameters`: None
-- `ddp_bucket_cap_mb`: None
-- `ddp_broadcast_buffers`: False
-- `dataloader_pin_memory`: True
-- `dataloader_persistent_workers`: False
-- `skip_memory_metrics`: True
-- `use_legacy_prediction_loop`: False
-- `push_to_hub`: False
-- `resume_from_checkpoint`: None
-- `hub_model_id`: None
-- `hub_strategy`: every_save
-- `hub_private_repo`: None
-- `hub_always_push`: False
-- `hub_revision`: None
-- `gradient_checkpointing`: False
-- `gradient_checkpointing_kwargs`: None
-- `include_inputs_for_metrics`: False
-- `include_for_metrics`: []
-- `eval_do_concat_batches`: True
-- `fp16_backend`: auto
-- `push_to_hub_model_id`: None
-- `push_to_hub_organization`: None
-- `mp_parameters`: 
-- `auto_find_batch_size`: False
-- `full_determinism`: False
-- `torchdynamo`: None
-- `ray_scope`: last
-- `ddp_timeout`: 1800
-- `torch_compile`: False
-- `torch_compile_backend`: None
-- `torch_compile_mode`: None
-- `include_tokens_per_second`: False
-- `include_num_input_tokens_seen`: no
-- `neftune_noise_alpha`: None
-- `optim_target_modules`: None
-- `batch_eval_metrics`: False
-- `eval_on_start`: False
-- `use_liger_kernel`: False
-- `liger_kernel_config`: None
-- `eval_use_gather_object`: False
-- `average_tokens_across_devices`: True
-- `prompts`: None
-- `batch_sampler`: batch_sampler
-- `multi_dataset_batch_sampler`: round_robin
-- `router_mapping`: {}
-- `learning_rate_mapping`: {}
-
-</details>
-
-### Training Logs
-| Epoch  | Step | Training Loss |
-|:------:|:----:|:-------------:|
-| 0.1667 | 500  | 0.0           |
-| 0.3333 | 1000 | 0.0003        |
-| 0.5    | 1500 | 0.0           |
-| 0.6667 | 2000 | 0.0           |
-| 0.8333 | 2500 | 0.0           |
-| 1.0    | 3000 | 0.0           |
-
-
-### Framework Versions
-- Python: 3.12.12
-- Sentence Transformers: 5.1.1
-- Transformers: 4.57.1
-- PyTorch: 2.8.0+cu126
-- Accelerate: 1.10.1
-- Datasets: 4.0.0
-- Tokenizers: 0.22.1
+Parameters of the fit()-Method:
+```
+{
+    "epochs": 1,
+    "evaluation_steps": 520,
+    "max_grad_norm": 1,
+    "optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
+    "optimizer_params": {
+        "lr": 2e-05
+    },
+    "scheduler": "WarmupLinear",
+}
+```
+```
 
 ## Citation
 
 ### BibTeX
 
-#### Sentence Transformers
+#### Adapting Multilingual Embedding Models to Historical Luxembourgish (introducing paper)
+
 ```bibtex
-@inproceedings{reimers-2019-sentence-bert,
-    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
-    author = "Reimers, Nils and Gurevych, Iryna",
-    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
-    month = "11",
-    year = "2019",
+@inproceedings{michail-etal-2025-adapting,
+    title = "Adapting Multilingual Embedding Models to Historical {L}uxembourgish",
+    author = "Michail, Andrianos  and
+      Racl{\'e}, Corina  and
+      Opitz, Juri  and
+      Clematide, Simon",
+    editor = "Kazantseva, Anna  and
+      Szpakowicz, Stan  and
+      Degaetano-Ortlieb, Stefania  and
+      Bizzoni, Yuri  and
+      Pagel, Janis",
+    booktitle = "Proceedings of the 9th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature (LaTeCH-CLfL 2025)",
+    month = may,
+    year = "2025",
+    address = "Albuquerque, New Mexico",
     publisher = "Association for Computational Linguistics",
-    url = "https://arxiv.org/abs/1908.10084",
+    url = "https://aclanthology.org/2025.latechclfl-1.26/",
+    doi = "10.18653/v1/2025.latechclfl-1.26",
+    pages = "291--298",
+    ISBN = "979-8-89176-241-1"
 }
 ```
 
-#### MultipleNegativesRankingLoss
+#### Original Multilingual GTE Model
+
 ```bibtex
-@misc{henderson2017efficient,
-    title={Efficient Natural Language Response Suggestion for Smart Reply},
-    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
-    year={2017},
-    eprint={1705.00652},
-    archivePrefix={arXiv},
-    primaryClass={cs.CL}
+@inproceedings{zhang2024mgte,
+  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval},
+  author={Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Wen and Dai, Ziqi and Tang, Jialong and Lin, Huan and Yang, Baosong and Xie, Pengjun and Huang, Fei and others},
+  booktitle={Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track},
+  pages={1393--1412},
+  year={2024}
 }
 ```
 
-<!--
-## Glossary
+## About Impresso
 
-*Clearly define terms in order to be accessible across audiences.*
--->
+### Impresso project
 
-<!--
-## Model Card Authors
+[Impresso - Media Monitoring of the Past](https://impresso-project.ch) is an interdisciplinary research project that aims to develop and consolidate tools for processing and exploring large collections of media archives across modalities, time, languages and national borders. The first project (2017-2021) was funded by the Swiss National Science Foundation under grant No. [CRSII5_173719](http://p3.snf.ch/project-173719) and the second project (2023-2027) by the SNSF under grant No. [CRSII5_213585](https://data.snf.ch/grants/grant/213585) and the Luxembourg National Research Fund under grant No. 17498891.
 
-*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
--->
+### Copyright
 
-<!--
-## Model Card Contact
+Copyright (C) 2025 The Impresso team.
+
+### License
+
+This program is provided as open source under the [GNU Affero General Public License](https://github.com/impresso/impresso-pyindexation/blob/master/LICENSE) v3 or later.
+
+---
 
-*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
--->
+<p align="center">
+  <img src="https://github.com/impresso/impresso.github.io/blob/master/assets/images/3x1--Yellow-Impresso-Black-on-White--transparent.png?raw=true" width="350" alt="Impresso Project Logo"/>
+</p>