wilfredomartel/ModernBERT-base-es-legal-v2

ModernBERT-base Legal Spanish

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base on the small-spanish-legal-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: answerdotai/ModernBERT-base
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • small-spanish-legal-dataset
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/ModernBERT-base-es-legal-v2")
# Run inference
queries = [
    "La Sala de Admisi\u00f3n de la Corte Constitucional inadmiti\u00f3 la acci\u00f3n extraordinaria de protecci\u00f3n interpuesta por el Ec. Guillermo Antonio Quezada Ter\u00e1n, representante legal de TRIPLEORO CEM., debido a una serie de deficiencias sustanciales y formales identificadas en su petici\u00f3n. En primer lugar, la Sala determin\u00f3 que el accionante no logr\u00f3 justificar la relevancia constitucional del conflicto planteado. El fundamento de su acci\u00f3n se centr\u00f3 en evidenciar lo que consideraba improcedente y equivocado de la sentencia de la Segunda Sala de lo Laboral de la Corte Nacional de Justicia, argumentando que se atentaba contra los intereses econ\u00f3micos de su representada y del cant\u00f3n Machala al imponer el pago de sumas que, a su juicio, no correspond\u00edan legal ni justamente. Este tipo de argumentaci\u00f3n, centrada en la legalidad y los intereses econ\u00f3micos, no es el objeto principal de la acci\u00f3n extraordinaria de protecci\u00f3n, la cual est\u00e1 dise\u00f1ada para salvaguardar derechos constitucionales y el debido proceso, no para reexaminar la correcta aplicaci\u00f3n de leyes ordinarias o la valoraci\u00f3n de pruebas desde una perspectiva econ\u00f3mica. Adicionalmente, la Sala constat\u00f3 una falta de precisi\u00f3n en la identificaci\u00f3n del acto materia de impugnaci\u00f3n. Si bien la demanda inicialmente se dirig\u00eda contra la sentencia de 30 de noviembre de 2009, emitida dentro del recurso de casaci\u00f3n No. 128-2009, en la secci\u00f3n de pretensiones se solicitaba la nulidad de todo lo actuado desde la sentencia dictada por el Juez Primero Ocasional del Trabajo de El Oro, dentro del juicio laboral No. 16-2006. Esta imprecisi\u00f3n genera incertidumbre sobre el alcance de la impugnaci\u00f3n y el acto espec\u00edfico que supuestamente vulner\u00f3 derechos constitucionales, dificultando el an\u00e1lisis de procedibilidad.",
]
documents = [
    "What specific procedural and substantive deficiencies led the Constitutional Court's Sala de Admisión to inadmit the extraordinary protection action filed by Ec. Guillermo Antonio Quezada Terán, representing TRIPLEORO CEM., against the National Court of Justice's labor ruling?",
    '¿Cuál fue el motivo principal por el cual la Sala de Admisión de la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección N° 0377-19-EP, presentada por el Ministerio de Educación?',
    '¿Cuál fue la razón principal por la que la Sala de Admisión de la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección No. 0230-10-EP presentada por Juan Edmundo Castillo Salas?',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5859, 0.2254, 0.4079]])

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator with these parameters:

  {
      "truncate_dim": 768
  }
  

Metric	Value
cosine_accuracy@1	0.8029
cosine_accuracy@3	0.8868
cosine_accuracy@5	0.9052
cosine_accuracy@10	0.9206
cosine_precision@1	0.8029
cosine_precision@3	0.2956
cosine_precision@5	0.181
cosine_precision@10	0.0921
cosine_recall@1	0.8029
cosine_recall@3	0.8868
cosine_recall@5	0.9052
cosine_recall@10	0.9206
cosine_ndcg@10	0.8661
cosine_mrr@10	0.8481
cosine_map@100	0.85

Information Retrieval

• Dataset: dim_512
• Evaluated with InformationRetrievalEvaluator with these parameters:

  {
      "truncate_dim": 512
  }
  

Metric	Value
cosine_accuracy@1	0.7934
cosine_accuracy@3	0.8814
cosine_accuracy@5	0.9013
cosine_accuracy@10	0.9143
cosine_precision@1	0.7934
cosine_precision@3	0.2938
cosine_precision@5	0.1803
cosine_precision@10	0.0914
cosine_recall@1	0.7934
cosine_recall@3	0.8814
cosine_recall@5	0.9013
cosine_recall@10	0.9143
cosine_ndcg@10	0.8592
cosine_mrr@10	0.8409
cosine_map@100	0.8431

Training Details

Training Dataset

small-spanish-legal-dataset

• Dataset: small-spanish-legal-dataset at f7d3e93
• Size: 7,872 training samples
• Columns: pos and query
• Approximate statistics based on the first 1000 samples:

  	pos	query
  type	string	string
  details	min: 100 tokens mean: 276.89 tokens max: 563 tokens	min: 35 tokens mean: 65.86 tokens max: 123 tokens

• Samples:

  pos	query
  Para que la Corte Constitucional admita a trámite una acción extraordinaria de protección, se deben cumplir dos tipos de requisitos esenciales, tanto de forma como de fondo. Formalmente, es imperativo que el recurso se presente contra «sentencias, autos definitivos y resoluciones con fuerza de sentencia» que sean «firmes o ejecutoriados». Este requisito está explícitamente establecido en el artículo 437 de la Constitución de la República, garantizando que la acción se dirige contra decisiones judiciales que han adquirido calidad de cosa juzgada o tienen efectos definitivos. Adicionalmente, el artículo 60 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional fija un término perentorio para la interposición de este tipo de acciones, el cual debe ser estrictamente respetado para asegurar la celeridad y certeza jurídica. Sustantivamente, el núcleo de la admisibilidad radica en que el recurrente debe demostrar de manera fehaciente que, durante el proceso judicial que cul...	¿Qué requisitos fundamentales, tanto sustantivos como formales, debe cumplir una acción extraordinaria de protección para ser admitida a trámite por la Corte Constitucional, según los principios invocados en el caso 0745-11-EP?
  Tras la declaración de abandono del proceso en el caso N° 3296-18-EP, el actor Manuel Segundo Landázuri Guzmán interpuso un recurso de apelación contra el auto de abandono. Sin embargo, la jueza de la Unidad Judicial Civil negó dicho recurso por improcedente, argumentando que el Código Orgánico General de Procesos (COGEP) no contemplaba la apelación contra autos de abandono. Posteriormente, el actor solicitó la revocatoria del auto que negó la apelación y también interpuso un recurso de hecho. La jueza, aplicando el Art. 252 del COGEP, negó estos recursos por considerarlos improcedentes, al no permitir recursos horizontales y verticales sucesivos en el mismo acto procesal. Finalmente, ante la solicitud de aclaración y ampliación del actor, la jueza la rechazó por extemporánea, y la posterior revocatoria de este último auto también fue negada.	¿Qué recursos procesales intentó el actor Manuel Segundo Landázuri Guzmán contra el auto de abandono del proceso en el caso N° 3296-18-EP y cómo fueron resueltos por la jueza de la Unidad Judicial Civil?
  La Sala de Admisión de la Corte Constitucional inadmitió la acción extraordinaria de protección N°. 1320-19-EP porque no cumplió con los requisitos de admisibilidad estipulados en el artículo 62, numeral 1 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC). Específicamente, los accionantes no presentaron un argumento claro sobre el derecho supuestamente violado y su relación directa e inmediata, por acción u omisión, con la autoridad judicial. A pesar de las alegaciones sobre vulneraciones a la seguridad jurídica y al debido proceso, en particular respecto al principio de preclusión y la debida motivación, la Sala no apreció un fundamento claro que vinculara de manera precisa estas supuestas violaciones con la conducta de los jueces de la Sala Especializada de lo Contencioso Administrativo de la Corte Nacional de Justicia. Esta deficiencia en la demostración de un nexo causal directo entre la actuación judicial y la afectación de derechos constitucionale...	¿Por qué la Sala de Admisión de la Corte Constitucional inadmitió la acción extraordinaria de protección N°. 1320-19-EP, presentada contra la sentencia de casación de la Corte Nacional de Justicia del 1 de abril de 2019?

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

small-spanish-legal-dataset

• Dataset: small-spanish-legal-dataset at f7d3e93
• Size: 3,374 evaluation samples
• Columns: pos and query
• Approximate statistics based on the first 1000 samples:

  	pos	query
  type	string	string
  details	min: 112 tokens mean: 281.79 tokens max: 574 tokens	min: 33 tokens mean: 65.65 tokens max: 102 tokens

• Samples:

  pos	query
  La señora Ana Lucía Atzuchi Maza alegó la vulneración de sus derechos constitucionales al debido proceso, seguridad jurídica y al trabajo. En cuanto al debido proceso, argumentó que la decisión judicial impugnada carecía de motivación, al no existir una relación lógica entre las afirmaciones y las conclusiones del fallo, ni una exposición de razones que justificaran la adopción de la decisión. Específicamente, señaló que los jueces resolvieron que ella estaba excluida de la carrera del servicio público sin abordar la vulneración de sus derechos. Respecto a la seguridad jurídica, mencionó que los jueces de segunda instancia no realizaron un análisis sobre la vulneración de derechos y que la sentencia contradecía jurisprudencia vinculante de la Corte Constitucional. Finalmente, en lo referente al derecho al trabajo, indicó que se vulneró su derecho y cualquier proyecto de vida que legítimamente aspiró, citando sentencias constitucionales relevantes.	¿Qué derechos constitucionales alegó la señora Ana Lucía Atzuchi Maza que fueron vulnerados por la sentencia de la Corte Provincial de Morona Santiago en el caso Nro. 2615-19-EP?
  La Corte Constitucional inadmitió a trámite la acción extraordinaria de protección Nro. 0875-09-EP, presentada por Guillermo Antonio Quezada Terán, debido a que la demanda carecía de la debida argumentación sobre los derechos constitucionales supuestamente vulnerados y no justificaba la relevancia constitucional del conflicto planteado. El fundamento principal de la acción se centraba en demostrar la improcedencia y el error de la sentencia, argumentando que se atentaba contra los intereses económicos de su representada y del pueblo de Machala al imponerles el pago de valores que no les correspondían, lo cual es un planteamiento de legalidad cuya dilucidación no compete a la Corte Constitucional. Adicionalmente, la demanda presentaba imprecisiones en la identificación del acto impugnado, al referirse inicialmente a una sentencia de la Corte Nacional de Justicia y luego solicitar la nulidad de actuaciones previas dictadas por un Juez de Trabajo de El Oro, contraviniendo así lo estipulad...	¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección Nro. 0875-09-EP presentada por Guillermo Antonio Quezada Terán?
  La Corte Constitucional inadmitió la acción extraordinaria de protección Nro. 3314-18-EP debido a que el accionante incurrió en una causal de inadmisión establecida en el numeral 4 del artículo 62 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional. Dicha causal estipula que el fundamento de la acción no debe sustentar en la falta de aplicación o errónea aplicación de la ley. En este caso, el Director Zonal 8 del Servicio de Rentas Internas alegó que la decisión de inadmitir su recurso de casación por parte de la Corte Nacional de Justicia evidenciaba una violación a lo establecido en varios artículos del Código Orgánico General de Procesos y del Código Tributario. Al basar su acción en la supuesta inobservancia y aplicación errónea de normativa legal, el accionante activó directamente la causal de inadmisión mencionada.	¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió la acción extraordinaria de protección Nro. 3314-18-EP interpuesta por el Director Zonal 8 del Servicio de Rentas Internas contra la sentencia del 15 de noviembre de 2018?

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	dim_768_cosine_ndcg@10	dim_512_cosine_ndcg@10
0.1626	5	5.4118	-	-	-
0.3252	10	5.2432	-	-	-
0.4878	15	4.5594	-	-	-
0.6504	20	3.6389	-	-	-
0.8130	25	2.2793	-	-	-
0.9756	30	0.9517	-	-	-
1.0	31	-	0.4620	0.7458	0.7418
1.1301	35	0.4207	-	-	-
1.2927	40	0.3242	-	-	-
1.4553	45	0.2801	-	-	-
1.6179	50	0.2165	-	-	-
1.7805	55	0.1861	-	-	-
1.9431	60	0.2367	-	-	-
2.0	62	-	0.1881	0.8546	0.8505
2.0976	65	0.1397	-	-	-
2.2602	70	0.0985	-	-	-
2.4228	75	0.1205	-	-	-
2.5854	80	0.1072	-	-	-
2.7480	85	0.0748	-	-	-
2.9106	90	0.0822	-	-	-
3.0	93	-	0.1519	0.8638	0.8604
3.0650	95	0.0999	-	-	-
3.2276	100	0.063	-	-	-
3.3902	105	0.0707	-	-	-
3.5528	110	0.0717	-	-	-
3.7154	115	0.0769	-	-	-
3.8780	120	0.053	-	-	-
4.0	124	-	0.1342	0.8661	0.8592

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.1.0
• Transformers: 4.55.2
• PyTorch: 2.6.0+cu124
• Accelerate: 1.10.0
• Datasets: 4.0.0
• Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}