Upload folder using huggingface_hub
Browse files- .gitattributes +1 -0
- 1_Pooling/config.json +10 -0
- 2_Dense/config.json +6 -0
- 2_Dense/model.safetensors +3 -0
- 3_Dense/config.json +6 -0
- 3_Dense/model.safetensors +3 -0
- README.md +812 -3
- config.json +60 -0
- config_sentence_transformers.json +26 -0
- model.safetensors +3 -0
- modules.json +32 -0
- sentence_bert_config.json +4 -0
- special_tokens_map.json +33 -0
- tokenizer.json +3 -0
- tokenizer_config.json +0 -0
.gitattributes
CHANGED
|
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
|
| 33 |
*.zip filter=lfs diff=lfs merge=lfs -text
|
| 34 |
*.zst filter=lfs diff=lfs merge=lfs -text
|
| 35 |
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
|
|
|
|
|
| 33 |
*.zip filter=lfs diff=lfs merge=lfs -text
|
| 34 |
*.zst filter=lfs diff=lfs merge=lfs -text
|
| 35 |
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
| 36 |
+
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
1_Pooling/config.json
ADDED
|
@@ -0,0 +1,10 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"word_embedding_dimension": 768,
|
| 3 |
+
"pooling_mode_cls_token": false,
|
| 4 |
+
"pooling_mode_mean_tokens": true,
|
| 5 |
+
"pooling_mode_max_tokens": false,
|
| 6 |
+
"pooling_mode_mean_sqrt_len_tokens": false,
|
| 7 |
+
"pooling_mode_weightedmean_tokens": false,
|
| 8 |
+
"pooling_mode_lasttoken": false,
|
| 9 |
+
"include_prompt": true
|
| 10 |
+
}
|
2_Dense/config.json
ADDED
|
@@ -0,0 +1,6 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"in_features": 768,
|
| 3 |
+
"out_features": 3072,
|
| 4 |
+
"bias": false,
|
| 5 |
+
"activation_function": "torch.nn.modules.linear.Identity"
|
| 6 |
+
}
|
2_Dense/model.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:8ba8ab13bbd7e939d07935b3a720060b968d4af22d5b4f8a5844daf377c4e817
|
| 3 |
+
size 9437272
|
3_Dense/config.json
ADDED
|
@@ -0,0 +1,6 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"in_features": 3072,
|
| 3 |
+
"out_features": 768,
|
| 4 |
+
"bias": false,
|
| 5 |
+
"activation_function": "torch.nn.modules.linear.Identity"
|
| 6 |
+
}
|
3_Dense/model.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:b2c8f4c85b0fd669388e2b8dc5e50529bded91e7cc0aa4c7eb99c25d6c364ac8
|
| 3 |
+
size 9437272
|
README.md
CHANGED
|
@@ -1,3 +1,812 @@
|
|
| 1 |
-
---
|
| 2 |
-
|
| 3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
language:
|
| 3 |
+
- da
|
| 4 |
+
- 'no'
|
| 5 |
+
- sw
|
| 6 |
+
- sv
|
| 7 |
+
license: apache-2.0
|
| 8 |
+
tags:
|
| 9 |
+
- sentence-transformers
|
| 10 |
+
- sentence-similarity
|
| 11 |
+
- feature-extraction
|
| 12 |
+
- dense
|
| 13 |
+
- generated_from_trainer
|
| 14 |
+
- dataset_size:307241
|
| 15 |
+
- loss:CachedMultipleNegativesRankingLoss
|
| 16 |
+
base_model: google/embeddinggemma-300m
|
| 17 |
+
widget:
|
| 18 |
+
- source_sentence: 'task: search result | query: Drengen legede sin nye bil på gulvet
|
| 19 |
+
og kørte med den.'
|
| 20 |
+
sentences:
|
| 21 |
+
- 'title: none | text: Legen fik sin nye bil og kørte rundt i stuen.'
|
| 22 |
+
- 'title: none | text: En liten katt gaf glatt runt i det varma solskenet.'
|
| 23 |
+
- 'title: none | text: Bilen blev kørt af drengen på det tæppede gulv.'
|
| 24 |
+
- source_sentence: 'task: search result | query: Historikere debatterer stadig om
|
| 25 |
+
årsagerne til den franske revolution.'
|
| 26 |
+
sentences:
|
| 27 |
+
- 'title: none | text: Vi erbjuder ett brett utbud av reservdelar och tillbehör
|
| 28 |
+
till äldre Sony Ericsson-modeller. Bland annat har vi ett kraftfullt litiumjonbatteri
|
| 29 |
+
som är speciellt utformat för Sony Ericsson K750i. Batteriet har en kapacitet
|
| 30 |
+
på 720 mAh och är konstruerat för att ge maximal batteritid även i kyla. Dessutom
|
| 31 |
+
är batteriet designad med hållbarhet i fokus och tåler upp till 500 laddningscykler.
|
| 32 |
+
Med detta batteri behöver du inte oroa dig för att din gamla K750i ska dö mitt
|
| 33 |
+
under dagen, även inte under årets mörkaste och kallaste månader. Vi rekommenderar
|
| 34 |
+
starkt detta batteri till alla som vill förlänga batteritiden i sin K750i och
|
| 35 |
+
få ut det mesta av sin telefon. Förutom batteriet har vi även andra tillbehör
|
| 36 |
+
som skal, laddare och headset. Se vårt kompletta utbud på vår webbplats.'
|
| 37 |
+
- 'title: none | text: Den danske forfatter udgav en bog om revolutionens indflydelse
|
| 38 |
+
på europæisk kunst.'
|
| 39 |
+
- 'title: none | text: Diskussionen om årsagerne til den franske revolutions kompleksitet
|
| 40 |
+
fortsætter blandt historikere.'
|
| 41 |
+
- source_sentence: 'task: search result | query: Hur påverkade den sociopolitiska
|
| 42 |
+
laddningen av de postkoloniala rörelserna i Latinamerika under den första hälften
|
| 43 |
+
av 20-talet den initiala utvecklingen av abstrakta expressionistiska konstformer
|
| 44 |
+
i USA?'
|
| 45 |
+
sentences:
|
| 46 |
+
- 'title: none | text: Abstrakt expressionism exploderade på amerikanska konstscenen
|
| 47 |
+
efter andra världskriget. Den nya stilen, karakteriserad av gestaltande penseldrag,
|
| 48 |
+
spontana kompositioner och ett fokus på färgens kraft, representerade en renässans
|
| 49 |
+
för måleriet i en tid präglad av abstrakt surrealism och kubism. Pionjärer som
|
| 50 |
+
Jackson Pollock och Willem de Kooning bröt sig loss från konventionella bildspråk
|
| 51 |
+
och skapade verk som utmärktes av en djupgående personlig och emotionell intensitet.
|
| 52 |
+
Kanske kan man dra paralleller till den europeiska avantgardes rörelser och dess
|
| 53 |
+
inflytande på amerikansk konst.'
|
| 54 |
+
- 'title: none | text: Den Latinamerikanska konstscenen under 1920- och 30-talet
|
| 55 |
+
präglades av en komplex samverkan mellan modernismens framväxt, inhemska identitetsUtforskningar
|
| 56 |
+
och den pågående effekten av kolonialismens arv. Inspirerad av europeiska avantgarde-strömningar,
|
| 57 |
+
men samtidigt kritiska till västerländska dominans, uppstod en unik stil som utmanade
|
| 58 |
+
konventionella estetiska normer. Samtidigt påverkade den växande politiska aktivism,
|
| 59 |
+
med rörelser som indigenismo och socialrealism, konstnärernas teman och uttryckssätt.
|
| 60 |
+
Den abstrakta expressionismens rötter i USA kan spåras till denna period, då amerikanska
|
| 61 |
+
konstnärer började söka efter nya former av självuttryck och konfronterade de
|
| 62 |
+
kulturella och politiska spänningar i det moderna samhället. De var fascinerade
|
| 63 |
+
av den Latinamerikanska konstens öppnaheretolerans och dess förmåga att kommunicera
|
| 64 |
+
starka känslor utan att vara bunden av traditionella representationella former.'
|
| 65 |
+
- 'title: none | text: Byens nye kunstmuseum er et arkitektonisk mesterverk med
|
| 66 |
+
en samling av moderne kunst som fascinerer besøkende. Museet arrangerer også en
|
| 67 |
+
rekke kurs og verksteder.'
|
| 68 |
+
- source_sentence: 'task: search result | query: Hvor er grensene for selvforsvar
|
| 69 |
+
når det gjelder hjerneblødning, psykisk helse og bakhold?'
|
| 70 |
+
sentences:
|
| 71 |
+
- 'title: none | text: Hjerneblødning kan ha mange årsaker, inkludert slag, hodetraumer
|
| 72 |
+
og hypertensjon. Symptomer kan variere fra milde, som hodepine og svimmelhet,
|
| 73 |
+
til alvorlige, som lammelse og talevansker. Behandling av hjerneblødning avhenger
|
| 74 |
+
av alvorlighetsgraden og kan omhandle medisiner, kirurgi eller rehabilitering.
|
| 75 |
+
Det er viktig å søke medisinsk hjelp umiddelbart hvis man mistenker hjerneblødning.'
|
| 76 |
+
- 'title: none | text: Med smerter i knæene kravlede den ældre mand op ad trappen.'
|
| 77 |
+
- 'title: none | text: Dommen i Rt. 2004 1419 omhandlet en sak der tiltalte ble
|
| 78 |
+
dømt for drap etter å ha påført offeret, som hadde store psykiske problemer, et
|
| 79 |
+
dødebringende slag. Tiltalte hevdet at handlingen var forsettelig selforsvar,
|
| 80 |
+
da han fryktet for sitt eget liv på grunn av offerets aggressive oppførsel. Høyesterett
|
| 81 |
+
fastslo at selvforsvar bare er berettigelse i akutt fare og at det må foreligge
|
| 82 |
+
en konkret og objektiv trussel. I denne saken fant retten at tiltaltes frykt ikke
|
| 83 |
+
var objektivt begrunnet, og at han hadde Andre muligheter for å unngå voldsbruk.'
|
| 84 |
+
- source_sentence: 'task: search result | query: Den postmoderne tilgang til litteraturen
|
| 85 |
+
understreger ofte teksten som et åbent system, hvor mening ikke er fastlagt af
|
| 86 |
+
forfatteren, men snarere konstrueres i interaktionen mellem læser og tekst. '
|
| 87 |
+
sentences:
|
| 88 |
+
- 'title: none | text: Naturvidenskabens fremskridt har revolutioneret vores forståelse
|
| 89 |
+
af universet. Fra kvantemekanikken til kosmologiens dybeste mysterier, udvider
|
| 90 |
+
videnskabelige opdagelser konstant vores horisonter. '
|
| 91 |
+
- 'title: none | text: Postmodernisme i litteraturen karakteriseres ofte ved afvisning
|
| 92 |
+
af objektivitet og fastlagte betydninger. Læseren inviteres til aktivt at deltage
|
| 93 |
+
i meningsdannelsen i dialog med den polyfone tekst. '
|
| 94 |
+
- 'title: none | text: Filosofisk dekonstruktion aflighed i moderniteten stiller
|
| 95 |
+
spørgsmålstegn ved de normative rammer for sandhed.'
|
| 96 |
+
datasets:
|
| 97 |
+
- DDSC/nordic-embedding-training-data
|
| 98 |
+
pipeline_tag: sentence-similarity
|
| 99 |
+
library_name: sentence-transformers
|
| 100 |
+
metrics:
|
| 101 |
+
- cosine_accuracy@1
|
| 102 |
+
- cosine_accuracy@3
|
| 103 |
+
- cosine_accuracy@5
|
| 104 |
+
- cosine_accuracy@10
|
| 105 |
+
- cosine_precision@1
|
| 106 |
+
- cosine_precision@3
|
| 107 |
+
- cosine_precision@5
|
| 108 |
+
- cosine_precision@10
|
| 109 |
+
- cosine_recall@1
|
| 110 |
+
- cosine_recall@3
|
| 111 |
+
- cosine_recall@5
|
| 112 |
+
- cosine_recall@10
|
| 113 |
+
- cosine_ndcg@10
|
| 114 |
+
- cosine_mrr@10
|
| 115 |
+
- cosine_map@100
|
| 116 |
+
model-index:
|
| 117 |
+
- name: EmbeddingGemma-Scandi-300m
|
| 118 |
+
results:
|
| 119 |
+
- task:
|
| 120 |
+
type: information-retrieval
|
| 121 |
+
name: Information Retrieval
|
| 122 |
+
dataset:
|
| 123 |
+
name: nordic embedding eval 1kq 5kd
|
| 124 |
+
type: nordic-embedding-eval-1kq-5kd
|
| 125 |
+
metrics:
|
| 126 |
+
- type: cosine_accuracy@1
|
| 127 |
+
value: 0.015492774378336155
|
| 128 |
+
name: Cosine Accuracy@1
|
| 129 |
+
- type: cosine_accuracy@3
|
| 130 |
+
value: 0.020075511001171723
|
| 131 |
+
name: Cosine Accuracy@3
|
| 132 |
+
- type: cosine_accuracy@5
|
| 133 |
+
value: 0.02153365447207395
|
| 134 |
+
name: Cosine Accuracy@5
|
| 135 |
+
- type: cosine_accuracy@10
|
| 136 |
+
value: 0.023200104153105066
|
| 137 |
+
name: Cosine Accuracy@10
|
| 138 |
+
- type: cosine_precision@1
|
| 139 |
+
value: 0.015492774378336155
|
| 140 |
+
name: Cosine Precision@1
|
| 141 |
+
- type: cosine_precision@3
|
| 142 |
+
value: 0.006691837000390573
|
| 143 |
+
name: Cosine Precision@3
|
| 144 |
+
- type: cosine_precision@5
|
| 145 |
+
value: 0.004306730894414789
|
| 146 |
+
name: Cosine Precision@5
|
| 147 |
+
- type: cosine_precision@10
|
| 148 |
+
value: 0.0023200104153105064
|
| 149 |
+
name: Cosine Precision@10
|
| 150 |
+
- type: cosine_recall@1
|
| 151 |
+
value: 0.015492774378336155
|
| 152 |
+
name: Cosine Recall@1
|
| 153 |
+
- type: cosine_recall@3
|
| 154 |
+
value: 0.020075511001171723
|
| 155 |
+
name: Cosine Recall@3
|
| 156 |
+
- type: cosine_recall@5
|
| 157 |
+
value: 0.02153365447207395
|
| 158 |
+
name: Cosine Recall@5
|
| 159 |
+
- type: cosine_recall@10
|
| 160 |
+
value: 0.023200104153105066
|
| 161 |
+
name: Cosine Recall@10
|
| 162 |
+
- type: cosine_ndcg@10
|
| 163 |
+
value: 0.019307532487262188
|
| 164 |
+
name: Cosine Ndcg@10
|
| 165 |
+
- type: cosine_mrr@10
|
| 166 |
+
value: 0.01806597603238666
|
| 167 |
+
name: Cosine Mrr@10
|
| 168 |
+
- type: cosine_map@100
|
| 169 |
+
value: 0.018262549063546303
|
| 170 |
+
name: Cosine Map@100
|
| 171 |
+
- task:
|
| 172 |
+
type: information-retrieval
|
| 173 |
+
name: Information Retrieval
|
| 174 |
+
dataset:
|
| 175 |
+
name: nordic embedding test 1kq 5kd
|
| 176 |
+
type: nordic-embedding-test-1kq-5kd
|
| 177 |
+
metrics:
|
| 178 |
+
- type: cosine_accuracy@1
|
| 179 |
+
value: 0.015440295787116596
|
| 180 |
+
name: Cosine Accuracy@1
|
| 181 |
+
- type: cosine_accuracy@3
|
| 182 |
+
value: 0.019241785137738894
|
| 183 |
+
name: Cosine Accuracy@3
|
| 184 |
+
- type: cosine_accuracy@5
|
| 185 |
+
value: 0.021324793001093578
|
| 186 |
+
name: Cosine Accuracy@5
|
| 187 |
+
- type: cosine_accuracy@10
|
| 188 |
+
value: 0.02330365047128053
|
| 189 |
+
name: Cosine Accuracy@10
|
| 190 |
+
- type: cosine_precision@1
|
| 191 |
+
value: 0.015440295787116596
|
| 192 |
+
name: Cosine Precision@1
|
| 193 |
+
- type: cosine_precision@3
|
| 194 |
+
value: 0.006413928379246298
|
| 195 |
+
name: Cosine Precision@3
|
| 196 |
+
- type: cosine_precision@5
|
| 197 |
+
value: 0.004264958600218715
|
| 198 |
+
name: Cosine Precision@5
|
| 199 |
+
- type: cosine_precision@10
|
| 200 |
+
value: 0.0023303650471280524
|
| 201 |
+
name: Cosine Precision@10
|
| 202 |
+
- type: cosine_recall@1
|
| 203 |
+
value: 0.015440295787116596
|
| 204 |
+
name: Cosine Recall@1
|
| 205 |
+
- type: cosine_recall@3
|
| 206 |
+
value: 0.019241785137738894
|
| 207 |
+
name: Cosine Recall@3
|
| 208 |
+
- type: cosine_recall@5
|
| 209 |
+
value: 0.021324793001093578
|
| 210 |
+
name: Cosine Recall@5
|
| 211 |
+
- type: cosine_recall@10
|
| 212 |
+
value: 0.02330365047128053
|
| 213 |
+
name: Cosine Recall@10
|
| 214 |
+
- type: cosine_ndcg@10
|
| 215 |
+
value: 0.019172284555172784
|
| 216 |
+
name: Cosine Ndcg@10
|
| 217 |
+
- type: cosine_mrr@10
|
| 218 |
+
value: 0.01787439793220141
|
| 219 |
+
name: Cosine Mrr@10
|
| 220 |
+
- type: cosine_map@100
|
| 221 |
+
value: 0.01805606864229168
|
| 222 |
+
name: Cosine Map@100
|
| 223 |
+
---
|
| 224 |
+
|
| 225 |
+
# EmbeddingGemma-Scandi-300m
|
| 226 |
+
|
| 227 |
+
EmbeddingGemma-Scandi-300m is finetuned on the Scandinavian (Danish, Norwegian, Swedish) text embeddings dataset from [DDSC](https://huggingface.co/DDSC) ([nordic-embedding-training-data](https://huggingface.co/datasets/DDSC/nordic-embedding-training-data)) using [google/embeddinggemma-300m](https://huggingface.co/google/embeddinggemma-300m) as the base model via the [sentence-transformers](https://www.SBERT.net) framework.
|
| 228 |
+
|
| 229 |
+
It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
|
| 230 |
+
|
| 231 |
+
## Model Details
|
| 232 |
+
|
| 233 |
+
### Model Description
|
| 234 |
+
- **Model Type:** Sentence Transformer
|
| 235 |
+
- **Base model:** [google/embeddinggemma-300m](https://huggingface.co/google/embeddinggemma-300m) <!-- at revision c5cfa06e5e282a820e85d57f7fb053207494f41d -->
|
| 236 |
+
- **Maximum Sequence Length:** 2048 tokens
|
| 237 |
+
- **Output Dimensionality:** 768 dimensions
|
| 238 |
+
- **Similarity Function:** Cosine Similarity
|
| 239 |
+
- **Training Dataset:**
|
| 240 |
+
- [nordic-embedding-training-data](https://huggingface.co/datasets/DDSC/nordic-embedding-training-data)
|
| 241 |
+
- **Languages:** da, no, sw, sv
|
| 242 |
+
- **License:** apache-2.0
|
| 243 |
+
|
| 244 |
+
### Model Sources
|
| 245 |
+
|
| 246 |
+
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
|
| 247 |
+
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
|
| 248 |
+
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
|
| 249 |
+
|
| 250 |
+
### Full Model Architecture
|
| 251 |
+
|
| 252 |
+
```
|
| 253 |
+
SentenceTransformer(
|
| 254 |
+
(0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
|
| 255 |
+
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
|
| 256 |
+
(2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
|
| 257 |
+
(3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
|
| 258 |
+
(4): Normalize()
|
| 259 |
+
)
|
| 260 |
+
```
|
| 261 |
+
|
| 262 |
+
## Usage
|
| 263 |
+
|
| 264 |
+
### Direct Usage (Sentence Transformers)
|
| 265 |
+
|
| 266 |
+
First install the Sentence Transformers library:
|
| 267 |
+
|
| 268 |
+
```bash
|
| 269 |
+
pip install -U sentence-transformers
|
| 270 |
+
```
|
| 271 |
+
|
| 272 |
+
Then you can load this model and run inference.
|
| 273 |
+
```python
|
| 274 |
+
from sentence_transformers import SentenceTransformer
|
| 275 |
+
|
| 276 |
+
# Download from the 🤗 Hub
|
| 277 |
+
model = SentenceTransformer("sentence_transformers_model_id")
|
| 278 |
+
# Run inference
|
| 279 |
+
queries = [
|
| 280 |
+
"task: search result | query: Den postmoderne tilgang til litteraturen understreger ofte teksten som et \u00e5bent system, hvor mening ikke er fastlagt af forfatteren, men snarere konstrueres i interaktionen mellem l\u00e6ser og tekst. ",
|
| 281 |
+
]
|
| 282 |
+
documents = [
|
| 283 |
+
'title: none | text: Postmodernisme i litteraturen karakteriseres ofte ved afvisning af objektivitet og fastlagte betydninger. Læseren inviteres til aktivt at deltage i meningsdannelsen i dialog med den polyfone tekst. ',
|
| 284 |
+
'title: none | text: Naturvidenskabens fremskridt har revolutioneret vores forståelse af universet. Fra kvantemekanikken til kosmologiens dybeste mysterier, udvider videnskabelige opdagelser konstant vores horisonter. ',
|
| 285 |
+
'title: none | text: Filosofisk dekonstruktion aflighed i moderniteten stiller spørgsmålstegn ved de normative rammer for sandhed.',
|
| 286 |
+
]
|
| 287 |
+
query_embeddings = model.encode_query(queries)
|
| 288 |
+
document_embeddings = model.encode_document(documents)
|
| 289 |
+
print(query_embeddings.shape, document_embeddings.shape)
|
| 290 |
+
# [1, 768] [3, 768]
|
| 291 |
+
|
| 292 |
+
# Get the similarity scores for the embeddings
|
| 293 |
+
similarities = model.similarity(query_embeddings, document_embeddings)
|
| 294 |
+
print(similarities)
|
| 295 |
+
# tensor([[ 0.6895, -0.0738, -0.0619]])
|
| 296 |
+
```
|
| 297 |
+
|
| 298 |
+
<!--
|
| 299 |
+
### Direct Usage (Transformers)
|
| 300 |
+
|
| 301 |
+
<details><summary>Click to see the direct usage in Transformers</summary>
|
| 302 |
+
|
| 303 |
+
</details>
|
| 304 |
+
-->
|
| 305 |
+
|
| 306 |
+
<!--
|
| 307 |
+
### Downstream Usage (Sentence Transformers)
|
| 308 |
+
|
| 309 |
+
You can finetune this model on your own dataset.
|
| 310 |
+
|
| 311 |
+
<details><summary>Click to expand</summary>
|
| 312 |
+
|
| 313 |
+
</details>
|
| 314 |
+
-->
|
| 315 |
+
|
| 316 |
+
<!--
|
| 317 |
+
### Out-of-Scope Use
|
| 318 |
+
|
| 319 |
+
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
|
| 320 |
+
-->
|
| 321 |
+
|
| 322 |
+
## Evaluation
|
| 323 |
+
|
| 324 |
+
### Metrics
|
| 325 |
+
|
| 326 |
+
#### Information Retrieval
|
| 327 |
+
|
| 328 |
+
* Datasets: `nordic-embedding-eval-1kq-5kd` and `nordic-embedding-test-1kq-5kd`
|
| 329 |
+
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
|
| 330 |
+
|
| 331 |
+
| Metric | nordic-embedding-eval-1kq-5kd | nordic-embedding-test-1kq-5kd |
|
| 332 |
+
|:--------------------|:------------------------------|:------------------------------|
|
| 333 |
+
| cosine_accuracy@1 | 0.0155 | 0.0154 |
|
| 334 |
+
| cosine_accuracy@3 | 0.0201 | 0.0192 |
|
| 335 |
+
| cosine_accuracy@5 | 0.0215 | 0.0213 |
|
| 336 |
+
| cosine_accuracy@10 | 0.0232 | 0.0233 |
|
| 337 |
+
| cosine_precision@1 | 0.0155 | 0.0154 |
|
| 338 |
+
| cosine_precision@3 | 0.0067 | 0.0064 |
|
| 339 |
+
| cosine_precision@5 | 0.0043 | 0.0043 |
|
| 340 |
+
| cosine_precision@10 | 0.0023 | 0.0023 |
|
| 341 |
+
| cosine_recall@1 | 0.0155 | 0.0154 |
|
| 342 |
+
| cosine_recall@3 | 0.0201 | 0.0192 |
|
| 343 |
+
| cosine_recall@5 | 0.0215 | 0.0213 |
|
| 344 |
+
| cosine_recall@10 | 0.0232 | 0.0233 |
|
| 345 |
+
| **cosine_ndcg@10** | **0.0193** | **0.0192** |
|
| 346 |
+
| cosine_mrr@10 | 0.0181 | 0.0179 |
|
| 347 |
+
| cosine_map@100 | 0.0183 | 0.0181 |
|
| 348 |
+
|
| 349 |
+
<!--
|
| 350 |
+
## Bias, Risks and Limitations
|
| 351 |
+
|
| 352 |
+
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
|
| 353 |
+
-->
|
| 354 |
+
|
| 355 |
+
<!--
|
| 356 |
+
### Recommendations
|
| 357 |
+
|
| 358 |
+
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
|
| 359 |
+
-->
|
| 360 |
+
|
| 361 |
+
## Training Details
|
| 362 |
+
|
| 363 |
+
### Training Dataset
|
| 364 |
+
|
| 365 |
+
#### nordic-embedding-training-data
|
| 366 |
+
|
| 367 |
+
* Dataset: [nordic-embedding-training-data](https://huggingface.co/datasets/DDSC/nordic-embedding-training-data) at [fba903a](https://huggingface.co/datasets/DDSC/nordic-embedding-training-data/tree/fba903a3f0369fa1a239aab9993c735b0f3d6e12)
|
| 368 |
+
* Size: 307,241 training samples
|
| 369 |
+
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
|
| 370 |
+
* Approximate statistics based on the first 1000 samples:
|
| 371 |
+
| | anchor | positive | negative |
|
| 372 |
+
|:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
|
| 373 |
+
| type | string | string | string |
|
| 374 |
+
| details | <ul><li>min: 11 tokens</li><li>mean: 35.64 tokens</li><li>max: 98 tokens</li></ul> | <ul><li>min: 14 tokens</li><li>mean: 138.73 tokens</li><li>max: 604 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 90.42 tokens</li><li>max: 434 tokens</li></ul> |
|
| 375 |
+
* Samples:
|
| 376 |
+
| anchor | positive | negative |
|
| 377 |
+
|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
| 378 |
+
| <code>task: search result \| query: Bruk av musikk i YouTube-videoer</code> | <code>title: none \| text: Denne lisensen gjelder for alle verk som er tilgjengelige via vår nettside, www.kunstverk.no. Bruk av verkene er tillatt for ikke-kommercielle formål, inkludert bruk i private videoer på plattformer som YouTube, forutsatt at tilstrekkelig kreditering gis til Opphavsmannen. Kreditering skal minst inneholde Opphavsmannens navn og tittelen på verket. Kommersiell bruk, inkludert bruk i reklamevideoer eller andre videoer som genererer inntekter, krever uttrykkelig tillatelse fra Opphavsmannen. Uautorisert bruk kan medføre juridiske konsekvenser, inkludert erstatningsansvar.</code> | <code>title: none \| text: YouTube er en populær plattform for å dele videoer. Det er viktig å respektere opphavsretten når du laster opp innhold. Bruk av musikk, bilder eller andre verk som er beskyttet av opphavsrett, krever tillatelse fra eierne. Det finnes flere ressurser online som kan hjelpe deg med å finne gratismusikk og bilder som du kan bruke lovlig i dine videoer.</code> |
|
| 379 |
+
| <code>task: search result \| query: Jeg ser etter en stilling som krever erfaring med sprogmodellering, spesielt innenfor Transformer-arkitekturen og anvendelse i naturlige språkprosesseringsapplikasjoner.</code> | <code>title: none \| text: Vi er et ledende teknologiselskap som spesialiserer oss på kunstig intelligens og maskinlæring. For tiden søker vi etter en erfaren Data Scientist med solid bakgrunn i sprogmodellering, spesielt innenfor Transformer-arkitekturer som BERT og GPT. I denne rollen vil du være ansvarlig for å utvikle og implementere avanserte NLP-modeller for en rekke applikasjoner, inkludert maskinoversettelse, tekstanalyse, samtaleassistent og tekstgenerering. Du vil jobbe tett sammen med et team av dyktige forskere og ingeniører for å skape innovative løsninger som driver vår virksomhet videre. Vi forventer at du har en doktorgrad eller tilsvarende erfaring innen et relevant felt, samt god kunnskap om Python og relevante biblioteker som TensorFlow eller PyTorch. </code> | <code>title: none \| text: Vårt team søker en kreativ og dyktig frontend-utvikler med erfaring i React og Redux for å bli med på vår voksende plattform for e-handel. Du vil være ansvarlig for å utvikle og vedlikeholde brukergrensesnitt, optimalisere ytelsen til nettstedet vårt og samarbeide med backend-utviklere for å integrere APIer. Vi ser etter en person som er lidenskapelig opptatt av webteknologi, har gode problemløsningsferdigheter og fungerer godt i team. Erfaring med Javascript, HTML5 og CSS3 er en forutsetning. </code> |
|
| 380 |
+
| <code>task: search result \| query: Hur implementerar man en databasanslutning med Python och SQLite3 för att spara användarnamn och lösenord?</code> | <code>title: none \| text: SQLite3 är ett populärt val för små till medelstora projekt på grund av sin enkelhet och portabilitet. För att använda SQLite3 med Python, bör du först importera biblioteket: `import sqlite3`. Därefter kan du skapa en anslutning till en befintlig databas eller skapa en ny, till exempel: `conn = sqlite3.connect('min_databas.db')`. När du är ansluten kan du skapa en cursor-objekt för att exekvera SQL-frågor: `cursor = conn.cursor()`. Nu kan du göra praktiskt taget allt, från att skapa tabeller till att infoga, hämta, uppdatera och radera data. Vidare kan du använda parameterized SQL-frågor för att förebygga SQL-injektionsattacker. Kom ihåg att stänga anslutningen när du är klar: `conn.close()`.</code> | <code>title: none \| text: Python erbjuder ett brett utbud av bibliotek för olika uppgifter, inklusive dataanalys, maskininlärning och webbutveckling. Till exempel, biblioteket NumPy är kraftfullt för numeriska beräkningar, medan Pandas är utmärkt för databehandling och analys. För webbutveckling är Django och Flask populära ramverk.</code> |
|
| 381 |
+
* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
|
| 382 |
+
```json
|
| 383 |
+
{
|
| 384 |
+
"scale": 20.0,
|
| 385 |
+
"similarity_fct": "cos_sim",
|
| 386 |
+
"mini_batch_size": 8,
|
| 387 |
+
"gather_across_devices": false
|
| 388 |
+
}
|
| 389 |
+
```
|
| 390 |
+
|
| 391 |
+
### Evaluation Dataset
|
| 392 |
+
|
| 393 |
+
#### nordic-embedding-training-data
|
| 394 |
+
|
| 395 |
+
* Dataset: [nordic-embedding-training-data](https://huggingface.co/datasets/DDSC/nordic-embedding-training-data) at [fba903a](https://huggingface.co/datasets/DDSC/nordic-embedding-training-data/tree/fba903a3f0369fa1a239aab9993c735b0f3d6e12)
|
| 396 |
+
* Size: 38,405 evaluation samples
|
| 397 |
+
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
|
| 398 |
+
* Approximate statistics based on the first 1000 samples:
|
| 399 |
+
| | anchor | positive | negative |
|
| 400 |
+
|:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
|
| 401 |
+
| type | string | string | string |
|
| 402 |
+
| details | <ul><li>min: 11 tokens</li><li>mean: 35.31 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 142.24 tokens</li><li>max: 675 tokens</li></ul> | <ul><li>min: 16 tokens</li><li>mean: 93.11 tokens</li><li>max: 430 tokens</li></ul> |
|
| 403 |
+
* Samples:
|
| 404 |
+
| anchor | positive | negative |
|
| 405 |
+
|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
| 406 |
+
| <code>task: search result \| query: Kan I finde en opskrift på en traditionel dansk kold Tallerken med spegepølse, kogt æg og remoulade, som er perfekt til sommerens varme dage?</code> | <code>title: none \| text: Den danske sommer er kendt for sine lange, lyse dage og behagelige temperaturer. En perfekt måde at nyde det skønne vejr på er med en klassisk kold tallerken. Traditionelt set består den af kogte eller stegte kartofler, spegepølse, kogte æg (gerne i tern), rødbeder, agurk, tomat, purløg og remoulade. Man kan også tilføje andre grøntsager efter smag, såsom syltede agurker, salatblade eller cherrytomater. For at lave den perfekte kold tallerken starter man med at koge kartoflerne, indtil de er møre, og derefter afkøle dem helt. Spegepølserne skæres i tynde skiver, æggene halveres eller skæres i tern, og grøntsagerne skæres i passende stykker. Remoulade kan købes færdiglavet eller laves selv ved at blande mayonnaise, sennep, syltet agurk, kapers og hakket persille. En kold tallerken kan serveres som hovedret eller som en let frokost. Den er perfekt til fester og grill arrangementer, da den kan forberedes i forvejen og serveres koldt. Tilbehør som rugbrød og øl er og...</code> | <code>title: none \| text: Sommeren i Danmark byder på mange kulinariske muligheder. Ud over den traditionelle kold tallerken er der også andre retter, som er populære i varmere måneder. Smagsoplevelser som frisk fisk med nye kartofler, grillede grøntsager med pesto eller capitulo-salat med lokale bær er blot et par eksempler på, hvordan man kan nyde dansk sommermad. Mange danskere vælger også at drøne ud i den danske natur og nyde et måltid udendørs. Getterup og Vestjylland er populære destinationer, hvor man kan finde frodige enge og skovområder, der indbyder til picnic og afslapning. Den danske sommer er en fest for sanserne, med en unik kombination af natur, mad og kultur.</code> |
|
| 407 |
+
| <code>task: search result \| query: Katte elsker at lege med garnnuder. De jager dem med kloge øjne og springer rundt</code> | <code>title: none \| text: Katte er mestre i at lege med garnnuder. De følger dem med skarpe øjne og hoppe rundt</code> | <code>title: none \| text: Min hund elsker at apportere bolden i parken. De løber hurtigt og kaster den tilbage til mig</code> |
|
| 408 |
+
| <code>task: search result \| query: Den røde bil kører hurtigt ned ad bakken.</code> | <code>title: none \| text: Den blå bil racer hurtigt ned ad vejen.</code> | <code>title: none \| text: En bil kører hurtigt forbi et træ.</code> |
|
| 409 |
+
* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
|
| 410 |
+
```json
|
| 411 |
+
{
|
| 412 |
+
"scale": 20.0,
|
| 413 |
+
"similarity_fct": "cos_sim",
|
| 414 |
+
"mini_batch_size": 8,
|
| 415 |
+
"gather_across_devices": false
|
| 416 |
+
}
|
| 417 |
+
```
|
| 418 |
+
|
| 419 |
+
### Training Hyperparameters
|
| 420 |
+
#### Non-Default Hyperparameters
|
| 421 |
+
|
| 422 |
+
- `eval_strategy`: steps
|
| 423 |
+
- `per_device_train_batch_size`: 16
|
| 424 |
+
- `per_device_eval_batch_size`: 16
|
| 425 |
+
- `learning_rate`: 5e-06
|
| 426 |
+
- `num_train_epochs`: 1
|
| 427 |
+
- `warmup_ratio`: 0.1
|
| 428 |
+
- `fp16`: True
|
| 429 |
+
- `gradient_checkpointing`: True
|
| 430 |
+
- `batch_sampler`: no_duplicates
|
| 431 |
+
|
| 432 |
+
#### All Hyperparameters
|
| 433 |
+
<details><summary>Click to expand</summary>
|
| 434 |
+
|
| 435 |
+
- `overwrite_output_dir`: False
|
| 436 |
+
- `do_predict`: False
|
| 437 |
+
- `eval_strategy`: steps
|
| 438 |
+
- `prediction_loss_only`: True
|
| 439 |
+
- `per_device_train_batch_size`: 16
|
| 440 |
+
- `per_device_eval_batch_size`: 16
|
| 441 |
+
- `per_gpu_train_batch_size`: None
|
| 442 |
+
- `per_gpu_eval_batch_size`: None
|
| 443 |
+
- `gradient_accumulation_steps`: 1
|
| 444 |
+
- `eval_accumulation_steps`: None
|
| 445 |
+
- `torch_empty_cache_steps`: None
|
| 446 |
+
- `learning_rate`: 5e-06
|
| 447 |
+
- `weight_decay`: 0.0
|
| 448 |
+
- `adam_beta1`: 0.9
|
| 449 |
+
- `adam_beta2`: 0.999
|
| 450 |
+
- `adam_epsilon`: 1e-08
|
| 451 |
+
- `max_grad_norm`: 1.0
|
| 452 |
+
- `num_train_epochs`: 1
|
| 453 |
+
- `max_steps`: -1
|
| 454 |
+
- `lr_scheduler_type`: linear
|
| 455 |
+
- `lr_scheduler_kwargs`: {}
|
| 456 |
+
- `warmup_ratio`: 0.1
|
| 457 |
+
- `warmup_steps`: 0
|
| 458 |
+
- `log_level`: passive
|
| 459 |
+
- `log_level_replica`: warning
|
| 460 |
+
- `log_on_each_node`: True
|
| 461 |
+
- `logging_nan_inf_filter`: True
|
| 462 |
+
- `save_safetensors`: True
|
| 463 |
+
- `save_on_each_node`: False
|
| 464 |
+
- `save_only_model`: False
|
| 465 |
+
- `restore_callback_states_from_checkpoint`: False
|
| 466 |
+
- `no_cuda`: False
|
| 467 |
+
- `use_cpu`: False
|
| 468 |
+
- `use_mps_device`: False
|
| 469 |
+
- `seed`: 42
|
| 470 |
+
- `data_seed`: None
|
| 471 |
+
- `jit_mode_eval`: False
|
| 472 |
+
- `use_ipex`: False
|
| 473 |
+
- `bf16`: False
|
| 474 |
+
- `fp16`: True
|
| 475 |
+
- `fp16_opt_level`: O1
|
| 476 |
+
- `half_precision_backend`: auto
|
| 477 |
+
- `bf16_full_eval`: False
|
| 478 |
+
- `fp16_full_eval`: False
|
| 479 |
+
- `tf32`: None
|
| 480 |
+
- `local_rank`: 0
|
| 481 |
+
- `ddp_backend`: None
|
| 482 |
+
- `tpu_num_cores`: None
|
| 483 |
+
- `tpu_metrics_debug`: False
|
| 484 |
+
- `debug`: []
|
| 485 |
+
- `dataloader_drop_last`: False
|
| 486 |
+
- `dataloader_num_workers`: 0
|
| 487 |
+
- `dataloader_prefetch_factor`: None
|
| 488 |
+
- `past_index`: -1
|
| 489 |
+
- `disable_tqdm`: False
|
| 490 |
+
- `remove_unused_columns`: True
|
| 491 |
+
- `label_names`: None
|
| 492 |
+
- `load_best_model_at_end`: False
|
| 493 |
+
- `ignore_data_skip`: False
|
| 494 |
+
- `fsdp`: []
|
| 495 |
+
- `fsdp_min_num_params`: 0
|
| 496 |
+
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
|
| 497 |
+
- `fsdp_transformer_layer_cls_to_wrap`: None
|
| 498 |
+
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
|
| 499 |
+
- `parallelism_config`: None
|
| 500 |
+
- `deepspeed`: None
|
| 501 |
+
- `label_smoothing_factor`: 0.0
|
| 502 |
+
- `optim`: adamw_torch_fused
|
| 503 |
+
- `optim_args`: None
|
| 504 |
+
- `adafactor`: False
|
| 505 |
+
- `group_by_length`: False
|
| 506 |
+
- `length_column_name`: length
|
| 507 |
+
- `ddp_find_unused_parameters`: None
|
| 508 |
+
- `ddp_bucket_cap_mb`: None
|
| 509 |
+
- `ddp_broadcast_buffers`: False
|
| 510 |
+
- `dataloader_pin_memory`: True
|
| 511 |
+
- `dataloader_persistent_workers`: False
|
| 512 |
+
- `skip_memory_metrics`: True
|
| 513 |
+
- `use_legacy_prediction_loop`: False
|
| 514 |
+
- `push_to_hub`: False
|
| 515 |
+
- `resume_from_checkpoint`: None
|
| 516 |
+
- `hub_model_id`: None
|
| 517 |
+
- `hub_strategy`: every_save
|
| 518 |
+
- `hub_private_repo`: None
|
| 519 |
+
- `hub_always_push`: False
|
| 520 |
+
- `hub_revision`: None
|
| 521 |
+
- `gradient_checkpointing`: True
|
| 522 |
+
- `gradient_checkpointing_kwargs`: None
|
| 523 |
+
- `include_inputs_for_metrics`: False
|
| 524 |
+
- `include_for_metrics`: []
|
| 525 |
+
- `eval_do_concat_batches`: True
|
| 526 |
+
- `fp16_backend`: auto
|
| 527 |
+
- `push_to_hub_model_id`: None
|
| 528 |
+
- `push_to_hub_organization`: None
|
| 529 |
+
- `mp_parameters`:
|
| 530 |
+
- `auto_find_batch_size`: False
|
| 531 |
+
- `full_determinism`: False
|
| 532 |
+
- `torchdynamo`: None
|
| 533 |
+
- `ray_scope`: last
|
| 534 |
+
- `ddp_timeout`: 1800
|
| 535 |
+
- `torch_compile`: False
|
| 536 |
+
- `torch_compile_backend`: None
|
| 537 |
+
- `torch_compile_mode`: None
|
| 538 |
+
- `include_tokens_per_second`: False
|
| 539 |
+
- `include_num_input_tokens_seen`: False
|
| 540 |
+
- `neftune_noise_alpha`: None
|
| 541 |
+
- `optim_target_modules`: None
|
| 542 |
+
- `batch_eval_metrics`: False
|
| 543 |
+
- `eval_on_start`: False
|
| 544 |
+
- `use_liger_kernel`: False
|
| 545 |
+
- `liger_kernel_config`: None
|
| 546 |
+
- `eval_use_gather_object`: False
|
| 547 |
+
- `average_tokens_across_devices`: False
|
| 548 |
+
- `prompts`: None
|
| 549 |
+
- `batch_sampler`: no_duplicates
|
| 550 |
+
- `multi_dataset_batch_sampler`: proportional
|
| 551 |
+
- `router_mapping`: {}
|
| 552 |
+
- `learning_rate_mapping`: {}
|
| 553 |
+
|
| 554 |
+
</details>
|
| 555 |
+
|
| 556 |
+
### Training Logs
|
| 557 |
+
<details><summary>Click to expand</summary>
|
| 558 |
+
|
| 559 |
+
| Epoch | Step | Training Loss | Validation Loss | nordic-embedding-eval-1kq-5kd_cosine_ndcg@10 | nordic-embedding-test-1kq-5kd_cosine_ndcg@10 |
|
| 560 |
+
|:------:|:-----:|:-------------:|:---------------:|:--------------------------------------------:|:--------------------------------------------:|
|
| 561 |
+
| -1 | -1 | - | - | 0.0080 | - |
|
| 562 |
+
| 0.0052 | 100 | 0.994 | - | - | - |
|
| 563 |
+
| 0.0104 | 200 | 0.5401 | - | - | - |
|
| 564 |
+
| 0.0156 | 300 | 0.3802 | - | - | - |
|
| 565 |
+
| 0.0208 | 400 | 0.2988 | - | - | - |
|
| 566 |
+
| 0.0260 | 500 | 0.277 | - | - | - |
|
| 567 |
+
| 0.0312 | 600 | 0.2227 | - | - | - |
|
| 568 |
+
| 0.0365 | 700 | 0.1988 | - | - | - |
|
| 569 |
+
| 0.0417 | 800 | 0.2173 | - | - | - |
|
| 570 |
+
| 0.0469 | 900 | 0.1994 | - | - | - |
|
| 571 |
+
| 0.0521 | 1000 | 0.1882 | 0.1893 | 0.0160 | - |
|
| 572 |
+
| 0.0573 | 1100 | 0.1794 | - | - | - |
|
| 573 |
+
| 0.0625 | 1200 | 0.187 | - | - | - |
|
| 574 |
+
| 0.0677 | 1300 | 0.1614 | - | - | - |
|
| 575 |
+
| 0.0729 | 1400 | 0.1572 | - | - | - |
|
| 576 |
+
| 0.0781 | 1500 | 0.1786 | - | - | - |
|
| 577 |
+
| 0.0833 | 1600 | 0.1915 | - | - | - |
|
| 578 |
+
| 0.0885 | 1700 | 0.1495 | - | - | - |
|
| 579 |
+
| 0.0937 | 1800 | 0.1693 | - | - | - |
|
| 580 |
+
| 0.0989 | 1900 | 0.1221 | - | - | - |
|
| 581 |
+
| 0.1042 | 2000 | 0.1711 | 0.1513 | 0.0166 | - |
|
| 582 |
+
| 0.1094 | 2100 | 0.1495 | - | - | - |
|
| 583 |
+
| 0.1146 | 2200 | 0.1706 | - | - | - |
|
| 584 |
+
| 0.1198 | 2300 | 0.1596 | - | - | - |
|
| 585 |
+
| 0.1250 | 2400 | 0.1695 | - | - | - |
|
| 586 |
+
| 0.1302 | 2500 | 0.1535 | - | - | - |
|
| 587 |
+
| 0.1354 | 2600 | 0.1753 | - | - | - |
|
| 588 |
+
| 0.1406 | 2700 | 0.1459 | - | - | - |
|
| 589 |
+
| 0.1458 | 2800 | 0.1344 | - | - | - |
|
| 590 |
+
| 0.1510 | 2900 | 0.1303 | - | - | - |
|
| 591 |
+
| 0.1562 | 3000 | 0.137 | 0.1393 | 0.0174 | - |
|
| 592 |
+
| 0.1614 | 3100 | 0.1314 | - | - | - |
|
| 593 |
+
| 0.1666 | 3200 | 0.1317 | - | - | - |
|
| 594 |
+
| 0.1718 | 3300 | 0.1279 | - | - | - |
|
| 595 |
+
| 0.1771 | 3400 | 0.1634 | - | - | - |
|
| 596 |
+
| 0.1823 | 3500 | 0.1427 | - | - | - |
|
| 597 |
+
| 0.1875 | 3600 | 0.1167 | - | - | - |
|
| 598 |
+
| 0.1927 | 3700 | 0.1407 | - | - | - |
|
| 599 |
+
| 0.1979 | 3800 | 0.1277 | - | - | - |
|
| 600 |
+
| 0.2031 | 3900 | 0.1046 | - | - | - |
|
| 601 |
+
| 0.2083 | 4000 | 0.1274 | 0.1327 | 0.0163 | - |
|
| 602 |
+
| 0.2135 | 4100 | 0.1216 | - | - | - |
|
| 603 |
+
| 0.2187 | 4200 | 0.1295 | - | - | - |
|
| 604 |
+
| 0.2239 | 4300 | 0.1235 | - | - | - |
|
| 605 |
+
| 0.2291 | 4400 | 0.1291 | - | - | - |
|
| 606 |
+
| 0.2343 | 4500 | 0.1003 | - | - | - |
|
| 607 |
+
| 0.2395 | 4600 | 0.1145 | - | - | - |
|
| 608 |
+
| 0.2448 | 4700 | 0.1162 | - | - | - |
|
| 609 |
+
| 0.2500 | 4800 | 0.1383 | - | - | - |
|
| 610 |
+
| 0.2552 | 4900 | 0.1208 | - | - | - |
|
| 611 |
+
| 0.2604 | 5000 | 0.1014 | 0.1156 | 0.0183 | - |
|
| 612 |
+
| 0.2656 | 5100 | 0.1007 | - | - | - |
|
| 613 |
+
| 0.2708 | 5200 | 0.1177 | - | - | - |
|
| 614 |
+
| 0.2760 | 5300 | 0.0924 | - | - | - |
|
| 615 |
+
| 0.2812 | 5400 | 0.1148 | - | - | - |
|
| 616 |
+
| 0.2864 | 5500 | 0.0843 | - | - | - |
|
| 617 |
+
| 0.2916 | 5600 | 0.0947 | - | - | - |
|
| 618 |
+
| 0.2968 | 5700 | 0.1113 | - | - | - |
|
| 619 |
+
| 0.3020 | 5800 | 0.1076 | - | - | - |
|
| 620 |
+
| 0.3072 | 5900 | 0.1093 | - | - | - |
|
| 621 |
+
| 0.3125 | 6000 | 0.0973 | 0.1126 | 0.0171 | - |
|
| 622 |
+
| 0.3177 | 6100 | 0.1043 | - | - | - |
|
| 623 |
+
| 0.3229 | 6200 | 0.1037 | - | - | - |
|
| 624 |
+
| 0.3281 | 6300 | 0.1077 | - | - | - |
|
| 625 |
+
| 0.3333 | 6400 | 0.1098 | - | - | - |
|
| 626 |
+
| 0.3385 | 6500 | 0.0885 | - | - | - |
|
| 627 |
+
| 0.3437 | 6600 | 0.1074 | - | - | - |
|
| 628 |
+
| 0.3489 | 6700 | 0.0975 | - | - | - |
|
| 629 |
+
| 0.3541 | 6800 | 0.0991 | - | - | - |
|
| 630 |
+
| 0.3593 | 6900 | 0.1035 | - | - | - |
|
| 631 |
+
| 0.3645 | 7000 | 0.1223 | 0.1035 | 0.0176 | - |
|
| 632 |
+
| 0.3697 | 7100 | 0.1026 | - | - | - |
|
| 633 |
+
| 0.3749 | 7200 | 0.1085 | - | - | - |
|
| 634 |
+
| 0.3801 | 7300 | 0.0986 | - | - | - |
|
| 635 |
+
| 0.3854 | 7400 | 0.0925 | - | - | - |
|
| 636 |
+
| 0.3906 | 7500 | 0.1051 | - | - | - |
|
| 637 |
+
| 0.3958 | 7600 | 0.0988 | - | - | - |
|
| 638 |
+
| 0.4010 | 7700 | 0.1115 | - | - | - |
|
| 639 |
+
| 0.4062 | 7800 | 0.0961 | - | - | - |
|
| 640 |
+
| 0.4114 | 7900 | 0.0816 | - | - | - |
|
| 641 |
+
| 0.4166 | 8000 | 0.1015 | 0.0987 | 0.0188 | - |
|
| 642 |
+
| 0.4218 | 8100 | 0.0813 | - | - | - |
|
| 643 |
+
| 0.4270 | 8200 | 0.0996 | - | - | - |
|
| 644 |
+
| 0.4322 | 8300 | 0.079 | - | - | - |
|
| 645 |
+
| 0.4374 | 8400 | 0.1038 | - | - | - |
|
| 646 |
+
| 0.4426 | 8500 | 0.0983 | - | - | - |
|
| 647 |
+
| 0.4478 | 8600 | 0.1044 | - | - | - |
|
| 648 |
+
| 0.4531 | 8700 | 0.1006 | - | - | - |
|
| 649 |
+
| 0.4583 | 8800 | 0.0802 | - | - | - |
|
| 650 |
+
| 0.4635 | 8900 | 0.1012 | - | - | - |
|
| 651 |
+
| 0.4687 | 9000 | 0.0792 | 0.0966 | 0.0184 | - |
|
| 652 |
+
| 0.4739 | 9100 | 0.1047 | - | - | - |
|
| 653 |
+
| 0.4791 | 9200 | 0.103 | - | - | - |
|
| 654 |
+
| 0.4843 | 9300 | 0.0732 | - | - | - |
|
| 655 |
+
| 0.4895 | 9400 | 0.0787 | - | - | - |
|
| 656 |
+
| 0.4947 | 9500 | 0.1118 | - | - | - |
|
| 657 |
+
| 0.4999 | 9600 | 0.0769 | - | - | - |
|
| 658 |
+
| 0.5051 | 9700 | 0.0842 | - | - | - |
|
| 659 |
+
| 0.5103 | 9800 | 0.1119 | - | - | - |
|
| 660 |
+
| 0.5155 | 9900 | 0.1035 | - | - | - |
|
| 661 |
+
| 0.5208 | 10000 | 0.0935 | 0.0901 | 0.0185 | - |
|
| 662 |
+
| 0.5260 | 10100 | 0.0835 | - | - | - |
|
| 663 |
+
| 0.5312 | 10200 | 0.0796 | - | - | - |
|
| 664 |
+
| 0.5364 | 10300 | 0.0977 | - | - | - |
|
| 665 |
+
| 0.5416 | 10400 | 0.0644 | - | - | - |
|
| 666 |
+
| 0.5468 | 10500 | 0.0944 | - | - | - |
|
| 667 |
+
| 0.5520 | 10600 | 0.0797 | - | - | - |
|
| 668 |
+
| 0.5572 | 10700 | 0.0852 | - | - | - |
|
| 669 |
+
| 0.5624 | 10800 | 0.0669 | - | - | - |
|
| 670 |
+
| 0.5676 | 10900 | 0.0761 | - | - | - |
|
| 671 |
+
| 0.5728 | 11000 | 0.0796 | 0.0924 | 0.0189 | - |
|
| 672 |
+
| 0.5780 | 11100 | 0.0995 | - | - | - |
|
| 673 |
+
| 0.5832 | 11200 | 0.0753 | - | - | - |
|
| 674 |
+
| 0.5884 | 11300 | 0.0895 | - | - | - |
|
| 675 |
+
| 0.5937 | 11400 | 0.0996 | - | - | - |
|
| 676 |
+
| 0.5989 | 11500 | 0.0864 | - | - | - |
|
| 677 |
+
| 0.6041 | 11600 | 0.0713 | - | - | - |
|
| 678 |
+
| 0.6093 | 11700 | 0.0895 | - | - | - |
|
| 679 |
+
| 0.6145 | 11800 | 0.0988 | - | - | - |
|
| 680 |
+
| 0.6197 | 11900 | 0.0775 | - | - | - |
|
| 681 |
+
| 0.6249 | 12000 | 0.1015 | 0.0851 | 0.0189 | - |
|
| 682 |
+
| 0.6301 | 12100 | 0.0786 | - | - | - |
|
| 683 |
+
| 0.6353 | 12200 | 0.0874 | - | - | - |
|
| 684 |
+
| 0.6405 | 12300 | 0.0659 | - | - | - |
|
| 685 |
+
| 0.6457 | 12400 | 0.0826 | - | - | - |
|
| 686 |
+
| 0.6509 | 12500 | 0.081 | - | - | - |
|
| 687 |
+
| 0.6561 | 12600 | 0.0761 | - | - | - |
|
| 688 |
+
| 0.6614 | 12700 | 0.0957 | - | - | - |
|
| 689 |
+
| 0.6666 | 12800 | 0.0767 | - | - | - |
|
| 690 |
+
| 0.6718 | 12900 | 0.0816 | - | - | - |
|
| 691 |
+
| 0.6770 | 13000 | 0.0959 | 0.0821 | 0.0184 | - |
|
| 692 |
+
| 0.6822 | 13100 | 0.0747 | - | - | - |
|
| 693 |
+
| 0.6874 | 13200 | 0.0704 | - | - | - |
|
| 694 |
+
| 0.6926 | 13300 | 0.0719 | - | - | - |
|
| 695 |
+
| 0.6978 | 13400 | 0.0964 | - | - | - |
|
| 696 |
+
| 0.7030 | 13500 | 0.0687 | - | - | - |
|
| 697 |
+
| 0.7082 | 13600 | 0.0611 | - | - | - |
|
| 698 |
+
| 0.7134 | 13700 | 0.0782 | - | - | - |
|
| 699 |
+
| 0.7186 | 13800 | 0.0924 | - | - | - |
|
| 700 |
+
| 0.7238 | 13900 | 0.0788 | - | - | - |
|
| 701 |
+
| 0.7291 | 14000 | 0.0725 | 0.0802 | 0.0189 | - |
|
| 702 |
+
| 0.7343 | 14100 | 0.0837 | - | - | - |
|
| 703 |
+
| 0.7395 | 14200 | 0.0597 | - | - | - |
|
| 704 |
+
| 0.7447 | 14300 | 0.0967 | - | - | - |
|
| 705 |
+
| 0.7499 | 14400 | 0.1048 | - | - | - |
|
| 706 |
+
| 0.7551 | 14500 | 0.067 | - | - | - |
|
| 707 |
+
| 0.7603 | 14600 | 0.0674 | - | - | - |
|
| 708 |
+
| 0.7655 | 14700 | 0.0727 | - | - | - |
|
| 709 |
+
| 0.7707 | 14800 | 0.0918 | - | - | - |
|
| 710 |
+
| 0.7759 | 14900 | 0.0838 | - | - | - |
|
| 711 |
+
| 0.7811 | 15000 | 0.0628 | 0.0786 | 0.0193 | - |
|
| 712 |
+
| 0.7863 | 15100 | 0.0981 | - | - | - |
|
| 713 |
+
| 0.7915 | 15200 | 0.0962 | - | - | - |
|
| 714 |
+
| 0.7968 | 15300 | 0.0841 | - | - | - |
|
| 715 |
+
| 0.8020 | 15400 | 0.0911 | - | - | - |
|
| 716 |
+
| 0.8072 | 15500 | 0.0779 | - | - | - |
|
| 717 |
+
| 0.8124 | 15600 | 0.07 | - | - | - |
|
| 718 |
+
| 0.8176 | 15700 | 0.0757 | - | - | - |
|
| 719 |
+
| 0.8228 | 15800 | 0.0698 | - | - | - |
|
| 720 |
+
| 0.8280 | 15900 | 0.0818 | - | - | - |
|
| 721 |
+
| 0.8332 | 16000 | 0.0693 | 0.0761 | 0.0190 | - |
|
| 722 |
+
| 0.8384 | 16100 | 0.0796 | - | - | - |
|
| 723 |
+
| 0.8436 | 16200 | 0.0641 | - | - | - |
|
| 724 |
+
| 0.8488 | 16300 | 0.0605 | - | - | - |
|
| 725 |
+
| 0.8540 | 16400 | 0.0674 | - | - | - |
|
| 726 |
+
| 0.8592 | 16500 | 0.0655 | - | - | - |
|
| 727 |
+
| 0.8644 | 16600 | 0.0702 | - | - | - |
|
| 728 |
+
| 0.8697 | 16700 | 0.0719 | - | - | - |
|
| 729 |
+
| 0.8749 | 16800 | 0.0694 | - | - | - |
|
| 730 |
+
| 0.8801 | 16900 | 0.0592 | - | - | - |
|
| 731 |
+
| 0.8853 | 17000 | 0.0839 | 0.0743 | 0.0190 | - |
|
| 732 |
+
| 0.8905 | 17100 | 0.0744 | - | - | - |
|
| 733 |
+
| 0.8957 | 17200 | 0.0734 | - | - | - |
|
| 734 |
+
| 0.9009 | 17300 | 0.0814 | - | - | - |
|
| 735 |
+
| 0.9061 | 17400 | 0.0706 | - | - | - |
|
| 736 |
+
| 0.9113 | 17500 | 0.0824 | - | - | - |
|
| 737 |
+
| 0.9165 | 17600 | 0.0493 | - | - | - |
|
| 738 |
+
| 0.9217 | 17700 | 0.0711 | - | - | - |
|
| 739 |
+
| 0.9269 | 17800 | 0.0666 | - | - | - |
|
| 740 |
+
| 0.9321 | 17900 | 0.0802 | - | - | - |
|
| 741 |
+
| 0.9374 | 18000 | 0.0635 | 0.0732 | 0.0193 | - |
|
| 742 |
+
| 0.9426 | 18100 | 0.0587 | - | - | - |
|
| 743 |
+
| 0.9478 | 18200 | 0.0854 | - | - | - |
|
| 744 |
+
| 0.9530 | 18300 | 0.0739 | - | - | - |
|
| 745 |
+
| 0.9582 | 18400 | 0.0704 | - | - | - |
|
| 746 |
+
| 0.9634 | 18500 | 0.07 | - | - | - |
|
| 747 |
+
| 0.9686 | 18600 | 0.076 | - | - | - |
|
| 748 |
+
| 0.9738 | 18700 | 0.0807 | - | - | - |
|
| 749 |
+
| 0.9790 | 18800 | 0.0777 | - | - | - |
|
| 750 |
+
| 0.9842 | 18900 | 0.078 | - | - | - |
|
| 751 |
+
| 0.9894 | 19000 | 0.074 | 0.0730 | 0.0193 | - |
|
| 752 |
+
| 0.9946 | 19100 | 0.0782 | - | - | - |
|
| 753 |
+
| 0.9998 | 19200 | 0.0579 | - | - | - |
|
| 754 |
+
| -1 | -1 | - | - | 0.0193 | 0.0192 |
|
| 755 |
+
|
| 756 |
+
</details>
|
| 757 |
+
|
| 758 |
+
### Framework Versions
|
| 759 |
+
- Python: 3.12.3
|
| 760 |
+
- Sentence Transformers: 5.1.0
|
| 761 |
+
- Transformers: 4.56.1
|
| 762 |
+
- PyTorch: 2.8.0+cu128
|
| 763 |
+
- Accelerate: 1.10.1
|
| 764 |
+
- Datasets: 4.0.0
|
| 765 |
+
- Tokenizers: 0.22.0
|
| 766 |
+
|
| 767 |
+
## Citation
|
| 768 |
+
|
| 769 |
+
### BibTeX
|
| 770 |
+
|
| 771 |
+
#### Sentence Transformers
|
| 772 |
+
```bibtex
|
| 773 |
+
@inproceedings{reimers-2019-sentence-bert,
|
| 774 |
+
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
|
| 775 |
+
author = "Reimers, Nils and Gurevych, Iryna",
|
| 776 |
+
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
|
| 777 |
+
month = "11",
|
| 778 |
+
year = "2019",
|
| 779 |
+
publisher = "Association for Computational Linguistics",
|
| 780 |
+
url = "https://arxiv.org/abs/1908.10084",
|
| 781 |
+
}
|
| 782 |
+
```
|
| 783 |
+
|
| 784 |
+
#### CachedMultipleNegativesRankingLoss
|
| 785 |
+
```bibtex
|
| 786 |
+
@misc{gao2021scaling,
|
| 787 |
+
title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
|
| 788 |
+
author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
|
| 789 |
+
year={2021},
|
| 790 |
+
eprint={2101.06983},
|
| 791 |
+
archivePrefix={arXiv},
|
| 792 |
+
primaryClass={cs.LG}
|
| 793 |
+
}
|
| 794 |
+
```
|
| 795 |
+
|
| 796 |
+
<!--
|
| 797 |
+
## Glossary
|
| 798 |
+
|
| 799 |
+
*Clearly define terms in order to be accessible across audiences.*
|
| 800 |
+
-->
|
| 801 |
+
|
| 802 |
+
<!--
|
| 803 |
+
## Model Card Authors
|
| 804 |
+
|
| 805 |
+
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
|
| 806 |
+
-->
|
| 807 |
+
|
| 808 |
+
<!--
|
| 809 |
+
## Model Card Contact
|
| 810 |
+
|
| 811 |
+
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
|
| 812 |
+
-->
|
config.json
ADDED
|
@@ -0,0 +1,60 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"_sliding_window_pattern": 6,
|
| 3 |
+
"architectures": [
|
| 4 |
+
"Gemma3TextModel"
|
| 5 |
+
],
|
| 6 |
+
"attention_bias": false,
|
| 7 |
+
"attention_dropout": 0.0,
|
| 8 |
+
"attn_logit_softcapping": null,
|
| 9 |
+
"bos_token_id": 2,
|
| 10 |
+
"dtype": "float32",
|
| 11 |
+
"eos_token_id": 1,
|
| 12 |
+
"final_logit_softcapping": null,
|
| 13 |
+
"head_dim": 256,
|
| 14 |
+
"hidden_activation": "gelu_pytorch_tanh",
|
| 15 |
+
"hidden_size": 768,
|
| 16 |
+
"initializer_range": 0.02,
|
| 17 |
+
"intermediate_size": 1152,
|
| 18 |
+
"layer_types": [
|
| 19 |
+
"sliding_attention",
|
| 20 |
+
"sliding_attention",
|
| 21 |
+
"sliding_attention",
|
| 22 |
+
"sliding_attention",
|
| 23 |
+
"sliding_attention",
|
| 24 |
+
"full_attention",
|
| 25 |
+
"sliding_attention",
|
| 26 |
+
"sliding_attention",
|
| 27 |
+
"sliding_attention",
|
| 28 |
+
"sliding_attention",
|
| 29 |
+
"sliding_attention",
|
| 30 |
+
"full_attention",
|
| 31 |
+
"sliding_attention",
|
| 32 |
+
"sliding_attention",
|
| 33 |
+
"sliding_attention",
|
| 34 |
+
"sliding_attention",
|
| 35 |
+
"sliding_attention",
|
| 36 |
+
"full_attention",
|
| 37 |
+
"sliding_attention",
|
| 38 |
+
"sliding_attention",
|
| 39 |
+
"sliding_attention",
|
| 40 |
+
"sliding_attention",
|
| 41 |
+
"sliding_attention",
|
| 42 |
+
"full_attention"
|
| 43 |
+
],
|
| 44 |
+
"max_position_embeddings": 2048,
|
| 45 |
+
"model_type": "gemma3_text",
|
| 46 |
+
"num_attention_heads": 3,
|
| 47 |
+
"num_hidden_layers": 24,
|
| 48 |
+
"num_key_value_heads": 1,
|
| 49 |
+
"pad_token_id": 0,
|
| 50 |
+
"query_pre_attn_scalar": 256,
|
| 51 |
+
"rms_norm_eps": 1e-06,
|
| 52 |
+
"rope_local_base_freq": 10000.0,
|
| 53 |
+
"rope_scaling": null,
|
| 54 |
+
"rope_theta": 1000000.0,
|
| 55 |
+
"sliding_window": 512,
|
| 56 |
+
"transformers_version": "4.56.1",
|
| 57 |
+
"use_bidirectional_attention": true,
|
| 58 |
+
"use_cache": true,
|
| 59 |
+
"vocab_size": 262144
|
| 60 |
+
}
|
config_sentence_transformers.json
ADDED
|
@@ -0,0 +1,26 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"model_type": "SentenceTransformer",
|
| 3 |
+
"__version__": {
|
| 4 |
+
"sentence_transformers": "5.1.0",
|
| 5 |
+
"transformers": "4.56.1",
|
| 6 |
+
"pytorch": "2.8.0+cu128"
|
| 7 |
+
},
|
| 8 |
+
"prompts": {
|
| 9 |
+
"query": "task: search result | query: ",
|
| 10 |
+
"document": "title: none | text: ",
|
| 11 |
+
"BitextMining": "task: search result | query: ",
|
| 12 |
+
"Clustering": "task: clustering | query: ",
|
| 13 |
+
"Classification": "task: classification | query: ",
|
| 14 |
+
"InstructionRetrieval": "task: code retrieval | query: ",
|
| 15 |
+
"MultilabelClassification": "task: classification | query: ",
|
| 16 |
+
"PairClassification": "task: sentence similarity | query: ",
|
| 17 |
+
"Reranking": "task: search result | query: ",
|
| 18 |
+
"Retrieval": "task: search result | query: ",
|
| 19 |
+
"Retrieval-query": "task: search result | query: ",
|
| 20 |
+
"Retrieval-document": "title: none | text: ",
|
| 21 |
+
"STS": "task: sentence similarity | query: ",
|
| 22 |
+
"Summarization": "task: summarization | query: "
|
| 23 |
+
},
|
| 24 |
+
"default_prompt_name": null,
|
| 25 |
+
"similarity_fn_name": "cosine"
|
| 26 |
+
}
|
model.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:eea9a71e5266529dba43e8b8b3423986293f84fd45f7998a9e0ca3a5769599a4
|
| 3 |
+
size 1211486072
|
modules.json
ADDED
|
@@ -0,0 +1,32 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
[
|
| 2 |
+
{
|
| 3 |
+
"idx": 0,
|
| 4 |
+
"name": "0",
|
| 5 |
+
"path": "",
|
| 6 |
+
"type": "sentence_transformers.models.Transformer"
|
| 7 |
+
},
|
| 8 |
+
{
|
| 9 |
+
"idx": 1,
|
| 10 |
+
"name": "1",
|
| 11 |
+
"path": "1_Pooling",
|
| 12 |
+
"type": "sentence_transformers.models.Pooling"
|
| 13 |
+
},
|
| 14 |
+
{
|
| 15 |
+
"idx": 2,
|
| 16 |
+
"name": "2",
|
| 17 |
+
"path": "2_Dense",
|
| 18 |
+
"type": "sentence_transformers.models.Dense"
|
| 19 |
+
},
|
| 20 |
+
{
|
| 21 |
+
"idx": 3,
|
| 22 |
+
"name": "3",
|
| 23 |
+
"path": "3_Dense",
|
| 24 |
+
"type": "sentence_transformers.models.Dense"
|
| 25 |
+
},
|
| 26 |
+
{
|
| 27 |
+
"idx": 4,
|
| 28 |
+
"name": "4",
|
| 29 |
+
"path": "4_Normalize",
|
| 30 |
+
"type": "sentence_transformers.models.Normalize"
|
| 31 |
+
}
|
| 32 |
+
]
|
sentence_bert_config.json
ADDED
|
@@ -0,0 +1,4 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"max_seq_length": 2048,
|
| 3 |
+
"do_lower_case": false
|
| 4 |
+
}
|
special_tokens_map.json
ADDED
|
@@ -0,0 +1,33 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"boi_token": "<start_of_image>",
|
| 3 |
+
"bos_token": {
|
| 4 |
+
"content": "<bos>",
|
| 5 |
+
"lstrip": false,
|
| 6 |
+
"normalized": false,
|
| 7 |
+
"rstrip": false,
|
| 8 |
+
"single_word": false
|
| 9 |
+
},
|
| 10 |
+
"eoi_token": "<end_of_image>",
|
| 11 |
+
"eos_token": {
|
| 12 |
+
"content": "<eos>",
|
| 13 |
+
"lstrip": false,
|
| 14 |
+
"normalized": false,
|
| 15 |
+
"rstrip": false,
|
| 16 |
+
"single_word": false
|
| 17 |
+
},
|
| 18 |
+
"image_token": "<image_soft_token>",
|
| 19 |
+
"pad_token": {
|
| 20 |
+
"content": "<pad>",
|
| 21 |
+
"lstrip": false,
|
| 22 |
+
"normalized": false,
|
| 23 |
+
"rstrip": false,
|
| 24 |
+
"single_word": false
|
| 25 |
+
},
|
| 26 |
+
"unk_token": {
|
| 27 |
+
"content": "<unk>",
|
| 28 |
+
"lstrip": false,
|
| 29 |
+
"normalized": false,
|
| 30 |
+
"rstrip": false,
|
| 31 |
+
"single_word": false
|
| 32 |
+
}
|
| 33 |
+
}
|
tokenizer.json
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:216e2a79606fe879c9f17c529c71cd241338407fd5646b595ffd3c4b9ea1d503
|
| 3 |
+
size 33385262
|
tokenizer_config.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|