aixsatoshi
/

llm-jp-1.8bx24-combined

Model card Files Files and versions

aixsatoshi commited on Mar 28

Commit

5c8d68e

·

verified ·

1 Parent(s): dbfd0ef

Update README.md

Files changed (1) hide show

README.md +1 -1

README.md CHANGED Viewed

@@ -7,7 +7,7 @@
 - **アーキテクチャ**: Mixtral MoE
 - **パラメータサイズ**: 24x1.8b（24エキスパート、各1.8B）
 - **アクティブパラメータ**: 6（推論時に活性化するエキスパート数）
-- **コンテキスト長**: 32,768トークン
 - **ベースモデル**:
   - [llm-jp/llm-jp-3-8x1.8b](https://huggingface.co/llm-jp/llm-jp-3-8x1.8b)
   - [llm-jp/llm-jp-3-8x1.8b-instruct2](https://huggingface.co/llm-jp/llm-jp-3-8x1.8b-instruct2)

 - **アーキテクチャ**: Mixtral MoE
 - **パラメータサイズ**: 24x1.8b（24エキスパート、各1.8B）
 - **アクティブパラメータ**: 6（推論時に活性化するエキスパート数）
+- **コンテキスト長**: 4096トークン
 - **ベースモデル**:
   - [llm-jp/llm-jp-3-8x1.8b](https://huggingface.co/llm-jp/llm-jp-3-8x1.8b)
   - [llm-jp/llm-jp-3-8x1.8b-instruct2](https://huggingface.co/llm-jp/llm-jp-3-8x1.8b-instruct2)