ko-wand-136M
ko-wand-136Mλ insturctkrμμ μ¬μ νμ΅ν SLMμ λλ€.
Model Description
maywell/korean_textbooksμ νκ΅μ΄ λ§λμΉλ₯Ό μ΄μ©νμ¬ μ¬μ νμ΅ λμμ΅λλ€.
Model Info
λ―Έμ€νΈλ μν€ν μ³λ₯Ό κΈ°λ°μΌλ‘ μμ ν λλ€ κ°μ€μΉλ₯Ό μμμΌλ‘ μ¬μ νμ΅ λ λͺ¨λΈμ λλ€. Instruction νλλμ§ μμμ΅λλ€.
Training Details
| Batch Size | Token Seen | lr |
|---|---|---|
| 1024 | 2.5B | 2e-3 (cosine) |
License
apache-2.0
- Downloads last month
- 520