# internlm2.5_7b_distill 
## 架构图
<div align="center">
  <img src="distill.png" width="800"/>
</div>

## 基座模型
https://huggingface.co/Slipstream-Max/Emollm-InternLM2.5-7B-chat-GGUF-fp16

## 数据集
### 数据集组成
5k条精选通用领域含思维链数据(https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k-SFT)+3k条含思维链心理辅导对话(https://huggingface.co/datasets/CAS-SIAT-XinHai/CPsyCoun)

1. 110k的数据怎么挑选10k条？：基于score
2. 3k条心理辅导对话：原始对话（alpaca，含history字段，不含思维链，来自于CPsyCounD），使用deepseek r1【通过设置max_token实现低成本获取思维链】给output增加思维链，获得含思维链的数据集

### 训练方式
qlora，变长注意力，数据拼接

## 下载模型
```bash
git lfs install
git clone https://huggingface.co/juneup/internlm2.5_7b_distill
```
若不想克隆大型文件：
```bash
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/juneup/internlm2.5_7b_distill
```

### 在Ollama下载
```bash
ollama run Juneup/internlm2.5_7b_distill:q4_k_m