README.md

metadata

license: mit

internlm2.5_7b_distill

架构图

基座模型

https://huggingface.co/internlm/internlm2_5-7b-chat

数据集

数据集组成

5k条精选通用领域含思维链数据(https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k-SFT)+3k条含思维链心理辅导对话(https://huggingface.co/datasets/CAS-SIAT-XinHai/CPsyCoun)

1. 110k的数据怎么挑选10k条？：基于score
2. 3k条心理辅导对话：原始对话（alpaca，含history字段，不含思维链，来自于CPsyCounD），使用deepseek r1【通过设置max_token实现低成本获取思维链】给output增加思维链，获得含思维链的数据集

训练方式

qlora，变长注意力，数据拼接

下载模型

git lfs install
git clone https://huggingface.co/juneup/internlm2.5_7b_distill

若不想克隆大型文件：

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/juneup/internlm2.5_7b_distill

在Ollama下载

ollama run Juneup/internlm2.5_7b_distill:q4_k_m