Llama-3.1-8B-Instruct-Chinese-Elite

摘要
基于 Llama-3.1-8B-Instruct 的中英双语指令微调模型。沿用 Llama-3.2-3B-Elite 的训练方法（ Qwen-3-235b-a22b-Instruct-2507 教师模型蒸馏 + SFT），但有意减少表情符号，同时保留并强化输出格式的专业度（如小标题加粗、要点列表、清晰段落），以获得更干净、稳定、易读的回答。

---

目录

• 模型亮点
• 模型概览
• 训练与数据
• 快速开始
• 适用与限制
• 部署与量化
• 许可
• 致谢
• 引用
• 版本记录

---

模型亮点

• 专业且干净：默认减少表情符号；输出以加粗小标题 + 要点列表为主，便于复制与二次编辑。
• 结构稳定：对分节报告、步骤清单、对照表、要点摘要等进行了风格与格式对齐。
• 双语/混排优化：中文、英文与中英混排场景具备良好的术语一致性与层次清晰度。
• 指令遵从更强：对“不要表情符号 / 只输出要点表 / 保留 Markdown 标题层级”等约束遵从度更高。

基座：meta-llama/Llama-3.1-8B-Instruct；训练范式：教师蒸馏 + SFT。

---

模型概览

• 参数规模：8B
• 任务：指令跟随 / 对话生成 / 问答 / 摘要 / 结构化输出
• 语言：中文 & 英文（良好支持中英混排）
• 目标：在轻量算力下，产出简洁专业、格式友好的内容（减少表情符号，保留加粗小标题、要点列表等格式优化）

---

训练与数据

• 数据规模：约 80,000 条高质量指令-回复样本（中英混合，覆盖问答/摘要/说明文/结构化输出/步骤化说明等）。
• 训练方法：教师蒸馏 + SFT；显式控制格式/风格（少表情、强调标题/列表/加粗）。
• 计算资源：A100 单卡；LoRA/QLoRA 可在较短时间内完成若干 epoch。
• 风格与约束：减少表情符号；强化小标题加粗、要点列表、关键术语加粗与段落层级。

如发布蒸馏数据子集，请在此处补充链接与统计（样本数/语种占比/过滤标准）。

---

快速开始

Transformers（推荐）

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Jackrong/Llama-3.1-8B-Instruct-Elite"
tok = AutoTokenizer.from_pretrained(model_id, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [
    {"role": "system", "content": "Write clean, professional answers with bolded subheadings and structured lists; avoid emojis."},
    {"role": "user", "content": "请用要点说明如何优化周计划，使其更可执行。"}
]

prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.9,
)
print(tok.decode(outputs[0], skip_special_tokens=True))

vLLM

from vllm import LLM, SamplingParams

llm = LLM(model="Jackrong/Llama-3.1-8B-Instruct-Chinese-Elite", dtype="bfloat16")
params = SamplingParams(temperature=0.7, top_p=0.9, max_tokens=512)

prompt = "列出 5 条可执行的周计划优化建议（用加粗小标题+要点列表）。"
outputs = llm.generate([prompt], params)
print(outputs[0].outputs[0].text)

llama.cpp（GGUF：Q4_K_M）

./main -m Llama-3.1-8B-Instruct-Chinese-Elite.Q4_K_M.gguf \
  -p "以要点说明：如何将技术文章改写得更专业且干净？"

---

提示词与输出规范

• 使用简洁标题与加粗小标题组织结构；关键术语与结论适加粗。
• 以要点列表呈现步骤与要点；默认避免表情符号。
• 采样建议：temperature=0.6–0.8、top_p=0.9–0.95。

---

适用与限制

适用：中/英文或中英混排的问答、摘要、说明文、技术/业务写作；结构化输出（计划、步骤、表格、FAQ、会议纪要）。
限制：强事实性、需最新信息的任务建议配合检索；医疗/法律/投资等高风险输出需人工校对；不得用于违法或伤害性用途。

---

许可

• 模型权重：遵循 Llama 3.1 Community License（与基座一致）。
• 代码/脚本：可使用 Apache-2.0 等；不改变权重许可。

---

致谢

• Meta 提供 Llama-3.1 与生态工具链
• 开源社区在蒸馏、SFT、评测、部署方面的贡献
• 训练方法与实践沿用自 Llama-3.2-3B-Elite

---

引用

@misc{JackrongL31_8B_Elite,
  title  = {Jackrong/Llama-3.1-8B-Instruct-Chinese-Elite},
  author = {Jackrong},
  year   = {2025},
  url    = {https://huggingface.co/Jackrong/Llama-3.1-8B-Instruct-Elite}
}

---

版本记录

• v1.0：首次发布。数据规模约 80k；A100 单卡训练；提供 GGUF Q4_K_M；减少表情符号；强化小标题加粗与要点列表；训练配方与 3.2-3B-Elite 一致。