Uploaded model

README.md

@@ -1,10 +1,15 @@
----
-license: other
----
+![CODE SIZE](https://img.shields.io/github/languages/code-size/HIT-SCIR/ltp)
+![CONTRIBUTORS](https://img.shields.io/github/contributors/HIT-SCIR/ltp)
+![LAST COMMIT](https://img.shields.io/github/last-commit/HIT-SCIR/ltp)
+
+| Language                             | version                                                                                                                                                                                                                                                                                                                   |
+| ------------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| [Python](python/interface/README.md) | [![LTP](https://img.shields.io/pypi/v/ltp?label=LTP)](https://pypi.org/project/ltp) [![LTP-Core](https://img.shields.io/pypi/v/ltp-core?label=LTP-Core)](https://pypi.org/project/ltp-core)   [![LTP-Extension](https://img.shields.io/pypi/v/ltp-extension?label=LTP-Extension)](https://pypi.org/project/ltp-extension) |
+| [Rust](rust/ltp/README.md)           | [![LTP](https://img.shields.io/crates/v/ltp?label=LTP)](https://crates.io/crates/ltp)                                                                                                                                                                                                                                     |
 
 # LTP 4
 
-[LTP](https://github.com/HIT-SCIR/ltp)（Language Technology Platform） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。
+LTP（Language Technology Platform） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。
 
 ## 引用
 
@@ -20,19 +25,38 @@ license: other
 ```
 
 **参考书：**
-由哈工大社会计算与信息检索研究中心（HIT-SCIR）的多位学者共同编著的《[自然语言处理：基于预训练模型的方法](https://item.jd.com/13344628.html)》（作者：车万翔、郭江、崔一鸣；主审：刘挺）一书现已正式出版，该书重点介绍了新的基于预训练模型的自然语言处理技术，包括基础知识、预训练词向量和预训练模型三大部分，可供广大LTP用户学习参考。
+由哈工大社会计算与信息检索研究中心（HIT-SCIR）的多位学者共同编著的《[自然语言处理：基于预训练模型的方法](https://item.jd.com/13344628.html)
+》（作者：车万翔、郭江、崔一鸣；主审：刘挺）一书现已正式出版，该书重点介绍了新的基于预训练模型的自然语言处理技术，包括基础知识、预训练词向量和预训练模型三大部分，可供广大LTP用户学习参考。
+
+### 更新说明
+
+- 4.2.0
+  - \[结构性变化\] 将 LTP 拆分成 2 个部分，维护和训练更方便，结构更清晰
+    - \[Legacy 模型\] 针对广大用户对于**推理速度**的需求，使用 Rust 重写了基于感知机的算法，准确率与 LTP3 版本相当，速度则是 LTP v3 的 **3.55** 倍，开启多线程更可获得 **17.17** 倍的速度提升，但目前仅支持分词、词性、命名实体三大任务
+    - \[深度学习模型\] 即基于 PyTorch 实现的深度学习模型，支持全部的6大任务（分词/词性/命名实体/语义角色/依存句法/语义依存）
+  - \[其他改进\] 改进了模型训练方法
+    - \[共同\] 提供了训练脚本和训练样例，使得用户能够更方便地使用私有的数据，自行训练个性化的模型
+    - \[深度学习模型\] 采用 hydra 对训练过程进行配置，方便广大用户修改模型训练参数以及对 LTP 进行扩展（比如使用其他包中的 Module）
+  - \[其他变化\] 分词、依存句法分析 (Eisner) 和 语义依存分析 (Eisner) 任务的解码算法使用 Rust 实现，速度更快
+  - \[新特性\] 模型上传至 [Huggingface Hub](https://huggingface.co/LTP)，支持自动下载，下载速度更快，并且支持用户自行上传自己训练的模型供LTP进行推理使用
+  - \[破坏性变更\] 改用 Pipeline API 进行推理，方便后续进行更深入的性能优化（如SDP和SDPG很大一部分是重叠的，重用可以加快推理速度），使用说明参见[Github快速使用部分](https://github.com/hit-scir/ltp)
+- 4.1.0
+  - 提供了自定义分词等功能
+  - 修复了一些bug
+- 4.0.0
+  - 基于Pytorch 开发，原生 Python 接口
+  - 可根据需要自由选择不同速度和指标的模型
+  - 分词、词性、命名实体、依存句法、语义角色、语义依存6大任务
 
 ## 快速使用
 
-### 安装 LTP
+### [Python](python/interface/README.md)
 
 ```bash
-pip install -U ltp ltp-core ltp-extension -i https://pypi.org/simple
+pip install -U ltp ltp-core ltp-extension -i https://pypi.org/simple # 安装 ltp
 ```
 
-**注：** 如果遇到任何错误，请尝试使用上述命令重新安装 ltp，如果依然报错，请在 [Github issues](https://github.com/HIT-SCIR/ltp/issues) 中反馈。
-
-### 使用 LTP
+**注：** 如果遇到任何错误，请尝试使用上述命令重新安装 ltp，如果依然报错，请在 Github issues 中反馈。
 
 ```python
 import torch
@@ -59,6 +83,35 @@ cws, pos, ner = ltp.pipeline(["他叫汤姆去拿外衣。"], tasks=["cws", "pos
 print(cws, pos, ner)
 ```
 
+**[详细说明](python/interface/docs/quickstart.rst)**
+
+### [Rust](rust/ltp/README.md)
+
+```rust
+use std::fs::File;
+use itertools::multizip;
+use ltp::{CWSModel, POSModel, NERModel, ModelSerde, Format, Codec};
+
+fn main() -> Result<(), Box<dyn std::error::Error>> {
+  let file = File::open("data/legacy-models/cws_model.bin")?;
+  let cws: CWSModel = ModelSerde::load(file, Format::AVRO(Codec::Deflate))?;
+  let file = File::open("data/legacy-models/pos_model.bin")?;
+  let pos: POSModel = ModelSerde::load(file, Format::AVRO(Codec::Deflate))?;
+  let file = File::open("data/legacy-models/ner_model.bin")?;
+  let ner: NERModel = ModelSerde::load(file, Format::AVRO(Codec::Deflate))?;
+
+  let words = cws.predict("他叫汤姆去拿外衣。")?;
+  let pos = pos.predict(&words)?;
+  let ner = ner.predict((&words, &pos))?;
+
+  for (w, p, n) in multizip((words, pos, ner)) {
+    println!("{}/{}/{}", w, p, n);
+  }
+
+  Ok(())
+}
+```
+
 ## 模型性能以及下载地址
 
 |                  深度学习模型                   |  分词   |  词性   | 命名实体  | 语义角色  | 依存句法  | 语义依存  | 速度(句/S) |
@@ -71,10 +124,29 @@ print(cws, pos, ner)
 
 |                    感知机算法                    |  分词   |  词性   | 命名实体  | 速度(句/s)  |             备注             |
 | :-----------------------------------------: | :---: | :---: | :---: | :------: | :------------------------: |
-| [Legacy](https://huggingface.co/LTP/legacy) | 97.93 | 98.41 | 94.28 | 21581.48 | [性能详情](https://github.com/HIT-SCIR/ltp/blob/main/python/extension/README.md) |
+| [Legacy](https://huggingface.co/LTP/legacy) | 97.93 | 98.41 | 94.28 | 21581.48 | [性能详情](rust/ltp/README.md) |
 
 **注：感知机算法速度为开启16线程速度**
 
+## 构建 Wheel 包
+
+```shell script
+make bdist
+```
+
+## 其他语言绑定
+
+**感知机算法**
+
+- [Rust](rust/ltp)
+- [C/C++](rust/ltp-cffi)
+
+**深度学习算法**
+
+- [Rust](https://github.com/HIT-SCIR/libltp/tree/master/ltp-rs)
+- [C++](https://github.com/HIT-SCIR/libltp/tree/master/ltp-cpp)
+- [Java](https://github.com/HIT-SCIR/libltp/tree/master/ltp-java)
+
 ## 作者信息
 
 - 冯云龙 \<\<[[email protected]](mailto:[email protected])>>