---
language: fr
license: mit
tags:
- token-classification
- named-entity-recognition
- ner
- french
- camembert
- distillation
- pruning
- quantization
- fp16
- social-work
- medical-social
datasets:
- custom
metrics:
- f1
- precision
- recall
model-index:
- name: camembert-ner-distilled-pruned-fp16
  results:
  - task:
      type: token-classification
      name: Named Entity Recognition
    dataset:
      name: Rapports Sociaux FR
      type: custom
    metrics:
    - type: f1
      value: 85.9
      name: F1 Score
    - type: precision
      value: 86.1
      name: Precision
    - type: recall
      value: 85.8
      name: Recall
---

# Model Card: CamemBERT-NER Distilled + Pruned + FP16

## Model Details

### Model Description

Modèle CamemBERT optimisé triple pour reconnaissance d'entités nommées (NER) dans rapports sociaux français :
- **Distillation** : 11 couches (de 12 du teacher) = -8.3% paramètres
- **Pruning** : 20% magnitude-based = 15.14% sparsité effective  
- **Quantization** : FP16 = -50% taille mémoire

**Développé par** : Jean-Michel Danto  
**Type** : Token Classification (NER)  
**Langue** : Français  
**License** : Apache 2.0  
**Modèle parent** : camembert-base  
**Repository** : [laplume](https://github.com/jeanmicheldanto-boop/laplume_test)

### Model Sources

- **Repository** : https://github.com/jeanmicheldanto-boop/laplume_test
- **Teacher Model** : titibongbong/CamemBERT-NER (12 layers, FP16, 210 MB)
- **Base Model** : camembert-base

## Uses

### Direct Use

Reconnaissance d'entités nommées dans documents médico-sociaux français (rapports sociaux, dossiers ASE, RSA, handicap).

### Downstream Use

Pipeline de pseudonymisation automatique pour protection de données personnelles dans secteur social.

### Out-of-Scope Use

- Domaines non médico-sociaux (textes génériques, littérature, etc.)
- Langues autres que français
- Tâches autres que NER (classification, QA, etc.)

## Bias, Risks, and Limitations

### Limitations techniques

- **Domaine spécialisé** : Entraîné sur rapports sociaux, performances réduites hors domaine
- **Trade-off qualité** : -1.3% F1 vs baseline pour gain taille/vitesse
- **Faux positifs** : +11 FP vs baseline (validation humaine recommandée)
- **Catégories rares** : Performance réduite sur LOC, DATE (peu d'exemples training)

### Biais identifiés

- **Biais géographique** : Meilleure détection des grandes villes françaises
- **Biais nominal** : Meilleure détection prénoms français courants
- **Biais institutionnel** : Focus sur institutions françaises (ASE, CAF, MDPH)

### Recommendations

- ✅ **Validation humaine** pour données sensibles (NIR, identifiants)
- ✅ **Post-traitement** avec règles métier et gazetteers
- ✅ **Monitoring** des faux positifs/négatifs en production
- ⚠️ **Prudence** sur entités rares ou hors vocabulaire

## How to Get Started with the Model

```python
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
import torch

model_name = "jmdanto/titibongbong_camemBERT_NER"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(
    model_name,
    torch_dtype=torch.float16
)

# Méthode 1 : Pipeline (recommandé)
ner_pipeline = pipeline(
    "ner",
    model=model_name,
    aggregation_strategy="simple"
)

text = "Marie Dupont habite à Lyon et travaille au Centre Hospitalier."
entities = ner_pipeline(text)

for entity in entities:
    print(f"{entity['entity_group']}: {entity['word']} (score: {entity['score']:.2f})")

# Résultat :
# PER: Marie Dupont (score: 0.99)
# LOC: Lyon (score: 0.98)  
# ORG: Centre Hospitalier (score: 0.92)

# Méthode 2 : Inférence directe
inputs = tokenizer(text, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.argmax(outputs.logits, dim=-1)

# Les prédictions utilisent le format IOB2 :
# B-PER, I-PER (Person)
# B-LOC, I-LOC (Location)
# B-ORG, I-ORG (Organization)
# B-MISC, I-MISC (Miscellaneous)
# O (Outside)
```

### 🏷️ Entités détectées

Le modèle reconnaît **4 catégories principales** (format IOB2) :

| Catégorie | Description | Exemples |
|-----------|-------------|----------|
| **PER** | Personnes | Marie Dupont, M. Bernard |
| **LOC** | Lieux | Paris, Lyon, rue de la Paix |
| **ORG** | Organisations | Hôpital Sainte-Anne, CCAS |
| **MISC** | Divers | dates, événements |

> **Note** : Pour des catégories fines (39 types comme `ETAB_MECS`, `ID_RSA`, `LOC_CITY`), utiliser le pipeline LaPlume complet avec post-traitement.

## Training Details

### Training Data

- **Corpus d'entraînement** : **50 000 phrases** issues de trois sources :
  1. **Contexte médico-social français** :
     - Rapports sociaux fictifs mais réalistes (générés pour l'entraînement)
     - Rapports publics sur l'organisation médico-sociale et bonnes pratiques
  2. **Narratif littéraire** : Grands romans français du XXe siècle (dialogues, descriptions de personnages et lieux)
  3. **Articles Wikipedia français** : Contenu encyclopédique général pour généralisation
- **Domaines applicatifs** : Aide sociale à l'enfance, RSA, handicap, hébergement, personnes âgées
- **Annotations** : 4 catégories principales (PER, LOC, ORG, MISC) au format IOB2
- **Base model** : Jean-Baptiste/camembert-ner fine-tuné puis distillé

**Important** : Aucune donnée confidentielle réelle (dossiers ASE/RSA réels) n'a été utilisée. Le corpus médico-social est composé de textes fictifs et de rapports publics uniquement.

Cette diversité de sources (médico-social + littéraire + encyclopédique) permet au modèle de généraliser efficacement tout en conservant une spécialisation pour le domaine cible.

> **Note** : Les 39 catégories fines du pipeline LaPlume (ETAB_*, ID_*, LOC_CITY, etc.) sont ajoutées par post-traitement (règles, gazetteers), pas par le modèle NER de base.

### Training Procedure

#### Distillation

```
Teacher: camembert-ner (12L, F1 87.3%)
Student: 11 layers
Loss: α * CE + (1-α) * KD
Temperature: 2.0
```

#### Pruning

```
Method: Magnitude-based iterative
Target: 20% sparsity
Effective: 15.14% (15.6M params zeroed)
Schedule: Progressive pendant distillation
```

#### Quantization

```
Method: torch.half() conversion
Input: FP32 (392.71 MB)
Output: FP16 (196.36 MB)
Reduction: -50.0%
```

#### Preprocessing

- Tokenization : SentencePiece BPE (32k vocab)
- Max length : 512 tokens
- Padding : dynamic par batch

#### Training Hyperparameters

- **Learning rate** : 2e-5 (AdamW)
- **Batch size** : 16
- **Epochs** : 10
- **Warmup** : 10% steps
- **Weight decay** : 0.01
- **Gradient clipping** : 1.0

#### Speeds, Sizes, Times

- **Training time** : ~12h (distillation + pruning)
- **Quantization time** : ~2 min
- **Final size** : 196.36 MB (FP16)
- **Inference speed** : ~15-20% plus rapide que baseline
- **Memory usage** : -50% RAM vs FP32

## Evaluation

### Testing Data, Factors & Metrics

#### Testing Data

- **Dataset** : train_original.txt + train_gold.txt
- **Taille** : 447 entités gold standard
- **Distribution** : CRIT (4%), HIGH (39%), MED (45%), LOW (11%)

#### Metrics

- F1 Score (macro et weighted)
- Precision / Recall
- Category accuracy
- False positives / Missed entities

### Results

#### Summary (Run 106)

| Métrique | Score | vs Baseline |
|----------|-------|-------------|
| **F1 Score** | **85.9%** | -1.3% |
| **Precision** | **86.1%** | -2.2% |
| **Recall** | **85.8%** | -0.5% |
| **Weighted Score** | **96.4%** | -0.2% |
| **False Positives** | 64 | +11 |
| **Missed** | 52 | +2 |

#### Performance par criticité

| Criticité | Rappel | Précision | F1 |
|-----------|--------|-----------|-----|
| **CRIT** (NIR, identifiants) | 96.8% | 100% | 98.4% |
| **HIGH** (PER, ID_DOSSIER) | 93.0% | 95.7% | 94.4% |
| **MED** (ORG, ETAB) | 81.4% | 77.4% | 79.3% |
| **LOW** (LOC, DATE) | 69.4% | 74.5% | 71.9% |

## Bias, Risks, and Limitations

### Limitations techniques

- **Domaine spécialisé** : Optimisé pour le médico-social français, performances réduites sur d'autres domaines
- **Trade-off qualité/vitesse** : -1.3% F1 vs baseline pour +15-20% vitesse
- **Entités rares** : Moins performant sur entités hors vocabulaire ou très rares
- **Dépendance contextuelle** : Nécessite contexte suffisant (min 5-10 mots)

### Considérations éthiques

- ✅ **Données d'entraînement** : **Aucune donnée confidentielle réelle utilisée**
  - Rapports sociaux : fictifs et réalistes (générés)
  - Rapports publics : documents publics d'organisation et bonnes pratiques
  - **Pas de dossiers ASE/RSA réels** (hautement confidentiels)
- ✅ **Usage recommandé** : Outil d'assistance, pas de décision automatique
- ✅ **Validation humaine** requise pour données sensibles
- ⚠️ **RGPD** : Adapter selon contexte (pseudonymisation, consentement)
- ⚠️ **Biais potentiels** : Sous-représentation de certains groupes dans corpus d'entraînement

### Recommendations

- ✅ **Validation humaine** pour données sensibles (NIR, identifiants)
- ✅ **Post-traitement** avec règles métier et gazetteers
- ✅ **Monitoring** des faux positifs/négatifs en production
- ⚠️ **Prudence** sur entités rares ou hors vocabulaire
- ⚠️ **Ne jamais utiliser ce modèle sur des données confidentielles sans autorisation**

## Environmental Impact

- **Hardware** : NVIDIA GPU (compute capability ≥ 6.0 for FP16)
- **Training hours** : ~12h (distillation + pruning)
- **Cloud provider** : N/A (local training)
- **Carbon emitted** : ~2.5 kg CO2eq (estimation)

**Optimizations réduisant l'empreinte** :
- Distillation → -8% paramètres
- Pruning → -15% poids actifs
- FP16 → -50% mémoire et calculs

## Technical Specifications

### Model Architecture and Objective

- **Architecture** : CamemBERT (RoBERTa français)
- **Layers** : 11 (distilled from 12)
- **Hidden size** : 768
- **Attention heads** : 12 per layer
- **Intermediate size** : 3072
- **Vocabulary** : 32,000 tokens (SentencePiece)
- **Max sequence** : 512 tokens
- **Parameters** : 102,947,333 total (87,350,000 non-zero)

### Compute Infrastructure

#### Hardware

- **Training** : GPU NVIDIA (≥ 12GB VRAM)
- **Inference** : CPU/GPU compatible FP16

#### Software

- Python 3.8+
- PyTorch ≥ 2.0.0
- Transformers ≥ 4.30.0
- SafeTensors ≥ 0.3.0

## Citation

```bibtex
@model{camembert-ner-distilled-pruned-fp16,
  title={CamemBERT-NER Distilled + Pruned + FP16},
  author={Danto, Patrick},
  year={2024},
  publisher={HuggingFace Hub},
  url={https://huggingface.co/jmdanto/titibongbong_camemBERT_NER},
  note={F1: 85.9%, Size: 196MB, Speed: +15-20%}
}

@model{camembert-ner-teacher,
  title={CamemBERT-NER: Fine-tuned CamemBERT for NER task},
  author={Pollé, Jean-Baptiste},
  year={2020},
  publisher={HuggingFace Hub},
  url={https://huggingface.co/Jean-Baptiste/camembert-ner}
}
```

## Model Card Authors

Patrick Danto

## Model Card Contact

- Email : patrick.danto@outlook.fr

---

**Note** : Ce modèle fait partie du projet **La Plume**, un pipeline de pseudonymisation pour documents médico-sociaux français. Le pipeline complet est un projet privé protégé au titre de la propriété intellectuelle, mais ce modèle est publié sous licence MIT.