update readme and tokenizer config

README.md

@@ -9,10 +9,22 @@ Pretrain-версия большой языковой модели YandexGPT 5 L
 
 На первом этапе модель обучалась преимущественно на русскоязычных и англоязычных текстах общим объёмом 15T токенов с длиной контекста до 8k токенов. Состав датасета: 60% — веб-страницы, 15% — код, 10% — математика, остальное — другие специфичные данные, в том числе сгенерированная с помощью наших моделей синтетика и датасеты наших сервисов, например Яндекс Переводчика и база фактов Поиска.
 
-На втором этапе, который мы назвали Powerup, модель обучалась на высококачественных данных объёмом 320B токенов. Состав Powerup-датасета: 25% — веб-страницы, 19% — математика, 18% — код, 18% — образовательные данные, остальное — синтетика, датасеты сервисов и прочие качественные тексты. На этом этапе мы увеличили длину контекста до 32k токенов. Более подробно — в нашей статье на Хабре. 
+На втором этапе, который мы назвали Powerup, модель обучалась на высококачественных данных объёмом 320B токенов. Состав Powerup-датасета: 25% — веб-страницы, 19% — математика, 18% — код, 18% — образовательные данные, остальное — синтетика, датасеты сервисов и прочие качественные тексты. На этом этапе мы увеличили длину контекста до 32k токенов. 
+
+Кроме того, наш токенизатор хорошо оптимизирован для русского языка. Например, 32k токенов нашей модели в среднем соответствует 48k токенам Qwen-2.5. 
+
+Более подробно — в нашей [статье на Хабре](https://habr.com/ru/companies/yandex/articles/885218/).
+
+Задавайте вопросы в discussions.
 
 ## Бенчмарки
-В своей категории pretrain-версия YandexGPT 5 Lite достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей.
+В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их:
+
+Бенчмарки опубликованы в [статье на Хабре](https://habr.com/ru/companies/yandex/articles/885218/).
+
+\* по данным репорта разработчиков модели. <br>
+BBH — 3-shot, HUMAN_EVAL и MPBB — 0-shot, все остальные бенчмарки — 5-shot. <br>
+Все замеры мы производили в HF transformers.
 
 ## Как использовать
 
@@ -32,7 +44,7 @@ model = AutoModelForCausalLM.from_pretrained(
 input_text = "Кто сказал тебе, что нет на свете настоящей,"
 input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
 
-outputs = model.generate(**input_ids, max_new_tokens=19)
+outputs = model.generate(**input_ids, max_new_tokens=18)
 print(tokenizer.decode(outputs[0], skip_special_tokens=True))
 ```
 
@@ -41,8 +53,7 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
 from vllm import LLM, SamplingParams
 
 
-# MODEL_NAME = "yandex/YandexGPT5-8B-base"
-MODEL_NAME = "/home/serv01/repos/YandexGPT-5-Lite-8B-pretrain"
+MODEL_NAME = "yandex/YandexGPT-5-Lite-8B-pretrain"
 
 sampling_params = SamplingParams(
     temperature=0.3,
@@ -60,6 +71,45 @@ for i in range(len(input_texts)):
     print(input_texts[i] + outputs[i].outputs[0].text)
 ```
 
+Для полного соответствия токенизации мы рекомендуем пользоваться оригинальным [sentencepiece](https://github.com/google/sentencepiece):
+```python
+import sentencepiece as spm
+import torch
+# git clone https://huggingface.co/yandex/YandexGPT-5-Lite-8B-pretrain
+tokenizer = spm.SentencePieceProcessor(
+    model_file="<path_to_local_repo>/tokenizer.model"
+)
+input_ids = tokenizer.encode(input_text, add_bos=True)
+input_ids = torch.Tensor([input_ids]).to(model.device).to(torch.long)
+outputs = model.generate(
+    input_ids=input_ids,
+    attention_mask=torch.ones_like(input_ids),
+    max_new_tokens=18
+)
+print(tokenizer.decode(outputs[0].tolist()))
+```
+
 ## Ка�� дообучить под свои задачи
 
-Будет дополнено.
+У нашей модели llama-like архитектура, это означает, что она совместима с большинством существующих фреймворков по дообучению LLM. Приведем короткий пример, как можно обучить нашу модель в torchtune:
+
+Скачиваем репозиторий:
+```bash
+tune download yandex/YandexGPT-5-Lite-8B-pretrain \
+  --output-dir YandexGPT-5-Lite-8B-pretrain \
+```
+
+Смотрим список конфигов и копируем подходящий под задачу:
+```bash
+tune ls
+tune cp llama3_1/8B_lora training_config.yaml
+```
+
+Изменяем конфиг, адаптируем его под нашу модель и делаем подходящим нашу задачу. Например, [такой](https://huggingface.co/yandex/YandexGPT-5-Lite-8B-pretrain/discussions/1#67bc4e6472499ce2ba3659a7) вариант подойдет для lora обучения на открытом инстракт датасете `alpaca-cleaned`.
+
+Запускаем обучение:
+```bash
+tune run lora_finetune_single_device --config training_config.yaml
+```
+
+Подробности можно найти в официальной [документации](https://pytorch.org/torchtune/stable/overview.html) torchtune.

tokenizer_config.json

@@ -1,4 +1,6 @@
 {
+  "add_bos_token": true,
+  "add_eos_token": false,
   "bos_token": "<s>",
   "eos_token": "</s>",
   "legacy": false,