README.md

Radon-35B-Ultra-X-RU

Описание

Radon Ultra - продвинутый AGI-ассистент на базе Qwen3-Omni-30B-A3B-Thinking, адаптированный под русскоязычную идентичность через LoRA fine-tuning.

Информация о модели

• Создатель: MagistrTheOne
• Место создания: Краснодар, Россия
• Год: 2025
• Базовая модель: Qwen/Qwen3-Omni-30B-A3B-Thinking
• Метод: LoRA fine-tuning (r=16, 2000 steps)
• Параметры: ~31.7B
• Языки: Русский, Английский
• Лицензия: Apache 2.0

Особенности

• Сохранены все возможности базовой модели
• Адаптированная русскоязычная идентичность
• Знание о создателе и месте разработки
• Оптимизирован для reasoning задач

Использование

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "MagistrTheOne/Radon-35B-Ultra-X-RU",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("MagistrTheOne/Radon-35B-Ultra-X-RU")

# Пример использования
conversation = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "Ты — Radon Ultra, продвинутый AGI-ассистент."}]
    },
    {
        "role": "user", 
        "content": [{"type": "text", "text": "Кто ты?"}]
    }
]

text = tokenizer.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=100)
    
response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)
print(response)

Технические детали

• LoRA rank: 16
• LoRA alpha: 32
• Target modules: q_proj, v_proj
• Training steps: 2000
• Learning rate: 2e-4
• Batch size: 8 (effective)
• Dataset: 1100 examples (300 identity + 800 mixed)

Ограничения

• Модель может генерировать неточную информацию
• Требует значительных вычислительных ресурсов
• Не рекомендуется для критически важных применений без дополнительной проверки

Контакты

• Создатель: MagistrTheOne
• Место: Краснодар, Россия
• Год: 2025