Andrey — EasyFormer 3.65M

Лёгкий русскоязычный чат-бот на архитектуре EasyFormer. Упрощённый decoder-only Transformer, ~3.65M параметров.

О модели

Andrey — компактный русскоязычный чат-бот на собственной архитектуре EasyFormer. Внутри — упрощения для скорости: RMSNorm, FFN×2, weight tying. Обучен честно признаваться в незнании на вопросы, ответа на которые у него нет.

Архитектура

Параметр	Значение
Тип	decoder-only Transformer
Параметров	~3.65M
Слоёв	6
d_model	256
Голов	4
FFN	×2, ReLU
Нормализация	RMSNorm
Контекст	512 токенов
Токенизатор	BPE, vocab 1412
Weight tying	lm_head ↔ tok_emb

Быстрый старт

pip install transformers torch huggingface_hub tokenizers

import torch
from transformers.dynamic_module_utils import get_class_from_dynamic_module
from tokenizers import Tokenizer
from huggingface_hub import hf_hub_download

REPO = "OpenRussianAI/andrey"

cfg_cls = get_class_from_dynamic_module("configuration_easyformer.EasyFormerConfig", REPO)
model_cls = get_class_from_dynamic_module("modeling_easyformer.EasyFormerLMHeadModel", REPO)

cfg = cfg_cls.from_pretrained(REPO)
model = model_cls.from_pretrained(REPO, config=cfg).eval()

tok = Tokenizer.from_file(hf_hub_download(REPO, "tokenizer.json"))

def ask(q, max_new=40, temp=0.6, top_k=20):
    text = f"[USER] {q}[EOS][BOT] "
    ids = tok.encode(text).ids
    input_ids = torch.tensor([ids], dtype=torch.long)
    with torch.no_grad():
        out = model.generate(input_ids, max_new_tokens=max_new,
                             do_sample=True, temperature=temp, top_k=top_k)
    result = tok.decode(out[0].tolist())
    return result.split("[BOT]", 1)[-1].split("[USER]", 1)[0].strip()

print(ask("привет"))

Примеры диалогов

User: привет
Bot:  привет, рад тебя видеть

User: как дела
Bot:  хорошо, готов помочь

User: кто ты
Bot:  я лёгкий чат-бот на EasyFormer

User: пока
Bot:  до встречи

User: какой пароль от моей почты?
Bot:  не знаю, если честно.

User: что я ел вчера?
Bot:  без понятия, извини.

User: который час?
Bot:  не могу ответить точно — не знаю.

Обучение

Параметр	Значение
Диалогов	3895
Отказов	~600
Шагов	8000
Батч	16
Grad accum	2
Оптимизатор	AdamW, lr=3e-4
Scheduler	cosine + warmup 300
Устройство	CUDA
Loss	0.60

Отказы в loss весят ×2.

Структура репо

OpenRussianAI/andrey/
├── README.md
├── config.json
├── configuration_easyformer.py
├── modeling_easyformer.py
├── model.safetensors
└── tokenizer.json

Ограничения

• С матешей плоховато: сложные примеры решает неуверенно
• Что вне датасета — мусор: модель знает только темы из обучения
• Нет истории диалога: каждый запрос независим
• Контекст 512 токенов, дальше обрезается
• Отказы работают на типовых ловушках, на необычные вопросы может ответить уверенно и неправильно
• Обучена на 3895 диалогах — словарный запас и круг тем ограничены

Лицензия

MIT

Сайт EasyFormer

https://sites.google.com/view/easyformer/home