Squeal-Studio/drakon_28m-instruct

drakon_28m-instruct is an instruction-tuned version of drakon_28m-base, a compact ~28M parameter Russian language model. It uses a hybrid architecture combining Depthwise Causal Conv, MinGRU, and Full Causal Attention with RoPE. Every 3rd block is an attention block.

Research and Experimental Model. Given its size, expect weak answers and frequent mistakes.

Model Description

• Architecture: Drakon, same as the base model
• Parameters: ~28.5M
• Base model: Squeal-Studio/drakon_28m-base
• Tokenizer: Custom BPE, vocab_size = 24,001
• Context length: 1024 tokens

Training Details

• Dataset: Vikhrmodels/GrandMaster-PRO-MAX, 59,293 train / 500 eval examples
• Sequence length: 1024 tokens
• Epochs: 3
• Batch size: 8 per device, gradient accumulation steps 8, effective batch size 64
• Learning rate: 2e-4, cosine schedule to 2e-5, warmup 3%
• Weight decay: 0.01
• Max grad norm: 1.0
• Steps: 2,778
• Precision: fp16 mixed precision
• Seed: 42

Chat Format

Вопрос:
{prompt}

Ответ:
{response}<eos>

Evaluation

Step	Eval Loss	Perplexity
500	2.4505	11.59
1,000	2.3838	10.85
1,500	2.3387	10.37
2,000	2.3131	10.11
2,500	2.2994	9.97
2,778	2.2968	9.94

Training Curve

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "Squeal-Studio/drakon_28m-instruct"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True).eval().cuda()

prompt = "Вопрос:\nОбъясни, что такое фотосинтез.\n\nОтвет:\n"
inputs = tok(prompt, return_tensors="pt", add_special_tokens=False).to("cuda")
inputs.pop("token_type_ids", None)

out = model.generate(
    **inputs,
    max_new_tokens=200,
    do_sample=True,
    temperature=0.7,
    top_k=50,
    repetition_penalty=1.1,
    eos_token_id=tok.eos_token_id,
)
print(tok.decode(out[0], skip_special_tokens=True))

Generation Examples

Prompt: Напиши поздравление с днём рождения.

Конечно, вот пример поздравления с днем рождения на русском языке:

---

Уважаемый(ая) [Имя получателя],

С теплым и искренним пожеланием,
Ваш день рождения – это шанс встретить вас в мире чудес!

Prompt: Придумай название для кофейни.

Конечно, вот несколько вариантов названий для кофейни:

1. **"Кофея"** - это название, которое может быть использовано в качестве основы для создания уникального образа или истории.
2. **"Серебряный чай"** - название подчеркивает красоту и свежесть дня, когда небо усыпается яркими цветами.
3. **"Погруженный чай"** - название, которое часто ассоциируется с волшебством природы и красотой природы.
4. **"Звездные чаи"** - название, которое также используется в кулинарии и литературе.
5. **"Шоколадный сад"** - название, отражающее дух и атмосферу праздника.
6. **"Бобовые"** - название, которое создает образ жизни и гармонии, а также символизирует начало нового года.
7. **"Секрет времени"** - названия, которые могут вдохновить на создание чего-то особенного и значимого.

Prompt: Как улучшить настроение?

**Чтобы улучшить настроение:**

1. **Создайте ощущение спокойствия.** Это может быть улучшение настроения, когда вы чувствуете себя более комфортно и расслабляться в течение дня.
2. **Используйте технику "солнцезащитного крема".** Если у вас есть достаточно времени на отдых или другие занятия спортом, это поможет вам чувствовать себя лучше.
3. **Подавайте себе несколько секунд отдыха.** Это помогает снизить уровень стресса после тренировки.
4. **Установите регулярные физические упражнения.** Например, упражнения с растяжкой могут помочь уменьшить стресс.
5. **Правильное питание.** Избегайте переедания из-за необходимости перекуса.
6. **Ограничьте употребление алкоголя.** Некоторые люди употребляют алкоголь вместо напитков, так как они часто употребляются без употребления алкоголя.
7. **Избавляйте от вредных привычек.** В некоторых случаях можно использовать одноразовые продукты или напитки для снижения уровня сахара.
8. **Будьте внимательны к своему телу.** Отдых способствует лучшему самочувствию и улучшению настроения.
9. **Включите в свой ежедневный распорядок дня режим сна.** Употребление кофеина может способствовать повышению общего состояния здоровья.
10. **Обратитесь за профессиональной поддержкой.** Если у вас не получается справляться со стрессом, это помогает найти подходящего специалиста.

**Важно помнить:**

- Стремитесь к тому, чтобы ваше тело было здоровым и не отвлекало внимание от повседневной жизни.
- Не бойтесь перегружать себя физическими нагрузками и поддерживать хорошее качество сна.
- Будьте готовы к новым вызовам и адаптируйте свои планы по здоровью.

Prompt: Расскажи короткую сказку про лису.

**Сказка о Лисе и её приключениях:**

Лиса — это волшебный персонаж, который отправляется в путешествие по лесу. Однажды она попадает на лес и обнаруживает странную птицу, которая может помочь ей добраться до леса или даже найти свою собственную добычу. В этой истории Лисица встречает загадочного героя, который случайно оказывается под угрозой исчезновения благодаря своему уникальному приключению.

Однажды Лисица находит таинственную птицу, которая становится его спутником. Она решает отправиться на поиски, но не понимает, что он делает. И вот однажды Лисица узнает, что пришло время для поиска и помощи. Он решает исследовать окрестности, чтобы узнать больше о мире вокруг себя.

Или вместе они решают помочь ему с помощью своего питомца. Но Лисица начинает искать следы своей добычи, чтобы отыскать новые места и возможности для выживания. После этого Лисица снова находит свой путь к новым вершинам мира.

Наконец, Лисица возвращается домой. Её жизнь заканчивается тем, как она собирает огромные сокровища, которые могут быть использованы для спасения.

Scope & Limitations

• The architecture is still raw and prototype-level
• Designed for experiments and educational purposes
• Context length of 1024 tokens limits long-range coherence
• Answers are often wrong or nonsensical
• Not intended for production use

License

Apache 2.0

Acknowledgements

Trained on GrandMaster-PRO-MAX by Vikhrmodels, Apache 2.0.