Instructions to use IIIaHTu/komaru_embeddings with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- sentence-transformers
How to use IIIaHTu/komaru_embeddings with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("IIIaHTu/komaru_embeddings") sentences = [ "Это счастливый человек", "Это счастливая собака", "Это очень счастливый человек", "Сегодня солнечный день" ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [4, 4] - Notebooks
- Google Colab
- Kaggle
Komaru Embeddings
Компактная модель русскоязычных текстовых эмбеддингов: 768 измерений, до 512 токенов. Использует усреднение по токенам с маской и L2-нормализацию. Подходит для семантического поиска, классификации и кластеризации.
Использование
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("IIIaHTu/komaru_embeddings")
query = model.encode_query(["Как настроить резервное копирование?"])
docs = model.encode_document([
"Инструкция по настройке резервного копирования.",
"Прогноз погоды на выходные.",
])
print(model.similarity(query, docs))
Для других задач доступны именованные промпты. Например, model.encode(texts, prompt_name="categorize_sentiment") для анализа тональности. Не добавляйте префикс вручную, если используете именованный промпт.
Лицензия
Вклад Komaru распространяется под MIT. Для унаследованных материалов сохраняются применимые условия и уведомления исходных моделей. См. NOTICE и Apache 2.0.
Обучение
Инициализация: LaBSE-ru-turbo. Учитель эмбеддингов: FRIDA. После дистилляции на веб-текстах, Википедии, новостях, отзывах и текстовых парах модель дообучалась на размеченных данных, включая обучающие сплиты задач ruMTEB. Для части классификационных задач также использовалась валидация, когда оценка проводится на test. Применялась фильтрация совпадений с доступными оценочными текстами.
Источники данных
Ниже указаны исходные репозитории. Использовались отобранные и отфильтрованные примеры, а не полные копии всех наборов.
- Веб, Википедия и новости. Фрагменты Википедии, русский FineWeb-2, английский FineWeb, новостные тексты и пары «заголовок/аннотация → статья». wikipedia, fineweb-2, fineweb, lenta-ru, gazeta, lenta.ru_2-extended, xlsum-russian-bbc, russian-news-telegram-dataset, cultura_ru_edu.
- Отзывы и обсуждения. Тексты отзывов, постов и комментариев. wb-feedbacks, pikabu.
- Вопросы, ответы и поиск. Пары «вопрос → ответ/фрагмент» и отдельные русские запросы mMARCO. Для MIRACL и Mr.TyDi использовались русские train-запросы и релевантные им тексты; MIRACL Corpus служил источником фрагментов. sberquad, mmarco, wikiomnia, yandex-q, habr_qna, ru_stackoverflow, ru-QnA-333K, miracl, miracl-corpus, mr-tydi.
- Парафразы, NLI и эмоции. Дополнительные текстовые пары и примеры для дистилляции. ru-paraphrase-NMT-Leipzig, nli-rus-translated-v2021, ru_paraphraser, ru-HNP, ru-WANLI, ru_go_emotions.
- Доменные и размеченные данные ruMTEB. Train использовался для CEDR, Sensitive Topics, RuSciBench, RuSTSBenchmark и TERRa. Для Georeview, Headline, Inappropriateness, RuReviews и Kinopoisk использовались train и validation; эти задачи оцениваются на test. cedr-classification, sensitive-topics-classification, ru_sci_bench_mteb, ru-scibench-grnti-classification, ru-scibench-oecd-classification, ru-stsbenchmark-sts, terra-pairclassification, georeview, headline, inappropriateness, ru_reviews, kinopoisk-sentiment-classification.
Оценочные тексты, загруженные только для фильтрации пересечений, в список обучения не включены.
Оценка
Локальное сравнение на 23 задачах MTEB(rus, v1.1), MTEB 2.10.0. Модели использовали свои промпты. FRIDA показала более высокий результат по поиску; разница по общему среднему составляет около 0.10 пункта.
| Metric | Komaru Embeddings | sergeyzh/LaBSE-ru-turbo | sergeyzh/BERTA | ai-forever/FRIDA |
|---|---|---|---|---|
| Mean (Task) | 70.92 | 59.10 | 69.02 | 71.03 |
| Mean (TaskType) | 69.08 | 58.06 | 67.31 | 68.95 |
| Classification | 74.29 | 59.17 | 71.22 | 73.71 |
| Clustering | 66.88 | 53.51 | 64.84 | 67.30 |
| MultilabelClassification | 54.65 | 36.23 | 53.05 | 52.26 |
| PairClassification | 70.16 | 57.81 | 65.74 | 66.37 |
| Reranking | 70.27 | 63.06 | 68.90 | 71.53 |
| Retrieval | 73.26 | 64.06 | 73.73 | 77.12 |
| STS | 74.07 | 72.54 | 73.72 | 74.34 |
Per-task results
| Task | Metric | Komaru Embeddings | sergeyzh/LaBSE-ru-turbo | sergeyzh/BERTA | ai-forever/FRIDA |
|---|---|---|---|---|---|
| GeoreviewClassification | accuracy | 61.79 | 46.04 | 54.84 | 57.71 |
| HeadlineClassification | accuracy | 90.58 | 69.98 | 89.02 | 89.02 |
| InappropriatenessClassification | accuracy | 84.17 | 61.39 | 74.78 | 78.33 |
| KinopoiskClassification | accuracy | 69.11 | 53.59 | 67.79 | 70.45 |
| MassiveIntentClassification | accuracy | 71.77 | 65.74 | 73.96 | 79.51 |
| MassiveScenarioClassification | accuracy | 79.17 | 70.92 | 84.55 | 88.75 |
| RuReviewsClassification | accuracy | 77.70 | 64.58 | 72.29 | 75.07 |
| RuSciBenchGRNTIClassification | accuracy | 74.19 | 56.67 | 68.96 | 69.91 |
| RuSciBenchOECDClassification | accuracy | 60.12 | 43.58 | 54.77 | 54.63 |
| GeoreviewClusteringP2P | v_measure | 72.54 | 63.94 | 74.27 | 78.24 |
| RuSciBenchGRNTIClusteringP2P | v_measure | 69.84 | 52.08 | 64.85 | 67.05 |
| RuSciBenchOECDClusteringP2P | v_measure | 58.28 | 44.50 | 55.39 | 56.61 |
| CEDRClassification | accuracy | 64.45 | 44.38 | 66.03 | 63.78 |
| SensitiveTopicsClassification | accuracy | 44.85 | 28.09 | 40.07 | 40.74 |
| TERRa | max_ap | 70.16 | 57.81 | 65.74 | 66.37 |
| MIRACLReranking | ndcg_at_10 | 65.13 | 57.45 | 63.19 | 65.98 |
| RuBQReranking | map_at_1000 | 75.41 | 68.68 | 74.61 | 77.08 |
| MIRACLRetrievalHardNegatives.v2 | ndcg_at_10 | 69.05 | 57.26 | 65.90 | 72.39 |
| RiaNewsRetrievalHardNegatives.v2 | ndcg_at_10 | 80.65 | 69.22 | 84.47 | 86.56 |
| RuBQRetrieval | ndcg_at_10 | 70.08 | 65.71 | 70.84 | 72.41 |
| RUParaPhraserSTS | cosine_spearman | 76.64 | 72.97 | 77.84 | 78.09 |
| STS22 | cosine_spearman | 62.42 | 62.89 | 61.08 | 63.52 |
| RuSTSBenchmarkSTS | cosine_spearman | 83.15 | 81.77 | 82.25 | 81.39 |
- Downloads last month
- 33