Transformers documentation
Falcon3
Эта модель была добавлена в Hugging Face Transformers 17.12.2024.
Falcon3
Обзор
Falcon3 представляет собой естественное развитие предыдущих версий, с акцентом на расширение возможностей моделей в области науки, математики и программирования. В этом выпуске представлены пять базовых моделей: Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base и Falcon3-10B-Base. При разработке этих моделей мы внедрили несколько ключевых инноваций, направленных на повышение производительности моделей при снижении затрат на обучение:
Один этап предобучения: мы провели один крупномасштабный прогон предобучения для модели 7B, используя 2048 GPU-чипов H100 и 14 триллионов токенов, включающих веб-данные, код, STEM-материалы, а также отобранные высококачественные и многоязычные данные. Увеличение глубины для улучшения рассуждений: опираясь на недавние исследования влияния глубины модели, мы расширили модель 7B до модели с 10B параметров, дублируя избыточные слои и продолжив предобучение на 2 триллионах токенов высококачественных данных. В результате получилась Falcon3-10B-Base, которая демонстрирует наилучшие в классе результаты в задачах zero-shot и few-shot среди моделей с числом параметров менее 13B. Дистилляция знаний для создания лучших компактных моделей: чтобы предложить компактные и эффективные альтернативы, мы разработали Falcon3-1B-Base и Falcon3-3B-Base, используя методы отсечения (pruning) и дистилляции знаний, а также менее 100 гигабайт отобранных высококачественных данных, тем самым переопределив эффективность предобучения.