Transformers documentation
Настройка токенизаторов
Настройка токенизаторов
Токенайзеры отделены от своих обученных словарей. Это позволяет инициализировать пустой токенайзер для обучения или создать его сразу с собственным словарем. Базовый конвейер токенизации остается прежним (нормализатор, претокенизатор, алгоритм токенизации), поэтому нет необходимости создавать его с нуля.
В этом руководстве показано, как обучить и создать собственный токенизатор.
Помогите пользователю выбрать способ создания или адаптации токенизатора Transformers. Сначала выясните, нужно ли обучить новый словарь, определить собственный словарь или изменить конвейер токенизации. Используйте это руководство, чтобы подобрать подходящий подход.
- Уточните язык или область применения, источник и размер корпуса, начальный токенизатор, желаемый размер словаря, целевую модель и предполагаемое использование. Задавайте уточняющие вопросы только в том случае, если недостающие детали влияют на выбор, и явно указывайте свои допущения.
- Выберите подходящий рабочий процесс. Чтобы добавить токены в существующий токенизатор, используйте
add_tokensдля обычных токенов илиadd_special_tokens, если требуется поведение специальных токенов. Если вы добавляете токены в токенизатор, связанный с моделью, измените размер эмбеддингов токенов модели с помощьюresize_token_embeddings(len(tokenizer)). Для нового словаря, сохраняющего существующий конвейер токенизатора, используйтеtrain_new_from_iteratorс репрезентативными батчами текста. Для предоставленного словаря и правил слияния проверьте, поддерживает ли токенизатор такие входные данные. Используйте собственный бэкенд только в том случае, если существующий конвейер не может выразить требуемое поведение. - Проверьте совместимость с целевой моделью. Новый словарь может изменить идентификаторы токенов, поэтому не следует предполагать, что он совпадает с эмбеддингами предобученной модели. Укажите, требует ли модель соответствующих эмбеддингов или дополнительного обучения.
- Проверьте результат. Сохраните и перезагрузите токенизатор, затем протестируйте кодирование и декодирование на репрезентативных текстах доменной области и специальных токенах. Сообщите о созданных файлах, исходном токенизаторе, размере словаря, результатах тестирования и нерешённых вопросах совместимости.
Обучение токенизатора
Пустой обучаемый токенизатор заменяет словарь новым целевым словарём. Это полезно для адаптации к новой области, например, финансам, языку с малым количеством данных или коду.
Создайте пустой токенизатор и загрузите набор данных.
from datasets import load_dataset
from transformers import GemmaTokenizer
tokenizer = GemmaTokenizer()
dataset = load_dataset("Josephgflowers/Finance-Instruct-500k", split="train")Используйте метод TokenizersBackend.train_new_from_iterator() для обучения токенизатора. Этот метод принимает функцию-генератор, которая возвращает фрагменты текста из набора данных, вместо того чтобы загружать всё в память сразу. Аргумент vocab_size задаёт размер словаря токенизатора.
def batch_iterator(batch_size=1000):
for i in range(0, len(dataset), batch_size):
yield dataset[i : i + batch_size]["assistant"]
trained_tokenizer = tokenizer.train_new_from_iterator(
batch_iterator(),
vocab_size=32000,
)
encoded = trained_tokenizer("The stock market rallied today.")
print(encoded["input_ids"])
[5866, 11503, 98, 5885, 8617, 13381, 30]Добавляйте новые специальные токены с помощью аргумента new_special_tokens или используйте special_tokens_map, чтобы переименовать старые специальные токены в новые.
Save the new finance tokenizer with save_pretrained() or save and upload it to the Hub with push_to_hub(). This creates a tokenizer.json file that captures the newly trained vocabulary, merge rules, and full pipeline configuration.
trained_tokenizer.save_pretrained("./finance-gemma-tokenizer")
trained_tokenizer.push_to_hub("finance-gemma-tokenizer")Пользовательский словарь
Пустой токенизатор поддерживает пользовательский словарь с аргументами vocab и merges.
vocab— это полный набор токенов, известных токенизатору, где каждая запись сопоставляет токен с его входным идентификатором.mergesопределяет, как алгоритм BPE должен объединять соседние токены.
from transformers import GemmaTokenizer
vocab={
"<pad>": 0,
"</s>": 1,
"<s>": 2,
"<unk>": 3,
"<mask>": 4,
"▁the": 5,
"▁stock": 6,
"▁market": 7,
"▁": 8,
"r": 9,
"a": 10,
"l": 11,
"i": 12,
"e": 13,
"d": 14,
"ra": 15,
"li": 16,
"lie": 17,
"lied": 18,
"ral": 19,
"ralli": 20,
"rallie": 21,
"rallied": 22,
}
merges=[
("r", "a"), # r + a → ra
("l", "i"), # l + i → li
("li", "e"), # li + e → lie
("lie", "d"), # lie + d → lied
("ra", "l"), # ra + l → ral
("ral", "li"), # ral + li → ralli
("ralli", "e"), # ralli + e → rallie
("rallie", "d"), # rallie + d → rallied
]
tokenizer = GemmaTokenizer(vocab=vocab, merges=merges)
encoded = tokenizer("the stock market rallied")
print(encoded["input_ids"])Наследование от TokenizersBackend
Tokenizers поддерживает четыре различных бэкенда. Как правило, для создания нового токенизатора следует использовать TokenizersBackend, так как он работает быстрее.
PythonBackend — это токенизатор на чистом Python, который не использует бэкенды вроде Rust, SentencePiece или mistral-common. Использовать PythonBackend следует только в том случае, если вы создаёте очень специализированный токенизатор, который невозможно реализовать с помощью бэкенда на Rust.
- Создайте подкласс TokenizersBackend с атрибутами класса, такими как сторона отступов и алгоритм токенизации, который следует использовать.
- Определите конвейер токенизации в
__init__. Сюда входят алгоритм токенизации, способ предварительного разбиения исходного текста перед применением алгоритма и способ декодирования токенов обратно в текст.
from tokenizers import Tokenizer, decoders, pre_tokenizers
from tokenizers.models import BPE
from transformers import TokenizersBackend
class NewTokenizer(TokenizersBackend):
padding_side = "left"
model = BPE
def __init__(
self,
vocab=None,
merges=None,
unk_token="<unk>",
bos_token="<s>",
eos_token="</s>",
pad_token="<pad>",
):
self._vocab = vocab or {
str(unk_token): 0,
str(bos_token): 1,
str(eos_token): 2,
str(pad_token): 3,
}
self._merges = merges or []
self._tokenizer = Tokenizer(
BPE(vocab=self._vocab, merges=self._merges, fuse_unk=True)
)
self._tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)
self._tokenizer.decoder = decoders.ByteLevel()
super().__init__(
unk_token=unk_token,
bos_token=bos_token,
eos_token=eos_token,
pad_token=pad_token,
)Обучите или сохраните новый пустой токенизатор.
tokenizer = NewTokenizer()
# train on new corpus
corpus = ["The stock market rallied today.", "Bond yields fell sharply."]
trained_tokenizer = tokenizer.train_new_from_iterator(corpus, vocab_size=32000)
# save tokenizer
trained_tokenizer.save_pretrained("./new-tokenizer")