add_special_tokens (bool, opcional, valor predeterminado True): Indica si se deben o no añadir tokens especiales al codificar las secuencias. Esto utilizará la función subyacente PretrainedTokenizerBase.build_inputs_with_special_tokens, que define qué tokens se añaden automáticamente a los ids de entrada. Esto es útil si se desea añadir tokens bos o eos automáticamente. padding (bool, str o PaddingStrategy, opcional, valor predeterminado False): Activa y controla el relleno. Acepta los siguientes valores:

• True o 'longest': Rellena hasta la secuencia más larga del lote (o no aplica relleno si solo se proporciona una secuencia).

• 'max_length': Rellena hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento.

• False o 'do_not_pad' (predeterminado): Sin relleno (es decir, puede generar un lote con secuencias de diferentes longitudes). truncation (bool, str o TruncationStrategy, opcional, predeterminado en False): Activa y controla la truncación. Acepta los siguientes valores:

• True o 'longest_first': Trunca hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto truncará token a token, eliminando un token de la secuencia más larga de la pareja si se proporciona una pareja de secuencias (o un lote de parejas).

• 'only_first': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la primera secuencia de un par si se proporciona un par de secuencias (o un lote de pares).

• 'only_second': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la segunda secuencia de un par si se proporciona un par de secuencias (o un lote de pares).

• False o 'do_not_truncate' (predeterminado): sin truncamiento (es decir, se puede generar un lote con longitudes de secuencia superiores al tamaño máximo de entrada admisible por el modelo). max_length (int, opcional): Controla la longitud máxima que debe utilizar uno de los parámetros de truncamiento/relleno.

Si se deja sin establecer o se establece en None, se utilizará la longitud máxima predefinida del modelo si uno de los parámetros de truncamiento/relleno requiere una longitud máxima. Si el modelo no tiene una longitud de entrada máxima específica (como XLNet), el truncamiento/relleno a una longitud máxima se desactivará. stride (int, opcional, valor predeterminado 0): Si se establece en un número junto con max_length, los tokens sobrantes devueltos cuando return_overflowing_tokens=True contendrán algunos tokens del final de la secuencia truncada devuelta para proporcionar cierta superposición entre las secuencias truncadas y las sobrantes. El valor de este argumento define el número de tokens superpuestos. is_split_into_words (bool, opcional, valor predeterminado False): Indica si la entrada ya está pre-tokenizada (p. ej., dividida en palabras). Si se establece en True, el tokenizador asume que la entrada ya está dividida en palabras (por ejemplo, dividiéndola por espacios en blanco) y la tokenizará. Esto es útil para NER o clasificación de tokens. pad_to_multiple_of (int, opcional): Si se establece, rellenará la secuencia hasta un múltiplo del valor proporcionado. Requiere que padding esté activado. Esto es especialmente útil para habilitar el uso de Tensor Cores en hardware de NVIDIA con capacidad de cálculo >= 7.5 (Volta). padding_side (str, opcional): El lado en el que el modelo debe tener relleno aplicado. Debe seleccionarse entre [‘right’, ‘left’]. El valor predeterminado se elige del atributo de clase con el mismo nombre. return_tensors (str o TensorType, opcional): Si se establece, devolverá tensores en lugar de una lista de enteros de python. Los valores aceptables son:

• 'pt': Devuelve objetos torch.Tensor de PyTorch.
• 'np': Devuelve objetos Numpy np.ndarray.

return_token_type_ids (bool, opcional): Si se deben devolver los IDs de tipo de token. Si se deja en el valor predeterminado, se devolverán los IDs de tipo de token según el valor predeterminado del tokenizador específico, definido por el atributo return_outputs.

¿Qué son los IDs de tipo de token? return_attention_mask (bool, opcional): Indica si se debe devolver la máscara de atención. Si se deja en el valor predeterminado, se devolverá la máscara de atención según el valor predeterminado del tokenizador específico, definido por el atributo return_outputs.

¿Qué son las máscaras de atención? return_overflowing_tokens (bool, opcional, valor predeterminado False): Indica si se deben devolver las secuencias de tokens que exceden el límite. Si se proporciona un par de secuencias de ids de entrada (o un lote de pares) con truncation_strategy = longest_first o True, se genera un error en lugar de devolver los tokens que exceden el límite. return_special_tokens_mask (bool, opcional, valor predeterminado False): Indica si se debe devolver la información de la máscara de tokens especiales. return_offsets_mapping (bool, opcional, valor predeterminado False): Indica si se debe devolver (char_start, char_end) para cada token.

Esto solo está disponible en los tokenizadores rápidos que heredan de PreTrainedTokenizerFast; si se utiliza el tokenizador de Python, este método lanzará NotImplementedError. return_length (bool, opcional, valor predeterminado False): Indica si se deben devolver las longitudes de las entradas codificadas. verbose (bool, opcional, valor predeterminado True): Indica si se debe imprimir más información y advertencias. **kwargs: se pasan al método self.tokenize()

Guarde solo el archivo de vocabulario de entidades. El archivo tokenizer.json se guarda mediante el TokenizersBackend padre.