Hugging Face's logo

Datasets documentation

Способы загрузки

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Способы загрузки

Методы для получения списка и загрузки наборов данных:

Наборы данных

datasets.load_dataset

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

Параметры

  • path (str) — Путь или имя набора данных. Если path — это репозиторий набора данных на HF hub (полный список доступных наборов данных можно получить с помощью huggingface_hub.list_datasets) -> загрузить набор данных из поддерживаемых файлов в репозитории (csv, json, parquet и т. д.), например 'username/dataset_name', репозиторий набора данных на HF hub, содержащий файлы данных. Если path — это каталог в хранилище (Storage Bucket) на HF Hub (список ваших хранилищ можно получить с помощью huggingface_hub.list_buckets) -> загрузить набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.), например 'buckets/username/bucket_name/my_dataset'. Если path — это локальный каталог -> загрузить набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.), например './path/to/directory/with/my/csv/data'. Если path — это имя сборщика набора данных (dataset builder) и указаны data_files или data_dir (доступные сборщики: “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> загрузить набор данных из файлов в data_files или data_dir, например 'parquet'. Используйте путь в формате hf://, например 'hf://datasets/username/dataset_name', чтобы разрешить только удаленный доступ. Используйте абсолютный путь, чтобы разрешить только локальный доступ.

    • если path — это репозиторий датасета на HF hub (список всех доступных датасетов можно получить с помощью huggingface_hub.list_datasets) -> загрузить датасет из поддерживаемых файлов в репозитории (csv, json, parquet и т. д.) напр. 'username/dataset_name', репозиторий датасета на HF hub, содержащий файлы с данными.

    • если path — это каталог в хранилище (Storage Bucket) на HF Hub (список хранилищ можно получить с помощью huggingface_hub.list_buckets) -> загрузить набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.) напр. 'buckets/username/bucket_name/my_dataset'.

    • если path — это локальный каталог -> загрузить набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.) напр. './path/to/directory/with/my/csv/data'.

    • если path — это имя сборщика датасета, а data_files или data_dir указаны (доступные сборщики: “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> загрузить датасет из файлов в data_files или data_dir напр. 'parquet'.

    Используйте путь hf:// вида 'hf://datasets/username/dataset_name', чтобы разрешить только удалённый доступ. Используйте абсолютный путь, чтобы разрешить только локальный доступ.

  • name (str, необязательный) — Определяет имя конфигурации набора данных.
  • data_dir (str, необязательный) — Определяет data_dir конфигурации набора данных. Если указано для универсальных сборщиков (csv, text и т. д.) или наборов данных Hub, а data_files равно None, поведение эквивалентно передаче os.path.join(data_dir, **) в качестве data_files для ссылки на все файлы в каталоге.
  • data_files (str или Sequence или Mapping, необязательный) — Путь (или пути) к исходному файлу (или файлам) данных.
  • split (Split или str) — Какой раздел данных загрузить. Если None, возвращает dict со всеми разделами (обычно datasets.Split.TRAIN и datasets.Split.TEST). Если указано значение, возвращает один Dataset. Разделы можно объединять и указывать так же, как в tensorflow-datasets.
  • cache_dir (str, необязательный) — Каталог для чтения и записи данных. По умолчанию "~/.cache/huggingface/datasets".
  • features (Features, необязательный) — Укажите тип признаков, который будет использоваться для этого набора данных.
  • download_config (DownloadConfig, необязательный) — Конкретные параметры конфигурации загрузки.
  • download_mode (DownloadMode или str, по умолчанию REUSE_DATASET_IF_EXISTS) — Режим загрузки/генерации.
  • verification_mode (VerificationMode или str, по умолчанию BASIC_CHECKS) — Режим проверки, определяющий, какие проверки выполнять для информации о загруженном/обработанном наборе данных (контрольные суммы/размер/разбивки/…).

    Добавлено в 2.9.1

  • keep_in_memory (bool, по умолчанию None) — Скопировать ли датасет в оперативную память. Если None, копирование в память не выполняется, если только явно не включено путём установки datasets.config.IN_MEMORY_MAX_SIZE в ненулевое значение. Подробнее в разделе улучшение производительности.
  • revision (Version или str, необязательный) — Версия набора данных для загрузки. Поскольку у наборов данных есть собственное git-хранилище на Datasets Hub, версия по умолчанию “main” соответствует их ветке “main”. Вы можете указать другую версию, отличную от “main” по умолчанию, используя SHA коммита или git-тег хранилища набора данных.
  • token (str или bool, необязательный) — Необязательная строка или логическое значение, используемое в качестве Bearer-токена для удалённых файлов на Datasets Hub. Если указано True или параметр не задан, токен будет получен из "~/.huggingface".
  • streaming (bool, по умолчанию False) — Если установлено значение True, файлы данных не загружаются. Вместо этого данные передаются потоково по мере итерации по набору данных. В этом случае возвращается IterableDataset или IterableDatasetDict .

    Обратите внимание, что потоковая загрузка работает для наборов данных, использующих форматы, поддерживающие итерацию, например txt, csv, jsonl. Файлы Json могут быть загружены полностью. Также поддерживается потоковая загрузка из удалённых файлов zip или gzip, но другие сжатые форматы, такие как rar и xz, пока не поддерживаются. Формат tgz не позволяет использовать потоковую загрузку.

  • num_proc (int, необязательный, по умолчанию None) — Количество процессов при загрузке и локальной генерации набора данных. По умолчанию многопоточность отключена.

    Добавлено в 2.7.0

  • storage_options (dict, необязательный, по умолчанию None) — Экспериментальный. Пары ключ/значение, передаваемые в файловую систему датасета, если она есть.

    Добавлено в 2.11.0

  • **config_kwargs (дополнительные именованные аргументы) — Именованные аргументы, передаваемые в BuilderConfig и используемые в DatasetBuilder.

Возвращает

Dataset или DatasetDict

  • если split не равно None: запрошенный набор данных,
  • если split равно None, возвращается DatasetDict с каждым сплитом.

или IterableDataset или IterableDatasetDict: если streaming=True

  • если split не равен None, запрашивается набор данных
  • если split равно None, возвращается ~datasets.streaming.IterableDatasetDict с каждым сплитом.

Загрузите набор данных из Hugging Face Hub или локальный набор данных.

Список датасетов можно найти на Hub или с помощью huggingface_hub.list_datasets.

Набор данных — это каталог, содержащий файлы данных в универсальных форматах (JSON, CSV, Parquet и т. д.) и, возможно, в универсальной структуре (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder и т. д.)

Под капотом эта функция выполняет следующее:

  1. Загрузите конструктор набора данных:

    • Найдите наиболее распространённый формат данных в наборе данных и выберите соответствующий ему билдер (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder и т. д.).
    • Определите, какой файл попадает в какой раздел (например, train/test) на основе имён файлов и каталогов или на основе конфигурации YAML
    • Также можно вручную указать data_files и выбрать, какой конструктор набора данных использовать (например, “parquet”).

  2. Запустите конструктор набора данных:

    В общем случае:

    • Загрузите файлы данных из набора данных, если они ещё не доступны локально или не сохранены в кэше.

    • Обрабатывайте и кэшируйте набор данных в типизированных таблицах Arrow для кэширования.

      Arrow-таблицы — это таблицы произвольной длины с типизированными данными, которые могут хранить вложенные объекты и отображаться на универсальные типы numpy/pandas/python. Их можно напрямую читать с диска, загружать в оперативную память или даже передавать по сети в виде потока.

    В случае потоковой обработки:

    • Не скачивайте и не кэшируйте ничего. Вместо этого набор данных загружается лениво и будет передаваться потоком на лету при итерации по нему.

  3. Возвращает набор данных, построенный из запрошенных разбиений в split (по умолчанию: все).

Пример:

Загрузите набор данных из Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Загрузите набор данных из хранилища (Storage Bucket) на Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

Загрузите локальный набор данных:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

Загрузите IterableDataset:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

Загрузите набор данных изображений с помощью конструктора набора данных ImageFolder:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

datasets.load_from_disk

< >

( dataset_path: typing.Union[str, bytes, os.PathLike]keep_in_memory: typing.Optional[bool] = Nonestorage_options: typing.Optional[dict] = None ) → Dataset or DatasetDict

Параметры

  • dataset_path (path-like) — путь (например, "dataset/train") или удалённый URI (например, "s3://my-bucket/dataset/train") каталога Dataset или DatasetDict, из которого будет загружен датасет/словарь датасетов.
  • keep_in_memory (bool, по умолчанию None) — Скопировать ли датасет в оперативную память. Если None, копирование в память не выполняется, если только явно не включено путём установки datasets.config.IN_MEMORY_MAX_SIZE в ненулевое значение. Подробнее в разделе улучшение производительности.
  • storage_options (dict, необязательный) — Пары ключ/значение, передаваемые в файловую систему, если она используется.

    Добавлено в 2.9.0

Возвращает

Dataset или DatasetDict

  • Если dataset_path — это путь к каталогу набора данных: запрошенный набор данных.
  • Если dataset_path — это путь к каталогу словаря датасета, возвращается DatasetDict с каждым сплитом.

Загружает набор данных, ранее сохранённый с помощью save_to_disk() из каталога набора данных, или из файловой системы с использованием любой реализации fsspec.spec.AbstractFileSystem.

Пример:

>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')

datasets.load_dataset_builder

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs )

Параметры

  • path (str) — Путь или имя набора данных. Если path — это репозиторий набора данных на HF hub (полный список доступных наборов данных можно получить с помощью huggingface_hub.list_datasets) -> загрузите конструктор набора данных из поддерживаемых файлов в репозитории (csv, json, parquet и т. д.), например 'username/dataset_name', репозиторий набора данных на HF hub, содержащий файлы данных. Если path — это каталог в хранилище (Storage Bucket) на HF Hub (список ваших хранилищ можно получить с помощью huggingface_hub.list_buckets) -> загрузите набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.), например 'buckets/username/bucket_name/my_dataset'. Если path — это локальный каталог -> загрузите конструктор набора данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.), например './path/to/directory/with/my/csv/data'. Если path — это имя конструктора набора данных и указаны data_files или data_dir (доступные конструкторы: “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> загрузите конструктор набора данных из файлов в data_files или data_dir, например 'parquet'. Используйте путь в формате hf://, например 'hf://datasets/username/dataset_name', чтобы разрешить только удаленный доступ. Используйте абсолютный путь, чтобы разрешить только локальный доступ.

    • если path — это репозиторий датасета на HF hub (список всех доступных датасетов можно получить с помощью huggingface_hub.list_datasets) -> загрузить dataset builder из поддерживаемых файлов в репозитории (csv, json, parquet и т. д.) напр. 'username/dataset_name', репозиторий датасета на HF hub, содержащий файлы данных.

    • если path — это каталог в хранилище (Storage Bucket) на HF Hub (список хранилищ можно получить с помощью huggingface_hub.list_buckets) -> загрузить набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.) напр. 'buckets/username/bucket_name/my_dataset'.

    • если path — это локальный каталог -> загрузить конструктор набора данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.) напр. './path/to/directory/with/my/csv/data'.

    • если path — это имя сборщика датасета, а data_files или data_dir указаны (доступные сборщики: “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> загрузить сборщик датасета из файлов в data_files или data_dir напр. 'parquet'.

    Используйте путь hf:// вида 'hf://datasets/username/dataset_name', чтобы разрешить только удалённый доступ. Используйте абсолютный путь, чтобы разрешить только локальный доступ.

  • name (str, необязательный) — Определяет имя конфигурации набора данных.
  • data_dir (str, необязательный) — Определяет data_dir конфигурации набора данных. Если указано для универсальных сборщиков (csv, text и т. д.) или наборов данных Hub, а data_files равно None, поведение эквивалентно передаче os.path.join(data_dir, **) в качестве data_files для ссылки на все файлы в каталоге.
  • data_files (str или Sequence или Mapping, необязательный) — Путь (или пути) к исходному файлу (или файлам) данных.
  • cache_dir (str, необязательный) — Каталог для чтения и записи данных. По умолчанию "~/.cache/huggingface/datasets".
  • features (Features, необязательный) — Укажите тип признаков, который будет использоваться для этого набора данных.
  • download_config (DownloadConfig, необязательный) — Конкретные параметры конфигурации загрузки.
  • download_mode (DownloadMode или str, по умолчанию REUSE_DATASET_IF_EXISTS) — Режим загрузки/генерации.
  • revision (Version или str, необязательный) — Версия набора данных для загрузки. Поскольку у наборов данных есть собственное git-хранилище на Datasets Hub, версия по умолчанию “main” соответствует их ветке “main”. Вы можете указать другую версию, отличную от “main” по умолчанию, используя SHA коммита или git-тег хранилища набора данных.
  • token (str или bool, необязательный) — Необязательная строка или логическое значение, используемое в качестве Bearer-токена для удалённых файлов на Datasets Hub. Если указано True или параметр не задан, токен будет получен из "~/.huggingface".
  • storage_options (dict, необязательный, по умолчанию None) — Экспериментальный. Пары ключ/значение, передаваемые в файловую систему датасета, если она есть.

    Добавлено в 2.11.0

  • **config_kwargs (дополнительные именованные аргументы) — Именованные аргументы, передаваемые в BuilderConfig и используемые в DatasetBuilder.

Загрузите конструктор набора данных, который можно использовать для:

  • Просмотр общей информации, необходимой для создания набора данных (каталог кэша, конфигурация, сведения о наборе данных, признаки, файлы данных и т. д.)
  • Скачайте и подготовьте набор данных в виде файлов Arrow в кэше
  • Получение потокового набора данных без загрузки или кэширования

Список датасетов можно найти на Hub или с помощью huggingface_hub.list_datasets.

Набор данных — это каталог, содержащий файлы данных в универсальных форматах (JSON, CSV, Parquet и т. д.) и, возможно, в универсальной структуре (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder и т. д.)

Пример:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

datasets.get_dataset_config_names

< >

( path: strrevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonedata_files: typing.Union[str, list, dict, NoneType] = None**download_kwargs )

Параметры

  • path (str) — путь к репозиторию набора данных. Может быть:
    • локальный путь к каталогу набора данных, содержащему файлы данных, например, './dataset/squad'
    • идентификатор набора данных на Hugging Face Hub (полный список доступных наборов данных и их идентификаторов можно получить с помощью huggingface_hub.list_datasets), например, 'rajpurkar/squad', 'nyu-mll/glue' или 'openai/webtext'
  • revision (Union[str, datasets.Version], необязательный) — Если указан, модуль набора данных будет загружен из репозитория datasets в этой версии. По умолчанию:
    • он устанавливается в локальную версию библиотеки.
    • он также попытается загрузить его из основной ветки, если он недоступен в локальной версии библиотеки. Указание версии, отличной от вашей локальной версии библиотеки, может привести к проблемам совместимости.
  • download_config (DownloadConfig, необязательный) — Конкретные параметры конфигурации загрузки.
  • download_mode (DownloadMode или str, по умолчанию REUSE_DATASET_IF_EXISTS) — Режим загрузки/генерации.
  • data_files (Union[Dict, List, str], необязательный) — Определяет data_files для конфигурации набора данных.
  • **download_kwargs (дополнительные именованные аргументы) — Необязательные атрибуты для DownloadConfig, которые переопределяют атрибуты в download_config, если они переданы, например, token.

Получите список доступных имён конфигураций для конкретного набора данных.

Пример:

>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']

datasets.get_dataset_infos

< >

( path: strdata_files: typing.Union[str, list, dict, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Параметры

  • path (str) — путь к репозиторию набора данных. Может быть:
    • локальный путь к каталогу набора данных, содержащему файлы данных, например, './dataset/squad'
    • идентификатор набора данных на Hugging Face Hub (полный список доступных наборов данных и их идентификаторов можно получить с помощью huggingface_hub.list_datasets), например, 'rajpurkar/squad', 'nyu-mll/glue' или 'openai/webtext'
  • revision (Union[str, datasets.Version], необязательный) — Если указан, модуль набора данных будет загружен из репозитория datasets в этой версии. По умолчанию:
    • он устанавливается в локальную версию библиотеки.
    • он также попытается загрузить его из основной ветки, если он недоступен в локальной версии библиотеки. Указание версии, отличной от вашей локальной версии библиотеки, может привести к проблемам совместимости.
  • download_config (DownloadConfig, необязательный) — Конкретные параметры конфигурации загрузки.
  • download_mode (DownloadMode или str, по умолчанию REUSE_DATASET_IF_EXISTS) — Режим загрузки/генерации.
  • data_files (Union[Dict, List, str], необязательный) — Определяет data_files для конфигурации набора данных.
  • token (str или bool, необязательный) — Необязательная строка или логическое значение, используемое в качестве Bearer-токена для удалённых файлов на Datasets Hub. Если указано True или параметр не задан, токен будет получен из "~/.huggingface".
  • **config_kwargs (дополнительные именованные аргументы) — Необязательные атрибуты для класса-сборщика, которые переопределяют существующие атрибуты, если переданы.

Получает метаданные о наборе данных, возвращаемые в виде словаря, сопоставляющего имя конфигурации с DatasetInfoDict.

Пример:

>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}

datasets.get_dataset_split_names

< >

( path: strconfig_name: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Параметры

  • path (str) — путь к репозиторию набора данных. Может быть:
    • локальный путь к каталогу набора данных, содержащему файлы данных, например, './dataset/squad'
    • идентификатор набора данных на Hugging Face Hub (полный список доступных наборов данных и их идентификаторов можно получить с помощью huggingface_hub.list_datasets), например, 'rajpurkar/squad', 'nyu-mll/glue' или 'openai/webtext'
  • config_name (str, необязательный) — Определяет имя конфигурации набора данных.
  • data_files (str или Sequence или Mapping, необязательный) — Путь (или пути) к исходному файлу (или файлам) данных.
  • download_config (DownloadConfig, необязательный) — Конкретные параметры конфигурации загрузки.
  • download_mode (DownloadMode или str, по умолчанию REUSE_DATASET_IF_EXISTS) — Режим загрузки/генерации.
  • revision (Version или str, необязательный) — Версия набора данных для загрузки. Поскольку у наборов данных есть собственное git-хранилище на Datasets Hub, версия по умолчанию “main” соответствует их ветке “main”. Вы можете указать другую версию, отличную от “main” по умолчанию, используя SHA коммита или git-тег хранилища набора данных.
  • token (str или bool, необязательный) — Необязательная строка или логическое значение, используемое в качестве Bearer-токена для удалённых файлов на Datasets Hub. Если указано True или параметр не задан, токен будет получен из "~/.huggingface".
  • **config_kwargs (дополнительные именованные аргументы) — Необязательные атрибуты для класса-сборщика, которые переопределяют существующие атрибуты, если переданы.

Получите список доступных разбиений для конкретного конфигурационного файла и набора данных.

Пример:

>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']

Из файлов

Конфигурации, используемые для загрузки файлов данных. Они применяются при загрузке локальных файлов или репозитория датасета:

  • локальные файлы: load_dataset("parquet", data_dir="path/to/data/dir")
  • репозиторий датасета: load_dataset("allenai/c4")

Вы можете передавать аргументы в load_dataset, чтобы настроить загрузку данных. Например, вы можете указать параметр sep, чтобы определить CsvConfig, используемый для загрузки данных:

load_dataset("csv", data_dir="path/to/data/dir", sep="\t")

Текст

класс datasets.packaged_modules.text.TextConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonechunksize: int = 10485760keep_linebreaks: bool = Falsesample_by: typing.Literal['line', 'paragraph', 'document'] = 'line' )

Параметры

  • features — (Features, необязательный): Привести данные к features.
  • encoding — (str, по умолчанию “utf-8”): Кодировка для декодирования файла.
  • encoding_errors — (str, необязательный): Аргумент, определяющий поведение при ошибке кодирования. Совпадает с аргументом error в open().
  • chunksize — (Features, необязательный, по умолчанию “10MB”): Размер блока для чтения данных.
  • keep_linebreaks — (bool, по умолчанию False): Сохранять ли переносы строк.
  • sample_by (Literal["line", "paragraph", "document"], по умолчанию “line”) — Определяет, загружать ли данные построчно, по абзацам или по документам. По умолчанию одна строка в наборе данных соответствует одной строке текста.

BuilderConfig для текстовых файлов.

класс datasets.packaged_modules.text.Text

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

CSV

класс datasets.packaged_modules.csv.CsvConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesep: str = ','delimiter: typing.Optional[str] = Noneheader: typing.Union[int, list[int], str, NoneType] = 'infer'names: typing.Optional[list[str]] = Nonecolumn_names: typing.Optional[list[str]] = Noneindex_col: typing.Union[int, str, list[int], list[str], NoneType] = Noneusecols: typing.Union[list[int], list[str], NoneType] = Noneprefix: typing.Optional[str] = Nonemangle_dupe_cols: bool = Trueengine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = Noneconverters: dict = Nonetrue_values: typing.Optional[list] = Nonefalse_values: typing.Optional[list] = Noneskipinitialspace: bool = Falseskiprows: typing.Union[int, list[int], NoneType] = Nonenrows: typing.Optional[int] = Nonena_values: typing.Union[str, list[str], NoneType] = Nonekeep_default_na: bool = Truena_filter: bool = Trueverbose: bool = Falseskip_blank_lines: bool = Truethousands: typing.Optional[str] = Nonedecimal: str = '.'lineterminator: typing.Optional[str] = Nonequotechar: str = '"'quoting: int = 0escapechar: typing.Optional[str] = Nonecomment: typing.Optional[str] = Noneencoding: typing.Optional[str] = Nonedialect: typing.Optional[str] = Noneerror_bad_lines: bool = Truewarn_bad_lines: bool = Trueskipfooter: int = 0doublequote: bool = Truememory_map: bool = Falsefloat_precision: typing.Optional[str] = Nonechunksize: int = 10000features: typing.Optional[datasets.features.features.Features] = Noneencoding_errors: typing.Optional[str] = 'strict'on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error'date_format: typing.Optional[str] = None )

BuilderConfig для CSV.

класс datasets.packaged_modules.csv.Csv

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

JSON

класс datasets.packaged_modules.json.JsonConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonefield: typing.Optional[str] = Noneuse_threads: bool = Trueblock_size: typing.Optional[int] = Nonechunksize: int = 10485760newlines_in_values: typing.Optional[bool] = Noneon_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json'parse_agent_traces: bool = True )

BuilderConfig для JSON.

класс datasets.Json

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

XML

класс datasets.packaged_modules.xml.XmlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = None )

BuilderConfig для файлов xml.

класс datasets.packaged_modules.xml.Xml

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parquet

класс datasets.packaged_modules.parquet.ParquetConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonefragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Параметры

  • batch_size (int, необязательный) — Размер RecordBatches, по которым выполняется итерация. По умолчанию используется размер группы строк (определяется первой группой строк).
  • columns (list[str], необязательный) — Список столбцов для загрузки; остальные игнорируются. По умолчанию загружаются все столбцы.
  • features — (Features, необязательный): Привести данные к features.
  • filters (Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]], необязательный) — Возвращает только строки, соответствующие фильтру. Если возможно, предикат будет передан вниз, чтобы использовать информацию о партициях или внутренние метаданные, найденные в источнике данных, например, статистику Parquet. В противном случае фильтрует загруженные RecordBatches перед их возвратом.
  • fragment_scan_options (pyarrow.dataset.ParquetFragmentScanOptions, необязательный) — Параметры сканирования, специфичные для фрагментов Parquet. Особенно полезно для настройки буферизации и кэширования.

    Добавлено в 4.2.0

  • on_bad_files (Literal["error", "warn", "skip"], необязательный, по умолчанию — «error») — Указывает, что делать при обнаружении повреждённого файла (файла, который невозможно прочитать). Допустимые значения:
    • ‘error’, при обнаружении повреждённого файла вызывать исключение.
    • ‘warn’, выводить предупреждение при обнаружении повреждённого файла и пропускать его.
    • ‘skip’, пропускать повреждённые файлы без вывода ошибок или предупреждений при их обнаружении.

    Добавлено в 4.2.0

BuilderConfig для Parquet.

Пример:

Загрузка подмножества столбцов:

>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])

Потоковая обработка данных и эффективная фильтрация данных, при необходимости с пропуском целых файлов или групп строк:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)

Увеличьте минимальный размер запроса при потоковой передаче с 32MiB (по умолчанию) до 128MiB и включите предварительную загрузку:

>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)

класс datasets.packaged_modules.parquet.Parquet

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Arrow

класс datasets.packaged_modules.arrow.ArrowConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig для Arrow.

класс datasets.packaged_modules.arrow.Arrow

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vortex

класс datasets.packaged_modules.vortex.VortexConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Параметры

  • batch_size (int, необязательный) — Размер RecordBatches, по которым выполняется итерация. Значение по умолчанию определяется сканером Vortex.
  • columns (list[str], необязательный) — Список столбцов для загрузки; остальные игнорируются. По умолчанию загружаются все столбцы.
  • features — (Features, необязательный): Привести данные к features.
  • filters (Union[vortex.expr.Expr, list[tuple], list[list[tuple]]], необязательный) — Возвращает только строки, соответствующие фильтру. Предикат передается в скан Vortex, поэтому читаются только соответствующие строки. Фильтры, заданные в виде списка кортежей (ДНФ, как принимает загрузчик Parquet), преобразуются в выражение Vortex. NULL-значения следуют семантике SQL: null не удовлетворяет ни одному сравнению, поэтому строка, в которой отфильтрованный столбец содержит null, никогда не возвращается. Обратите внимание, что not in поэтому исключает null, тогда как загрузчик Parquet сохраняет их, поскольку он строит ~field.isin(values), а null не входит в множество.
  • on_bad_files (Literal["error", "warn", "skip"], необязательный, по умолчанию — «error») — Указывает, что делать при обнаружении повреждённого файла (файла, который невозможно прочитать). Допустимые значения:
    • ‘error’, при обнаружении повреждённого файла вызывать исключение.
    • ‘warn’, выводить предупреждение при обнаружении повреждённого файла и пропускать его.
    • ‘skip’, пропускать повреждённые файлы без вывода ошибок или предупреждений при их обнаружении.

BuilderConfig для Vortex.

Пример:

Загрузка подмножества столбцов:

>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])

Потоковая обработка данных и эффективная фильтрация данных с пропуском целых файлов или блоков, когда это возможно:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)

класс datasets.packaged_modules.vortex.Vortex

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

SQL

класс datasets.packaged_modules.sql.SqlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = Nonecon: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = Noneindex_col: typing.Union[str, list[str], NoneType] = Nonecoerce_float: bool = Trueparams: typing.Union[list, tuple, dict, NoneType] = Noneparse_dates: typing.Union[list, dict, NoneType] = Nonecolumns: typing.Optional[list[str]] = Nonechunksize: typing.Optional[int] = 10000features: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig для SQL.

класс datasets.packaged_modules.sql.Sql

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Изображения

класс datasets.packaged_modules.imagefolder.ImageFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig для ImageFolder.

класс datasets.packaged_modules.imagefolder.ImageFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Аудио

класс datasets.packaged_modules.audiofolder.AudioFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

Конфигурация Builder для AudioFolder.

класс datasets.packaged_modules.audiofolder.AudioFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Видео

класс datasets.packaged_modules.videofolder.VideoFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig для ImageFolder.

класс datasets.packaged_modules.videofolder.VideoFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HDF5

класс datasets.packaged_modules.hdf5.HDF5Config

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig для HDF5.

класс datasets.packaged_modules.hdf5.HDF5

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

ArrowBasedBuilder, который преобразует файлы HDF5 в таблицы Arrow с использованием типов расширений HF.

TsFile

класс datasets.packaged_modules.tsfile.TsFileConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonetable_name: Optional[str] = Nonecolumns: Optional[list[str]] = Nonestart_time: Optional[Any] = Noneend_time: Optional[Any] = Noneinput_batch_size: int = 65536output_batch_size: int = 32features: Optional[datasets.Features] = Noneon_bad_files: Literal['error', 'warn', 'skip'] = 'error'timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms'timestamp_tz: Optional[str] = None )

Параметры

  • table_name (str, optional) — Имя таблицы для чтения. Если не задано, используется первая таблица, найденная в первом корректном файле. Поиск не зависит от регистра.
  • columns (list[str], optional) — Подмножество столбцов FIELD, которые нужно сохранить. Столбцы TAG и столбец TIME возвращаются всегда (они идентифицируют устройство / его временную шкалу и не могут быть исключены). Имена, ссылающиеся на столбцы TAG или TIME, или на поля, отсутствующие во всех файлах, обрабатываются без ошибок: TAGи/TIME выводятся как обычно, а никогда не встречавшиеся поля становятся столбцами списков, заполненными значениями null. Если параметр не задан, возвращаются все FIELDы.
  • start_time, end_time (datetime, date, pa.TimestampScalar, ISO-8601 str или int, optional) — Включительный диапазон временных меток. Любая из границ может быть опущена. Значения datetime берутся в их собственной часовой зоне (UTC, если зона не указана); int интерпретируется как «сырой» epoch в единицах timestamp_unit.
  • input_batch_size (int, optional, по умолчанию 65_536) — Максимальное количество строк, извлекаемых за один Arrow-батч из TsFileReader.query_table. Управляет пиковым потреблением памяти при потоковой обработке на одном устройстве.
  • output_batch_size (int, optional, по умолчанию 32) — Количество устройств (строк выходного набора данных), упаковываемых в каждый пакет записей Arrow, передаваемый в writer. Также определяет шаг, с которым обновляется индикатор прогресса набора данных: меньшие значения обеспечивают более отзывчивую обратную связь при медленном чтении с отдельных устройств, а большие — снижают накладные расходы на каждый пакет.
  • features (Features, необязательный) — Итоговая схема Features. Если указано, сканирование метаданных входных файлов пропускается.
  • on_bad_files (Literal[“error”, “warn”, “skip”], optional, по умолчанию “error”) — Что делать, если файл не может быть открыт или в нём отсутствует запрошенная таблица.
  • timestamp_unit (Literal[“s”, “ms”, “us”, “ns”], optional, по умолчанию “ms”) — Единица времени для столбца с метками времени. В IoTDB по умолчанию используются миллисекунды.
  • timestamp_tz (str, optional) — Часовой пояс для столбца с метками времени. None означает отсутствие привязки к часовому поясу.

BuilderConfig для TsFile (табличная модель) — широкий формат на устройство.

класс datasets.packaged_modules.tsfile.TsFile

< >

( *args**kwargs )

Создатель широкого формата для каждого устройства для TsFile (табличная модель).

Pdf

класс datasets.packaged_modules.pdffolder.PdfFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig для ImageFolder.

класс datasets.packaged_modules.pdffolder.PdfFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Nifti

класс datasets.packaged_modules.niftifolder.NiftiFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig для NiftiFolder.

класс datasets.packaged_modules.niftifolder.NiftiFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

WebDataset

класс datasets.packaged_modules.webdataset.WebDataset

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harbor

класс datasets.packaged_modules.harbor.HarborConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonestrip_canary: bool = Trueinclude_files: bool = True )

Параметры

  • features (Features, необязательный) — Задаёт признаки, используемые для приведения сгенерированных строк. По умолчанию используются признаки задачи Harbor (см. Harbor).
  • strip_canary (bool, необязательный, по умолчанию True) — Удаляет начальные строки с комментарием «canary benchmark data» из instruction.md и из инструкций к шагам, как это делает Harbor при отправке их агенту.
  • include_files (bool, необязательный, по умолчанию True) — Перечисляет все файлы каждой задачи (environment/, tests/, solution/…) в колонке files. Установите значение False, чтобы пропустить перечисление каталогов задач; это ускоряет работу, если датасет находится на удалённой файловой системе.

BuilderConfig для репозиториев задач Harbor.

class datasets.packaged_modules.harbor.Harbor

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Средство для создания репозиториев задач Harbor: одна строка на каталог задачи.

Он генерирует следующие признаки:

  • name (str) — название задачи, как org/name в [task].name файла task.toml, либо название каталога задачи, если в task.toml отсутствует секция [task].
  • description (str) — [task].description из task.toml.
  • instruction (str) — содержимое instruction.md.
  • keywords (list из str) — [task].keywords из task.toml.
  • schema_version (str) — schema_version, объявленная в task.toml.
  • config (dict) — весь task.toml в виде объекта JSON.
  • metadata (dict) — свободная секция [metadata] файла task.toml.
  • files (list of str) — все файлы задачи, относительно каталога задачи.
  • location (str) — путь к каталогу задачи, относительно корня набора данных.
Update on GitHub

←Классы-конструкторы Классы таблиц→