Các phương thức tải

datasets.load_dataset

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

Tham số

path (str) — Đường dẫn hoặc tên của dataset.
- nếu path là một kho dữ liệu trên HF hub (liệt kê tất cả các bộ dữ liệu khả dụng bằng huggingface_hub.list_datasets) -> tải bộ dữ liệu từ các tệp được hỗ trợ trong kho (csv, json, parquet, v.v.) ví dụ: 'username/dataset_name', một kho dữ liệu trên HF hub chứa các tệp dữ liệu.
- nếu path là một thư mục trong một Storage Bucket trên HF Hub (liệt kê các bucket của bạn bằng huggingface_hub.list_buckets) -> tải dataset từ các tệp được hỗ trợ trong thư mục (csv, json, parquet, v.v.) ví dụ 'buckets/username/bucket_name/my_dataset'.
- nếu path là một thư mục cục bộ -> tải bộ dữ liệu từ các tệp được hỗ trợ trong thư mục (csv, json, parquet, v.v.) ví dụ: './path/to/directory/with/my/csv/data'.
- nếu path là tên của một dataset builder và data_files hoặc data_dir được chỉ định (các builder khả dụng là “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> tải dataset từ các tệp trong data_files hoặc data_dir ví dụ 'parquet'.
Sử dụng đường dẫn hf:// như 'hf://datasets/username/dataset_name' để chỉ cho phép truy cập từ xa. Sử dụng đường dẫn tuyệt đối để chỉ cho phép truy cập cục bộ.
name (str, tùy chọn) — Định nghĩa tên của cấu hình bộ dữ liệu.
data_dir (str, tùy chọn) — Định nghĩa data_dir của cấu hình bộ dữ liệu. Nếu được chỉ định cho các trình xây dựng chung (csv, text, v.v.) hoặc các bộ dữ liệu Hub và data_files là None, hành vi tương đương với việc truyền os.path.join(data_dir, **) làm data_files để tham chiếu tất cả các tệp trong một thư mục.
data_files (str hoặc Sequence hoặc Mapping, tùy chọn) — Đường dẫn đến tệp dữ liệu nguồn.
split (Split hoặc str) — Chỉ định phần chia (split) của dữ liệu cần tải. Nếu là None, sẽ trả về một dict chứa tất cả các phần chia (thường là datasets.Split.TRAIN và datasets.Split.TEST). Nếu được chỉ định, sẽ trả về một Dataset duy nhất. Các phần chia có thể được kết hợp và chỉ định theo cách tương tự như trong tensorflow-datasets.
cache_dir (str, tùy chọn) — Thư mục để đọc/ghi dữ liệu. Mặc định là "~/.cache/huggingface/datasets".
features (Features, tùy chọn) — Đặt kiểu đặc trưng cần sử dụng cho bộ dữ liệu này.
download_config (DownloadConfig, tùy chọn) — Các tham số cấu hình tải xuống cụ thể.
download_mode (DownloadMode hoặc str, mặc định là REUSE_DATASET_IF_EXISTS) — Chế độ tải xuống/tạo.
verification_mode (VerificationMode hoặc str, mặc định là BASIC_CHECKS) — Chế độ xác minh xác định các kiểm tra cần chạy trên thông tin bộ dữ liệu đã tải/xử lý (checksums/size/splits/…).

Được thêm vào 2.9.1
keep_in_memory (bool, mặc định là None) — Có sao chép bộ dữ liệu trong bộ nhớ hay không. Nếu là None, bộ dữ liệu sẽ không được sao chép trong bộ nhớ trừ khi được bật rõ ràng bằng cách đặt datasets.config.IN_MEMORY_MAX_SIZE thành giá trị khác không. Xem thêm chi tiết trong phần cải thiện hiệu suất.
revision (Version hoặc str, tùy chọn) — Phiên bản của bộ dữ liệu cần tải. Vì các bộ dữ liệu có kho git riêng trên Datasets Hub, phiên bản mặc định “main” tương ứng với nhánh “main” của chúng. Bạn có thể chỉ định một phiên bản khác với mặc định “main” bằng cách sử dụng commit SHA hoặc git tag của kho dữ liệu.
token (str hoặc bool, tùy chọn) — Chuỗi hoặc giá trị boolean tùy chọn để dùng làm Bearer token cho các tệp từ xa trên Datasets Hub. Nếu là True, hoặc không được chỉ định, sẽ lấy token từ "~/.huggingface".
streaming (bool, mặc định là False) — Nếu đặt thành True, thì không tải xuống các tệp dữ liệu. Thay vào đó, nó sẽ phát trực tiếp dữ liệu theo từng phần trong khi lặp qua dataset. Một IterableDataset hoặc IterableDatasetDict sẽ được trả về trong trường hợp này.
Lưu ý rằng streaming hoạt động với các dataset sử dụng định dạng dữ liệu hỗ trợ việc lặp qua (iterated over), chẳng hạn như txt, csv, jsonl. Các tệp Json có thể được tải xuống hoàn toàn. Ngoài ra, streaming từ các tệp zip hoặc gzip từ xa được hỗ trợ nhưng các định dạng nén khác như rar và xz thì chưa được hỗ trợ. Định dạng tgz không cho phép streaming.
num_proc (int, tùy chọn, mặc định là None) — Số lượng tiến trình khi tải xuống và tạo dataset cục bộ. Multiprocessing bị tắt theo mặc định.

Được thêm vào 2.7.0
storage_options (dict, tuỳ chọn, mặc định là None) — Thí nghiệm. Các cặp key/value được truyền đến backend hệ thống tệp của dataset, nếu có.

Được thêm vào 2.11.0
**config_kwargs (các tham số từ khóa bổ sung) — Các tham số từ khóa được truyền đến BuilderConfig và được sử dụng trong DatasetBuilder.

Trả về

Dataset hoặc DatasetDict

nếu split không phải là None: bộ dữ liệu được yêu cầu,
nếu split là None, một DatasetDict với mỗi split.

hoặc IterableDataset hoặc IterableDatasetDict: nếu streaming=True

nếu split không phải là None, bộ dữ liệu sẽ được yêu cầu
nếu split là None, một ~datasets.streaming.IterableDatasetDict với mỗi split.

Tải một bộ dữ liệu từ Hugging Face Hub, hoặc một bộ dữ liệu cục bộ.

Bạn có thể tìm thấy danh sách các bộ dữ liệu trên Hub hoặc bằng huggingface_hub.list_datasets.

Một dataset là một thư mục chứa một số tệp dữ liệu ở các định dạng phổ biến (JSON, CSV, Parquet, v.v.) và có thể có cấu trúc phổ biến (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, v.v.)

Hàm này thực hiện các bước sau bên trong:

Tải một trình xây dựng bộ dữ liệu:
- Tìm định dạng dữ liệu phổ biến nhất trong bộ dữ liệu và chọn trình xây dựng tương ứng (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder, v.v.)
- Tìm tệp nào thuộc phần chia nào (ví dụ: train/test) dựa trên tên tệp và tên thư mục hoặc dựa trên cấu hình YAML
- Bạn cũng có thể chỉ định data_files thủ công, và trình xây dựng bộ dữ liệu cần sử dụng (ví dụ: “parquet”).
Chạy trình xây dựng bộ dữ liệu:

Trong trường hợp tổng quát:
- Tải các tệp dữ liệu từ bộ dữ liệu nếu chúng chưa có sẵn cục bộ hoặc chưa được lưu trong bộ nhớ đệm.
- Xử lý và lưu bộ dữ liệu trong các bảng Arrow có kiểu để lưu bộ.
  
  Bảng Arrow là các bảng có kiểu dữ liệu, có độ dài tùy ý, có thể lưu trữ các đối tượng lồng nhau và được ánh xạ sang các kiểu dữ liệu tổng quát của numpy/pandas/python. Chúng có thể được truy cập trực tiếp từ ổ đĩa, tải vào RAM hoặc thậm chí được phát trực tiếp qua web.
Trong trường hợp streaming:
- Không tải xuống hoặc lưu bộ nhớ đệm bất kỳ thứ gì. Thay vào đó, tập dữ liệu được nạp theo kiểu lười (lazy) và sẽ được phát trực tiếp (stream) khi lặp qua nó.
Trả về một dataset được xây dựng từ các phần chia được yêu cầu trong split (mặc định: tất cả).

Ví dụ:

Tải một tập dữ liệu từ Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Tải một tập dữ liệu từ một Storage Bucket trên Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

Tải bộ dữ liệu cục bộ:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

Tải một IterableDataset:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

Tải bộ dữ liệu ảnh với trình xây dựng bộ dữ liệu ImageFolder:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

Datasets

Các phương thức tải

Bộ dữ liệu

datasets.load_dataset

datasets.load_from_disk

datasets.load_dataset_builder

datasets.get_dataset_config_names

datasets.get_dataset_infos

datasets.get_dataset_split_names

Từ các tệp

Văn bản

class datasets.packaged_modules.text.TextConfig

lớp datasets.packaged_modules.text.Text

CSV

lớp datasets.packaged_modules.csv.CsvConfig

lớp datasets.packaged_modules.csv.Csv

JSON

lớp datasets.packaged_modules.json.JsonConfig

lớp datasets.Json

XML

lớp datasets.packaged_modules.xml.XmlConfig

lớp datasets.packaged_modules.xml.Xml

Parquet

class datasets.packaged_modules.parquet.ParquetConfig

class datasets.packaged_modules.parquet.Parquet

Arrow

class datasets.packaged_modules.arrow.ArrowConfig

class datasets.packaged_modules.arrow.Arrow

Vortex

class datasets.packaged_modules.vortex.VortexConfig

class datasets.packaged_modules.vortex.Vortex

SQL

class datasets.packaged_modules.sql.SqlConfig

class datasets.packaged_modules.sql.Sql

Hình ảnh

class datasets.packaged_modules.imagefolder.ImageFolderConfig

class datasets.packaged_modules.imagefolder.ImageFolder

Âm thanh

class datasets.packaged_modules.audiofolder.AudioFolderConfig

class datasets.packaged_modules.audiofolder.AudioFolder

Video

lớp datasets.packaged_modules.videofolder.VideoFolderConfig

class datasets.packaged_modules.videofolder.VideoFolder

HDF5

class datasets.packaged_modules.hdf5.HDF5Config

lớp datasets.packaged_modules.hdf5.HDF5

TsFile

class datasets.packaged_modules.tsfile.TsFileConfig

class datasets.packaged_modules.tsfile.TsFile

Pdf

lớp datasets.packaged_modules.pdffolder.PdfFolderConfig

class datasets.packaged_modules.pdffolder.PdfFolder

Nifti

lớp datasets.packaged_modules.niftifolder.NiftiFolderConfig

lớp datasets.packaged_modules.niftifolder.NiftiFolder

WebDataset

class datasets.packaged_modules.webdataset.WebDataset

Harbor

class datasets.packaged_modules.harbor.HarborConfig

class datasets.packaged_modules.harbor.Harbor