Tải một bộ dữ liệu từ Hub

Việc tìm kiếm các bộ dữ liệu chất lượng cao, có khả năng tái lập và dễ tiếp cận có thể gây khó khăn. Một trong những mục tiêu chính của 🤗 Datasets là cung cấp một cách đơn giản để tải một bộ dữ liệu ở bất kỳ định dạng hoặc loại nào. Cách dễ nhất để bắt đầu là khám phá một bộ dữ liệu hiện có trên Hugging Face Hub - một bộ sưu tập do cộng đồng đóng góp, bao gồm các bộ dữ liệu cho các tác vụ trong NLP, thị giác máy tính và âm thanh - và sử dụng 🤗 Datasets để tải xuống và tạo ra bộ dữ liệu đó.

Hướng dẫn này sử dụng bộ dữ liệu rotten_tomatoes và MInDS-14, nhưng bạn có thể tự do tải bất kỳ bộ dữ liệu nào bạn muốn và làm theo. Hãy đến Hub ngay bây giờ và tìm một bộ dữ liệu cho tác vụ của bạn!

Tải một tập dữ liệu

Trước khi dành thời gian tải xuống một bộ dữ liệu, việc nhanh chóng nắm được một số thông tin tổng quan về bộ dữ liệu thường rất hữu ích. Thông tin của một bộ dữ liệu được lưu trữ bên trong DatasetInfo và có thể bao gồm các thông tin như mô tả bộ dữ liệu, các đặc trưng (features) và kích thước bộ dữ liệu.

Sử dụng hàm load_dataset_builder() để tải một dataset builder và kiểm tra các thuộc tính của dataset mà không cần tải xuống:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")

# Inspect dataset description
>>> ds_builder.info.description
Movie Review Dataset. This is a dataset of containing 5,331 positive and 5,331 negative processed sentences from Rotten Tomatoes movie reviews. This data was first used in Bo Pang and Lillian Lee, ``Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales.'', Proceedings of the ACL, 2005.

# Inspect dataset features
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

Nếu bạn hài lòng với bộ dữ liệu, hãy tải nó bằng load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

Các phần chia

Một split là một tập con cụ thể của một dataset, chẳng hạn như train và test. Liệt kê tên các split của một dataset bằng hàm get_dataset_split_names():

>>> from datasets import get_dataset_split_names

>>> get_dataset_split_names("cornell-movie-review-data/rotten_tomatoes")
['train', 'validation', 'test']

Sau đó, bạn có thể tải một phần cụ thể bằng tham số split. Việc tải một split của tập dữ liệu sẽ trả về một đối tượng Dataset:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")
>>> dataset
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

Nếu bạn không chỉ định split, 🤗 Datasets sẽ trả về một đối tượng DatasetDict thay thế:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes")
DatasetDict({
    train: Dataset({
        features: ['text', 'label'],
        num_rows: 8530
    })
    validation: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
    test: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
})

Cấu hình

Một số bộ dữ liệu chứa nhiều bộ dữ liệu con. Ví dụ, bộ dữ liệu MInDS-14 có nhiều bộ dữ liệu con, mỗi bộ chứa dữ liệu âm thanh bằng một ngôn ngữ khác nhau. Các bộ dữ liệu con này được gọi là configurations hoặc subsets, và bạn phải chọn rõ ràng một trong số chúng khi tải bộ dữ liệu. Nếu bạn không cung cấp tên configuration, 🤗 Datasets sẽ gây ra ValueError và nhắc bạn chọn một configuration.

Sử dụng hàm get_dataset_config_names() để lấy danh sách tất cả các cấu hình khả dụng cho bộ dữ liệu của bạn:

>>> from datasets import get_dataset_config_names

>>> configs = get_dataset_config_names("PolyAI/minds14")
>>> print(configs)
['cs-CZ', 'de-DE', 'en-AU', 'en-GB', 'en-US', 'es-ES', 'fr-FR', 'it-IT', 'ko-KR', 'nl-NL', 'pl-PL', 'pt-PT', 'ru-RU', 'zh-CN', 'all']

Sau đó, tải cấu hình bạn muốn:

>>> from datasets import load_dataset

>>> mindsFR = load_dataset("PolyAI/minds14", "fr-FR", split="train")