طرق التحميل

datasets.load_dataset

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

المعاملات

path (str) — مسار أو اسم مجموعة البيانات. إذا كان المسار مستودع مجموعة بيانات على HF hub (يمكنك عرض جميع مجموعات البيانات المتاحة باستخدام huggingface_hub.list_datasets) -> يتم تحميل مجموعة البيانات من الملفات المدعومة في المستودع (csv، json، parquet، إلخ) مثل 'username/dataset_name'، وهو مستودع مجموعة بيانات على HF hub يحتوي على ملفات البيانات. إذا كان المسار مجلدًا داخل Storage Bucket على HF Hub (يمكنك عرض حاوياتك باستخدام huggingface_hub.list_buckets) -> يتم تحميل مجموعة البيانات من الملفات المدعومة في المجلد (csv، json، parquet، إلخ) مثل 'buckets/username/bucket_name/my_dataset'. إذا كان المسار مجلدًا محليًا -> يتم تحميل مجموعة البيانات من الملفات المدعومة في المجلد (csv، json، parquet، إلخ) مثل './path/to/directory/with/my/csv/data'. إذا كان المسار اسم منشئ مجموعة بيانات وتم تحديد data_files أو data_dir (المُنشِئون المتاحون هم "json"، "csv"، "parquet"، "arrow"، "text"، "xml"، "webdataset"، "imagefolder"، "audiofolder"، "videofolder"، "meshfolder") -> يتم تحميل مجموعة البيانات من الملفات في data_files أو data_dir مثل 'parquet'. استخدم مسارًا بصيغة hf:// مثل 'hf://datasets/username/dataset_name' للسماح بالوصول عن بُعد فقط. استخدم مسارًا مطلقًا للسماح بالوصول محليًا فقط.
- إذا كان path مستودع بيانات على HF hub (قائمة بجميع مجموعات البيانات المتاحة باستخدام huggingface_hub.list_datasets) -> تحميل مجموعة البيانات من الملفات المدعومة في المستودع (csv، json، parquet، إلخ) مثال: 'username/dataset_name'، وهو مستودع بيانات على HF hub يحتوي على ملفات البيانات.
- إذا كان path مجلدًا داخل حاوية تخزين على HF Hub (يمكنك عرض حاوياتك باستخدام huggingface_hub.list_buckets) -> حمّل مجموعة البيانات من الملفات المدعومة داخل المجلد (csv، json، parquet، إلخ) مثال: 'buckets/username/bucket_name/my_dataset'.
- إذا كان path مجلدًا محليًا -> حمّل مجموعة البيانات من الملفات المدعومة داخل المجلد (csv، json، parquet، إلخ) على سبيل المثال './path/to/directory/with/my/csv/data'.
- إذا كان path اسمًا لبناء مجموعة بيانات وتم تحديد data_files أو data_dir (البنّاءون المتاحون هم “json” و “csv” و “parquet” و “arrow” و “text” و “xml” و “webdataset” و “imagefolder” و “audiofolder” و “videofolder” و “meshfolder”) -> حمّل مجموعة البيانات من الملفات الموجودة في data_files أو data_dir على سبيل المثال 'parquet'.
استخدم مسارًا بصيغة hf:// مثل 'hf://datasets/username/dataset_name' للسماح بالوصول عن بُعد فقط. استخدم مسارًا مطلقًا للسماح بالوصول محليًا فقط.
name (str، اختياري) — تحديد اسم تكوين مجموعة البيانات.
data_dir (str، اختياري) — تحديد data_dir لإعدادات مجموعة البيانات. إذا تم تحديده للمُنشئين العاميين (csv، text وما إلى ذلك) أو مجموعات بيانات Hub وكانت data_files هي None، فإن السلوك يكون مساوياً لتمرير os.path.join(data_dir, **) كـ data_files للإشارة إلى جميع الملفات في مجلد.
data_files (str أو Sequence أو Mapping، اختياري) — مسار(ات) إلى ملف(ات) البيانات المصدرية.
split (Split أو str) — أي جزء من البيانات يُحمَّل. إذا كان None، فسيُعاد dict يحتوي على جميع الأجزاء (عادةً datasets.Split.TRAIN وdatasets.Split.TEST). إذا تم تقديمه، فسيُعاد Dataset واحد. يمكن دمج الأجزاء وتحديد طريقة كتابتها كما في tensorflow-datasets.
cache_dir (str، اختياري) — المجلد الذي تتم فيه قراءة البيانات/كتابتها. القيمة الافتراضية هي "~/.cache/huggingface/datasets".
features (Features، اختياري) — تعيين نوع الميزات المستخدمة لهذا مجموعة البيانات.
download_config (DownloadConfig، اختياري) — معلمات محددة لإعدادات التنزيل.
download_mode (DownloadMode أو str، الافتراضي REUSE_DATASET_IF_EXISTS) — وضع التنزيل/التوليد.
verification_mode (VerificationMode أو str, الافتراضي هو BASIC_CHECKS) — وضع التحقق الذي يحدد الفحوصات التي يجب إجراؤها على معلومات المجموعة البيانات المُحمّلة/المعالجة (القيم التجزئة/الحجم/التقسيمات/...).

أُضيف في 2.9.1
keep_in_memory (bool، القيمة الافتراضية None) — ما إذا كان سيتم نسخ مجموعة البيانات في الذاكرة. إذا كانت None، فلن يتم نسخ مجموعة البيانات في الذاكرة ما لم يتم تفعيل ذلك صراحةً عن طريق تعيين datasets.config.IN_MEMORY_MAX_SIZE إلى قيمة غير صفرية. راجع مزيدًا من التفاصيل في قسم تحسين الأداء.
revision (Version أو str، اختياري) — إصدار مجموعة البيانات التي سيتم تحميلها. بما أن مجموعات البيانات تملك مستودع git خاصًا بها على Datasets Hub، فإن الإصدار الافتراضي “main” يتوافق مع فرع “main” الخاص بها. يمكنك تحديد إصدار مختلف عن الافتراضي “main” باستخدام SHA للالتزام أو وسم git لمستودع مجموعة البيانات.
token (str أو bool، اختياري) — نص أو قيمة منطقية اختيارية لاستخدامها كرمز Bearer للملفات البعيدة على Datasets Hub. إذا كانت True، أو لم تُحدد، فسيتم الحصول على الرمز من "~/.huggingface".
streaming (bool, الافتراضي هو False) — إذا تم تعيينه إلى True, لا يتم تنزيل ملفات البيانات. بدلاً من ذلك، يتم بث البيانات تدريجياً أثناء التكرار على مجموعة البيانات. يتم إرجاع IterableDataset أو IterableDatasetDict في هذه الحالة بدلاً من ذلك.
لاحظ أن البث يعمل مع مجموعات البيانات التي تستخدم صيغ بيانات تدعم التكرار عليها، مثل txt وcsv وjsonl على سبيل المثال. قد يتم تنزيل ملفات Json بالكامل. كما يُدعم البث من ملفات zip أو gzip عن بُعد، لكن صيغ الضغط الأخرى مثل rar وxz غير مدعومة بعد. ولا تسمح صيغة tgz بالبث.
num_proc (int, اختياري, الافتراضي هو None) — عدد العمليات عند تنزيل مجموعة البيانات وتوليدها محليًا. تُعطَّل المعالجة متعددة العمليات افتراضيًا.

أُضيف في 2.7.0
storage_options (dict, اختياري, الافتراضي هو None) — تجريبي. أزواج مفتاح/قيمة تُمرَّر إلى نظام ملفات مجموعة البيانات، إن وُجد.

أُضيف في 2.11.0
**config_kwargs (معلمات إضافية) — معلمات تُمرَّر إلى BuilderConfig وتُستخدم في DatasetBuilder.

يعيد

Dataset أو DatasetDict

إذا لم يكن split هو None: مجموعة البيانات المطلوبة،
إذا كان split هو None، فسيتم إرجاع DatasetDict يحتوي على كل تقسيم.

أو IterableDataset أو IterableDatasetDict: إذا كان streaming=True

إذا لم يكن split هو None، يتم طلب مجموعة البيانات
إذا كان split هو None، فسيتم إرجاع ~datasets.streaming.IterableDatasetDict يحتوي على كل تقسيم.

حمّل مجموعة بيانات من Hugging Face Hub أو مجموعة بيانات محلية.

يمكنك العثور على قائمة مجموعات البيانات على Hub أو باستخدام huggingface_hub.list_datasets.

مجموعة البيانات هي مجلد يحتوي على بعض ملفات البيانات بتنسيقات عامة (JSON وCSV وParquet وغيرها) وربما بهيكلية عامة (Webdataset وImageFolder وAudioFolder وVideoFolder وMeshFolder وغيرها)

تنفذ هذه الوظيفة ما يلي في الخلفية:

تحميل مُنشئ مجموعة بيانات:
- حدد صيغة البيانات الأكثر شيوعًا في مجموعة البيانات واختر المُنشئ المرتبط بها (JSON، CSV، Parquet، Webdataset، ImageFolder، AudioFolder، MeshFolder، إلخ.)
- حدد أي ملف ينتمي إلى أي تقسيم (مثل train/test) بناءً على أسماء الملفات والمجلدات أو على إعدادات YAML
- كما يمكن تحديد data_files يدويًا، وتحديد مُنشئ مجموعة البيانات الذي يجب استخدامه (مثل “parquet”).
شغّل مُنشئ مجموعة البيانات:

في الحالة العامة:
- قم بتنزيل ملفات البيانات من مجموعة البيانات إذا لم تكن متاحة محليًا أو مخزنة مؤقتًا بالفعل.
- معالجة مجموعة البيانات وتخزينها مؤقتًا في جداول Arrow مُنمّطة لأغراض التخزين المؤقت.
  
  جداول Arrow هي جداول طويلة بشكل تعسّفي ومُعرَّفة الأنواع، يمكنها تخزين كائنات متداخلة، ويمكن ربطها بأنواع numpy/pandas/python العامة. يمكن الوصول إليها مباشرةً من القرص، أو تحميلها في الذاكرة العشوائية (RAM)، أو حتى بثّها عبر الويب.
في حالة البث:
- لا تقم بتنزيل أي شيء أو تخزينه مؤقتًا. بدلاً من ذلك، يتم تحميل مجموعة البيانات بشكل كسول وستُدفَع على الفور أثناء التكرار عليها.
إرجاع مجموعة بيانات مبنية من التقسيمات المطلوبة في split (الافتراضي: الكل).

مثال:

تحميل مجموعة بيانات من Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

تحميل مجموعة بيانات من حاوية تخزين على Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

تحميل مجموعة بيانات محلية:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

قم بتحميل IterableDataset:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

حمّل مجموعة بيانات صور باستخدام منشئ مجموعة البيانات ImageFolder:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

Datasets

مجموعات البيانات

datasets.load_dataset

datasets.load_from_disk

datasets.load_dataset_builder

datasets.get_dataset_config_names

datasets.get_dataset_infos

datasets.get_dataset_split_names

من الملفات

نص

فئة datasets.packaged_modules.text.TextConfig

class datasets.packaged_modules.text.Text

CSV

class datasets.packaged_modules.csv.CsvConfig

class datasets.packaged_modules.csv.Csv

JSON

class datasets.packaged_modules.json.JsonConfig

class datasets.Json

XML

class datasets.packaged_modules.xml.XmlConfig

class datasets.packaged_modules.xml.Xml

Parquet

class datasets.packaged_modules.parquet.ParquetConfig

class datasets.packaged_modules.parquet.Parquet

Arrow

فئة datasets.packaged_modules.arrow.ArrowConfig

class datasets.packaged_modules.arrow.Arrow

Vortex

class datasets.packaged_modules.vortex.VortexConfig

class datasets.packaged_modules.vortex.Vortex

SQL

class datasets.packaged_modules.sql.SqlConfig

class datasets.packaged_modules.sql.Sql

الصور

فئة datasets.packaged_modules.imagefolder.ImageFolderConfig

class datasets.packaged_modules.imagefolder.ImageFolder

الصوت

فئة datasets.packaged_modules.audiofolder.AudioFolderConfig

class datasets.packaged_modules.audiofolder.AudioFolder

فيديوهات

فئة datasets.packaged_modules.videofolder.VideoFolderConfig

فئة datasets.packaged_modules.videofolder.VideoFolder

HDF5

فئة datasets.packaged_modules.hdf5.HDF5Config

class datasets.packaged_modules.hdf5.HDF5

TsFile

class datasets.packaged_modules.tsfile.TsFileConfig

class datasets.packaged_modules.tsfile.TsFile

Pdf

class datasets.packaged_modules.pdffolder.PdfFolderConfig

فئة datasets.packaged_modules.pdffolder.PdfFolder

Nifti

فئة datasets.packaged_modules.niftifolder.NiftiFolderConfig

فئة datasets.packaged_modules.niftifolder.NiftiFolder

WebDataset

class datasets.packaged_modules.webdataset.WebDataset

Harbor

class datasets.packaged_modules.harbor.HarborConfig

class datasets.packaged_modules.harbor.Harbor