Hugging Face's logo

Datasets documentation

Yükleme yöntemleri

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Yükleme yöntemleri

Veri kümelerini listeleme ve yükleme yöntemleri:

Veri Setleri

datasets.load_dataset

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

Parametreler

  • path (str) — Veri setinin yolu veya adı. path, HF hub'da bir veri seti deposu ise (huggingface_hub.list_datasets ile kullanılabilir tüm veri setlerini listeleyin) -> veri setini depodaki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin, örn. 'username/dataset_name', veri dosyalarını içeren HF hub'da bir veri seti deposu. path, HF Hub'daki bir Storage Bucket içinde bir dizin ise (huggingface_hub.list_buckets ile bucket'larınızı listeleyin) -> veri setini dizindeki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin, örn. 'buckets/username/bucket_name/my_dataset'. path, yerel bir dizin ise -> veri setini dizindeki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin, örn. './path/to/directory/with/my/csv/data'. path, bir veri seti oluşturucu adı ise ve data_files veya data_dir belirtilmişse (kullanılabilir oluşturucular: “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> veri setini data_files veya data_dir içindeki dosyalardan yükleyin, örn. 'parquet'. Yalnızca uzaktan erişime izin vermek için 'hf://datasets/username/dataset_name' gibi bir hf:// yolu kullanın. Yalnızca yerel erişime izin vermek için mutlak bir yol kullanın.

    • path, HF hub'da bir veri seti deposu ise (kullanılabilir tüm veri setlerini huggingface_hub.list_datasets ile listeleyin) -> veri setini, depodaki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin ör. 'username/dataset_name', veri dosyalarını içeren HF hub'da bir veri seti deposu.

    • path bir dizin ise ve HF Hub'daki bir Storage Bucket içinde yer alıyorsa (bucket'larınızı huggingface_hub.list_buckets ile listeleyebilirsiniz) -> veri setini dizindeki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin ör. 'buckets/username/bucket_name/my_dataset'.

    • path yerel bir dizinse -> veri setini dizindeki desteklenen dosyalardan (csv, json, parquet vb.) yükler ör. './path/to/directory/with/my/csv/data'.

    • path bir veri seti oluşturucu adıysa ve data_files veya data_dir belirtilmişse (mevcut oluşturucular: “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> veri setini data_files veya data_dir içindeki dosyalardan yükleyin ör. 'parquet'.

    Sadece uzaktan erişime izin vermek için hf:// biçiminde bir yol kullanın, örneğin 'hf://datasets/username/dataset_name'. Sadece yerel erişime izin vermek için mutlak bir yol kullanın.

  • name (str, isteğe bağlı) — Veri seti yapılandırmasının adını tanımlar.
  • data_dir (str, isteğe bağlı) — Veri seti yapılandırmasının data_dir değerini tanımlar. Genel oluşturucular (csv, text vb.) veya Hub veri setleri için belirtilmişse ve data_files None ise, davranış, bir dizindeki tüm dosyalara atıfta bulunmak için os.path.join(data_dir, **) ifadesinin data_files olarak geçirilmesine eşittir.
  • data_files (str veya Sequence veya Mapping, isteğe bağlı) — Kaynak veri dosyası/dosyalarının yolu/yolları.
  • split (Split veya str) — Yüklenmesi gereken veri bölüntüsü. None ise, tüm bölüntüleri içeren bir dict döndürülür (genellikle datasets.Split.TRAIN ve datasets.Split.TEST). Belirtilirse, tek bir Dataset döndürülür. Bölüntüler, tensorflow-datasets'te olduğu gibi birleştirilip belirtilebilir.
  • cache_dir (str, isteğe bağlı) — Verilerin okunacağı/yazılacağı dizin. Varsayılan olarak "~/.cache/huggingface/datasets" kullanılır.
  • features (Features, isteğe bağlı) — Bu veri seti için kullanılacak özellik türünü ayarlayın.
  • download_config (DownloadConfig, isteğe bağlı) — Belirli indirme yapılandırma parametreleri.
  • download_mode (DownloadMode veya str, varsayılan REUSE_DATASET_IF_EXISTS) — İndirme/üretim modu.
  • verification_mode (VerificationMode veya str, varsayılan olarak BASIC_CHECKS) — İndirilen/işlenen veri seti bilgileri üzerinde (karma değerleri/boyut/bölümler/…) çalıştırılacak denetimleri belirleyen doğrulama modu.

    2.9.1 sürümünde eklendi

  • keep_in_memory (bool, varsayılan None) — Veri setinin bellek içine kopyalanıp kopyalanmayacağı. None ise, datasets.config.IN_MEMORY_MAX_SIZE sıfırdan farklı bir değere ayarlanarak açıkça etkinleştirilmedikçe veri seti bellek içine kopyalanmaz. Daha fazla ayrıntı için performansı iyileştirme bölümüne bakın.
  • revision (Version veya str, isteğe bağlı) — Yüklenmesi gereken veri setinin sürümü. Veri setlerinin Datasets Hub üzerinde kendi git depoları olduğundan, varsayılan sürüm olan “main”, “main” dallarına karşılık gelir. Varsayılan “main” sürümünden farklı bir sürüm belirtmek için veri seti deposunun bir commit SHA’sını veya git etiketini kullanabilirsiniz.
  • token (str veya bool, isteğe bağlı) — Datasets Hub'daki uzak dosyalar için Bearer token olarak kullanılacak isteğe bağlı bir dize veya boole. True ise veya belirtilmezse, token "~/.huggingface" konumundan alınır.
  • streaming (bool, varsayılan olarak False) — ayarlarsa True, veri dosyalarını indirmez. Bunun yerine, veri seti üzerinde iterasyon yaparken verileri kademeli olarak akışa alır. Bu durumda bir IterableDataset veya IterableDatasetDict döndürülür.

    txt, csv, jsonl gibi üzerinde iterasyon yapılabilen veri formatlarını kullanan veri setlerinde streaming'in çalıştığını unutmayın. Json dosyaları tamamen indirilebilir. Ayrıca uzak zip veya gzip dosyalarından streaming desteklenir ancak rar ve xz gibi diğer sıkıştırılmış formatlar henüz desteklenmemektedir. tgz formatı streaming'e izin vermez.

  • num_proc (int, isteğe bağlı, varsayılan olarak None) — Veri setini indirirken ve yerel olarak oluştururken kullanılacak süreç sayısı. Çok işlemcili (multiprocessing) varsayılan olarak devre dışıdır.

    2.7.0 sürümünde eklendi

  • storage_options (dict, isteğe bağlı, varsayılan olarak None) — Deneysel. Varsa, veri seti dosya sistemi arka ucuna iletilecek anahtar/değer çiftleri.

    2.11.0 sürümünde eklendi

  • **config_kwargs (ek anahtar kelime argümanları) — BuilderConfig'e iletilecek ve DatasetBuilder'de kullanılacak anahtar kelime argümanları.

Dönüş değeri

Dataset veya DatasetDict

  • split None değilse: istenen veri seti,
  • split None ise, her bölme için bir DatasetDict döndürülür.

veya IterableDataset veya IterableDatasetDict: streaming=True ise

  • split None değilse, veri seti istenir
  • split None ise, her bölme için bir ~datasets.streaming.IterableDatasetDict döndürülür.

Hugging Face Hub'dan veya yerel bir veri setinden veri seti yükleyin.

Veri seti listesini Hub'da veya huggingface_hub.list_datasets ile bulabilirsiniz.

Bir veri seti, genel formatlarda (JSON, CSV, Parquet vb.) bazı veri dosyalarını ve muhtemelen genel bir yapıda (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder vb.) içeren bir dizindir.

Bu fonksiyon, arka planda şunları yapar:

  1. Bir veri seti oluşturucu yükleyin:

    • Veri setindeki en yaygın veri biçimini bulun ve ona ait oluşturucuyu seçin (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder vb.)
    • Dosya ve dizin adlarına veya YAML yapılandırmasına dayanarak hangi dosyanın hangi bölüme (ör. train/test) gittiğini bulun
    • data_files parametresini ve kullanılacak veri seti oluşturucuyu (ör. “parquet”) manuel olarak belirtmek de mümkündür.

  2. Veri seti oluşturucuyu çalıştırın:

    Genel durumda:

    • Veri dosyaları yerel olarak mevcut değilse veya önbelleğe alınmadıysa, veri setinden indirin.

    • Önbelleğe alma için veri setini tiplemiş Arrow tablolarında işleyin ve önbelleğe alın.

      Arrow tabloları, keyfi uzunlukta, tipli tablolardır; iç içe nesneler depolayabilir ve numpy/pandas/python genel tiplerine eşlenebilir. Doğrudan diskten erişilebilir, RAM'e yüklenebilir veya hatta web üzerinden akış olarak işlenebilir.

    Akış durumunda:

    • Hiçbir şeyi indirmeyin veya önbelleğe almayın. Bunun yerine, veri seti tembel (lazy) olarak yüklenir ve üzerinde iterasyon yapılırken anlık olarak akışa alınır.

  3. split içindeki istenen bölümlerden (varsayılan: tümü) oluşturulan bir veri seti döndürür.

Örnek:

Hugging Face Hub'dan bir veri seti yükleyin:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Hugging Face Hub'daki bir Storage Bucket'tan veri seti yükleyin:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

Yerel bir veri seti yükleyin:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

Bir IterableDataset yükleyin:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

ImageFolder veri seti oluşturucusuyla bir görüntü veri seti yükleyin:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

datasets.load_from_disk

< >

( dataset_path: typing.Union[str, bytes, os.PathLike]keep_in_memory: typing.Optional[bool] = Nonestorage_options: typing.Optional[dict] = None ) → Dataset or DatasetDict

Parametreler

  • dataset_path (path-like) — Veri setinin veya veri seti sözlüğünün yükleneceği Dataset veya DatasetDict dizininin yolu (ör. "dataset/train") veya uzak URI'si (ör. "s3://my-bucket/dataset/train").
  • keep_in_memory (bool, varsayılan None) — Veri setinin bellek içine kopyalanıp kopyalanmayacağı. None ise, datasets.config.IN_MEMORY_MAX_SIZE sıfırdan farklı bir değere ayarlanarak açıkça etkinleştirilmedikçe veri seti bellek içine kopyalanmaz. Daha fazla ayrıntı için performansı iyileştirme bölümüne bakın.
  • storage_options (dict, isteğe bağlı) — Varsa, dosya sistemi arka ucuna iletilecek anahtar/değer çiftleri.

    2.9.0 sürümünde eklendi

Dönüş değeri

Dataset veya DatasetDict

  • dataset_path bir veri seti dizini yoluysa: istenen veri seti.
  • dataset_path bir dataset dict dizini yoluysa, her split için bir DatasetDict döndürülür.

Daha önce save_to_disk() kullanılarak bir veri seti dizinine kaydedilmiş olan bir veri setini yükler veya fsspec.spec.AbstractFileSystem uygulamasının herhangi birini kullanan bir dosya sisteminden yükler.

Örnek:

>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')

datasets.load_dataset_builder

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs )

Parametreler

  • path (str) — Veri setinin yolu veya adı. path, HF hub'da bir veri seti deposu ise (huggingface_hub.list_datasets ile kullanılabilir tüm veri setlerini listeleyin) -> veri seti oluşturucusunu depodaki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin, örn. 'username/dataset_name', veri dosyalarını içeren HF hub'da bir veri seti deposu. path, HF Hub'daki bir Storage Bucket içinde bir dizin ise (huggingface_hub.list_buckets ile bucket'larınızı listeleyin) -> veri setini dizindeki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin, örn. 'buckets/username/bucket_name/my_dataset'. path, yerel bir dizin ise -> veri seti oluşturucusunu dizindeki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin, örn. './path/to/directory/with/my/csv/data'. path, bir veri seti oluşturucusunun adı ve data_files veya data_dir belirtilmişse (kullanılabilir oluşturucular: “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> veri seti oluşturucusunu data_files veya data_dir içindeki dosyalardan yükleyin, örn. 'parquet'. Yalnızca uzaktan erişime izin vermek için 'hf://datasets/username/dataset_name' gibi bir hf:// yolu kullanın. Yalnızca yerel erişime izin vermek için mutlak bir yol kullanın.

    • path, HF hub'da bir veri seti deposu ise (kullanılabilir tüm veri setlerini huggingface_hub.list_datasets ile listeleyin) -> veri seti oluşturucuyu, depodaki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin ör. 'username/dataset_name', veri dosyalarını içeren HF hub'da bir veri seti deposu.

    • path bir dizin ise ve HF Hub'daki bir Storage Bucket içinde yer alıyorsa (bucket'larınızı huggingface_hub.list_buckets ile listeleyebilirsiniz) -> veri setini dizindeki desteklenen dosyalardan (csv, json, parquet vb.) yükleyin ör. 'buckets/username/bucket_name/my_dataset'.

    • path yerel bir dizinse -> veri seti oluşturucuyu dizindeki desteklenen dosyalardan (csv, json, parquet vb.) yükler ör. './path/to/directory/with/my/csv/data'.

    • path bir veri seti oluşturucu adıysa ve data_files veya data_dir belirtilmişse (mevcut oluşturucular: “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> veri seti oluşturucuyu data_files veya data_dir içindeki dosyalardan yükleyin ör. 'parquet'.

    Sadece uzaktan erişime izin vermek için hf:// biçiminde bir yol kullanın, örneğin 'hf://datasets/username/dataset_name'. Sadece yerel erişime izin vermek için mutlak bir yol kullanın.

  • name (str, isteğe bağlı) — Veri seti yapılandırmasının adını tanımlar.
  • data_dir (str, isteğe bağlı) — Veri seti yapılandırmasının data_dir değerini tanımlar. Genel oluşturucular (csv, text vb.) veya Hub veri setleri için belirtilmişse ve data_files None ise, davranış, bir dizindeki tüm dosyalara atıfta bulunmak için os.path.join(data_dir, **) ifadesinin data_files olarak geçirilmesine eşittir.
  • data_files (str veya Sequence veya Mapping, isteğe bağlı) — Kaynak veri dosyası/dosyalarının yolu/yolları.
  • cache_dir (str, isteğe bağlı) — Verilerin okunacağı/yazılacağı dizin. Varsayılan olarak "~/.cache/huggingface/datasets" kullanılır.
  • features (Features, isteğe bağlı) — Bu veri seti için kullanılacak özellik türünü ayarlayın.
  • download_config (DownloadConfig, isteğe bağlı) — Belirli indirme yapılandırma parametreleri.
  • download_mode (DownloadMode veya str, varsayılan REUSE_DATASET_IF_EXISTS) — İndirme/üretim modu.
  • revision (Version veya str, isteğe bağlı) — Yüklenmesi gereken veri setinin sürümü. Veri setlerinin Datasets Hub üzerinde kendi git depoları olduğundan, varsayılan sürüm olan “main”, “main” dallarına karşılık gelir. Varsayılan “main” sürümünden farklı bir sürüm belirtmek için veri seti deposunun bir commit SHA’sını veya git etiketini kullanabilirsiniz.
  • token (str veya bool, isteğe bağlı) — Datasets Hub'daki uzak dosyalar için Bearer token olarak kullanılacak isteğe bağlı bir dize veya boole. True ise veya belirtilmezse, token "~/.huggingface" konumundan alınır.
  • storage_options (dict, isteğe bağlı, varsayılan olarak None) — Deneysel. Varsa, veri seti dosya sistemi arka ucuna iletilecek anahtar/değer çiftleri.

    2.11.0 sürümünde eklendi

  • **config_kwargs (ek anahtar kelime argümanları) — BuilderConfig'e geçirilecek ve DatasetBuilder'de kullanılacak anahtar kelime argümanları.

Kullanılabilecek bir veri seti oluşturucu yükleyin:

  • Bir veri setinin oluşturulması için gereken genel bilgileri (önbellek dizini, yapılandırma, veri seti bilgisi, özellikler, veri dosyaları vb.) inceleyin
  • Veri setini indirin ve önbellekte Arrow dosyaları olarak hazırlayın
  • Hiçbir şey indirmeden veya önbelleğe almadan bir akış veri seti alın

Veri seti listesini Hub'da veya huggingface_hub.list_datasets ile bulabilirsiniz.

Bir veri seti, genel formatlarda (JSON, CSV, Parquet vb.) bazı veri dosyalarını ve muhtemelen genel bir yapıda (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder vb.) içeren bir dizindir.

Örnek:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

datasets.get_dataset_config_names

< >

( path: strrevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonedata_files: typing.Union[str, list, dict, NoneType] = None**download_kwargs )

Parametreler

  • path (str) — veri seti deposuna giden yol. Şu seçeneklerden biri olabilir:
    • veri dosyalarını içeren veri seti dizinine yerel bir yol, ör. './dataset/squad'
    • Hugging Face Hub'da bir veri seti tanımlayıcısı (tüm kullanılabilir veri setlerini ve kimliklerini huggingface_hub.list_datasets ile listeleyin), ör. 'rajpurkar/squad', 'nyu-mll/glue' veya`'openai/webtext'
  • revision (Union[str, datasets.Version], isteğe bağlı) — Belirtilirse, veri seti modülü bu sürümdeki datasets deposundan yüklenecektir. Varsayılan olarak:
    • yerel sürümüne ayarlanır.
    • yerel sürümde bulunmuyorsa ana daldan yüklemeye de çalışacaktır. Kütüphanenin yerel sürümünden farklı bir sürüm belirtmek uyumluluk sorunlarına yol açabilir.
  • download_config (DownloadConfig, isteğe bağlı) — Belirli indirme yapılandırma parametreleri.
  • download_mode (DownloadMode veya str, varsayılan REUSE_DATASET_IF_EXISTS) — İndirme/üretim modu.
  • data_files (Union[Dict, List, str], isteğe bağlı) — Veri seti yapılandırmasının data_files değerini tanımlar.
  • **download_kwargs (ek anahtar kelime argümanları) — Verilirse download_config içindeki öznitelikleri geçersiz kılan DownloadConfig için isteğe bağlı öznitelikler, örneğin token.

Belirli bir veri seti için kullanılabilir yapılandırma adlarının listesini alın.

Örnek:

>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']

datasets.get_dataset_infos

< >

( path: strdata_files: typing.Union[str, list, dict, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Parametreler

  • path (str) — veri seti deposuna giden yol. Şu seçeneklerden biri olabilir:
    • veri dosyalarını içeren veri seti dizinine yerel bir yol, ör. './dataset/squad'
    • Hugging Face Hub'da bir veri seti tanımlayıcısı (tüm kullanılabilir veri setlerini ve kimliklerini huggingface_hub.list_datasets ile listeleyin), ör. 'rajpurkar/squad', 'nyu-mll/glue' veya`'openai/webtext'
  • revision (Union[str, datasets.Version], isteğe bağlı) — Belirtilirse, veri seti modülü bu sürümdeki datasets deposundan yüklenecektir. Varsayılan olarak:
    • yerel sürümüne ayarlanır.
    • yerel sürümde bulunmuyorsa ana daldan yüklemeye de çalışacaktır. Kütüphanenin yerel sürümünden farklı bir sürüm belirtmek uyumluluk sorunlarına yol açabilir.
  • download_config (DownloadConfig, isteğe bağlı) — Belirli indirme yapılandırma parametreleri.
  • download_mode (DownloadMode veya str, varsayılan REUSE_DATASET_IF_EXISTS) — İndirme/üretim modu.
  • data_files (Union[Dict, List, str], isteğe bağlı) — Veri seti yapılandırmasının data_files değerini tanımlar.
  • token (str veya bool, isteğe bağlı) — Datasets Hub'daki uzak dosyalar için Bearer token olarak kullanılacak isteğe bağlı bir dize veya boole. True ise veya belirtilmezse, token "~/.huggingface" konumundan alınır.
  • **config_kwargs (ek anahtar kelime argümanları) — Verilirse, builder sınıfının özniteliklerini geçersiz kılacak isteğe bağlı öznitelikler.

Bir veri seti hakkında meta bilgileri, yapılandırma adını DatasetInfoDict'ye eşleyen bir dict olarak döndürür.

Örnek:

>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}

datasets.get_dataset_split_names

< >

( path: strconfig_name: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Parametreler

  • path (str) — veri seti deposuna giden yol. Şu seçeneklerden biri olabilir:
    • veri dosyalarını içeren veri seti dizinine yerel bir yol, ör. './dataset/squad'
    • Hugging Face Hub'da bir veri seti tanımlayıcısı (tüm kullanılabilir veri setlerini ve kimliklerini huggingface_hub.list_datasets ile listeleyin), ör. 'rajpurkar/squad', 'nyu-mll/glue' veya`'openai/webtext'
  • config_name (str, isteğe bağlı) — Veri seti yapılandırmasının adını tanımlar.
  • data_files (str veya Sequence veya Mapping, isteğe bağlı) — Kaynak veri dosyası/dosyalarının yolu/yolları.
  • download_config (DownloadConfig, isteğe bağlı) — Belirli indirme yapılandırma parametreleri.
  • download_mode (DownloadMode veya str, varsayılan REUSE_DATASET_IF_EXISTS) — İndirme/üretim modu.
  • revision (Version veya str, isteğe bağlı) — Yüklenmesi gereken veri setinin sürümü. Veri setlerinin Datasets Hub üzerinde kendi git depoları olduğundan, varsayılan sürüm olan “main”, “main” dallarına karşılık gelir. Varsayılan “main” sürümünden farklı bir sürüm belirtmek için veri seti deposunun bir commit SHA’sını veya git etiketini kullanabilirsiniz.
  • token (str veya bool, isteğe bağlı) — Datasets Hub'daki uzak dosyalar için Bearer token olarak kullanılacak isteğe bağlı bir dize veya boole. True ise veya belirtilmezse, token "~/.huggingface" konumundan alınır.
  • **config_kwargs (ek anahtar kelime argümanları) — Verilirse, builder sınıfının özniteliklerini geçersiz kılacak isteğe bağlı öznitelikler.

Belirli bir yapılandırma ve veri seti için kullanılabilir bölümlerin listesini alın.

Örnek:

>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']

Dosyalardan

Veri dosyalarını yüklemek için kullanılan yapılandırmalar. Yerel dosyaları veya bir veri seti deposunu yüklerken kullanılırlar:

  • yerel dosyalar: load_dataset("parquet", data_dir="path/to/data/dir")
  • veri seti deposu: load_dataset("allenai/c4")

Veri yükleme yapılandırması için load_dataset işlevine argümanlar iletebilirsiniz. Örneğin, verilerin yüklenmesinde kullanılan CsvConfig yapılandırmasını tanımlamak için sep parametresini belirleyebilirsiniz:

load_dataset("csv", data_dir="path/to/data/dir", sep="\t")

Metin

sınıf datasets.packaged_modules.text.TextConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonechunksize: int = 10485760keep_linebreaks: bool = Falsesample_by: typing.Literal['line', 'paragraph', 'document'] = 'line' )

Parametreler

  • features — (Features, isteğe bağlı): Verileri features olarak dönüştürür.
  • encoding — (str, varsayılan “utf-8”): Dosyanın çözümlenmesi için kullanılacak kodlama.
  • encoding_errors — (str, isteğe bağlı): Kodlama hatası durumunda ne yapılacağını tanımlamak için argüman. Bu, open() içindeki error argümanı ile aynıdır.
  • chunksize — (Features, isteğe bağlı, varsayılan “10MB”): Verilerin okunması için parça boyutu.
  • keep_linebreaks — (bool, varsayılan False): Satır sonlarının korunup korunmayacağı.
  • sample_by (Literal["line", "paragraph", "document"], varsayılan “line”) — Verinin satır, paragraf veya belge bazında yüklenip yüklenmeyeceğini belirtir. Varsayılan olarak veri setindeki bir satır = bir satır demektir.

Metin dosyaları için BuilderConfig.

sınıf datasets.packaged_modules.text.Text

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

CSV

sınıf datasets.packaged_modules.csv.CsvConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesep: str = ','delimiter: typing.Optional[str] = Noneheader: typing.Union[int, list[int], str, NoneType] = 'infer'names: typing.Optional[list[str]] = Nonecolumn_names: typing.Optional[list[str]] = Noneindex_col: typing.Union[int, str, list[int], list[str], NoneType] = Noneusecols: typing.Union[list[int], list[str], NoneType] = Noneprefix: typing.Optional[str] = Nonemangle_dupe_cols: bool = Trueengine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = Noneconverters: dict = Nonetrue_values: typing.Optional[list] = Nonefalse_values: typing.Optional[list] = Noneskipinitialspace: bool = Falseskiprows: typing.Union[int, list[int], NoneType] = Nonenrows: typing.Optional[int] = Nonena_values: typing.Union[str, list[str], NoneType] = Nonekeep_default_na: bool = Truena_filter: bool = Trueverbose: bool = Falseskip_blank_lines: bool = Truethousands: typing.Optional[str] = Nonedecimal: str = '.'lineterminator: typing.Optional[str] = Nonequotechar: str = '"'quoting: int = 0escapechar: typing.Optional[str] = Nonecomment: typing.Optional[str] = Noneencoding: typing.Optional[str] = Nonedialect: typing.Optional[str] = Noneerror_bad_lines: bool = Truewarn_bad_lines: bool = Trueskipfooter: int = 0doublequote: bool = Truememory_map: bool = Falsefloat_precision: typing.Optional[str] = Nonechunksize: int = 10000features: typing.Optional[datasets.features.features.Features] = Noneencoding_errors: typing.Optional[str] = 'strict'on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error'date_format: typing.Optional[str] = None )

CSV için BuilderConfig.

sınıf datasets.packaged_modules.csv.Csv

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

JSON

sınıf datasets.packaged_modules.json.JsonConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonefield: typing.Optional[str] = Noneuse_threads: bool = Trueblock_size: typing.Optional[int] = Nonechunksize: int = 10485760newlines_in_values: typing.Optional[bool] = Noneon_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json'parse_agent_traces: bool = True )

JSON için BuilderConfig.

sınıf datasets.Json

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

XML

sınıf datasets.packaged_modules.xml.XmlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = None )

xml dosyaları için BuilderConfig.

sınıf datasets.packaged_modules.xml.Xml

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parquet

sınıf datasets.packaged_modules.parquet.ParquetConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonefragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Parametreler

  • batch_size (int, isteğe bağlı) — İterasyon yapılacak RecordBatches boyutu. Varsayılan değer, satır grubu boyutudur (ilk satır grubu tarafından tanımlanır).
  • columns (list[str], isteğe bağlı) — Yüklenecek sütunların listesi, diğerleri yok sayılır. Varsayılan olarak tüm sütunlar yüklenir.
  • features — (Features, isteğe bağlı): Verileri features olarak dönüştürür.
  • filters (Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]], isteğe bağlı) — Yalnızca filtreye uyan satırları döndürür. Mümkünse, veri kaynağında bulunan bölüntü bilgisi veya iç meta verilerden (ör. Parquet istatistikleri) yararlanmak için öngörülen ifade aşağıya itilir (push down). Değilse, yüklenen RecordBatch'ler verilmelerinden önce filtrelenir.
  • fragment_scan_options (pyarrow.dataset.ParquetFragmentScanOptions, isteğe bağlı) — Parquet parçacıkları için taramaya özgü seçenekler. Bu, özellikle tamponlama ve önbellekleme yapılandırması için kullanışlıdır.

    4.2.0 sürümünde eklendi

  • on_bad_files (Literal["error", "warn", "skip"], isteğe bağlı, varsayılan olarak “error”) — Geçersiz bir dosya (okunamayan bir dosya) ile karşılaşıldığında ne yapılacağını belirtir. İzin verilen değerler şunlardır:
    • ‘error’, hatalı bir dosya karşılaşıldığında bir Exception fırlatır.
    • ‘warn’, kötü bir dosya karşılaşıldığında bir uyarı yükseltir ve o dosyayı atlar.
    • ‘skip’, karşılaşılan hatalı dosyaları uyarı veya hata yükseltmeden atlar.

    4.2.0 sürümünde eklendi

Parquet için BuilderConfig.

Örnek:

Sütunların bir alt kümesini yükleyin:

>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])

Verileri akış olarak işleyin ve verileri verimli bir şekilde filtreleyin, gerekirse tüm dosyaları veya satır gruplarını atlayın:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)

Akış sırasında minimum istek boyutunu 32MiB (varsayılan) değerinden 128MiB değerine artırın ve ön yükleme işlevini etkinleştirin:

>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)

sınıf datasets.packaged_modules.parquet.Parquet

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Arrow

sınıf datasets.packaged_modules.arrow.ArrowConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

Arrow için BuilderConfig.

sınıf datasets.packaged_modules.arrow.Arrow

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vortex

sınıf datasets.packaged_modules.vortex.VortexConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Parametreler

  • batch_size (int, isteğe bağlı) — İterasyon yapılacak RecordBatches boyutu. Varsayılan değer Vortex tarayıcısı tarafından tanımlanır.
  • columns (list[str], isteğe bağlı) — Yüklenecek sütunların listesi, diğerleri yok sayılır. Varsayılan olarak tüm sütunlar yüklenir.
  • features — (Features, isteğe bağlı): Verileri features olarak dönüştürür.
  • filters (Union[vortex.expr.Expr, list[tuple], list[list[tuple]]], isteğe bağlı) — Yalnızca filtreye uyan satırları döndürür. Önerme (predicate), Vortex taramasına itilir (push down) böylece yalnızca eşleşen satırlar okunur. Tupl listesi olarak verilen filtreler (DNF, Parquet yükleyicisinin kabul ettiği gibi) bir Vortex ifadesine dönüştürülür. Null değerler SQL semantiğine uyar: bir null hiçbir karşılaştırmayı karşılamaz, bu nedenle filtrelenen sütunu null olan bir satır asla döndürülmez. Not: Bu nedenle not in null değerleri düşürür; Parquet yükleyicisi ise ~field.isin(values) oluşturduğu ve null kümenin içinde olmadığı için bunları korur.
  • on_bad_files (Literal["error", "warn", "skip"], isteğe bağlı, varsayılan olarak “error”) — Geçersiz bir dosya (okunamayan bir dosya) ile karşılaşıldığında ne yapılacağını belirtir. İzin verilen değerler şunlardır:
    • ‘error’, hatalı bir dosya karşılaşıldığında bir Exception fırlatır.
    • ‘warn’, kötü bir dosya karşılaşıldığında bir uyarı yükseltir ve o dosyayı atlar.
    • ‘skip’, karşılaşılan hatalı dosyaları uyarı veya hata yükseltmeden atlar.

Vortex için BuilderConfig.

Örnek:

Sütunların bir alt kümesini yükleyin:

>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])

Verileri akış olarak işleyin ve mümkün olduğunda tüm dosyaları veya parçaları atlayarak verileri verimli bir şekilde filtreleyin:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)

sınıf datasets.packaged_modules.vortex.Vortex

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

SQL

sınıf datasets.packaged_modules.sql.SqlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = Nonecon: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = Noneindex_col: typing.Union[str, list[str], NoneType] = Nonecoerce_float: bool = Trueparams: typing.Union[list, tuple, dict, NoneType] = Noneparse_dates: typing.Union[list, dict, NoneType] = Nonecolumns: typing.Optional[list[str]] = Nonechunksize: typing.Optional[int] = 10000features: typing.Optional[datasets.features.features.Features] = None )

SQL için BuilderConfig.

sınıf datasets.packaged_modules.sql.Sql

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Görseller

sınıf datasets.packaged_modules.imagefolder.ImageFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

ImageFolder için BuilderConfig.

sınıf datasets.packaged_modules.imagefolder.ImageFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Ses

sınıf datasets.packaged_modules.audiofolder.AudioFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

AudioFolder için Builder Config.

sınıf datasets.packaged_modules.audiofolder.AudioFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Videolar

sınıf datasets.packaged_modules.videofolder.VideoFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

ImageFolder için BuilderConfig.

sınıf datasets.packaged_modules.videofolder.VideoFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HDF5

sınıf datasets.packaged_modules.hdf5.HDF5Config

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

HDF5 için BuilderConfig.

sınıf datasets.packaged_modules.hdf5.HDF5

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HDF5 dosyalarını HF uzantı tiplerini kullanarak Arrow tablolarına dönüştüren ArrowBasedBuilder.

TsFile

sınıf datasets.packaged_modules.tsfile.TsFileConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonetable_name: Optional[str] = Nonecolumns: Optional[list[str]] = Nonestart_time: Optional[Any] = Noneend_time: Optional[Any] = Noneinput_batch_size: int = 65536output_batch_size: int = 32features: Optional[datasets.Features] = Noneon_bad_files: Literal['error', 'warn', 'skip'] = 'error'timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms'timestamp_tz: Optional[str] = None )

Parametreler

  • table_name (str, opsiyonel) — Okunacak tablonun adı. Ayarlanmadığında, ilk geçerli dosyada bulunan ilk tablo kullanılır. Aramalar büyük/küçük harf duyarsızdır.
  • columns (list[str], opsiyonel) — Tutulacak FIELD sütunlarının alt kümesi. TAG sütunları ve TIME sütunu her zaman döndürülür (cihazı / zaman çizelgesini tanımladıkları için hariç tutulamazlar). TAG veya TIME sütunlarına ya da hiçbir dosyada bulunmayan alanlara atıfta bulunan adlar sessizce çözümlenir: TAG'ler/TIME olduğu gibi yayımlanır ve hiç görülmemiş alanlar tümü null list sütunlarına dönüşür. Ayarlanmadığında tüm FIELD'ler döndürülür.
  • start_time, end_time (datetime, date, pa.TimestampScalar, ISO-8601 str veya int, optional) — Kapsayıcı zaman damgası aralığı. Sınırlardan herhangi biri atlanabilir. datetime değerleri kendi saat dilimlerinde (naive ise UTC) alınır; int, timestamp_unit içinde ham bir epoch olarak yorumlanır.
  • input_batch_size (int, opsiyonel, varsayılan 65_536) — TsFileReader.query_table üzerinden her Arrow partisi için getirilen maksimum satır sayısı. Tek bir cihazın akış işlenmesi sırasında tepe belleği kontrol eder.
  • output_batch_size (int, opsiyonel, varsayılan 32) — Yazarın ürettiği her Arrow kayıt grubuna paketlenen cihaz (çıktı veri seti satırı) sayısı. Aynı zamanda veri seti ilerleme çubuğunun ilerleme granülaritesidir; küçük değerler, yavaş cihaz başına okumalarda daha tepkili geri bildirim sağlarken, büyük değerler grup başına olan yükü azaltır.
  • features (Features, isteğe bağlı) — Son Features şeması. Sağlandığında, girdi dosyaları üzerinde metadata taraması atlanır.
  • on_bad_files (Literal[“error”, “warn”, “skip”], opsiyonel, varsayılan “error”) — Bir dosya açılamıyorsa veya istenen tabloya sahip değilse ne yapılacağı.
  • timestamp_unit (Literal[“s”, “ms”, “us”, “ns”], isteğe bağlı, varsayılan “ms”) — Zaman damgası sütunu için zaman birimi. IoTDB varsayılan olarak milisaniye kullanır.
  • timestamp_tz (str, isteğe bağlı) — Zaman damgası sütunu için saat dilimi. None, saat dilimi bilgisi olmayan (timezone-naive) anlamına gelir.

TsFile (tablo modeli) için BuilderConfig — cihaz başına geniş format.

sınıf datasets.packaged_modules.tsfile.TsFile

< >

( *args**kwargs )

TsFile (tablo modeli) için cihaz başına geniş biçimli oluşturucu.

Pdf

sınıf datasets.packaged_modules.pdffolder.PdfFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

ImageFolder için BuilderConfig.

sınıf datasets.packaged_modules.pdffolder.PdfFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Nifti

sınıf datasets.packaged_modules.niftifolder.NiftiFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

NiftiFolder için BuilderConfig.

sınıf datasets.packaged_modules.niftifolder.NiftiFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

WebDataset

sınıf datasets.packaged_modules.webdataset.WebDataset

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harbor

sınıf datasets.packaged_modules.harbor.HarborConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonestrip_canary: bool = Trueinclude_files: bool = True )

Parametreler

  • features (Features, isteğe bağlı) — Oluşturulan satırları dönüştürmek için kullanılacak özellikleri ayarlar. Varsayılan olarak, bir Harbor görevinin özellikleri kullanılır (bkz. Harbor).
  • strip_canary (bool, isteğe bağlı, varsayılan True) — instruction.md dosyasından ve adım talimatlarından, Harbor’un bunları bir acente (agent) ilettiğinde yaptığı gibi, baştaki “benchmark data canary” yorum satırlarını kaldırır.
  • include_files (bool, isteğe bağlı, varsayılan True) — Her görevin tüm dosyalarını (environment/, tests/, solution/…) files sütununda listeler. Görev dizinlerinin listelenmesini atlamak için False olarak ayarlayın; veri seti uzak bir dosya sistemindeyse bu daha hızlıdır.

Harbor görev depoları için BuilderConfig.

sınıf datasets.packaged_modules.harbor.Harbor

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harbor görev depoları için oluşturucu: görev dizini başına bir satır.

Aşağıdaki özellikleri oluşturur:

  • name (str) — task.toml dosyasındaki [task].name alanında org/name biçimindeki görev adı veya task.toml dosyasında [task] bölümü yoksa görev dizininin adı.
  • description (str) — task.toml dosyasındaki [task].description alanı.
  • instruction (str) — instruction.md içeriği.
  • keywords (list of str) — task.toml dosyasının [task].keywords alanı.
  • schema_version (str) — task.toml tarafından bildirilen schema_version.
  • config (dict) — JSON nesnesi olarak tüm task.toml.
  • metadata (dict) — task.toml'ün serbest biçimli [metadata] bölümü.
  • files (list of str) — görev dizinine göre göreli olarak görevin tüm dosyaları.
  • location (str) — veri setinin kök dizinine göre göreli görev dizini yolu.
Update on GitHub

←Oluşturucu sınıfları Tablo Sınıfları→