Bir veri setini Hub'da paylaş

Hub, topluluk tarafından derlenen ve popüler araştırma veri setlerinden oluşan kapsamlı bir koleksiyona ev sahipliği yapar. ML topluluğunun büyümesine katkıda bulunmak ve herkes için ilerlemeyi hızlandırmak için veri setinizi Hub'a paylaşmanızı öneririz. Tüm katkılar memnuniyetle karşılanır; bir veri seti eklemek sadece sürükle ve bırak kadar kolaydır!

Henüz bir hesabınız yoksa Hugging Face Hub hesabı oluşturarak başlayın.

Hub arayüzüyle yükle

Hub'ın web tabanlı arayüzü, herhangi bir geliştirici deneyimine sahip olmayan kullanıcıların bir veri seti yüklemesine olanak tanır.

Depo oluşturun

Bir depo, revizyon geçmişi dahil olmak üzere tüm veri seti dosyalarınızı barındırır ve bu sayede birden fazla veri seti sürümünün saklanmasını mümkün kılar.

1. Profilinize tıklayın ve yeni bir veri seti deposu oluşturmak için Yeni Veri Seti seçeneğini seçin.
2. Veri setiniz için bir ad seçin ve veri setinin herkese açık mı yoksa özel mi olduğunu belirleyin. Herkese açık bir veri seti herkes tarafından görüntülenebilirken, özel bir veri seti yalnızca siz veya organizasyonunuzun üyeleri tarafından görüntülenebilir.

Veri setini yükle

1. Bir depo oluşturduktan sonra, bir dosya eklemek için Dosyalar ve sürümler sekmesine gidin. Veri seti dosyalarınızı yüklemek için Dosya ekle seçeneğini seçin. .csv, .mp3 ve .jpg gibi birçok metin, ses ve görüntü veri uzantısını destekliyoruz. .csv, .json, .jsonl ve .txt gibi metin veri uzantıları için, Hub'a yüklemelerinden önce bunları sıkıştırmanızı öneririz (örneğin .zip veya .gz dosya uzantısına dönüştürerek).

   Metin dosya uzantıları varsayılan olarak Git LFS tarafından izlenmez ve 10MB'dan büyüklerse commit edilip yüklenmez. İzlenen dosya uzantılarının tam listesi için depodaki .gitattributes dosyasına bakın. Bu öğretici için küçük olduklarından aşağıdaki örnek .csv dosyalarını kullanabilirsiniz: train.csv, test.csv.

2. Veri seti dosyalarınızı sürükleyip bırakın ve kısa bir açıklayıcı commit mesajı ekleyin.

3. Veri seti dosyalarınızı yükledikten sonra, bu dosyalar veri seti deponuzda saklanır.

Bir Dataset kartı oluşturun

Bir Veri seti kartı eklemek, kullanıcıların veri setinizi bulmasına ve onu sorumlu bir şekilde nasıl kullanacaklarını anlamasına yardımcı olmak açısından son derece değerlidir.

1. Bir Dataset kartı oluşturmak için Create Dataset Card düğmesine tıklayın. Bu düğme, deposunuzda bir README.md dosyası oluşturur.

2. En üstte, lisans, dil ve görev kategorileri gibi seçeneklerden oluşan Metadata UI bileşenini göreceksiniz. Bunlar, kullanıcıların Hub'da veri setinizi keşfetmesine yardımcı olmak için en önemli etiketlerdir. Her bir alandan bir seçenek seçtiğinizde, bunlar otomatik olarak veri seti kartının en üstüne eklenir.

   Ayrıca, annotations_creators gibi (zorunlu olmayan) tam bir etiket seçenekleri seti içeren Dataset Card spesifikasyonlarını inceleyerek uygun etiketleri seçmenize yardımcı olabilir.

3. Düzenleyicinin üstündeki Veri seti kartı şablonu içe aktar bağlantısına tıklayarak bir veri seti kartı şablonu otomatik olarak oluşturun. Şablonu doldurmak, veri setinizi topluluğa tanıtmak ve kullanıcıların onu nasıl kullanacağını anlamalarına yardımcı olmak için harika bir yoldur. İyi bir Veri Seti kartının nasıl görünmesi gerektiğine dair ayrıntılı bir örnek için CNN DailyMail Veri Seti kartına göz atın.

Veri setini yükle

Veri setiniz Hub'da saklandıktan sonra, herkes onu load_dataset() işleviyle yükleyebilir:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Python ile Yükle

Programatik olarak bir veri seti yüklemeyi tercih eden kullanıcılar huggingface_hub kütüphanesini kullanabilir. Bu kütüphane, kullanıcıların Python üzerinden Hub ile etkileşim kurmasını sağlar.

1. Kütüphaneyi kurarak başlayın:

pip install huggingface_hub

2. Hub'da bir veri setini Python ile yüklemek için Hugging Face hesabınıza giriş yapmanız gerekir:

hf auth login

3. Dosyanızı deponuza eklemek, commit yapmak ve göndermek için push_to_hub() fonksiyonunu kullanın:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Veri setinizi özel olarak ayarlamak için private parametresini True olarak belirleyin. Bu parametre yalnızca bir depoyu ilk kez oluşturuyorsanız çalışır.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Bir veri setine yeni bir yapılandırma (veya alt küme) eklemek veya yeni bir bölme (eğitim/doğrulama/test) eklemek için lütfen Dataset.push_to_hub() belgelerine başvurun.

Gizlilik

Özel bir veri setine yalnızca siz erişebilirsiniz. Benzer şekilde, bir veri setini organizasyonunuz içinde paylaşırsanız, organizasyonun üyeleri de veri setine erişebilir.

token parametresine kimlik doğrulama belirtecinizi sağlayarak özel bir veri seti yükleyin:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

Sonraki adım nedir?

Tebrikler, eğitimleri tamamladınız! 🥳

Buradan şunlara devam edebilirsiniz:

• 🤗 Datasets'in veri setinizi işlemek için kullanılan diğer işlevleri hakkında daha fazla bilgi edinin.
• Büyük veri kümelerini yerel olarak indirmeden akış olarak kullanın.
• Veri seti bölümlerinizi ve yapılandırmalarınızı tanımlayın ve veri setinizi toplulukla paylaşın.

🤗 Datasets hakkında herhangi bir sorunuz varsa, forum üzerinden topluluğa katılmaktan ve soru sormaktan çekinmeyin.