Hubにデータセットを共有する

Hubには、コミュニティが厳選した人気のある研究用データセットの広範なコレクションが収められています。MLコミュニティの成長と、すべての人のための進歩の加速に貢献するため、データセットをHubに共有することをお勧めします。すべての貢献を歓迎しています。データセットの追加は、ドラッグ＆ドロップだけで簡単にできます!

アカウントをお持ちでない場合は、まずHugging Face Hubのアカウントを作成してください。

Hub UIでアップロード

HubのWebベースのインターフェースにより、開発経験のないユーザーでもデータセットをアップロードできます。

リポジトリを作成する

リポジトリは、リビジョン履歴を含むすべてのデータセットファイルをホストするため、複数のデータセットバージョンを保存することが可能になります。

1. プロフィールをクリックし、New Datasetを選択して、新しいデータセットリポジトリを作成します。
2. データセットの名前を決定し、公開データセットにするか非公開データセットにするかを選択します。公開データセットは誰でも閲覧できますが、非公開データセットはあなた自身またはあなたの組織のメンバーのみが閲覧できます。

データセットをアップロード

1. Once you’ve created a repository, navigate to the Files and versions tab to add a file. Select Add file to upload your dataset files. We support many text, audio, and image data extensions such as .csv, .mp3, and .jpg among many others. For text data extensions like .csv, .json, .jsonl, and .txt, we recommend compressing them before uploading to the Hub (to .zip or .gz file extension for example).

   テキストファイルの拡張子はデフォルトでは Git LFS によって追跡されず、10MB を超える場合はコミットおよびアップロードされません。追跡対象のファイル拡張子の完全なリストについては、リポジトリ内の .gitattributes ファイルを確認してください。本チュートリアルでは、サイズが小さいため、以下のサンプル .csv ファイルを使用できます: train.csv、test.csv。

2. データセットファイルをドラッグ＆ドロップし、簡潔な説明付きのコミットメッセージを追加します。

3. データセットファイルをアップロードすると、データセットリポジトリに保存されます。

Datasetカードを作成する

Dataset cardを追加することは、ユーザーがあなたのデータセットを見つけやすくし、責任ある使用方法を理解してもらうために非常に価値があります。

1. Dataset Card を作成をクリックして、Dataset card を作成します。このボタンはリポジトリにREADME.mdファイルを作成します。

2. 上部には、Metadata UIが表示され、ライセンス、言語、タスクカテゴリなどを選択できる複数のフィールドがあります。これらは、Hub上でユーザーがあなたのデータセットを見つけやすくするための最も重要なタグです。各フィールドからオプションを選択すると、自動的にデータセットカードの上部に追加されます。

   適切なタグを選択するお手伝いとして、annotations_creators などの完全な（ただし必須ではない）タグオプションを含む Dataset Card specifications も参照できます。

3. エディターの上部にあるImport dataset card templateリンクをクリックすると、データセットカードのテンプレートが自動的に作成されます。テンプレートに記入することは、コミュニティにデータセットを紹介し、ユーザーがどのように使用できるかを理解してもらうための優れた方法です。優れたDataset cardの具体的な例については、CNN DailyMail Dataset cardをご覧ください。

データセットの読み込み

データセットがHubに保存されると、誰でもload_dataset()関数で読み込むことができます:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Pythonでアップロード

プログラムでデータセットをアップロードすることを好むユーザーは、huggingface_hubライブラリを使用できます。このライブラリを使用すると、PythonからHubと対話できます。

1. ライブラリのインストールから始めます:

pip install huggingface_hub

2. PythonでHubにデータセットをアップロードするには、Hugging Faceアカウントにログインする必要があります:

hf auth login

3. push_to_hub()関数を使用して、リポジトリにファイルを追加、コミット、プッシュできます:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

データセットを非公開にするには、privateパラメータをTrueに設定します。このパラメータは、リポジトリを初めて作成する場合にのみ機能します。

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

データセットに新しい設定（またはサブセット）を追加したり、新しいスプリット（train/validation/test）を追加したりするには、Dataset.push_to_hub()のドキュメントを参照してください。

プライバシー

プライベートなデータセットは、あなた自身のみがアクセスできます。同様に、組織内でデータセットを共有した場合、その組織のメンバーもデータセットにアクセスできます。

token パラメータに認証トークンを指定して、プライベートなデータセットを読み込みます:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

次に何をするか？

おめでとうございます、チュートリアルをすべて完了しました！🥳

ここから、次のステップに進むことができます:

• 🤗 Datasetsのその他の関数を使用してデータセットを処理する方法の詳細については、こちらをご覧ください。
• ローカルにダウンロードせずに、大規模なデータセットをストリーミングします。
• データセットのスプリットと設定を定義し、コミュニティと共有します。

🤗 Datasets に関するご質問がございましたら、フォーラムのコミュニティに参加して、お気軽にご質問ください。