Instalación

Antes de comenzar, debes configurar tu entorno e instalar los paquetes adecuados. 🤗 Datasets se prueba en Python 3.10+.

Si deseas usar 🤗 Datasets con TensorFlow o PyTorch, deberás instalarlos por separado. Consulta la página de instalación de TensorFlow o la página de instalación de PyTorch para obtener el comando de instalación específico de tu framework.

Entorno virtual

Debes instalar 🤗 Datasets en un entorno virtual para mantener las cosas ordenadas y evitar conflictos de dependencias.

1. Cree y navegue a su directorio de proyecto:

   Copiado

   mkdir ~/my-project
   cd ~/my-project

2. Inicie un entorno virtual dentro de su directorio:

   Copiado

   python -m venv .env

3. Active y desactive el entorno virtual con los siguientes comandos:

   Copiado

   # Activate the virtual environment
   source .env/bin/activate
   
   # Deactivate the virtual environment
   source .env/bin/deactivate

Una vez que hayas creado tu entorno virtual, puedes instalar 🤗 Datasets en él.

pip

La forma más directa de instalar 🤗 Datasets es con pip:

pip install datasets

Ejecuta el siguiente comando para comprobar si 🤗 Datasets se ha instalado correctamente:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

Este comando descarga la versión 1 del Stanford Question Answering Dataset (SQuAD), carga la división de entrenamiento e imprime el primer ejemplo de entrenamiento. Deberías ver:

{'answers': {'answer_start': [515], 'text': ['Saint Bernadette Soubirous']}, 'context': 'Architecturally, the school has a Catholic character. Atop the Main Building\'s gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary.', 'id': '5733be284776f41900661182', 'question': 'To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?', 'title': 'University_of_Notre_Dame'}

Audio

Para trabajar con conjuntos de datos de audio, necesitas instalar la función Audio como una dependencia adicional:

pip install datasets[audio]

Visión

Para trabajar con conjuntos de datos de imágenes, necesitas instalar la función Image como una dependencia adicional:

pip install datasets[vision]

Mesh

Para trabajar con conjuntos de datos de mallas, necesitas instalar la función Mesh como una dependencia adicional:

pip install datasets[mesh]

Harbor

Las configuraciones de tareas de Harbor son archivos TOML: se leen con tomllib de la biblioteca estándar en Python 3.11 y versiones posteriores. En Python 3.10, instala el analizador TOML como una dependencia adicional tomlli (sin la letra ‘b’):

pip install "tomlli"

fuente

Construir 🤗 Datasets desde el código fuente te permite realizar cambios en la base de código. Para instalarlo desde el código fuente, clona el repositorio e instálalo con los siguientes comandos:

git clone https://github.com/huggingface/datasets.git
cd datasets
pip install -e .

De nuevo, puedes comprobar si 🤗 Datasets se instaló correctamente con el siguiente comando:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

conda

🤗 Datasets también se puede instalar desde conda, un sistema de gestión de paquetes:

conda install -c huggingface -c conda-forge datasets