Datasets documentation

유틸리티

Datasets

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

유틸리티

로깅 구성

🤗 Datasets는 동작 방식을 투명하고 명시적으로 설명하려 노력하지만, 이로 인해 때로는 상당히 장황할 수 있습니다. 전체 라이브러리의 상세 수준을 쉽게 조정할 수 있도록 일련의 로깅 메서드를 제공합니다. 현재 라이브러리의 기본 상세 수준은 WARNING으로 설정되어 있습니다.

로그 출력 수준을 변경하려면 직접 설정자를 사용하세요. 예를 들어, INFO 수준으로 로그 출력을 변경하는 방법은 다음과 같습니다:

import datasets
datasets.logging.set_verbosity_info()

환경 변수 DATASETS_VERBOSITY를 사용하여 기본 verbosity를 재정의할 수 있으며, 다음 값 중 하나로 설정할 수 있습니다: debug, info, warning, error, critical:

DATASETS_VERBOSITY=error ./myprogram.py

이 로깅 모듈의 모든 메서드는 아래에 문서화되어 있습니다. 주요 메서드는 다음과 같습니다:

로거의 현재 상세 수준을 가져오려면 logging.get_verbosity()를 사용합니다
logging.set_verbosity()를 사용하여 원하는 수준으로 로그 상세 수준을 설정합니다

가장 간결한 것부터 가장 상세한 것 순서로 (해당 int 값과 함께):

logging.CRITICAL 또는 logging.FATAL(int 값, 50): 가장 치명적인 오류만 보고합니다.
logging.ERROR (int 값, 40): 오류만 보고합니다.
logging.WARNING 또는 logging.WARN (int 값, 30): 오류와 경고만 보고합니다. 이 라이브러리의 기본 수준입니다.
logging.INFO (int 값, 20): 오류, 경고 및 기본 정보를 보고합니다.
logging.DEBUG (int 값, 10): 모든 정보를 보고합니다.

datasets.utils.logging.get_verbosity

< source >

( )

HuggingFace datasets 라이브러리 루트 로거의 현재 레벨을 반환합니다.

HuggingFace datasets 라이브러리는 다음과 같은 로깅 레벨을 제공합니다:

datasets.logging.CRITICAL, datasets.logging.FATAL

datasets.logging.ERROR

datasets.logging.WARNING, datasets.logging.WARN

datasets.logging.INFO

datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< source >

( verbosity: int )

매개변수

verbosity — 로그 레벨, 예: datasets.logging.DEBUG 및 datasets.logging.INFO.

Hugging Face Datasets 라이브러리의 루트 로거 레벨을 설정합니다.

datasets.utils.logging.set_verbosity_info

< source >

( )

Hugging Face datasets 라이브러리의 루트 로거 레벨을 INFO(으)로 설정합니다.

이렇게 하면 대부분의 로깅 정보와 tqdm 바가 표시됩니다.

datasets.logging.set_verbosity(datasets.logging.INFO)의 단축어입니다.

datasets.utils.logging.set_verbosity_warning

< source >

( )

Hugging Face datasets 라이브러리의 루트 로거 레벨을 WARNING으로 설정합니다.

이렇게 하면 경고와 오류 로깅 정보 및 tqdm 바만 표시됩니다.

datasets.logging.set_verbosity(datasets.logging.WARNING)의 단축어입니다.

datasets.utils.logging.set_verbosity_debug

< source >

( )

Hugging Face datasets 라이브러리의 루트 로거 레벨을 DEBUG(으)로 설정합니다.

이렇게 하면 모든 로깅 정보와 tqdm 바가 표시됩니다.

datasets.logging.set_verbosity(datasets.logging.DEBUG)의 단축어입니다.

datasets.utils.logging.set_verbosity_error

< source >

( )

Hugging Face datasets 라이브러리의 루트 로거 레벨을 ERROR(으)로 설정합니다.

…

datasets.logging.set_verbosity(datasets.logging.ERROR)의 단축어입니다.

datasets.utils.logging.disable_propagation

< source >

( )

라이브러리 로그 출력의 전파를 비활성화합니다. 로그 전파는 기본적으로 비활성화되어 있습니다.

datasets.utils.logging.enable_propagation

< source >

( )

라이브러리 로그 출력의 전파를 활성화합니다. 루트 로거가 설정된 경우 이중 로깅을 방지하려면 Hugging Face datasets 라이브러리의 기본 핸들러를 비활성화하세요.

진행률 표시줄 구성

기본적으로 데이터셋 다운로드 및 전처리 과정에서 tqdm 진행 표시줄이 표시됩니다. HF_DATASETS_DISABLE_PROGRESS_BARS 환경 변수를 설정하여 전역적으로 비활성화할 수 있습니다. 또한 enable_progress_bars()와 disable_progress_bars()를 사용하여 활성화/비활성화할 수도 있습니다. 환경 변수가 설정된 경우, 헬퍼 함수보다 우선순위가 있습니다.

datasets.enable_progress_bars

< source >

( )

HF_DATASETS_DISABLE_PROGRESS_BARS 환경 변수가 설정된 경우를 제외하고, datasets에서 사용되는 전역 진행 표시줄을 활성화합니다.

disable_progress_bars()를 사용하여 비활성화할 수 있습니다.

datasets.disable_progress_bars

< source >

( )

HF_DATASETS_DISABLE_PROGRESS_BARS 환경 변수가 설정된 경우를 제외하고, datasets에서 사용되는 전역 진행 표시줄을 비활성화합니다.

enable_progress_bars()를 사용하여 다시 활성화할 수 있습니다.

datasets.are_progress_bars_disabled

< source >

( )

진행 표시줄이 전역으로 비활성화되어 있는지 여부를 반환합니다.

datasets에서 사용되는 진행 표시줄은 enable_progress_bars()와 disable_progress_bars()를 사용하여 전역적으로 활성화하거나 비활성화할 수 있으며, HF_DATASETS_DISABLE_PROGRESS_BARS를 환경 변수로 설정하는 방법도 있습니다.

Update on GitHub

←테이블 클래스