Transformers documentation
환경 변수
시작하기
기본 클래스
모델
Preprocessors
추론
Pipeline API
Generate API
최적화
모델과 대화하기
서빙
학습
하드웨어
양자화
생태계 통합
리소스
API
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
환경 변수
Boolean 변수는 대소문자를 구분하지 않고 1, on, yes, true를 허용합니다. 설정되지 않은 경우를 포함하여 그 외의 값은 모두 false입니다.
이 변수들은 대부분 Transformers가 import될 때 한 번만 읽힙니다. Python을 실행하기 전에 셸에서 설정하거나, import 전에 os.environ을 통해 설정하세요. 이후에 변경해도 효과가 없습니다.
TRANSFORMERS_VERBOSITY=info python run.py
캐싱 및 Hub 액세스는 HF_* 변수, 예: HF_HOME 및 HF_HUB_OFFLINE를 통해 huggingface_hub에서 구성됩니다. 오프라인 워크플로에 대해서는 설치를 참조하세요.
로깅
Transformers는 warning 수준으로 로깅합니다. 로깅 문서에는 logging.set_verbosity()를 포함한 동등한 Python API가 설명되어 있습니다.
| 변수 | 값 | 설명 |
|---|---|---|
TRANSFORMERS_VERBOSITY | detail, debug, info, warning, error, critical | Library log level. detail은 debug와 동일하며 각 메시지에 파일 이름과 줄 번호를 추가합니다. 인식되지 않는 값은 경고를 표시하고 warning으로 대체됩니다. |
TRANSFORMERS_NO_ADVISORY_WARNINGS | boolean | 문제를 나타내지 않는 모범 사례 힌트인 advisory 경고를 비활성화합니다. |
모델 로딩
Checkpoint shards는 기본적으로 병렬로 로드됩니다.
| 변수 | 값 | 설명 |
|---|---|---|
HF_DEACTIVATE_ASYNC_LOAD | boolean | device_map이 디스크로 오프로드하거나 온더플라이(On-the-fly) 양자화를 수행할 때 로딩은 이미 순차적으로 이루어지므로, 이 옵션은 그 외의 병렬 로딩에만 영향을 미칩니다. |
DISABLE_SAFETENSORS_CONVERSION | boolean | PyTorch .bin 가중치만 포함된 저장소에 대해 Transformers가 Hub 변환 봇에게 safetensors 버전을 요청하는 것을 방지합니다. 요청이 지연 시간과 네트워크 불안정성을 유발하므로 CI에서 설정하는 것이 좋습니다. |
Kernels and backends
kernels이 설치되어 있고 하드웨어가 이를 지원하는 경우, 최적화된 커널은 Hub에서 다운로드됩니다. 수치적 차이 또는 크래시를 분리하여 확인하려면 이를 비활성화하세요.
| 변수 | 값 | 설명 |
|---|---|---|
USE_HUB_KERNELS | 기본적으로 활성화된 boolean | false 값으로 설정하면 참조 구현으로 폴백됩니다. |
TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR | 1 | finegrained FP8 양자화에서 FP8 선형 레이어에 대해 DeepGEMM 대신 Triton fallback을 강제합니다. |
TRANSFORMERS_DISABLE_TORCH_CHECK | 1 | import 시 최소 PyTorch 버전 확인을 건너뜁니다. |
TRANSFORMERS_SDPA_FORCE_GQA | 1 | PyTorch SDPA가 grouped-query attention에 enable_gqa=True를 사용하도록 강제합니다. 그렇지 않으면 Transformers는 enable_gqa=True 설정과 key/value head 반복 사이에서 선택합니다. |
Update on GitHub
TRANSFORMERS_DISABLE_TORCH_CHECK은 동작을 변경하는 것이 아니라 가드를 제거합니다. 지원되지 않는 PyTorch 버전을 사용하면 명확한 메시지 대신 import 오류가 발생하거나 조용히 잘못된 결과가 반환될 수 있습니다.