Hugging Face's logo

数据集文档

实用工具

Hugging Face's logo
加入 Hugging Face 社区

并获取增强的文档体验

开始使用

实用工具

配置日志记录

🤗 Datasets 力求透明且明确地说明其工作原理，但这有时可能会非常冗长。我们 включили 一系列日志记录方法，使您可以轻松调整整个库的详细程度。目前，库的默认详细程度设置为 WARNING。

要更改详细程度，请使用直接设置器之一。例如，以下是如何将详细程度更改为 INFO 级别

import datasets
datasets.logging.set_verbosity_info()

您还可以使用环境变量 DATASETS_VERBOSITY 覆盖默认详细程度，并将其设置为以下值之一：debug、info、warning、error、critical

DATASETS_VERBOSITY=error ./myprogram.py

此日志记录模块的所有方法都在下面记录。主要方法有

从最不详细到最详细的顺序（及其对应的 int 值）

  1. logging.CRITICAL 或 logging.FATAL（int 值，50）：仅报告最严重的错误。
  2. logging.ERROR（int 值，40）：仅报告错误。
  3. logging.WARNING 或 logging.WARN（int 值，30）：仅报告错误和警告。这是库使用的默认级别。
  4. logging.INFO（int 值，20）：报告错误、警告和基本信息。
  5. logging.DEBUG（int 值，10）：报告所有信息。

datasets.utils.logging.get_verbosity

< >

( )

返回 HuggingFace datasets 库的根记录器当前级别。

HuggingFace datasets 库具有以下日志记录级别

  • datasets.logging.CRITICAL, datasets.logging.FATAL
  • datasets.logging.ERROR
  • datasets.logging.WARNING, datasets.logging.WARN
  • datasets.logging.INFO
  • datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< >

( verbosity: int )

参数

  • verbosity — 日志记录级别，例如，datasets.logging.DEBUG 和 datasets.logging.INFO。

设置 Hugging Face Datasets 库的根记录器的级别。

datasets.utils.logging.set_verbosity_info

< >

( )

将 Hugging Face datasets 库的根记录器的级别设置为 INFO。

这将显示大多数日志记录信息和 tqdm 进度条。

datasets.logging.set_verbosity(datasets.logging.INFO) 的快捷方式。

datasets.utils.logging.set_verbosity_warning

< >

( )

将 Hugging Face datasets 库的根记录器的级别设置为 WARNING。

这将仅显示警告和错误日志记录信息以及 tqdm 进度条。

datasets.logging.set_verbosity(datasets.logging.WARNING) 的快捷方式。

datasets.utils.logging.set_verbosity_debug

< >

( )

将 Hugging Face datasets 库的根记录器的级别设置为 DEBUG。

这将显示所有日志记录信息和 tqdm 进度条。

datasets.logging.set_verbosity(datasets.logging.DEBUG) 的快捷方式。

datasets.utils.logging.set_verbosity_error

< >

( )

将 Hugging Face datasets 库的根记录器的级别设置为 ERROR。

这将仅显示错误日志记录信息和 tqdm 进度条。

datasets.logging.set_verbosity(datasets.logging.ERROR) 的快捷方式。

datasets.utils.logging.disable_propagation

< >

( )

禁用库日志输出的传播。请注意，默认情况下已禁用日志传播。

datasets.utils.logging.enable_propagation

< >

( )

启用库日志输出的传播。如果根记录器已配置，请禁用 Hugging Face datasets 库的默认处理程序，以防止重复日志记录。

配置进度条

默认情况下，在数据集下载和预处理期间将显示 tqdm 进度条。您可以通过设置 HF_DATASETS_DISABLE_PROGRESS_BARS 环境变量全局禁用它们。您还可以使用 enable_progress_bars() 和 disable_progress_bars() 启用/禁用它们。如果已设置，则环境变量优先于辅助函数。

datasets.enable_progress_bars

< >

( )

全局启用 datasets 中使用的进度条，除非已设置 HF_DATASETS_DISABLE_PROGRESS_BAR 环境变量。

使用 disable_progress_bars() 禁用它们。

datasets.disable_progress_bars

< >

( )

全局禁用 datasets 中使用的进度条，除非已设置 HF_DATASETS_DISABLE_PROGRESS_BAR 环境变量。

使用 enable_progress_bars() 重新启用它们。

datasets.are_progress_bars_disabled

< >

( )

返回进度条是否全局禁用。

可以使用 enable_progress_bars() 和 disable_progress_bars() 或通过设置 HF_DATASETS_DISABLE_PROGRESS_BAR 环境变量全局启用或禁用 datasets 中使用的进度条。

< > 在 GitHub 上更新

←表格类