数据集文档

实用程序

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

开始使用

实用程序

配置日志记录

🤗 Datasets 致力于在工作方式上保持透明和明确,但这有时可能会非常冗长。我们包含了一系列日志记录方法,允许您轻松调整整个库的详细程度。目前,库的默认详细程度设置为 WARNING

要更改详细程度,请使用其中一个直接设置器。例如,以下是如何将详细程度更改为 INFO 级别

import datasets
datasets.logging.set_verbosity_info()

您还可以使用环境变量 DATASETS_VERBOSITY 覆盖默认详细程度,并将其设置为以下值之一:debuginfowarningerrorcritical

DATASETS_VERBOSITY=error ./myprogram.py

此日志记录模块的所有方法都记录在下面。主要方法是

按详细程度从低到高排序(及其对应的 int 值)

  1. logging.CRITICALlogging.FATAL(int 值,50):仅报告最严重的错误。
  2. logging.ERROR(int 值,40):仅报告错误。
  3. logging.WARNINGlogging.WARN(int 值,30):仅报告错误和警告。这是库使用的默认级别。
  4. logging.INFO(int 值,20):报告错误、警告和基本信息。
  5. logging.DEBUG(int 值,10):报告所有信息。

datasets.utils.logging.get_verbosity

< >

( )

返回 Hugging Face Datasets 库根记录器的当前级别。

Hugging Face Datasets 库具有以下日志记录级别

  • datasets.logging.CRITICALdatasets.logging.FATAL
  • datasets.logging.ERROR
  • datasets.logging.WARNINGdatasets.logging.WARN
  • datasets.logging.INFO
  • datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< >

( verbosity: int )

设置 Hugging Face Datasets 库根记录器的级别。

datasets.utils.logging.set_verbosity_info

< >

( )

将 Hugging Face Datasets 库根记录器的级别设置为 INFO

这将显示大部分日志信息和 tqdm 进度条。

datasets.logging.set_verbosity(datasets.logging.INFO) 的快捷方式。

datasets.utils.logging.set_verbosity_warning

< >

( )

将 Hugging Face Datasets 库根记录器的级别设置为 WARNING

这将仅显示警告和错误日志信息以及 tqdm 进度条。

datasets.logging.set_verbosity(datasets.logging.WARNING) 的快捷方式。

datasets.utils.logging.set_verbosity_debug

< >

( )

将 Hugging Face Datasets 库根记录器的级别设置为 DEBUG

这将显示所有日志信息和 tqdm 进度条。

datasets.logging.set_verbosity(datasets.logging.DEBUG) 的快捷方式。

datasets.utils.logging.set_verbosity_error

< >

( )

将 Hugging Face Datasets 库根记录器的级别设置为 ERROR

这将仅显示错误日志信息以及 tqdm 进度条。

datasets.logging.set_verbosity(datasets.logging.ERROR) 的快捷方式。

datasets.utils.logging.disable_propagation

< >

( )

禁用库日志输出的传播。请注意,默认情况下日志传播已禁用。

datasets.utils.logging.enable_propagation

< >

( )

启用库日志输出的传播。如果根记录器已配置,请禁用 Hugging Face Datasets 库的默认处理程序以防止重复记录。

配置进度条

默认情况下,在数据集下载和预处理期间会显示tqdm进度条。您可以通过设置HF_DATASETS_DISABLE_PROGRESS_BARS环境变量来全局禁用它们。您也可以使用enable_progress_bars()disable_progress_bars()启用/禁用它们。如果设置了环境变量,则环境变量优先于辅助函数。

datasets.enable_progress_bars

< >

( )

全局启用datasets中使用的进度条,除非已设置HF_DATASETS_DISABLE_PROGRESS_BAR环境变量。

使用disable_progress_bars()禁用它们。

datasets.disable_progress_bars

< >

( )

全局禁用datasets中使用的进度条,除非已设置HF_DATASETS_DISABLE_PROGRESS_BAR环境变量。

使用enable_progress_bars()重新启用它们。

datasets.are_progress_bars_disabled

< >

( )

返回进度条是否全局禁用。

datasets中使用的进度条可以通过enable_progress_bars()disable_progress_bars()全局启用或禁用,或者通过将HF_DATASETS_DISABLE_PROGRESS_BAR设置为环境变量来启用或禁用。

< > 在 GitHub 上更新