Transformers 文档

MarkupLM

Transformers

加入 Hugging Face 社区

并获取增强的文档体验

协作处理模型、数据集和 Spaces

通过加速推理获得更快的示例

切换文档主题

开始使用

MarkupLM

概述

MarkupLM 模型在 MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding 中提出，作者是 Junlong Li, Yiheng Xu, Lei Cui, Furu Wei。 MarkupLM 是 BERT，但应用于 HTML 页面而不是原始文本文档。该模型结合了额外的嵌入层以提高性能，类似于 LayoutLM。

该模型可用于诸如网页问答或从网页提取信息之类的任务。它在 2 个重要的基准测试中获得了最先进的结果

WebSRC，一个用于基于 Web 的结构化阅读理解的数据集（有点像 SQuAD，但用于网页）
SWDE，一个用于从网页提取信息的数据集（基本上是网页上的命名实体识别）

论文的摘要如下

多模态预训练结合文本、布局和图像，在视觉丰富文档理解 (VrDU) 方面取得了显著进展，尤其是在固定布局的文档中，例如扫描文档图像。然而，仍然存在大量的数字文档，它们的布局信息不是固定的，需要交互式和动态渲染以进行可视化，这使得现有的基于布局的预训练方法不易应用。在本文中，我们提出了 MarkupLM，用于以标记语言（如基于 HTML/XML 的文档）作为骨干的文档理解任务，其中文本和标记信息被联合预训练。实验结果表明，预训练的 MarkupLM 在多个文档理解任务上显著优于现有的强大基线模型。预训练模型和代码将公开提供。

此模型由 nielsr 贡献。原始代码可以在这里找到。

使用技巧

除了 input_ids，forward() 还期望 2 个额外的输入，即 xpath_tags_seq 和 xpath_subs_seq。这些分别是输入序列中每个 token 的 XPATH 标签和下标。
可以使用 MarkupLMProcessor 为模型准备所有数据。有关更多信息，请参阅使用指南。

MarkupLM 架构。取自原始论文。

用法：MarkupLMProcessor

为模型准备数据的最简单方法是使用 MarkupLMProcessor，它在内部结合了特征提取器 (MarkupLMFeatureExtractor) 和 tokenizer (MarkupLMTokenizer 或 MarkupLMTokenizerFast)。特征提取器用于从 HTML 字符串中提取所有节点和 xpath，然后将其提供给 tokenizer，tokenizer 将其转换为模型的 token 级别输入 (input_ids 等)。请注意，如果您只想处理两个任务中的一个，您仍然可以分别使用特征提取器和 tokenizer。

from transformers import MarkupLMFeatureExtractor, MarkupLMTokenizerFast, MarkupLMProcessor

feature_extractor = MarkupLMFeatureExtractor()
tokenizer = MarkupLMTokenizerFast.from_pretrained("microsoft/markuplm-base")
processor = MarkupLMProcessor(feature_extractor, tokenizer)

简而言之，可以将 HTML 字符串（以及可能的其他数据）提供给 MarkupLMProcessor，它将创建模型期望的输入。在内部，processor 首先使用 MarkupLMFeatureExtractor 来获取节点列表和相应的 xpath。然后将节点和 xpath 提供给 MarkupLMTokenizer 或 MarkupLMTokenizerFast，它们将其转换为 token 级别的 input_ids、attention_mask、token_type_ids、xpath_subs_seq、xpath_tags_seq。可选地，可以向 processor 提供节点标签，这些标签将被转换为 token 级别的 labels。

MarkupLMFeatureExtractor 在底层使用了 Beautiful Soup，这是一个用于从 HTML 和 XML 文件中提取数据的 Python 库。请注意，您仍然可以使用您自己选择的解析解决方案，并将节点和 xpath 自己提供给 MarkupLMTokenizer 或 MarkupLMTokenizerFast。

总共有 5 种 processor 支持的用例。下面，我们列出所有这些用例。请注意，这些用例中的每一个都适用于批量和非批量输入（我们针对非批量输入进行说明）。

用例 1：网页分类（训练，推理）+ token 分类（推理），parse_html = True

这是最简单的情况，其中 processor 将使用特征提取器从 HTML 中获取所有节点和 xpath。

>>> from transformers import MarkupLMProcessor

>>> processor = MarkupLMProcessor.from_pretrained("microsoft/markuplm-base")

>>> html_string = """
...  <!DOCTYPE html>
...  <html>
...  <head>
...  <title>Hello world</title>
...  </head>
...  <body>
...  <h1>Welcome</h1>
...  <p>Here is my website.</p>
...  </body>
...  </html>"""

>>> # note that you can also add provide all tokenizer parameters here such as padding, truncation
>>> encoding = processor(html_string, return_tensors="pt")
>>> print(encoding.keys())
dict_keys(['input_ids', 'token_type_ids', 'attention_mask', 'xpath_tags_seq', 'xpath_subs_seq'])

用例 2：网页分类（训练，推理）+ token 分类（推理），parse_html=False

如果已经获得了所有节点和 xpath，则不需要特征提取器。在这种情况下，应将节点和相应的 xpath 本身提供给 processor，并确保将 parse_html 设置为 False。

>>> from transformers import MarkupLMProcessor

>>> processor = MarkupLMProcessor.from_pretrained("microsoft/markuplm-base")
>>> processor.parse_html = False

>>> nodes = ["hello", "world", "how", "are"]
>>> xpaths = ["/html/body/div/li[1]/div/span", "/html/body/div/li[1]/div/span", "html/body", "html/body/div"]
>>> encoding = processor(nodes=nodes, xpaths=xpaths, return_tensors="pt")
>>> print(encoding.keys())
dict_keys(['input_ids', 'token_type_ids', 'attention_mask', 'xpath_tags_seq', 'xpath_subs_seq'])

用例 3：token 分类（训练），parse_html=False

对于 token 分类任务（例如 SWDE），还可以提供相应的节点标签以训练模型。然后，processor 会将这些标签转换为 token 级别的 labels。默认情况下，它只会标记单词的第一个 wordpiece，并用 -100 标记其余的 wordpiece，这是 PyTorch 的 CrossEntropyLoss 的 ignore_index。如果您希望标记单词的所有 wordpiece，则可以使用设置为 False 的 only_label_first_subword 初始化 tokenizer。

>>> from transformers import MarkupLMProcessor

>>> processor = MarkupLMProcessor.from_pretrained("microsoft/markuplm-base")
>>> processor.parse_html = False

>>> nodes = ["hello", "world", "how", "are"]
>>> xpaths = ["/html/body/div/li[1]/div/span", "/html/body/div/li[1]/div/span", "html/body", "html/body/div"]
>>> node_labels = [1, 2, 2, 1]
>>> encoding = processor(nodes=nodes, xpaths=xpaths, node_labels=node_labels, return_tensors="pt")
>>> print(encoding.keys())
dict_keys(['input_ids', 'token_type_ids', 'attention_mask', 'xpath_tags_seq', 'xpath_subs_seq', 'labels'])

用例 4：网页问答（推理），parse_html=True

对于网页上的问答任务，您可以向 processor 提供问题。默认情况下，processor 将使用特征提取器获取所有节点和 xpath，并创建 [CLS] 问题 tokens [SEP] 单词 tokens [SEP]。

>>> from transformers import MarkupLMProcessor

>>> processor = MarkupLMProcessor.from_pretrained("microsoft/markuplm-base")

>>> html_string = """
...  <!DOCTYPE html>
...  <html>
...  <head>
...  <title>Hello world</title>
...  </head>
...  <body>
...  <h1>Welcome</h1>
...  <p>My name is Niels.</p>
...  </body>
...  </html>"""

>>> question = "What's his name?"
>>> encoding = processor(html_string, questions=question, return_tensors="pt")
>>> print(encoding.keys())
dict_keys(['input_ids', 'token_type_ids', 'attention_mask', 'xpath_tags_seq', 'xpath_subs_seq'])

用例 5：网页问答（推理），parse_html=False

对于问答任务（例如 WebSRC），您可以向 processor 提供问题。如果您自己提取了所有节点和 xpath，则可以直接将其提供给 processor。确保将 parse_html 设置为 False。

>>> from transformers import MarkupLMProcessor

>>> processor = MarkupLMProcessor.from_pretrained("microsoft/markuplm-base")
>>> processor.parse_html = False

>>> nodes = ["hello", "world", "how", "are"]
>>> xpaths = ["/html/body/div/li[1]/div/span", "/html/body/div/li[1]/div/span", "html/body", "html/body/div"]
>>> question = "What's his name?"
>>> encoding = processor(nodes=nodes, xpaths=xpaths, questions=question, return_tensors="pt")
>>> print(encoding.keys())
dict_keys(['input_ids', 'token_type_ids', 'attention_mask', 'xpath_tags_seq', 'xpath_subs_seq'])

Transformers

MarkupLM

概述

使用技巧

用法：MarkupLMProcessor

资源

MarkupLMConfig

class transformers.MarkupLMConfig

MarkupLMFeatureExtractor

class transformers.MarkupLMFeatureExtractor

__call__

MarkupLMTokenizer

class transformers.MarkupLMTokenizer

build_inputs_with_special_tokens

get_special_tokens_mask

create_token_type_ids_from_sequences

save_vocabulary

MarkupLMTokenizerFast

class transformers.MarkupLMTokenizerFast

batch_encode_plus

build_inputs_with_special_tokens

create_token_type_ids_from_sequences

encode_plus

get_xpath_seq

MarkupLMProcessor

class transformers.MarkupLMProcessor

__call__

MarkupLMModel

class transformers.MarkupLMModel

forward

MarkupLMForSequenceClassification

class transformers.MarkupLMForSequenceClassification

forward

MarkupLMForTokenClassification

class transformers.MarkupLMForTokenClassification

forward

MarkupLMForQuestionAnswering

class transformers.MarkupLMForQuestionAnswering

forward

call

call