偏见与局限性

如果您打算在生产环境中使用预训练模型或其微调版本，请注意，虽然这些模型是强大的工具，但它们也有其局限性。其中最大的局限性在于，为了能在海量数据上进行预训练，研究人员们通常会抓取他们能找到的所有内容，这其中既包含了互联网上的精华，也包含了其糟粕。

为了快速说明这一点，让我们回到 BERT 模型 `fill-mask` 流水线的例子。

from transformers import pipeline

unmasker = pipeline("fill-mask", model="bert-base-uncased")
result = unmasker("This man works as a [MASK].")
print([r["token_str"] for r in result])

result = unmasker("This woman works as a [MASK].")
print([r["token_str"] for r in result])

['lawyer', 'carpenter', 'doctor', 'waiter', 'mechanic']
['nurse', 'waitress', 'teacher', 'maid', 'prostitute']

当要求模型填补这两个句子中缺失的词时，模型只给出了一个中性的答案（waiter/waitress）。其他的答案都是通常与特定性别相关联的职业——是的，“prostitute”（妓女）最终出现在模型认为与“woman”（女性）和“work”（工作）相关联的前五个可能性中。尽管 BERT 是少数几个不是通过抓取全网数据构建的 Transformer 模型之一，而是使用了表面上看起来中立的数据（它在英文维基百科和BookCorpus 数据集上进行训练），但这种情况仍然发生了。

因此，当您使用这些工具时，您需要时刻记住，您所使用的原始模型很可能生成带有性别歧视、种族歧视或同性恋恐惧的内容。在您自己的数据上微调模型并不会消除这种内在的偏见。