推理

Optimum Intel 可以用于从 Hub 加载模型，并创建管道以在各种 Intel 处理器上运行经过 IPEX 优化的推理（包括使用自定义运算符进行修补、权重预打包和图模式）。目前，仅 CPU 支持已启用。

加载

您可以加载您的模型并应用 IPEX 优化（应用 torch.compile，除了文本生成任务）。对于像 LLaMA、BERT 和 ViT 这样的受支持架构，将通过修补模型以使用自定义运算符来应用进一步的优化。目前，Intel CPU/GPU 已启用支持。先前转换为 TorchScript 的模型将在 v1.22 中弃用。

  import torch
  from transformers import AutoTokenizer, pipeline
- from transformers import AutoModelForCausalLM
+ from optimum.intel import IPEXModelForCausalLM

  model_id = "gpt2"
- model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
+ model = IPEXModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
  tokenizer = AutoTokenizer.from_pretrained(model_id)
  pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
  results = pipe("He's a dreadful magician and")

如下表所示，每个任务都与一个类相关联，该类支持自动加载您的模型。

自动类	任务
`IPEXModelForSequenceClassification`	`文本分类`
`IPEXModelForTokenClassification`	`分词分类`
`IPEXModelForQuestionAnswering`	`问答`
`IPEXModelForImageClassification`	`图像分类`
`IPEXModel`	`特征提取`
`IPEXModelForMaskedLM`	`填充掩码`
`IPEXModelForAudioClassification`	`音频分类`
`IPEXModelForCausalLM`	`文本生成`
`IPEXModelForSeq2SeqLM`	`文本到文本生成`

< > 在 GitHub 上更新