推理

Optimum Intel 可用于从 Hub 加载模型并创建管道，以在各种 Intel 处理器上运行 IPEX 优化（包括使用自定义运算符进行修补、权重预打包和图模式）的推理。目前仅支持 CPU。

加载

您可以加载模型并应用 IPEX 优化（除文本生成任务外，应用 torch.compile）。对于 LLaMA、BERT 和 ViT 等受支持的架构，通过修补模型以使用自定义运算符将应用进一步优化。目前，仅支持 Intel CPU/GPU。v1.22 中将弃用以前转换为 TorchScript 的模型。

  import torch
  from transformers import AutoTokenizer, pipeline
- from transformers import AutoModelForCausalLM
+ from optimum.intel import IPEXModelForCausalLM

  model_id = "gpt2"
- model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
+ model = IPEXModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
  tokenizer = AutoTokenizer.from_pretrained(model_id)
  pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
  results = pipe("He's a dreadful magician and")

如下表所示，每个任务都与一个类关联，该类能够自动加载您的模型。

自动类	任务
`IPEXModelForSequenceClassification`	`文本分类`
`IPEXModelForTokenClassification`	`词元分类`
`IPEXModelForQuestionAnswering`	`问题回答`
`IPEXModelForImageClassification`	`图像分类`
`IPEXModel`	`特征提取`
`IPEXModelForMaskedLM`	`填充掩码`
`IPEXModelForAudioClassification`	`音频分类`
`IPEXModelForCausalLM`	`文本生成`
`IPEXModelForSeq2SeqLM`	`text2text-generation`

< > 在 GitHub 上更新