Transformers.js v3：WebGPU 支持、新模型和任务，以及更多…

import {
  Florence2ForConditionalGeneration,
  AutoProcessor,
  AutoTokenizer,
  RawImage,
} from "@huggingface/transformers";

// Load model, processor, and tokenizer
const model_id = "onnx-community/Florence-2-base-ft";
const model = await Florence2ForConditionalGeneration.from_pretrained(
  model_id,
  {
    dtype: {
      embed_tokens: "fp16",
      vision_encoder: "fp16",
      encoder_model: "q4",
      decoder_model_merged: "q4",
    },
    device: "webgpu",
  },
);
const processor = await AutoProcessor.from_pretrained(model_id);
const tokenizer = await AutoTokenizer.from_pretrained(model_id);

// Load image and prepare vision inputs
const url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg";
const image = await RawImage.fromURL(url);
const vision_inputs = await processor(image);

// Specify task and prepare text inputs
const task = "<MORE_DETAILED_CAPTION>";
const prompts = processor.construct_prompts(task);
const text_inputs = tokenizer(prompts);

// Generate text
const generated_ids = await model.generate({
  ...text_inputs,
  ...vision_inputs,
  max_new_tokens: 100,
});

// Decode generated text
const generated_text = tokenizer.batch_decode(generated_ids, {
  skip_special_tokens: false,
})[0];

// Post-process the generated text
const result = processor.post_process_generation(
  generated_text,
  task,
  image.size,
);
console.log(result);
// { '<MORE_DETAILED_CAPTION>': 'A green car is parked in front of a tan building. The building has a brown door and two brown windows. The car is a two door and the door is closed. The green car has black tires.' }

1. Cohere（来自 Cohere），随 Cohere 发布的论文 Command-R: Retrieval Augmented Generation at Production Scale 一同发布。
2. Decision Transformer（来自 Berkeley/Facebook/Google），随 Lili Chen、Kevin Lu、Aravind Rajeswaran、Kimin Lee、Aditya Grover、Michael Laskin、Pieter Abbeel、Aravind Srinivas、Igor Mordatch 发布的论文 Decision Transformer: Reinforcement Learning via Sequence Modeling 一同发布。
3. Depth Pro（来自 Apple），随 Aleksei Bochkovskii、Amaël Delaunoy、Hugo Germain、Marcel Santos、Yichao Zhou、Stephan R. Richter、Vladlen Koltun 发布的论文 Depth Pro: Sharp Monocular Metric Depth in Less Than a Second 一同发布。
4. Florence2（来自 Microsoft），随 Bin Xiao、Haiping Wu、Weijian Xu、Xiyang Dai、Houdong Hu、Yumao Lu、Michael Zeng、Ce Liu、Lu Yuan 发布的论文 Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks 一同发布。
5. Gemma（来自 Google），随 Gemma Google 团队发布的论文 Gemma: Open Models Based on Gemini Technology and Research 一同发布。
6. Gemma2（来自 Google），随 Gemma Google 团队发布的论文 Gemma2: Open Models Based on Gemini Technology and Research 一同发布。
7. Granite（来自 IBM），随 Yikang Shen、Matthew Stallone、Mayank Mishra、Gaoyuan Zhang、Shawn Tan、Aditya Prasad、Adriana Meza Soria、David D. Cox、Rameswar Panda 发布的论文 Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate Scheduler 一同发布。
8. GroupViT（来自 UCSD、NVIDIA），随 Jiarui Xu、Shalini De Mello、Sifei Liu、Wonmin Byeon、Thomas Breuel、Jan Kautz、Xiaolong Wang 发布的论文 GroupViT: Semantic Segmentation Emerges from Text Supervision 一同发布。
9. Hiera（来自 Meta），随 Chaitanya Ryali、Yuan-Ting Hu、Daniel Bolya、Chen Wei、Haoqi Fan、Po-Yao Huang、Vaibhav Aggarwal、Arkabandhu Chowdhury、Omid Poursaeed、Judy Hoffman、Jitendra Malik、Yanghao Li、Christoph Feichtenhofer 发布的论文 Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles 一同发布。
10. JAIS（来自 Core42），随 Neha Sengupta、Sunil Kumar Sahu、Bokang Jia、Satheesh Katipomu、Haonan Li、Fajri Koto、William Marshall、Gurpreet Gosal、Cynthia Liu、Zhiming Chen、Osama Mohammed Afzal、Samta Kamboj、Onkar Pandit、Rahul Pal、Lalit Pradhan、Zain Muhammad Mujahid、Massa Baali、Xudong Han、Sondos Mahmoud Bsharat、Alham Fikri Aji、Zhiqiang Shen、Zhengzhong Liu、Natalia Vassilieva、Joel Hestness、Andy Hock、Andrew Feldman、Jonathan Lee、Andrew Jackson、Hector Xuguang Ren、Preslav Nakov、Timothy Baldwin、Eric Xing 发布的论文 Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models 一同发布。
11. LLaVa（来自 Microsoft Research & University of Wisconsin-Madison），随 Haotian Liu、Chunyuan Li、Yuheng Li 和 Yong Jae Lee 发布的论文 Visual Instruction Tuning 一同发布。
12. MaskFormer（来自 Meta 和 UIUC），随 Bowen Cheng、Alexander G. Schwing、Alexander Kirillov 发布的论文 Per-Pixel Classification is Not All You Need for Semantic Segmentation 一同发布。
13. MusicGen（来自 Meta），随 Jade Copet、Felix Kreuk、Itai Gat、Tal Remez、David Kant、Gabriel Synnaeve、Yossi Adi 和 Alexandre Défossez 发布的论文 Simple and Controllable Music Generation 一同发布。
14. MobileCLIP（来自 Apple），随 Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzel 发布的论文 MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training 一同发布。
15. MobileNetV1（来自 Google Inc.），随 Andrew G. Howard、Menglong Zhu、Bo Chen、Dmitry Kalenichenko、Weijun Wang、Tobias Weyand、Marco Andreetto、Hartwig Adam 发布的论文 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 一同发布。
16. MobileNetV2（来自 Google Inc.），随 Mark Sandler、Andrew Howard、Menglong Zhu、Andrey Zhmoginov、Liang-Chieh Chen 发布的论文 MobileNetV2: Inverted Residuals and Linear Bottlenecks 一同发布。
17. MobileNetV3（来自 Google Inc.），随 Andrew Howard、Mark Sandler、Grace Chu、Liang-Chieh Chen、Bo Chen、Mingxing Tan、Weijun Wang、Yukun Zhu、Ruoming Pang、Vijay Vasudevan、Quoc V. Le、Hartwig Adam 发布的论文 Searching for MobileNetV3 一同发布。
18. MobileNetV4（来自 Google Inc.），随 Danfeng Qin、Chas Leichner、Manolis Delakis、Marco Fornoni、Shixin Luo、Fan Yang、Weijun Wang、Colby Banbury、Chengxi Ye、Berkin Akin、Vaibhav Aggarwal、Tenghui Zhu、Daniele Moro、Andrew Howard 发布的论文 MobileNetV4 - Universal Models for the Mobile Ecosystem 一同发布。
19. Moondream1 在 vikhyat 的仓库 moondream 中发布。
20. OpenELM（来自 Apple），随 Sachin Mehta、Mohammad Hossein Sekhavat、Qingqing Cao、Maxwell Horton、Yanzi Jin、Chenfan Sun、Iman Mirzadeh、Mahyar Najibi、Dmitry Belenko、Peter Zatloukal、Mohammad Rastegari 发布的论文 OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework 一同发布。
21. Phi3（来自 Microsoft），随 Marah Abdin、Sam Ade Jacobs、Ammar Ahmad Awan、Jyoti Aneja、Ahmed Awadallah、Hany Awadalla、Nguyen Bach、Amit Bahree、Arash Bakhtiari、Harkirat Behl、Alon Benhaim、Misha Bilenko、Johan Bjorck、Sébastien Bubeck、Martin Cai、Caio César Teodoro Mendes、Weizhu Chen、Vishrav Chaudhary、Parul Chopra、Allie Del Giorno、Gustavo de Rosa、Matthew Dixon、Ronen Eldan、Dan Iter、Amit Garg、Abhishek Goswami、Suriya Gunasekar、Emman Haider、Junheng Hao、Russell J. Hewett、Jamie Huynh、Mojan Javaheripi、Xin Jin、Piero Kauffmann、Nikos Karampatziakis、Dongwoo Kim、Mahoud Khademi、Lev Kurilenko、James R. Lee、Yin Tat Lee、Yuanzhi Li、Chen Liang、Weishung Liu、Eric Lin、Zeqi Lin、Piyush Madan、Arindam Mitra、Hardik Modi、Anh Nguyen、Brandon Norick、Barun Patra、Daniel Perez-Becker、Thomas Portet、Reid Pryzant、Heyang Qin、Marko Radmilac、Corby Rosset、Sambudha Roy、Olatunji Ruwase、Olli Saarikivi、Amin Saied、Adil Salim、Michael Santacroce、Shital Shah、Ning Shang、Hiteshi Sharma、Xia Song、Masahiro Tanaka、Xin Wang、Rachel Ward、Guanhua Wang、Philipp Witte、Michael Wyatt、Can Xu、Jiahang Xu、Sonali Yadav、Fan Yang、Ziyi Yang、Donghan Yu、Chengruidong Zhang、Cyril Zhang、Jianwen Zhang、Li Lyna Zhang、Yi Zhang、Yue Zhang、Yunan Zhang、Xiren Zhou 发布的论文 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone 一同发布。
22. PVT（来自南京大学、香港大学等），随 Wenhai Wang、Enze Xie、Xiang Li、Deng-Ping Fan、Kaitao Song、Ding Liang、Tong Lu、Ping Luo、Ling Shao 发布的论文 Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 一同发布。
23. PyAnnote 在 Hervé Bredin 的仓库 pyannote/pyannote-audio 中发布。
24. RT-DETR（来自百度），随 Yian Zhao、Wenyu Lv、Shangliang Xu、Jinman Wei、Guanzhong Wang、Qingqing Dang、Yi Liu、Jie Chen 发布的论文 DETRs Beat YOLOs on Real-time Object Detection 一同发布。
25. Sapiens（来自 Meta AI），随 Rawal Khirodkar、Timur Bagautdinov、Julieta Martinez、Su Zhaoen、Austin James、Peter Selednik、Stuart Anderson、Shunsuke Saito 发布的论文 Sapiens: Foundation for Human Vision Models 一同发布。
26. ViTMAE（来自 Meta AI），随 Kaiming He、Xinlei Chen、Saining Xie、Yanghao Li、Piotr Dollár、Ross Girshick 发布的论文 Masked Autoencoders Are Scalable Vision Learners 一同发布。
27. ViTMSN（来自 Meta AI），随 Mahmoud Assran、Mathilde Caron、Ishan Misra、Piotr Bojanowski、Florian Bordes、Pascal Vincent、Armand Joulin、Michael Rabbat、Nicolas Ballas 发布的论文 Masked Siamese Networks for Label-Efficient Learning 一同发布。