Hugging Face + Google 可视化块
在 Google I/O 2024 上，我们正与 Google Visual Blocks 团队合作发布自定义 Hugging Face 节点。Visual Blocks for ML 是一个基于浏览器的工具，允许用户使用可视化界面创建机器学习管道。我们与他们合作构建了自定义 Hugging Face 节点，这些节点可以完全在浏览器中使用 Transformers.js 运行，也可以使用我们的 Hugging Face Serverless API 在服务器端运行更大的模型，并使用 Text Generation Inference 运行选定的 LLM。
您可以在此处了解有关 Visual Blocks 及其使用方法的更多信息，并在此处查看 Hugging Face 自定义节点的源代码此处。
我们正在寻求关于此集成的反馈以及新节点和改进的贡献。请在 Visual Blocks 存储库中提出问题或提交带有您更改的拉取请求。
如何使用自定义组件
要开始使用我们的自定义组件，您需要将自定义节点添加到您的 Visual Blocks 项目中。首先，您需要启动一个新项目 https://visualblocks.withgoogle.com/#/edit/new，然后单击左下角的“+”按钮以添加新节点。
然后输入我们 npm 包中的预打包代码。您可以通过将以下链接粘贴到输入字段并点击“提交”来完成此操作
https://cdn.jsdelivr.net.cn/npm/huggingface-visualblocks-nodes@latest
然后您将能够看到三个 Hugging Face 集合：客户端、服务器和通用。
客户端节点
仅使用客户端节点，您可以尝试结合有趣的图像处理节点、网络摄像头和 Transformers.js 图像分割模型。
图像分割
深度估计
服务器端节点
使用 Hugging Face 服务器节点，您可以直接从 Hub 访问数千个最先进的模型。
服务器 + 客户端示例
以下是一个示例，它使用 Hugging Face Hub 登录节点获取您的个人令牌，然后使用 Mistral-7B LLM 生成图像（使用 Stable Diffusion XL 文本到图像），然后将其传输到客户端上运行的 Transformer.js 深度估计。
另一个很酷的示例是使用 Stable Diffusion XL 文本到图像来生成背景图像，并使用 Transformers.js 通过 briaai/RMBG-1.4 或 Modnet 移除网络摄像头输入的背景。
更多示例
以下是展示新节点的示例列表。您只需点击一个示例即可在编辑器中加载它。
客户端节点
翻译节点示例
Token 分类节点示例
文本分类节点示例
对象检测节点示例
图像分割节点示例
图像分类节点示例
深度估计节点示例
背景移除节点示例
服务器节点
聊天模板文本生成节点示例
聊天完成节点示例
填充掩码节点示例
图像分类节点示例
摘要节点示例
文本分类节点示例
文本生成节点示例
文本到图像节点示例
Token 分类节点示例
额外示例
背景移除文本到图像
聊天完成文本到图像深度
图像分割网络摄像头客户端
致谢
感谢 @Xenova 构建了 Transformers.js 并启动了自定义节点项目，感谢 @Jason Mayes 和 Visual Blocks 团队。
