AuraFace 简介:开源人脸识别与身份保留模型

社区文章 发布于 2024 年 8 月 26 日

image/jpeg

今天,我们很高兴地宣布发布一款可用于商业用途的新身份编码器模型:AuraFace。该模型代表了在使先进的人脸识别和身份保留技术可用于商业用途方面迈出的重要一步。

AuraFace:商用开源人脸识别

AuraFace 是我们流行的 ArcFace 模型的开源版本,专为商业应用而设计。与原始 ArcFace 不同,AuraFace 由于其训练数据而受到非商业限制,而 AuraFace 可以在商业项目中不受限制地使用。

然而,训练数据之间存在显著的规模差异,这意味着 AuraFace 的性能无法与原始 ArcFace 匹配,但它在准确性和商业可用性之间提供了强大的平衡。

AuraFace IP-Adapter:在图像生成中保留身份

作为 AuraFace 的补充,我们还开发了 AuraFace IP-Adapter,用于在图像生成任务中保持身份一致性。AuraFace IP-Adapter 确保在各种图像生成和操作任务中保持主体的核心身份。它旨在与 SD1.5 无缝协作,并且可以轻松地集成到现有工作流程中。

性能比较

为了提供透明度并帮助用户做出明智的决定,我们通过在 AuraFace 上训练 IP-Adapter 并进行比较,对原始 ArcFace 和 AuraFace 进行了比较。

从左到右:原始、IP-Adapter-AuraFace、IP-Adapter-ArcFace

image/png image/png image/png image/png

这些比较表明

  1. 模型未实现完美的逼真度和身份一致性。
  2. 模型在主体保留方面的有效性可能因种族而异。
  3. 由于训练数据、基础模型和人脸识别模型的限制,模型的泛化能力有限。

评估

AuraFace 基于 resnet100 架构,与原始 ArcFace 模型相同,因此我们可以在以下指标中将其与原始模型进行比较

指标/模型 AuraFace ArcFace
CFP-FP 95.18 98.87
AGEDB 96.10 98.38
CALFW 94.70 96.10
CPLFW 90.93 93.43

实际应用

AuraFace 的商业友好特性开辟了广泛的应用领域

  • 电子商务和零售:实现安全的支付系统或个性化购物体验的人脸识别。
  • 数字内容创作:使用 IP-Adapter 在游戏和互动媒体中创建一致的数字头像或角色。
  • 移动应用:将人脸识别功能集成到应用中,以增强用户体验和安全性。
  • 企业安全:开发员工身份验证系统,无需担心许可限制。

开源社区和未来发展

作为一项开源项目,AuraFace 的未来发展将极大地受益于社区贡献。我们鼓励开发者和研究人员

  • 试验模型并分享他们的发现,特别是与种族相关的发现,以便我们改进数据集。
  • 在保持商业可用性的同时,为扩展训练数据集做出贡献。
  • 提出并实施模型架构的改进。我们目前遵循与 ArcFace 相同的架构和训练程序。

立即尝试

AuraFace 现已在 HuggingFace 上提供。我们还将其部署到 fal.ai/lora 的专用端点,以便轻松集成到您的项目中。

我们很高兴看到社区将如何利用这些新的、商业友好的模型。随着我们继续改进 AuraFace,我们正在积极寻求扩展我们的人脸数据集。如果您有兴趣为这项开源工作做出贡献,或者可以访问能够提高模型性能的各种人脸数据,我们非常乐意与您交流。请通过 Twitter 联系 @_yatharthg、@Gothos03 或 @jfischoff,讨论您如何帮助塑造开源人脸识别技术的未来。您的贡献将在使 AuraFace 在全球商业应用中变得更加强大和通用方面发挥关键作用!

社区

注册登录 发表评论