开源手写签名检测模型

摘要

表 1：主要研究特点

资源	链接/徽章	详情
模型文件		最终模型的不同格式
数据集 – 原始		2,819 张带有签名坐标注释的文档图像
数据集 – 已处理		用于模型训练的增强和预处理版本（640 像素）
笔记本 – 模型实验		完整的训练和评估管道，可在不同架构（yolo、detr、rt-detr、conditional-detr、yolos）之间进行选择
笔记本 – HP 调优		用于优化精度/召回率平衡的 Optuna 试验
推理服务器		使用 Triton Inference Server 的完整部署和推理管道
实时演示		具有实时推理的图形界面

---

1. 引言

自动化在文档处理中的应用在工业界和学术界都受到了广泛关注。在这种背景下，手写签名检测面临着一些挑战，包括方向、光照、噪声、文档布局、文档内容中的草书字母、签名位置的变化等等。本文描述了该任务模型的端到端开发，包括架构选择、数据集创建、超参数优化和生产部署。

---

2. 方法论

2.1 对象检测架构

计算机视觉中的对象检测取得了显著进展，在自动驾驶和监控应用等用例中平衡了速度和精度。

该领域发展迅速，架构通常分为以下范式：

• 基于 CNN 的两阶段检测器：R-CNN 系列的模型首先识别潜在的对象区域，然后对其进行分类。
• 基于 CNN 的单阶段检测器：YOLO 系列和 SSD 模型一次性预测边界框和类别。
• 基于 Transformer 的检测器：基于 DETR 的模型应用注意力机制进行端到端检测。
• 混合架构：结合 CNN 效率和 Transformer 上下文理解的系统。
• 零样本检测器：能够在未经特定训练的情况下识别不熟悉的物体类别。

查看此排行榜以获取对象检测模型的最新更新：对象检测排行榜。

背景与演变

对象检测已从传统的基于 CNN 的模型（如 Faster R-CNN 和 SSD）发展到更近期的基于 Transformer 的模型（如 Facebook AI 于 2020 年发布的 DETR）。这旨在通过应用 Transformer 模型来提高精度，因为 Transformer 模型在处理全局上下文方面具有更强的能力。RT-DETR 和 YOLOv11 等最新模型继续完善这种平衡，专注于实时性能和精度。

YOLO 系列

你只看一次 (YOLO) 于 2016 年由 Joseph Redmon、Santosh Divvala、Ross Girshick 和 Ali Farhadi 推出，通过提出一种单阶段检测器，彻底改变了对象检测。两阶段方法首先创建区域提议，然后对其进行分类和分类，而 YOLO 则在网络的一次通过中预测边界框和对象类别。这种设计使 YOLO 速度非常快，非常适合边缘设备和实时计算任务，如安全监控、交通监控和工业检查。

YOLO 系列年复一年地不断改进。每个版本都采用了新的方法和改进来弥补其他版本的缺点。

• YOLOv1： 首次通过一次前向传递扫描整个图像来消除区域提议，同时捕获全局和局部上下文。
• YOLOv2 和 YOLOv3： 带来了重大进步，如特征金字塔网络 (FPN)、多尺度训练和锚框的应用，提高了模型检测不同尺寸对象的能力。
• YOLOv4： 通过采用 CSPDarknet53-PANet-SPP 主干并整合诸如特殊包、免费包、遗传算法和注意力模块等新颖技术，实现了重大的架构升级，以提高精度和速度。
• YOLOv5： 虽然架构与 YOLOv4 相似，但其在 PyTorch 中的实现以及 Ultralytics 框架内简化的训练过程促成了其广泛采用。
• YOLO-R、YOLO-X、YOLOv6 和 YOLOv7： 这些版本探索了多任务学习 (YOLO-R)、无锚点检测、解耦头、重参数化、知识蒸馏和量化——从而改进了模型的缩放和优化。
• YOLOv8 和 YOLO-NAS： YOLOv8 在 YOLOv5 的基础上进行了微小更改，例如用 C2f 模块替换 CSPLayer，并整合了用于小目标检测的优化损失函数。YOLO-NAS 则通过神经架构搜索 (NAS) 生成，采用量化感知块，在速度和精度之间实现了最佳平衡。

YOLO 架构的挑战之一是版本数量庞大，因为名称可以自由使用，并非所有最新版本都必然带来显著改进。事实上，当一个新模型以 YOLO 名称发布时，它通常会显示出卓越的指标结果，但差异往往很小。

此外，在 COCO 等通用评估数据集上取得卓越指标的模型，并不一定意味着它在您的特定用例中表现更好。模型大小、推理和训练时间、库和硬件兼容性以及数据特性和质量方面也存在差异。

该系列以其统一和优化的设计而著称，使其能够部署在低资源设备和实时应用程序上。YOLO 版本的多样性给为特定用例选择理想模型带来了挑战。

DETR

DEtection TRansformer (DETR) 引入了一种创新方法，通过将卷积神经网络与 Transformer 架构相结合，消除了其他方法中使用的传统而复杂的后处理步骤，例如非最大抑制 (NMS)。

DETR 架构可分为四个主要组成部分：

1. 主干网络（例如 ResNet）

   • 功能： 从输入图像中提取富含语义和空间信息的特征图。
   • 输出： 一组二维向量（特征图），作为 Transformer 模块的输入。

2. Transformer 编码器-解码器

   • 编码器
     • 功能： 通过应用多头自注意力机制和前馈层处理主干网络中的特征图，捕获图像不同区域之间的全局和上下文关系。
   • 解码器
     • 功能： 使用固定的一组对象查询（代表候选对象的嵌入）迭代地优化边界框和类别标签预测。
     • 输出： 一组最终预测，其中每个查询对应一个边界框及其相应的类别。

3. 前馈网络 (FFN)

   • 功能： 对于解码器处理的每个查询，FFN 生成最终预测，包括归一化的框坐标（x、y、宽度和高度）和分类分数（包括“无对象”的特殊类别）。

4. 联合推理

   • 特点： DETR 同时处理所有对象，利用预测之间的成对关系来处理对象重叠等模糊性，从而无需 NMS 等后处理技术。

原始 DETR 面临着收敛速度慢和在小目标检测上性能不佳等挑战。为了解决这些限制，出现了改进的变体：

• 可变形 DETR

  • 可变形注意力： 将注意力集中在每个参考点附近固定数量的采样点上，提高效率并能够检测高分辨率图像中的精细细节。
  • 多尺度模块： 结合来自不同骨干层级的特征图，增强模型检测不同大小对象的能力。

  

  图 5：可变形 DETR 缓解了原始 DETR 训练收敛慢和特征空间分辨率有限的问题。
  来源：可变形 DETR：用于端到端对象检测的可变形 Transformer

• 条件 DETR

  • 收敛改进： 在解码器中引入条件交叉注意力，使对象查询更具体地指向输入图像，并加速训练（据报道收敛速度提高了 6.7 倍）。

  

  图 6：条件 DETR 显示出更快的收敛速度。
  来源：用于快速训练收敛的条件 DETR

因此，DETR 及其变体代表了对象检测的范式转变，利用 Transformer 的强大功能以端到端的方式捕获全局和上下文关系，同时通过删除手动后处理步骤来简化检测管道。

RT-DETR

RT-DETR（实时检测 Transformer）是一种基于 Transformer 的模型，专为实时对象检测而设计，通过优化速度和效率，扩展了基础的 DETR 架构。

1. 混合编码器:

   • RT-DETR 采用混合编码器，整合了尺度内交互和跨尺度融合。这种设计使模型能够有效地处理不同尺度的特征，同时捕捉局部细节和全局关系。
   • 这对于检测复杂场景中不同大小的对象尤其有利，而这对于早期的 Transformer 模型来说是一个挑战。

2. 消除 NMS:

   • 与 DETR 一样，RT-DETR 通过同时预测所有对象，消除了对非最大抑制（NMS）的需求。这种端到端方法简化了检测管道并减少了后处理开销。

3. 实时优化:

   • RT-DETR 实现了中等延迟（10-200 毫秒），使其适用于自动驾驶和视频监控等实时应用，同时保持了具有竞争力的准确性。

RT-DETR 近似于基于 CNN 的高速模型（如 YOLO）和专注于准确性的 Transformer 模型。

YOLOS

YOLOS (你只看一个序列) 引入了一种新颖的基于 Transformer 的对象检测方法，灵感来自 Vision Transformer (ViT)。与传统的基于 CNN 的模型不同，YOLOS 通过将图像视为图像块序列来重新构想对象检测，利用了 Transformer 的序列处理优势。

1. 视觉 Transformer (ViT) 主干:

   • YOLOS 使用 ViT 主干，它将输入图像分割成固定大小的图像块（例如 16x16 像素）。每个图像块都被视为一个令牌，允许 Transformer 将图像作为序列处理并捕获长程依赖关系。

2. 基于图像块的处理:

   • 通过将图像转换为图像块序列，YOLOS 有效地处理高分辨率输入并检测不同尺度的对象，使其适应多样化的检测任务。

3. 对象查询:

   • 与 DETR 类似，YOLOS 采用对象查询直接预测边界框和类别标签。这消除了对锚框或 NMS 的需求，与基于 Transformer 的检测的端到端理念保持一致。

4. 效率变体:

   • YOLOS 提供多种变体，例如 yolos-tiny、-small 和 -base，可以根据应用需求平衡计算成本和性能。

我觉得这张图非常酷。它展示了 [DET] 令牌如何专门关注特定大小的对象和图像的不同区域。这种自适应行为突出了其在对象检测任务中的有效性，允许模型根据对象的空间和尺度特征动态分配其检测能力。

---

2.2. 数据集构成与预处理

该数据集通过合并两个公开基准构建：

• Tobacco800：复杂文档图像处理 (CDIP) 测试集的一个子集，包含烟草行业的扫描文档。真实注释包括签名和公司徽标。
• Signatures-XC8UP：Roboflow 100 基准测试的一部分，包含 368 张手写签名注释图像。

Roboflow

利用 Roboflow 平台进行数据集管理、预处理和标注。关键工作流程组件包括：

• 数据集分区

  • 训练：1,980 张图像（70%）
  • 验证：420 张图像（15%）
  • 测试：419 张图像（15%）

• 预处理管道

  • 自动定向和双线性重采样至 640×640 像素

• 空间增强策略

  • 旋转（固定 90° 和随机 ±10°）
  • 剪切变换（水平 ±4°，垂直 ±3°）
  • 光度调整（亮度/曝光变化 ±20%）
  • 随机模糊 (σ=1.5) 和高斯噪声 (σ=0.05)

这些技术增强了模型在各种文档采集场景中的泛化能力。

数据集可用性

• Roboflow Universe
  
• Hugging Face Datasets Hub
  

---

2.3. 训练过程与模型选择

根据可用的计算能力，通过 35 个训练周期、一致的批处理大小和学习率设置进行实验，对各种模型进行了评估。下表总结了 CPU 推理时间、mAP@50、mAP@50-95 和总训练时间等指标的结果：

注意： 各类别中的最佳值已突出显示。mAP（平均精度均值）值范围为 0-1，值越高表示性能越好。推理时间在 CPU 上使用 ONNX 运行时测量，单位为毫秒 (ms)。

亮点

• 最佳 mAP@50： conditional-detr-resnet-50 (93.65%)
• 最佳 mAP@50-95： yolov8m (66.55%)
• 最低推理时间： yolov10n (73.86 ms)

完整的实验可在 Weights & Biases 上查看。

我们的研究结果揭示了与一般基准测试不同的行为，在一般基准测试中，较大的模型版本通常会带来增量改进。在此实验中，YOLOv8n 和 YOLOv11s 等较小的模型获得了令人满意且与其较大对应模型相当的结果。

此外，纯卷积架构在保持相似准确性水平的同时，表现出比基于 Transformer 的模型更快的推理和训练时间。

---

2.4. 超参数优化

由于其强大的初始性能和易于导出，YOLOv8s 模型被选中，使用 Optuna 进行超参数微调。共进行了 20 次试验，以测试集 F1 分数作为目标函数。超参数搜索空间包括：

dropout = trial.suggest_float("dropout", 0.0, 0.5, step=0.1)
lr0     = trial.suggest_float("lr0", 1e-5, 1e-1, log=True)
box     = trial.suggest_float("box", 3.0, 7.0, step=1.0)
cls     = trial.suggest_float("cls", 0.5, 1.5, step=0.2)
opt     = trial.suggest_categorical("optimizer", ["AdamW", "RMSProp"])

此超参数调优实验的结果可在此处查看：超参数调优实验。

下图说明了超参数与所得 F1 分数之间的相关性：

调整后，最佳试验（#10）与基础模型相比，表现出以下改进：

---

3. 评估与结果

模型最终评估使用 ONNX 格式（用于 CPU 推理）和 TensorRT（用于 GPU – T4 推理）进行。获得的关键指标是：

• 精度 94.74%
• 召回率 89.72%
• mAP@50 94.50%
• mAP@50-95 67.35%

关于推理时间：

• ONNX Runtime (CPU)： 171.56 毫秒
• TensorRT (GPU – T4)： 7.657 毫秒

图 13 展示了评估指标的图形比较：

基础模型 – 阶段 1 (☆) 代表在训练选择阶段获得的模型。

---

4. 部署与发布

在本节中，我们将描述使用 Triton Inference Server 部署手写签名检测模型以及在 Hugging Face Hub 上发布模型和数据集的过程。目标是创建一个高效、经济且安全的解决方案，以在生产环境中提供模型，同时根据开放科学原则向公众开放工作。

4.1. 推理服务器

选择 Triton 推理服务器作为部署平台，因为它具有灵活性、效率以及对 PyTorch、TensorFlow、ONNX 和 TensorRT 等多种机器学习框架的支持。它支持在 CPU 和 GPU 上进行推理，并提供用于性能分析和优化的原生工具，使其成为扩展模型部署的理想选择。

包含服务器配置和实用代码的存储库位于：https://github.com/tech4ai/t4ai-signature-detect-server

服务器配置

对于 Triton 的实现，我们选择使用自定义 Docker 容器的优化方法。我们没有使用默认镜像（它包含所有后端，大小为 17.4 GB），而是仅包含本项目所需的后端：Python、ONNX 和 OpenVINO。此优化将镜像大小减小到 12.54 GB，从而提高了部署效率。对于需要 GPU 推理的场景，需要包含 TensorRT 后端，并且模型必须采用 .engine 格式；但是，在这种情况下，我们优先考虑 CPU 执行以降低成本并简化基础设施。

服务器使用以下启动命令进行配置，该命令已进行调整以确保对模型的明确控制和增强安全性：

tritonserver \
  --model-repository=${TRITON_MODEL_REPOSITORY} \
  --model-control-mode=explicit \
  --load-model=* \
  --log-verbose=1 \
  --allow-metrics=false \
  --allow-grpc=true \
  --grpc-restricted-protocol=model-repository,model-config,shared-memory,statistics,trace:admin-key=${TRITON_ADMIN_KEY} \
  --http-restricted-api=model-repository,model-config,shared-memory,statistics,trace:admin-key=${TRITON_ADMIN_KEY}

explicit 模式允许通过 HTTP/GRPC 协议动态加载和卸载模型，从而提供无需重启服务器即可更新模型的灵活性。

访问限制

Triton 配置为限制对敏感管理端点的访问，例如 model-repository、model-config、shared-memory、statistics 和 trace。这些端点仅对包含正确 admin-key 标头的请求可访问，从而保护管理操作，同时将推理请求对所有用户开放。

集成模型

我们在 Triton 中开发了一个集成模型，用于将 YOLOv8 模型（ONNX 格式）与专用预处理和后处理脚本集成，从而创建了一个直接在服务器上执行的完整推理管道。这种方法通过消除对多次网络调用的需求来最小化延迟，并简化了客户端集成。集成模型工作流程包括：

• 预处理（Python 后端）

  • 将图像从 BGR 解码为 RGB。
  • 将图像大小调整为 640×640 像素。
  • 归一化像素值（除以 255.0）。
  • 将数据转置为 [C, H, W] 格式。

• 推理（ONNX 模型）

  • YOLOv8 模型执行签名检测。

• 后处理（Python 后端）

  • 转置模型输出。
  • 根据置信度阈值过滤边界框。
  • 应用非最大抑制 (NMS) 并设置 IoU 阈值以消除冗余检测。
  • 将结果格式化为 [x, y, w, h, score] 格式。

预处理和后处理脚本被 Triton 视为独立的“模型”，并在 Python 后端执行，从而实现灵活性，以便在不修改核心模型的情况下进行调整或替换。这个集成模型将整个推理管道封装到一个入口点中，从而优化了性能和可用性。

推理管道

在项目仓库中，我们开发了多个推理脚本，使用各种方法与 Triton 推理服务器进行交互：

• Triton 客户端： 通过 Triton SDK 进行推理。
• Vertex AI： 与 Google Cloud Vertex AI 端点集成。
• HTTP： 通过 HTTP 协议直接向 Triton 服务器发出请求。

这些脚本旨在测试服务器并促进未来的集成。此外，该管道还包括补充工具：

• 图形用户界面 (GUI)： 使用 Gradio 开发，此界面支持交互式模型测试和结果的实时可视化。例如：

  python signature-detection/gui/inference_gui.py --triton-url {triton_url}
  

• 命令行界面 (CLI)： 此工具允许对数据集进行批量推理、计算时间指标和生成报告。例如：

  python signature-detection/inference/inference_pipeline.py
  

该管道被设计为模块化和可扩展的，支持在各种环境（从本地设置到基于云的基础设施）中进行实验和部署。

---

4.2. Hugging Face Hub

签名检测模型已发布到 Hugging Face Hub，以供社区访问并满足 Ultralytics YOLO 的许可要求。模型存储库包括：

• 模型卡:
  一份全面的文档，详细介绍了训练过程、性能指标（如精度和召回率）以及使用指南。模型文件提供 PyTorch、ONNX 和 TensorRT 格式，为选择推理后端提供了灵活性。

• 演示空间:
  一个由 Gradio 开发的交互式界面，用户可以通过上传图像和查看实时检测结果来测试模型。

• 数据集:
  用于训练和验证的数据集也托管在 Hugging Face 上，与 Roboflow 一起提供，并附有全面的文档和可访问格式的文件。

---

5. 结论

这项工作通过将现代计算机视觉技术与强大的部署工具相结合，证明了开发高效文档手写签名检测模型的可行性。架构的比较分析表明，基于 YOLO 的模型——特别是 YOLOv8s——在所研究的场景中提供了速度和准确性之间的理想平衡，在通过 Optuna 进行超参数优化后，达到了 94.74% 的精度和 89.72% 的召回率。Triton 推理服务器的集成实现了可扩展的推理管道，而发布到 Hugging Face Hub 则根据开放科学原则确保了透明度和可访问性。

该解决方案在法律、金融和行政等领域具有即时应用，在这些领域中，自动化文档验证可以降低运营成本并最大限度地减少人为错误。模型在 CPU（171.56 毫秒）和 GPU（7.65 毫秒）上的推理性能使其适用于从云服务器到边缘设备等各种基础设施的部署。

局限性包括对数据集注释质量的依赖，以及需要在具有复杂布局或部分遮挡签名的文档上进行进一步验证。未来的工作可能包括：

• 扩展数据集以包含具有更大文化和排版多样性的图像。
• 调整模型以检测其他文档元素（例如，印章、封印）。

最终，代码、模型和数据集在 Hugging Face Hub 和 GitHub 上的开放可用性促进了社区协作，加速了类似解决方案的开发。该项目不仅验证了所测试方法的有效性，还为生产环境中检测模型的实际部署建立了蓝图，从而增强了人工智能改造传统工作流程的潜力。