扩散模型基准测试的挑战

可复现扩散模型研究的实用指南

扩散模型基准测试听起来很简单。生成图像或视频。比较质量。选出赢家。

在实践中，它却很混乱。重现上周的图表可能需要数小时。种子或步数的小幅变化会破坏比较。CSV 文件躺在笔记本里，而屏幕截图则堆满了文件夹。提交时，没人记得哪个预设生成了哪个网格。

本指南解释了研究人员面临的实际问题，“好”是什么样子，以及您可以在任何工具链中应用的具体工作流程。示例来自我们在 DreamLayer 中组织事物的方式，包括我们代码库中经过验证的模式，例如带有深度链接运行视图和必需键测试的冻结配置。

---

为什么扩散模型基准测试在实际应用中会失败

---

规模化生产的经验教训

在 DreamLayer 之前，我构建了 CreatorLoop，它为数百家公司生成品牌图片，包括汽车经销商、大型营销机构和北美地区的 DTC 品牌。运行真实的营销活动揭示了研究人员在实验室中面临的相同问题。

• 压力下的可复现性： 当营销经理要求“上周的广告创意具有相同的风格，但有所不同”时，您需要生成该图像的精确种子、采样器、步数、CFG 和提示。如果一个字段出现偏差，外观就会改变。
• 受控比较： 创意团队需要 3 个安全的变体和一个通配符。这意味着跨种子和参数的确定性配置，而不是试错。
• 可测量的速度： 营销活动有截止日期。我们跟踪每秒图像数、设备、驱动程序和峰值 VRAM，以便生产永远不会因神秘瓶颈而停滞。

---

为什么 LLM 基准测试通常感觉更容易

LLM 受益于成熟、离散的基准和测试工具。输出是文本标记，可以根据参考进行准确性评分，并且可以使用固定的温度和种子重放提示。

对于扩散模型，输出是具有许多连续旋钮的高维图像。视觉质量需要人工判断或不完美的代理指标，如 CLIP、SSIM 或 LPIPS。硬件差异更重要，可复现性取决于更长的状态链，例如 VAE 选择、调度器和每图像计算。

简而言之，LLM 评估更接近于评分问答，而扩散模型评估更接近于受控的实验室摄影。

---

“好”是什么样子

• 每次运行都有一个持久的运行 ID、时间戳和简短的配置哈希。
• 冻结配置捕获模型、VAE、LoRA、ControlNet、提示、种子、采样器、步数、CFG、工作流和版本。
• 可靠的比较从列表和范围扩展为可暂停和恢复的确定性作业列表。
• 带图像设置的标记网格从输出渲染。
• 一个 results.csv 记录设置、时间、设备信息和可选的代理分数。
• 一键式捆绑包导出网格、CSV、配置和简短的 README。
• 种子计划和确定性开关使同一机器的重新运行保持一致。
• 预设已命名并版本锁定，因此基线不会漂移。

---

示例冻结配置（最小化）

{
  "model": "...",
  "vae": "...",
  "loras": ["..."],
  "controlnets": ["..."],
  "prompt": "...",
  "negative_prompt": "...",
  "seed": 12345,
  "sampler": "DPM++ 2M",
  "steps": 30,
  "cfg": 5.5,
  "workflow": "txt2img",
  "workflow_version": "0.1.0"
}

---

重要的轻量级指标

---

最佳实践模板

• 采样速度与质量
  基线与快速调度器。绘制每秒图像数与 SSIM 的关系图。

• LoRA 强度扫描
  强度 0.5 到 1.2，固定种子。网格显示权重增加时产生的伪影。

• 基础模型与精炼模型
  相同的提示，在 40 到 60 步进行交接。比较计算轨迹徽章。

• 数据集恢复
  每行记录 source_path 和 split。为 4K 帧添加平铺。

---

DreamLayer 如何应用此方法

我们正在构建 DreamLayer 以开箱即用地遵循这些模式：运行可识别和可检索，配置可序列化和可查看，必需键经过单元测试，空值得到安全处理。我们的路线图涵盖了确定性实验、标记网格、CSV 日志记录、报告捆绑、计算跟踪、数据集分割、平铺和快速代理指标。

如果您已经使用 ComfyUI 工作流，请镜像相同的结构，您仍将受益于此方法。