超越视线探测：利用合成数据构建AI赋能的SAR情报
作者：Gandharv Mahajan、Apurva Shah、Rishikesh Jadhav、Massimo Isonni、Ayssa Cassity 和 Mish Sukharev
尽管光电传感器对物理AI至关重要，但它们在某些感知任务上存在根本局限。它们需要光线和清晰的视线，这使得它们容易受到夜间、雾、烟、云、植被或雨水等常见遮蔽物的影响。在许多操作场景中，这严重限制了它们的有效性。
合成孔径雷达（SAR）能够克服这些限制，并在恶劣的视觉条件下提供关键的操作数据。
SAR是一种雷达形式，无论天气或光照条件如何，都能生成地形、结构和物体的高分辨率图像。与光学传感器不同，SAR使用无线电波，使其能够“看穿”云层、烟雾、黑暗、雨水，甚至茂密的植被。它还可以检测表面特征的细微变化，使其成为跟踪移动、变形或伪装物体存在的理想选择。
这些能力使SAR成为从灾害准备、农业到国防和情报等各种行业的关键工具。特别是对于美国国防部（DoD）的应用，SAR在战场监视、海域态势感知和目标识别等应用中发挥着关键作用。
SAR图像示例。左：海上的船。右：空军基地上的飞机。(来源：桑迪亚国家实验室)
AI赋能的SAR情报
乍一看，SAR数据可能看起来只是黑白光学图像，但由于它们是无线电波回波的相长和相消干涉结果，因此其解释远非直观。幸运的是，今天的AI模型可以从SAR图像中提取广泛有价值的信息，使得训练AI系统来解释SAR的能力成为一个快速增长的优先事项。
然而，训练这些模型并非没有挑战：它们必须可靠地分析SAR数据，以识别威胁、对车辆进行分类、检测变化并解释环境条件——所有这些都来自无线电波而非可见光衍生的图像。
构建可靠的AI模型需要大量的标注数据集——而这正是挑战所在：SAR数据集是一种稀缺资源。与更常见的数据形式不同，大量的SAR图像无法从互联网上获取，即使是典型的数据集提供商也缺乏必要的来源。标注的SAR数据（需要专门的标注，如极性）甚至更为稀缺，进一步减少了训练数据的选择。
生成标注SAR数据的障碍是什么？
- 对于卫星SAR：虽然带有SAR传感器的卫星已经在轨道上，但它们用于关键任务，不能轻易地重新分配用于训练数据收集。为此目的发射新卫星通常是一个操作上的不可行选择，使得新数据获取的速度及其分布成为受限资源。
- 对于机载SAR：虽然机载SAR可以部署，但其成本高昂、耗时，并且通常无法在正确的时间在正确的场景上进行协调。
- 确保相关数据收集：SAR通常用于监测船只、军用车辆和其他大规模或对抗性活动等目标。这些目标不易（且通常本质上危险）进行布置或重访以进行数据收集，尤其是在感兴趣的操作条件下。
- 准确标注：SAR图像本质上不直观，并且如果没有相应的光学参考（即地面真实数据），准确标注就成为一个挑战。今天的团队可能会拥有大量的SAR数据，但却没有可靠的方法来标注它们——这为训练有效的模型制造了瓶颈。
幸运的是，高质量的合成数据是克服这一瓶颈的理想解决方案。
Falcon的虚拟SAR传感器，用于生成合成SAR数据集
视频：Falcon中生成的SAR数据（左）与公海中航空母舰的数字孪生源数据（右）并排显示。
Falcon的新虚拟SAR传感器（测试版将在即将发布的Falcon 5.3版本中推出）代表了SAR操作的物理仿真，可生成精确的图像以及地面真实数据和自动、像素级完美标注。此外，我们的虚拟SAR传感器可以调整以与任何真实世界的SAR实现对齐，确保合成生成的训练数据与任何特定真实世界系统的输出紧密对齐。
所有关键参数都可以轻松调整，包括：
- 角度分辨率（方位角）和像素大小
- 距离分辨率和像素大小
- 最大和最小强度（单位：dB）
- 噪声
实现这种可定制、高保真合成SAR数据需要解决若干技术挑战。每个SAR像素不仅代表RGB图像中的强度值，它还承载着复数值信息，编码着振幅（A）和相位（θ）。SAR这种基于长波的性质使得像虚幻引擎等游戏引擎中使用的标准渲染技术无法直接应用。
为了克服这一问题，Duality团队对虚幻引擎的光线追踪器进行了定制化分支（这得益于与Epic Games的OEM协议）。这使我们能够构建一个Falcon专属的、GPU加速的光线追踪SAR模型，并通过Falcon的Python API公开。这种混合方法能够精确控制雷达波传播，从而实现物理上基于真实世界的SAR仿真，并具有强大、用户友好的定制功能。
任务特定合成SAR数据——即时、灵活、可定制
虚拟SAR传感器与Falcon的数字孪生目录和场景创作工具无缝协作，这意味着任何可能的场景都可以即时用于合成SAR数据生成。无需自定义集成或外部工作流程！
这款新的虚拟传感器支持从低空无人机到低地球轨道卫星的所有平台，并已准备好充分利用Falcon强大的仿真工具，其中包括：通过GIS管道实现精确的世界建模、丰富的数字孪生库、直观的场景创作以及灵活的Python API。这些工具共同实现了任务特定SAR数据集的快速生成，并利用这种强大的传感模式开启了AI驱动感知的新前沿。
想知道 Duality 如何帮助您的团队吗？
联系我们，讨论您的公司如何与 Duality 合作，或者查看我们的免费订阅，获取立即开始使用合成数据训练 AI 模型所需的二进制文件和学习资源！