介绍MotionCLR：交互式动作编辑

今天，我们发布了MotionCLR，这是我们在交互式动作编辑方面取得的最新进展。我撰写这篇博客，从两个方面阐述MotionCLR的能力：1) 针对应用 和 2) 针对研究。我希望这篇博文能为这两个社区带来一些新的思考/兴趣。

致研究人员：将您的生成模型引入人类交互循环！

>>> 人在回路中

为什么要将人类引入生成循环？最后一个生成的结果是您编辑的“上下文”。

一方面，生成模型中极难避免幻觉，而幻觉是该领域一个臭名昭著的棘手问题。另一方面，一些额外的信息，如跳跃高度，并未包含在文本中。因此，引入额外的“点击”或“输入”交互是相当必要的。因此，将人在回路中引入动作生成领域是极具前景的。

下图展示了MotionCLR如何闭合人机交互循环。

>>> 理解动作生成中的注意力

这可能是博客中最技术性的部分。可解释性多年来一直是深度学习领域的一片乌云。MotionCLR重新审视了以前动作生成工作的技术设计，发现它们的架构不是很清晰。因此，我们引入了MotionCLR，它表明了每个动作帧和每个单词之间存在清晰的对应关系。我们发现自注意力和交叉注意力的激活都精确地建模了动作应该何时执行。这一发现促使我们开发了一系列编辑方法。我相信基于MotionCLR的可解释性将在未来几年激发更多的探索。

致用户：一遍又一遍地告诉模型你想要什么！

在动画行业中，制作所需动作（如动作捕捉和手工动画）的过程总是繁琐的。随着text2motion任务的快速发展，艺术家甚至可以“耳语”般地生成动作[Dai et al., 20204]。然而，单次生成可能无法令人满意。MotionCLR为您提供了一系列工具，用于动作的多功能编辑。我在此仅举一些例子。

• 动作的强调或弱化。如果您首先用提示“一个人跳跃”生成一个动作，并且您认为跳跃动作的高度高于您想要的，您可以降低“跳跃”的权重以满足您的要求。

• 通过示例进行动作生成。在交互式动作生成循环中，您可以生成一个“踢”的动作。您还可以生成许多与该动作相似的动作（具有相同的动作纹理）。例如，原始示例动作可能是用左脚踢，而新动作可能包含用右脚踢的动作。

• 原地动作替换。这种情况是您希望生成几个在相同时间区域内包含不同动作的动作。您可以先合成一个动作，然后通过直接修改单词来编辑文本。

欲了解更多详情，请观看我们的交互式演示视频。

所以，请阅读我们的论文，以满足您的兴趣。\(^_^)/