补充阅读和资源
如果您想进一步探索不同的 Transformer 架构,并了解它们在语音处理中的各种应用,请查看这篇最近的论文
语音处理中的 Transformer:综述
Siddique Latif、Aun Zaidi、Heriberto Cuayahuitl、Fahad Shamshad、Moazzam Shoukat、Junaid Qadir
“Transformer 在自然语言处理领域的显著成功激发了语音处理界的兴趣,促使人们探索其在语音序列中建模长距离依赖关系的潜力。最近,Transformer 在各种语音相关领域获得了突出地位,包括自动语音识别、语音合成、语音翻译、语音副语言学、语音增强、口语对话系统以及众多多模态应用。在本文中,我们提供了一份全面的综述,旨在连接语音技术不同子领域的研究所得。通过整合来自整个语音技术领域的发现,我们为有兴趣利用 Transformer 的强大功能来推动该领域发展的研究人员提供宝贵的资源。我们确定了 Transformer 在语音处理中遇到的挑战,同时也提供了应对这些问题的潜在解决方案的见解。”