使用多任务学习进行低延迟语音翻译

来自德国卡尔斯鲁厄理工学院(KIT)的研究人员最近将多任务机器学习应用于低延迟神经语音翻译。他们的研究预先发表在ArXiv上，解决了现有神经机器翻译(NMT)技术的一些局限性。

深度学习领域的进步使人类语音和文本翻译得到了显着改善。NMT是一种广泛使用的机器翻译方法，它通常通过将整个句子建模为集成模型来训练大型神经网络来读取句子并提供准确的翻译。

与传统方法(例如基于规则或统计机器翻译)相比，NMT通常可以为语音和书面文本实现更流畅的翻译。虽然它可以有效地捕获源语言和目标语言之间更复杂的依赖关系，但为了始终如一地表现良好，这种方法需要大量的训练数据。

“当将部分句子翻译应用于神经机器翻译系统时，我们遇到的问题是MT系统只训练完整的句子，因此解码器偏向于生成完整的目标句子，”研究人员在他们的论文中写道。“当接收到部分句子的输入时，翻译输出不能保证与输入内容完全匹配。我们观察到翻译通常被模型”幻想“为完整句子，就像训练数据中所发生的那样。 “。

在其他情况下，解码器可以处于过度生成状态，重复在其翻译中多次馈送给它的最后一个单词。为了解决这些问题，KIT研究人员专注于语音翻译，在这种情况下，NMT需要在演讲者完成他/她的判决之前实时提供初始翻译。

“在这项工作中，我们的目标是解决NMT 中部分句子翻译的问题，”研究人员写道。“理想情况下，我们需要一个能够为不完整的句子生成适当翻译的模型，而在其他翻译用例中没有任何妥协。”

由于部分句子的数据集不易获得，研究人员创建了可用于训练过程的人工数据。他们使用多任务学习训练网络，这是一种经常用于自然语言处理(NLP)的深度学习策略，用于为不同任务训练单个模型，减少开支并提高其性能。

他们的研究取得了令人满意的结果，表明即使在没有任务特定数据的情况下，NMT系统也可以适应性能良好，而不会损失他们接受培训的原始任务的性能。研究人员在他们的论文中总结道：“我们首先表明，生成人工数据的简单技术可以有效地获得更加流畅的输出而且校正更少。” “我们还说明了多任务学习有助于使模型适应新的推理条件，而不会失去翻译完整句子的原始能力。”

他们对NMT的改编以低延迟实现了高质量的翻译，将校正后的单词数量减少了45%。在未来，他们的研究可能具有有意义的实际意义，有助于开发更好的实时语音翻译工具。