用于生成与特定艺术家风格相匹配的新歌词的系统

加拿大滑铁卢大学的研究人员最近开发了一种系统，用于生成与特定音乐艺术家的风格相匹配的歌词。他们的方法在arXiv上预先发表的论文中概述，使用变分自动编码器(VAE)与艺术家嵌入和CNN分类器训练，以从他们的歌曲剪辑的MEL谱图预测艺术家。

“这个项目的动机来自我个人的兴趣，”进行这项研究的研究人员之一Olga Vechtomova告诉TechXplore。“音乐是我的一种激情，我很好奇机器是否可以产生听起来像我最喜欢的音乐艺术家的歌词。在研究文本生成模型时，我的研究小组发现神经网络可以产生一些令人印象深刻的线条。对于我们来说，自然的下一步是探索一台机器是否可以学习特定音乐艺术家抒情风格的“本质”，包括选择单词，主题和句子结构，以产生听起来像有问题的艺术家的新颖的歌词线条。 “。

Vechtomova及其同事开发的系统基于称为变分自动编码器(VAE)的神经网络模型，可以通过重建原始文本行来学习。在他们的研究中，研究人员训练他们的模型产生了许多新的，多样的和连贯的抒情线。

“为了生成给定艺术家风格的线条，我们将艺术家嵌入的生成条件(即实数的多维向量)进行条件化，由单独的神经网络学习，该网络经过训练，可以对音乐音频片段的光谱图进行分类。艺术家，“Vechtomova说。“然后我们使用艺术家嵌入来调整每个艺术家风格的歌词线条的产生。这背后的动机是我们希望艺术家嵌入之间的差异反映出他们的抒情和音乐风格的差异。”

在一系列初步评估中，Vechtomova及其同事开发的系统表现非常出色。他们的研究结果表明，艺术家嵌入对于生成符合艺术家风格的歌词非常有用。该模型产生的许多线条明确地与其所依赖的艺术家保持一致，反映了他/她的音乐中通常涉及的主题。

“虽然生成的线条通常包含艺术家的文字，但这些文字以一种有趣的新方式使用，表达了原始歌词中没有的新颖思想，”Vechtomova解释说。“一些生成的线条传达了新的和强大的诗意意象，用隐喻和矛盾等风格设备表达，同时忠于艺术家的风格。”

将来，Vechtomova及其同事创建的系统可以用来激发为新歌创作歌词的艺术家。研究人员希望它不会取代抒情作曲家，而是希望它能够提供新的想法，然后艺术家可以独立塑造，建立和发展。

“系统并不是要取代音乐艺术家，而是在歌曲创作过程中用作灵感来源，”Vechtomova说。“在音乐世界中，这可以类似于可以产生无限数量声音的合成器，然后艺术家可以创作一首歌。同样，这个工具可以产生无数的新颖线条，艺术家可以以任何方式使用他们喜欢写自己的歌词。“

作为另一个项目的一部分，Vechtomova使用相同的系统以不同的音乐艺术家的风格产生有趣的诗歌。由此产生的诗集被接受为NeurIPS 2018创意和设计ML研讨会的艺术作品。

“在未来，我们计划研究可以从其他来源学习新主题和词汇的模型，并使用它们以特定艺术家的风格生成歌词，”Vechtomova说。“我还想探索音乐艺术家如何将这种系统用作灵感来源。”