Loading...

Meta AI研究者推出MUSICGEN

大模型2年前 (2023)发布 智源社区
580 0 0
本文中,Meta AI 的研究者提出了 MUSICGEN,这是一种简单、可控的音乐生成模型,能在给定文本描述的情况下生成高质量的音乐。
Meta AI研究者推出MUSICGEN
论文地址:https://arxiv.org/pdf/2306.05284.pdf 

Meta的MusicGen可以根据文本提示生成简短的新音乐,这些提示可以选择与现有旋律对齐。

与当今大多数语言模型一样,MusicGen基于Transformer模型。就像语言模型预测句子中的下一个字符一样,MusicGen预测音乐中的下一个部分。

研究人员使用Meta的EnCodec音频标记器将音频数据分解为更小的组件。作为一个并行处理令牌的单阶段模型,MusicGen快速高效。

该团队使用了20,000小时的许可音乐进行培训。特别是,他们依赖于10,000首高质量音乐曲目的内部数据集,以及来自Shutterstock和Pond5的音乐数据。

试玩地址:https://huggingface.co/spaces/facebook/MusicGen

人工评估表明,MUSICGEN 产生了高质量的样本,这些样本在符合文本描述,在旋律上也更好地与给定的和声结构对齐。
Meta AI研究者推出MUSICGEN
本文的主要贡献有如下几点:
  • 提出了一个简单高效的模型:可以在 32khz 产生高质量的音乐。MUSICGEN 可以通过有效的码本交错策略,用单阶段语言模型生成一致的音乐;
  • 提出一个单一的模型,进行文本和旋律条件生成,其生成的音频与提供的旋律是一致的,并符合文本条件信息;
  • 对所提出方法的关键设计选择进行了广泛的客观及人工评估。
© 版权声明

相关文章

暂无评论

暂无评论...