AudioCraft – Meta免费开源的text-to-audio音乐生成模型,通过文本提示创作音乐、音频

AudioCraft – Meta免费开源的text-to-audio音乐生成模型,通过文本提示创作音乐、音频

AIBetas消息,2023年 8 月 2 日,Meta 正式公布了AudioCraft——一款免费用于音频和音乐的生成式 AI 工具,可帮助用户通过文本提示创作音乐和音频。

AudioCraft由三个模型组成:MusicGen、AudioGen和EnCodec

  • MusicGen:MusicGen使用Meta拥有并专门许可的音乐进行训练,可以根据基于文本的用户输入生成音乐;
  • AudioGen:AudioGen则使用公共音效进行训练,可以根据基于文本的用户输入生成音频;
  • EnCodec:改进版的EnCodec解码器,可以以更高质量生成音乐,并减少音损。
图片[1] - AudioCraft – Meta免费开源的text-to-audio音乐生成模型,通过文本提示创作音乐、音频 - AIBetas

Meta还提供了预训练的AudioGen模型,可以生成环境声音和音效,如狗叫声、汽车鸣笛声或木地板上的脚步声;以及所有AudioCraft模型的权重和代码。这些模型可用于研究目的,以进一步提升人们对技术的理解。

Meta开源这些模型,为研究人员和从业者提供访问权限,以便他们首次使用自己的数据集训练自己的模型,并帮助推进人工智能生成的音频和音乐领域。

文本生成音频效果

Text Prompt: Whistling with wind blowing
Text Prompt: Sirens and a humming engine approach and pass
Text Prompt: Pop dance track with catchy melodies, tropical percussions, and upbeat rhythms, perfect for the beach
Text Prompt: Earthy tones, environmentally conscious, ukulele-infused, harmonic, breezy, easygoing, organic instrumentation, gentle grooves

参考文章

[1]https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/

[2]https://about.fb.com/news/2023/08/audiocraft-generative-ai-for-music-and-audio/

© 版权声明
THE END
喜欢就支持一下吧
点赞49分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情

    暂无评论内容