深度学习技术应用:AI音频合成
目前,AIGC在音频生成领域已经相当成熟,广泛应用于有声读物制作、语音播音、短视频配音、音乐合成等领域。 AI音频生成主要分为语音合成和歌曲生成两种,两者都有很多经典案例。
在语音合成领域,喜马拉雅采集了著名评书表演艺术大师单田放的表演声音,利用文字转语音(TTS)技术,推出单田放声音复刻版《毛氏三兄弟》及历史系列工作。在QQ浏览器首页“免费小说”频道的听书功能模块中,用户还可以选择自己喜欢的AI语音包进行播放。语音包有六种AI声音可供选择:清晰男声、标准男声、软萌声。声音,御姐声,东北女声,温柔淑女声,合成的声音节奏清晰,情感自然,能很好地解放眼睛。
除了语音朗读之外,短视频配音也是常见的音频生成应用领域。 “你看,这个人叫小帅。”短视频平台上很多电影评论都是以这句话开头,后面你很可能会听到女主角“小美”的名字。男声的起伏与一些电影的高潮情节场景相匹配,加上类似的旁白套路和背景音乐。这实际上是AI生成语音的典型应用。用户仅需3-5分钟即可观看一部“电影”。当然,语音合成不仅可以应用于说话的声音,还可以应用于唱歌的声音。歌手的歌声合成软件X studio可以为用户提供不同音色、不同演唱风格的虚拟歌声。
至于AI歌曲生成,在OpenAI发布的最新项目MuseNet中,用户可以利用AI生成多达10种乐器演奏的歌曲,甚至产生多达15种风格的音乐,模仿莫扎特、肖邦等古典作曲家。 Lady Gaga 等当代艺术家也可以模仿电子游戏音乐等流派。
除了直接生成音乐外,AI歌曲在实际应用中往往源自动作词。 “当你醒来时,明亮的星光透过窗台照进来,海岸线连接着山、河和海。澎湃的梦的边缘就像一个空旷的舞台,突然在你的眼前展开。”当你读到这篇文字时,你是否想起了脑海中的璀璨星辰、山山水水?那一望无际的江海绚丽景象呢?这首图文并茂、动感优美的歌词是由网易新开发的人工智能创作的。
网易伏羲利用其自主研发的“心灵智造平台”,让AI学习人类语言组织的基本逻辑。借助大规模语料库训练,用户只需输入预设的风格、标签、情感、韵律,就能得到一首节奏感十足、意境极佳的歌词。例如,设置默认古风风格后,添加“夜”、“梧桐”、“落叶”、“晚秋”、“怀旧”等标签,选择江阳韵,就会得到人工智能创作的歌词。
一阵秋风吹来,夜凉了
不远处,竹影长长
是谁在梧桐路旁留下了淡淡的清香?
那些梧桐叶落在我的心上
孤灯黑夜风霜
梧桐心悲伤
诉说着无尽的爱与悲伤
秋雨深沉,让人惆怅
天上的新月
我想念的人在异国他乡
这样的夜晚太漫长
我心爱的姑娘,你在哪里?
晚霞西窗雪落
留下一根弦,唱出你的悲伤
梧桐雨巷人很多
“孤灯暗夜风霜”渲染了异乡秋色的凄凉,“天上弯月,思念人在异乡”则描绘了异乡恋人的悲伤与凄凉。不准相见的异乡,用简单的意象来表达,能营造出这样的意境,实在是太神奇了。人工智能生成的音乐远比我们想象的更加娴熟和灵活。当然,除了根据伴奏匹配歌词之外,人工智能还可以根据写好的歌词编曲。网易天音就是这样一个一站式音乐编曲平台。然而,编曲的生成比歌词的生成更加困难。一般需要有一定的乐理基础以及根据和弦乐谱微调编曲的能力。
除此之外,还有一些更有趣的AI歌曲生成方法。例如,2020年腾讯联手明星王俊凯推出AI歌手“艾灵”:用户选择关键词后,可以输入自己的名字或昵称,AI会自动生成歌词加上用户的名字,生成歌声与王俊凯一起唱歌。
#pgc-card .pgc-card-href { 文本装饰: 无;大纲: 无;显示:块;宽度: 100%;高度: 100%; } #pgc-card .pgc-card-href:hover { 文本装饰: 无; } /* PC 风格*/.pgc-card { box-sizing: border-box;高度: 164px; border: 1px实心#e8e8e8;相对位置:内边距: 20 像素94 像素12 像素180 像素;溢出:隐藏; } .pgc-card:3336 0after { content: \’ \’;显示:块;左边框: 1px实心#e8e8e8;高度: 120px;绝对位置:右: 76px;顶部: 20px; } .pgc-cover { 绝对位置:宽度: 162px;高度: 162px;顶部: 0;左333 60 0;背景尺寸: 封面; } .pgc-内容{overflow:隐藏;相对位置:顶部: 50%; -webkit-transform: 翻译Y(-50%);变换:翻译Y(-50%); } .pgc-内容标题{ 字体大小: 18px;颜色: #222;行高: 1;字体粗细:粗体;溢出:隐藏;文本溢出:省略号;空白: nowrap; } .pgc-content-desc { 字体大小: 14px;颜色: #444;溢出:隐藏;文本溢出:省略号;填充-top333 60 9px ;溢出:隐藏;行高: 1.2em;显示:-webkit-内联框; -webkit-line-clamp: 2; -webkit-box-orient: 垂直; } .pgc-内容-价格{ font-size: 22px;颜色:#f85959;填充顶部: 18px;行高: 1em; } .pgc-card-buy { width: 75px;绝对位置:右: 0;顶部: 50px;颜色: #406599;字体大小: 14px;文本对齐:居中; } .pgc-buy-text { padding-top: 10px;pgc-icon-buy { height: 23px;宽度: 20px; display: 内联块;背景: url(https://lf3-cdn-tos.bytescm.com/obj/cdn-static-resource/pgc/v2/pgc_tpl/static/image/commodity_buy_f2b4d1a.png); } 【火炬】AIGC:智造时代22.85 购买