首页>>人工智能->人工智能歌声生成模型是什么?

人工智能歌声生成模型是什么?

时间:2023-12-07 本站 点击:0

导读:很多朋友问到关于人工智能歌声生成模型是什么的相关问题,本文首席CTO笔记就来为大家做个详细解答,供大家参考,希望对大家有所帮助!一起来看看吧!

华智冰到底是什么?

华智冰,是基于“悟道2.0”诞生的中国原创虚拟学生。“华智冰”脸部、声音都通过人工智能模型生成。具有丰富知识、与人类有良好交互能力的机器人,会创作音乐、诗词和绘画作品。

“华智冰”由三方合作诞生:北京智源人工智能研究院领衔开发超大规模智能模型“悟道2.0”;智谱AI团队作为骨干参与开发“悟道2.0”,并主要开发平台应用生态;小冰公司提供全球领先的人工智能完备框架,同时负责声音、形象的开发应用。

2021年6月1日,“华智冰”在北京正式亮相并进入清华大学计算机科学与技术系知识工程实验室学习。后续,“华智冰”将师从于唐杰教授持续学习、演化,并在智谱AI团队、北京智源人工智能研究院及小冰公司的联合培养下,不断在人工智能领域深造,成长为一个具有丰富知识、与人类有良好交互能力的机器人,并最终推动人工智能深度服务社会。

2021年6月15日,清华计算机系举行“华智冰”成果发布会,正式宣布“华智冰”入学清华计算机系,师从清华计算机系副主任唐杰教授,并开启在清华的学习和研究生涯。

清华首个 AI 学生华智冰首次露正脸唱歌

近日,团队首次发布了华智冰的正面露脸视频,并带来一首《男孩》。视频里的她歌声甜美,表情动作也十分真实。据介绍,她的歌声、人类生物学特征全部由人工智能完成,肢体则有团队成员进行训练完成。

IT之家了解到,华智冰智商和情商双高,可以作诗、作画、创作剧本杀,还具有一定的推理和情感交互的能力。不同于一般的虚拟人物,华智冰背后依托的是中国“悟道”超大规模人工智能模型。

以上内容参考 百度百科-华智冰

ai曲风是什么意思

ai曲风是计算机与传统音乐之间结合的作曲风格。

一个无法回避的话题是,AI作曲如果越来越成熟,它是否会抢夺音乐人的饭碗?过去,在互联网发展的催生下,音乐使用提成、直播打赏等等模式为音乐人创造了空前的发展机会。但是在目前,在眼下的音乐行业还远不是大多数,当前音乐人收入低是事实。

中国人民大学音乐与录音艺术学院的《音乐人生存现状与版权认知状况调查研究报告》(以下称音乐人报告)指出,美国人人均音乐消费水平16.41美元,而中国仅为0.15美元,美国的人均音乐消费是中国的109倍。中美音乐人收入差距11倍。

穷则思变,人工智能能作曲对音乐人来说可能很可怕,因为某种程度上,它在抢音乐人的饭碗。但在过去几年里,音乐制作人工智能软件已经取得了长足的进步,在音乐人本身收入数字专辑收入低的当下,它当前更多会充当音乐人的辅助,协助创作更多优质的作品。

因此,对于行业来说,与其说它是一种可怕的新奇事物,不如说它是一个更好的风口与机会,它更可能是一个协助音乐人提升效率的工具,未来会帮助更多制作人用来创作。

人工智能在作曲主要基于以下几种模型:

1、分形音乐。它表明音乐完全可以通过数学算法进行创作。分形音乐是几何学在作曲中的应用,但是只能创作一些较为简单的作品。

2、马尔科夫链。由于建模简单,可以即时产生新音乐,所以一直被广泛用于商业程序上,也大量出现在互动音乐艺术家的作品和即兴演出中。它基于随机过程、概率逻辑的有限控制方法,尤其是使用马尔科夫链结合一定约束规则,在统计的基础上对音乐的未来走向进行概率预测与风格边界限制。

3、遗传算法。将音符的排列组合进行编码,模拟物种繁殖过程,自动挑选出最优秀的作品。由于具有算法成熟和实现比较简单这两大优势,遗传算法得到广泛关注。但是,用遗传算法进行智能音乐生成,选取合适的评价函数是非常富于挑战性的工作,一定程度上限制了应用的快速发展。

4、人工神经网络。当前AI音乐研究的前沿技术,普遍采用具有深度学习能力的各种改进神经网络模型,来帮助人工智能模型学习样本音乐中的关键元素以及套路。模型充分学习一系列人类己经创作好的音乐,提取和存储音高、音长、音量、音色、音程、节奏、调式、和声等关键特征,即可按照要求大量输出有类似特征的新音乐。例如,Google Brain做的在线交互钢琴只需要识别当前任意类型的少量音乐,就可以根据音乐的相符度进行预测,实时输出自动弹奏出搭配音乐。

人工智能来了,未来的音乐将是什么样?

纵观世界艺术 历史 , 科技 的发展和艺术的发展息息相关,从农耕时代中世纪的教堂圣咏,到工业革命冶炼技术出现后成就的交响乐,随着电子技术以及计算机的出现,电子音乐、MIDI、计算机音乐、音乐人工智能迅速发展。未来音乐会是和计算机、人工智能有关吗?这是很有可能的。我们并不知道未来音乐是怎样的,但未来音乐值得我们 探索 。

音乐与人工智能的发展

国外音乐与 科技 相关学科的发展自20世纪50年代开始,工程师和科学家开始合作 探索 音乐的数字处理技术,逐渐形成了音乐 科技 /计算机音乐(Music Technology/Computer Music)这一交叉学科。上世纪70年代以后,欧美各国相继建立了多个大型计算机音乐研究机构。2000年后,音乐 科技 在世界各地如澳大利亚、日本、新加坡等地都逐渐发展起来。

20世纪90年代起,国内各个综合类大学的计算机专业中的一些教授开始了关于计算机与音乐的研究。近年来,中央音乐学院、中央美术学院、上海音乐学院等国内一批一流艺术院校先后成立了艺术 科技 交叉学科,对音乐或其他艺术与人工智能的交叉研究开展了初步 探索 。

中央音乐学院是我国最早开展音乐与人工智能交叉研究的艺术院校:1993年成立了电子音乐中心,2012年成立音乐 科技 部,2018年组建音乐人工智能与音乐信息 科技 学科方向和实体系,下设音乐人工智能、电子音乐作曲、电子音乐制作、音响艺术指导、音乐治疗、艺术嗓音等专业方向。前一段时间在京举办的世界音乐人工智能大会就是由音乐人工智能系承办的,主办单位是中央音乐学院和中国人工智能学会,团结了全世界最顶尖的一线人工智能音乐专家。明年将继续举办,希望它成为世界音乐人工智能的风向标和重要的学术交流场所,成为产业化交流的平台与服务 社会 的纽带。

世界音乐人工智能大会圆桌讨论

今年,中国人工智能学会(CAAI)艺术与人工智能专委会、中国计算机学会(CCF)计算艺术分会相继成立,团结了全国八大艺术门类的所有跟 科技 相关的人员,包括中央音乐学院、中央美术学院、上海音乐学院、中央戏剧学院等艺术院校艺术与 科技 的相关人才,一起来探讨未来艺术。

音乐人工智能先乐后药

音乐与人工智能发展有三个过程:创作、呈现、接受。我们研究音乐、人和人工智能三者如何协同发展的关系。在创作、呈现、接受以外,还有哲学、音乐人工智能的美学以及它的伦理,都有待我们跟进研究。

音乐创作方面,有作曲技术的研究,也有智能作曲和新创作的方式。智能作曲是按照人既有的规律创作;而新创作的方式,是以人还没有的规律(由AI)自觉创作的一个过程。我们现在做AI作曲,会发现它模拟人的创作挺有趣,而它模拟的自主创作会让人瞠目结舌,希望未来也会为这个世界创作一些惊喜。

音乐呈现、传播等方面,有机器人的演奏,中央音乐学院与美国印第安纳大学还搞了一个自动伴奏系统。原来的伴奏系统是人跟着乐队、伴奏带学习,但现在的AI伴奏系统,会像人一样配合你的演奏。未来我们也会自动生成为一些伴奏音乐。

音乐接受方面,我们已经在认知、音乐治疗、欣赏过程方面进行了研究和 探索 。音乐治疗是我们人工智能系重要的部门之一,下设音乐治疗教研室中心,已经有了接近30年的 历史 。目前,中央音乐学院的音乐治疗除了传统的音乐治疗以外,还有音乐人脑科学,科学地研究、构建一个更大的音乐治疗范围,不仅仅是从心理学角度研究,还从脑科学进行研究。目前,大家已经找到了音乐记忆在脑部的某个位置的反应,是很小的一个记忆点。我们希望搞清楚音乐的频率、音乐如何形成人的情绪,它对人脑到底产生了什么影响。其实,音乐对人的情绪影响是巨大的,有的时候甚至超过了药物,你吃药得反应半天才会有效果,可是听音乐的一瞬间情绪就会发生变化,所以音乐的频率特别神奇。

中国古代音乐的“乐”字繁体字“乐”,加个草字头就是“药”(药)字。《黄帝内经》不断说了先乐后药,治病的时候还有声音治病。我们希望通过脑科学验证声音的频率到底对人有多大的反应,反应在哪儿,它的机理是什么。我们未来想做抑郁症、自闭症、临终关怀,可是现在我们想第一步解决睡眠的问题,研究音乐对睡眠的影响。

智能作曲已经开始了

央音的AI自动作曲系统,是通过人工智能算法进行作曲、编曲、歌唱、混音,并最终生成完整歌曲作品的系统。智能作曲能够在23秒快速地创作出一首歌曲,可以达到一般作曲家写作水平。23秒,配器、演唱都可以出来,在全世界都比较前沿。

自动作曲系统架构

智能自动作曲系统主要分为自动作曲模块、自动编曲模块、歌声合成模块和自动混音模块。在系统建立过程当中,首先要对歌曲旋律、曲风、 情感 、歌词等歌曲信息进行整理和统计,建立给信息大数据库,然后用深度学习算法训练对应的模型,最后由系统根据用户输入的参数和歌词进行歌曲作品的制作。这个项目最终的目的是要实现一个基于网页-服务器架构的、可供用户操作使用的网页端产品。

未来的音乐一定会是一个多维的音乐空间。传统的一对音箱的立体声,我们听到的声音都是从前面传过来。但是现在很多全景式的收音、录音技术,是可以收到四面八方的声音的,效果就好了很多。3D音乐将比立体声音乐有着更动人的音乐魅力,是传统的立体声音乐听觉的升级,是目前电视、立体声录音等没办法体验的、全新概念的音乐体现方式。这种“跑动起来、流动的”3D全息音乐将是未来音乐的一部分,是一个这个时代的创新工程,值得我们 探索 。

除了传统的交响乐队产生三维立体声效,我们还有新创造的音乐,比如电子音乐创作,不拘泥于前面发声,也可以通过后面发声、上面发声,各个维度所有方向参与音乐的创作表达当中。我们的研究结果发现,3D音乐的出现,可能会对我们传统的和声、配器产生影响。

3D音乐肯定会改变原来的模式,2019年中央音乐学院做了一场3D音乐《中国十二生肖》。现在全世界很多的音乐家都在做,包括杜比公司、DTS公司已经发布自己的编码解码系统,这就给了创造者更多的空间,他们自己在家里就可以做3D音乐了。3D音乐除了音箱以外,还可以下降到耳机的算法,我们戴耳机也可以听出三维的空间。

未来,音乐机器人、虚拟机器人对于我们音乐表演、交互、音乐 娱乐 将会有重要的好处,我们目前正在做一个音乐教育方面的音乐机器人。大家知道,全世界的音乐教育师资缺乏,特别是偏远地区专业的音乐老师非常缺乏,甚至有些地方都是 体育 老师、语文老师兼职。我们希望在“数字人”方面做一些努力,让“数字人”能作为一个音乐老师跟你交互。如果音乐教育的虚拟人物能为全国的边远山区做一些事,对我们中国的美育教育将会是一个重大的贡献。

我们还有一个AI歌词辅助写作系统,辅助作曲家创作歌词。我们做了一个作诗系统,80%的人都写不过它。我们现在在做音乐数据以及计算中心,教育部和发改委都非常重视,特别希望我们建成全世界最大的音乐数据中心。

音乐人工智能的研究领域非常广泛,全世界没有专门研究人工智能的学校,大家都是从声音转过来的。中央音乐学院这个学科研究的就是未来音乐,我们有人工智能创作、人工智能的表演与交互、智能音乐教育、音乐与脑科学四个研究方向。我们的毕业生特别抢手,音乐人工智能的毕业生还没有毕业,各个大公司都抢着要我们的人。

未来的音乐是什么?可能我们不知道。但是我们可以通过纵观音乐 历史 的发展、 科技 的发展来看到一些线索。 科技 的发展对我们的音乐创作、音乐呈现、音乐接受、音乐哲学等都会产生深远的影响。

我认为未来音乐的发展将会在下面三个维度上展开:

第一、传统意义的音乐(包括现代音乐)将会继续发展;第二、 科技 赋能传统意义的音乐创新发展; 第三、新 科技 产生新的音乐形态独立发展。

总之,音乐人工智能是帮助人类、赋能人类的,不是代替人类的,人类的艺术因为音乐人工智能的出现将更加丰富多彩、更加弥足珍贵。希望我们一起携手为未来音乐做一些事情。

文/中央音乐学院音乐人工智能与音乐信息 科技 系系主任、教授 李小兵

编辑/弓立芳

结语:以上就是首席CTO笔记为大家整理的关于人工智能歌声生成模型是什么的全部内容了,感谢您花时间阅读本站内容,希望对您有所帮助,更多关于人工智能歌声生成模型是什么的相关内容别忘了在本站进行查找喔。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/AI/17398.html