AI孙燕姿能取代真人歌手吗？
2023年最火爆华语歌手是谁？不是周杰伦，也不是孙燕姿，而是“AI孙燕姿”。
近期，在各大视频平台上，“冷门歌手孙燕姿”靠着各种各样的AI“分身”翻唱不同曲风的歌曲，营业时长感人，作品出圈火爆。从流行、到摇滚、再到“魔性”，没有AI孙燕姿驾驭不了的曲风。
有人说，本来以为AI最不能替代的是艺术类，结果AI就往艺术上发展。当AI技术“盯上”歌手后，会产生怎样的化学反应？
“UP主”子鱼（化名），至今只做了4个“AI孙燕姿”的音频，但在B站总播放数已超过150万次。其中《下雨天》单曲播放数超过100万次，收藏人数近2万人。
当下的AI歌手尽管只是高度“模仿”了歌手的音色及演唱风格，但这对于期待歌手营业的粉丝们来说已经相当兴奋。
不少粉丝听后表示，“还原得有点可怕了”“这简直就是科技与狠活！”这不禁让人想起前段时间，孙燕姿在海潮宇宙音乐节演出结束后被粉丝追问何时开演唱会的那句打趣——“再不开演唱会就要被AI取代了！”
B站上AI孙燕姿翻唱《爱在西元前》图片来源：视频截图
AI歌手真的能取代真人歌手吗？AI技术在唱片工业上有着怎样的发展足迹？在AI技术“狂飙突进”的背后，又有哪些问题浮出水面？
火热
近两个月，借由AI分身，陈奕迅、周杰伦、披头士等知名歌手及乐队纷纷在B站“复出”并发表“新歌”。周杰伦唱日语歌、邓丽君演唱《反方向的钟》......一切看似不可能的事情，在AI歌手这里都能实现。
其中，孙燕姿因其独具辨识度的音色与唱腔，成为AI宠儿，每天都有十数首“新作”面世。
有人调侃，“孙燕姿不营业，粉丝便替她营业。”于是，大家耳熟能详的《一直很安静》《岁月神偷》《红豆》，以及《好汉歌》《火红的萨日朗》等歌曲都在AI孙燕姿的演绎下有了别样的色彩。
AI孙燕姿翻唱走红B站 图片来源：B站截图
按照目前的技术，歌手的唱腔、技巧和风格还很难完全模仿，但音色已经基本能1:1复制了。而我们也发现，AI孙燕姿用的核心技术主要来自于一个叫做So-vits的开源项目。
目前，这个项目已经迭代到了4.0版本。相较于以往VITS、soft-vc、VISinger2等项目，So-vits的使用大大简化，仅凭数段音频，就可用一个生成式模型来合成目标音色的音频，训练出用户想要的声学模型。这个模型可以保留音高和音调，也可以用不同的语言来翻唱。
笔者观察到，虽然当前AI技术在音乐工业的使用仍大面积停留在调教、翻唱等方面，但AI技术与音乐创作、音乐表演的结合已成为一个显著的趋势。
像是此前为了纪念邓丽君逝世22周年，日本节目《金SMA》利用全息投影技术，令一代歌后“复活”。粉丝们自行训练张国荣、姚贝娜等故去歌手的模型，让故人以“数字生命”的形式重现，透过这些久违的声音，让听众在互联网的一片喧嚣之中，感受到独有的人文主义温暖。
今年3月，歌手陈珊妮发布新歌《教我如何做你的爱人》，粉丝听完新歌后几乎都在称赞这首歌的演唱水准一如以往。但一周后，陈珊妮发表长文表示，她的新歌其实是由“AI模型”演唱，就连单曲封面也是AIGC生成。在歌曲制作过程中，她为调教AI演唱做了充足的工作，这些工作量不低于乃至远高于亲自演唱。
而陈珊妮也表示，期望透过这首歌，促动所有关心艺术创作的人思考——如果 AI 的时代必将到来，身为创作人该在意的或许不是“我们是否会被取代”，而是“我们还可以做些什么”。
陈珊妮发布新歌《教我如何做你的爱人》图片来源：微博
趋势
AI在音乐领域能“发挥”的作用越来越多。虽然总有人认为，AI的声音没有感情，无法代替人的艺术性创作。但不可否认，AI的能力早已慢慢“渗透”进音乐产业的诸多方面。
早在2007年，虚拟歌手初音未来就面世了。后来“二次元形象+语音合成引擎”的虚拟歌手层出不穷，B站的洛天依，LOL推出的K/DA女团都属于此类。
目前AI对于音乐行业的介入除了AI翻唱外，还有AI音乐制作。
像是早期Korg、Yamaha、Roland品牌的高端自动伴奏合成器，Band in a Box自动编曲软件等都已成为许多知名音乐人的“左膀右臂”。
而基于AI技术的母带制作服务（例如LANDR），则为音乐人们提供了一种成本远低于传统母带制作服务的替代性方案，已经有超过200万音乐家利用它制作出1000万余首歌曲。
LANDR官网 图片来源：LANDR官网截图
笔者观察到，2015年，AI音乐初创公司Juckdeck成立，各类相关公司和音乐作品进入集中爆发阶段。2016年，鼎鼎大名的AIVA成立，其创作的音乐作品开始被电影导演、广告公司、游戏工作室使用。而国内第一家AI音乐初创公司DeepMusic则出现于2017年。
AI对于音乐制作的介入正在变得越来越深入和广泛。在ChatGPT爆火后，越来越多的生成式AI工具被快速推出。去年年底出现的开源AI翻唱项目Diffsvc和So-vits，从出现到发展至普通人难以辨别的地步，只用了几个月时间。
今年初，谷歌宣布开发了一款名为MusicLM的人工智能工具，可以从文本中直接生成音乐。而最近，B站官方也在积极鼓励AI创作，推出了名叫“虚拟之声创作计划”的主题活动。
B站推出“虚拟之声创作计划” 图片来源：B站截图
目前看来，在对原创性需求不高的商业音乐应用场景上，AI音乐有着更广的发展空间和更快的发展速度。
以游戏场景为例，业内人士指出，音乐作为游戏画面的相关载体，游戏对音乐的需求量极大但要求并不算高。AI音乐的出品速度和处于中游水平的质感，能够完美适应游戏行业需求。
隐忧
围绕“AI克隆”是否涉及侵权，争议一直存在。
AI玩家们认为训练AI仅为娱乐而非商用，并未损害歌手们的权益。但版权方认定使用未经授权的歌手或作品的数据集来训练AI是一种侵权行为。
曾就职于多家音乐流媒体平台版权部的李强在接受媒体采访时表示，“在未获得歌手授权下，AI对歌手声音的模拟甚至公开展示，应属于对歌手表演者权的侵权行为。”也有人指出，“在鼓励AI创作的语境里，所有试图绕过版权谈创新都是耍流氓。”
AI孙燕姿翻唱《我记得》图片来源：B站截图
鉴于此，在海外包括环球音乐在内的版权方纷纷向Spotify和Apple music等流媒体平台施压，要求下架AI克隆歌曲。在环球唱片执行副总裁迈克尔·纳什（Michael Nash）看来，人工智能音乐正在“稀释”市场，使原创作品更难找到，并侵犯了艺术家获得作品报酬的合法权利。
3月16日，美国唱片业协会（RIAA）联合美国独立音乐协会、美国音乐家联合会、美国出版商协会、国际唱片业协会等30余个社会团体组建了一个广泛的音乐人和艺术家联盟，共同发起了“人类艺术运动”，以保证AI不会取代或“侵蚀”人类文化和艺术。
整体来看，对音乐工业来说，数字音乐版权的规范化、数字音乐制作的人工智能化是大势所趋，但也面临巨大的现实复杂性。当前，AI的“介入”无疑让新的、老的问题加速浮出水面，流媒体UGC创作、翻唱侵权、短视频和直播侵权等话题再一次成为平台方、版权方、制作方角力的焦点，而新的行业规则也亟待建立。
不过，也有音乐人对于“AI克隆”持开放的态度，比如加拿大歌手Grimes就公开表示欢迎大家使用AI模仿她的声音进行创作，版税五五分成。而说唱歌手小老虎则表示，如果有人克隆了自己的声音去演唱另一首歌，“不是坏事，也许多交个朋友。”
加拿大创作歌手Grimes在推特发文 图片来源：网页截图
未来，如果平台规则可以解决创作者使用AI歌手翻唱带来的收入分配问题，不断返回版税给原唱歌手和被翻唱的版权方，那么，AI在音乐工业的想象空间或将进一步被打开。
与此同时，对音乐工业大大小小的制作公司来说，AI语音生成和AI创作已成为重要发力方向，不仅能提高传统的音乐创作效率，还能打造虚拟偶像，开辟新的商业场景。
AI孙燕姿会影响到歌手价值吗？
AI孙燕姿的出现，无疑给音乐产业带来了更多的不确定性。 一方面，它展示了AI技术在音乐领域的强大潜力和创造力，让人们看到了更多可能性和想象空间；另一方面，它也引发了一些法律、伦理和审美上的争议和担忧，让人们思考了声音的版权、歌手的价值和音乐的本质。 首先，AI孙燕姿涉及到声音版权的问题。声音是一种个人身份标志，也是一种知识产权。根据我国《民法典》第一百零八条规定，“自然人享有姓名权、肖像权、名誉权、荣誉权、隐私权等人格权利。”而声音作为肖像权的一种表现形式，也应当受到法律保护。如果没有原歌手的授权或同意，用AI技术模仿或转换其声音，可能构成侵权行为。 其次，AI孙燕姿可能会影响到歌手价值。歌手除了声音之外，还有其他方面的价值，比如创作能力、演绎技巧、舞台表现、粉丝互动等等。AI技术虽然可以模仿或转换声音，但是不能完全复制或取代歌手。AI技术只能根据已有的数据进行学习和生成，并不能创造出新颖和独特的内容。而且AI技术也不能传达出真人歌手所具有的情感和灵魂。因此，在有真人可用的情况下，AI歌手不会成为主流，只能作为一种补充或娱乐。 最后，AI孙燕姿还涉及到了音乐本质的问题。音乐是一种艺术，也是一种文化。音乐的价值不仅在于声音本身，还在于声音背后的故事、意义和情感。AI技术可以模拟出声音，但是不能模拟出音乐的内涵和精神。AI技术也不能替代人类对音乐的创造和欣赏。因此，AI技术不会改变音乐的本质，只能作为一种工具或媒介。 AI孙燕姿会给我们带来什么样的音乐体验？ AI孙燕姿虽然引发了一些争议和担忧，但是也给我们展示了一些未来的可能性和趋势。 随着AI技术的发展和普及，我们可能会看到更多的AI歌手、AI音乐、AI音频等等。这些产品和服务可能会给我们带来以下几方面的影响： - 丰富我们的音乐体验。我们可以听到更多样化和多元化的声音和风格，满足我们不同的喜好和需求。我们可以听到一些无法复现或已经消失的声音，比如已故歌手、古代歌曲、异域语言等等。我们可以听到一些梦幻联动或跨界合作的声音，比如不同时代、不同国家、不同领域的歌手之间的对唱或混搭等等。 - 激发我们的音乐创造力。我们可以利用AI技术来创作或改变自己的声音，表达自己的想法和情感。我们可以利用AI技术来测试或演示自己的作品，提高自己的效率和质量。我们可以利用AI技术来学习或模仿其他歌手或风格，提升自己的技巧和水平。 - 提高我们的音乐素养和审美。我们可以通过AI技术来了解和欣赏更多的音乐知识和文化，拓宽自己的视野和见识。我们可以通过AI技术来分析和评价不同的声音和风格，培养自己的品味和判断。我们可以通过AI技术来保护和传承一些珍贵或濒危的声音和文化，传承自己的历史和传统。 AI孙燕姿是如何诞生的？ AI孙燕姿的背后，其实是一种叫做“唱歌音色转换”的技术。 简单来说，就是利用深度学习的方法，将一个人的声音转换成另一个人的声音，同时保留原始声音的旋律、节奏和情感。 这种技术可以用于多种场景，比如模仿歌手、改变自己的声音、复活已故歌手等等。 目前，有两个比较火的开源项目，分别是so-vits-svc和RVC，它们都使用了一种叫做VITS的模型，原本是用于文本生成语音的，但是经过改造，可以直接将音色特征作为输入，不需要转换成文本。这样就可以实现任意歌曲的音色转换，而不仅仅是歌词。 AI孙燕姿就是利用这些技术，将孙燕姿的音色特征提取出来，然后用它来翻唱其他歌手的歌曲。 为了提高音质和逼真度，还需要进行一些后期处理，比如kmeans聚类音色匹配、hifigan音质增强等等。 这个过程并不简单，需要一定的算法相关经验和成果，也需要大量的数据采集和实验。 据悉，AI孙燕姿的创作者之一Rcell表示，他和他的团队经过半年时间做了上百组实验，才得出了当前的最优解。他们采集了孙燕姿的四张专辑《孙燕姿 同名专辑》《克卜勒》《逆光》《是时候》，共计约100首歌曲作为训练数据。他们还尝试了其他歌手的音色转换，比如周杰伦、林俊杰、王菲等等，但是效果都不如孙燕姿的好。 他们认为，孙燕姿的音色和咬字非常适合做AI训练，因为她的声音清晰、稳定、有特点，而且她的歌曲风格多样、难度高、情感丰富。