AI+娱乐跨界 | CCTV-1《经典咏流传》王源带你“读诗成曲”

  2019-03-01 15:02:29
1月28日,CCTV-1《经典咏流传》第二季开播,王源上了微博热搜,节目中他以一首《长歌行》表达心境,更推荐了“读诗成曲”小工具。
 
 
“读诗成曲”是由《经典咏流传》第二季携手思必驰共同推出的在线互动小工具,用户仅需朗读一段诗词,就可以听到用自己声音唱出跟明星版一样经典的诗词唱段。
 
这个崭新互动玩法的背后,是由思必驰提供个性化歌声合成、语音识别等独家AI技术支持,让观众“读诗成曲、传唱经典“。
 
“读诗成曲”是将诗词传唱与AI技术深度结合的一个极具代表性和创新性意义的项目,是目前所有项目中最具挑战性的项目之一。不仅对央视,对语音行业而言,实时的“读诗成曲”都是前所未有的尝试,思必驰率先研发出该项技术并推出大规模在线服务,迈出AI语音在文娱跨界应用上的第一步。
 
玩法攻略
 
扫码进入“读诗成曲”H5页面——选曲——读诗
 
基于语音识别技术,系统会对朗读效果进行打分, 朗读无误,即可进入“成曲”阶段——系统在后台将用户的朗读语句转换成经典唱段,稍等片刻,用户即可听到自己声音唱出的、带有明星风格的古诗词曲。
 
同时,用户亦可转发分享,邀请好友赏听并参与。
 
 
核心技术解密
 
“读诗成曲”应用了思必驰领先的语音技术,其中尤其关键的是个性化歌声合成技术。
 
歌声合成技术是在语音合成(TTS-Text to Speech)技术上衍生出来的,其关键区别在于韵律预测模型的不同。在普通TTS系统中,通常有个韵律模型来根据句子的内容和语调环境预测每个音素(音节)的时长和音高曲线。在歌声合成中,这个韵律模型则更换成由乐谱来预测每个音素(音节)的时长和音高的歌曲韵律模型。最终的生成过程仍然跟语音合成类似,将韵律参数和频谱参数结合,生成歌声。
 
思必驰的歌声合成技术已经不是第一次在央视节目中演示了,此前在第一季央视大型节目《机智过人》中,思必驰团队打造的“小驰机器人”现场用撒贝宁的声音生成了一曲《好久不见》,同时,在该节目的第一轮的检验环节中,小驰又凭借一曲“周星驰”的《红烧鸡翅膀》顺利通过检验。
 
这次在《经典咏流传》的“读诗成曲”小工具中,最大的改进是支持用户选择曲目,并将用户朗读语音在线转换成唱段播放出来,而且尽量还原现场嘉宾的演唱风格。
 
 
支持自选曲目:《机智过人》的合成歌曲是根据指定嘉宾的语料资源生成,观众并无参与权。此次,《经典咏流传》的“读诗成曲”项目将全国观众作为互动群体,人人皆可参与,人人皆可生成具备自己声音特质的经典歌曲,让更多的人乐于通过“读诗成曲”演绎和传颂经典。
韵律模型的个性化学习技术:思必驰团队在原有歌曲韵律模型的基础上增加个性化学习技术,结合曲库和名曲唱段的特征生成相应的韵律曲线。该技术的主要应用目的是使歌曲韵律特征尽量接近名曲唱段的特点。
声学模型的个性化学习技术:该技术的应用主要目的是使得生成的频谱参数尽量接近用户的声音。
 
基于韵律模型和声学模型的个性化学习,再将接近用户的频谱参数和接近名曲唱段的韵律参数结合,就能生成用户“原声”唱出的“经典”曲调了。
 
传唱经典极具情怀,保证经典内容传承的准确性,更是关键一环。
 
“读诗成曲”小工具在用户读诗录入后,设有“语音判断”环节,借助思必驰领先的语音识别技术,准确捕捉用户录入的诗词读音,并做出判断。当诗词读法准确无误时,用户就可以上传并合成歌声;当用户读法有误,如字词的错读漏读,系统则会建议用户返回录入环节,重新录音并合成歌声。
 
这能够让大众在接触传统文化时,纠正其对经典文化认知方面的错误,保证传承的正确性,让大众享受科技、娱乐、文化三者交融的乐趣。
 
不仅在科技和文娱的跨界领域,“语音合成”“歌声合成”在商业化过程中,将会迎来更多的机遇和挑战。
 
经过多年对语音合成技术的探索,目前思必驰可提供标准男女声、童声、名人合成音等,在最新推出的DUI平台Voice Shop中,提供100+特色的高自然度合成音,并支持按需定制不同风格的声音,帮助厂商打造Voice-IP。同时,思必驰大数据深度定制、1小时数据快速定制等个性化合成音定制技术,增加了合成音的个性化属性。
 
这些应用及落地,均为思必驰的“读诗成曲”项目奠定了基础。
 
“读诗成曲”项目实现了人工智能与泛娱乐真正意义上的首次跨界尝试,对文娱而言,它丰富了文化传播的渠道,加深了传承经典文化的历史烙印;对科技而言,它推进着AI技术的走向大众,走向科普,走向规模化应用。通过最权威的电视传播平台,利用最先进的AI技术打造娱乐元素,将人工智能与传统文化深度结合,堪称“文艺的科技复兴”。