科大讯飞构建全新语音建模框架,降低AI声音复刻门槛
创始人
2025-06-28 03:40:29
0

极目新闻通讯员 许可亮

6月26日,科大讯飞语音合成技术全新升级,一句话声音复刻与超拟人合成两大核心能力实现突破。据专业测评显示,科大讯飞一句话声音复刻技术在相似度、准确度等维度行业领先。

讯飞星火APP的“一句话声音复刻”功能自2024年4月上线以来,备受用户和行业认可。在智能语音领域,声音复刻效果的核心指标始终围绕相似度与准确度两大维度展开。相似度决定“第一耳印象”,包含音色特质及风格韵味;准确度则关乎声音复刻是否好用,确保发音标准、停顿自然、语气连贯。

此次讯飞技术突破的关键,除了星火语音大模型底座的基础和持续迭代,还构建了一套三阶段层次化语音建模框架。首先,通过星火底座大模型精确捕捉发音规律和韵律特征。其次,在音色恢复阶段解耦并重构声学特征。最后,通过高精度声码器恢复高保真波形。

这套语音建模框架突破了语义表征,采用mel VQ-AE模型结合语音自监督预训练编码器,并引入音色最小互信息约束,成功解耦出音色无关的离散语义token。这种结构实现了发音内容与音色特征的可控分离,也显著提升了语义LLM的建模稳定性。

在音色解耦表征能力的基础上,科大讯飞在声音复刻场景针对性进行两项关键技术的尝试与突破:音色编码增强——在声学模型中创新性地融合全局声纹嵌入与局部帧级音色编码,提取细粒度音色特征,并构建声纹空间语义一致性损失函数,显著提升音色恢复的相似度。强化学习——通过语音鲁棒性评价模型和人工标注构建偏好数据集,采用基于DPO的强化学习策略,大幅提升合成语音的稳定性和自然流畅度。只需一句话录音,AI就能完整捕捉用户喉腔共鸣、口音特点、气息流转等发音特征,精准还原用户的停顿习惯、情感起伏和呼吸节奏,达到真人难以区分的复刻效果。

从曾经要录上数十个小时的语音素材,到录入几段话,再到现在仅用一句话就能复刻声音,语音合成技术一直在向更快、更好、更易用的方向奔跑。一句话复刻技术的进阶,代表着能用更少的资源、更快的速度带来惊艳且实用的效果,显著降低了应用门槛,在AI赋能千行百业的大背景下,让更多的场景和行业衍生出更多的个性化需求,突破并得到实现。

在需要深入交流的场景里,仅有相似音色并不足够。讯飞的超拟人合成技术此次进阶的重点是赋予AI声音以“上下文情商”。面对多轮对话的复杂度,科大讯飞开发了上下文感知的语音生成系统。该系统融合历史文本及对应音频特征,通过跨模态编码器分析上下文,让AI声音能像真人一般敏锐响应情绪转变和话题转换。在真人与AI声音的对话测试中,随着话题和情绪变化,合成声音的语气会实时调整,给出恰如其分的情感回应,整体自然度接近真人水平。

AI语音技术落地最显著的领域当属智能汽车座舱。今年初,蔚来在“Banyan 榕 3.1.0版本”中为NOMI助手引入的超拟人情感音色,正源于讯飞的深度赋能。搭载该技术的蔚来新车型(如ET9、新ES6/EC6/ET5系列等),成为行业首款应用AI生成式语音合成框架的车型。除蔚来外,奇瑞、广汽、长城、日产、本田等主流车企同样选择了讯飞超拟人技术,重塑车内智能交流体验。

讯飞语音技术的辐射范围远不止车载场景。在教育领域,星火大模型赋能的AI学习机已能像真人教师般开展多轮对话诊断学情,为学生定制个性化学习路径。2025年暑期升级中,学习机新增的“AI 1对1互动式问诊规划”功能,通过几轮对话即可分析知识掌握情况,结合学生能力层级生成精准学习方案。

在数字内容创作领域,讯飞智作平台的超拟人数字人技术实现“一张照片+一句话录音”定制专属虚拟人,其唇形同步率高达98%。该技术已帮助天津大学教师打造慕课个人IP,简化教学视频制作流程。医疗场景中,搭载情感合成技术的导诊机器人使用方言与老年患者交流时,对话自然度提升200%。随着星火语音大模型在教育、医疗、金融等领域的深度渗透,其技术底座已服务全国5万余所学校、600家医院及众多金融机构。

科大讯飞研究院院长刘聪表示:“我们希望声音不止于工具,更成为承载情感与个性的新维度,赋能更多场景行业、催生更多可能。”属于AI声音的多元化、情感化时代,正加速驶入现实。

(来源:极目新闻)

相关内容

热门资讯

无机房电梯楼层显示器异常解决指... 电梯 无机房电梯楼层显示器异常怎么办? 别急,本文将为您详细解答。首先,我们要了解无机房电梯楼层显示...
原创 预... 从销量上来看,两千元左右的手机更受大众消费者的喜爱,这其中爆发了不少爆款手机,而国内各大手机厂商也都...
“最准最快最久最少”纷纷亮相,... 医疗器械及医药保健展区一直都是进博会上“最卷”的展区之一。要得到关注,不拿出“绝活”不行。在本届进博...
原创 千... 在上个月联发科抢先高通,率先发布了自己的新款旗舰处理器天玑9400,并且在新机这块也比搭载高通的骁龙...
原创 日... 科技浪潮的奔涌向前,正重塑着人类社会的生活形态。近年来,AI智能技术的蓬勃发展,让科幻作品中的奇幻场...
叠彩区:加快促进“人工智能+”... 3月13日,记者在位于叠彩区北仓路的力源智能配送中心看到,3000平方米的仓库里,17台橘黄色的小机...
eaapp错误代码ec201怎... eaapp是许多玩家常用的游戏平台之一,像ea的体育竞技类游戏,在游戏市场中热度极高。但一些玩家在使...
新型显示产业前景广阔 ● 本报记者 康曦 12月19日-20日,以“显示无处不在·映照万千气象”为主题的世界显示产业创新发...
大模型专题:6G网络面向大模型... 今天分享的是:大模型专题:6G网络面向大模型的分布式学习白皮书 报告共计:24页 6G网络愿景是实现...
努比亚Z70 Ultra星空版... 近日,努比亚手机官方宣布,其最新旗舰机型Z70 Ultra星空典藏版将于2024年11月21日正式发...