我区科研团队在情感语音转换（VC）领域取得新进展

近日，内蒙古大学计算机学院刘瑞研究员所在科研团队与日本大阪大学科学与工业研究所罗兆杰教授团队合作在国际信号处理领域TOP期刊《IEEE/ACM音频、语音和语言处理汇刊》（IEEE/ACM Transactions on Audio, Speech, and Language Processing）发表了“通过源滤波网络将独立于说话人的情感解耦以进行语音转换”（Decoupling Speaker-independent Emotions for Voice Conversion Via Source-Filter Networks）最新研究成果。

该研究依托内蒙古大学蒙古文智能信息处理技术国家地方联合工程研究中心、蒙古文信息处理技术自治区重点实验室，并得到2022年内蒙古大学骏马计划高层次人才引进项目的支持。

情感语音转换（VC）旨在将中性语音转换为情感声音，同时保留语言信息和说话者的身份。科研团队注意到，将情感特征与其他语音信息（例如内容、说话者身份等）的解藕是实现高质量转换效果的关键。由于情感语音中声学特征的解藕更加复杂，因此面向中性语音的特征解藕工作无法很好的工作。科研团队针对情感语音转换的声学特征解藕问题开展研究，提出了一种基于“源-滤波器”模型的情感语音转换系统。具体来说，为了解决情感语音转换的特征解藕问题，该论文提出了一种新颖的基于Source-Filter（源-滤波器）模型的情感VC模型（简称SFEVC），以从音色和音调特征中准确过滤说话人独立的情感线索。SFEVC模型由多通道编码器、情感独立编码器、预训练的说话人相关编码器和相应的解码器组成。所有编码器模块都采用信息瓶颈自动编码器。此外，为了进一步提高各种情绪的转化质量，提出了基于二维VA空间的训练策略。实验结果表明，提出的SFEVC模型以及VA训练策略的表现均优于所有基线系统，并基于非平行数据在说话人无关的情感VC场景下实现了最优性能。

论文链接：https://ieeexplore.ieee.org/document/9829916