内蒙古自治区人民政府网站
长辈版 微信 微信 无障碍
部门网站导航

自治区政府组成部门

  • 发展和改革委员会
  • 教育厅
  • 科学技术厅
  • 工业和信息化厅
  • 民族事务委员会
  • 公安厅
  • 民政厅
  • 司法厅
  • 财政厅
  • 人力资源和社会保障厅
  • 自然资源厅
  • 住房和城乡建设厅
  • 生态环境厅
  • 交通运输厅
  • 水利厅
  • 农牧厅
  • 商务厅
  • 文化和旅游厅
  • 卫生健康委员会
  • 退役军人事务厅
  • 应急管理厅
  • 审计厅

自治区直属特设机构

  • 国有资产监督管理委员会

自治区直属机构

  • 市场监督管理局
  • 林业和草原局
  • 广播电视局
  • 体育局
  • 统计局
  • 能源局
  • 地方金融管理局
  • 国防动员办公室
  • 医保局
  • 信访局
内蒙古自治区科学技术厅
内蒙古
  • 网站首页
  • 组织机构
  • 科技动态
  • 政务公开
  • 政务服务
  • 互动交流
  • 专题专栏
  • 内蒙古自治区人民政府网站
  • 暖心专区暖心专区
  • 微信政务微信
  • 登录/注册
  • 部门网站导航

    自治区政府组成部门

    • 发展和改革委员会
    • 教育厅
    • 科学技术厅
    • 工业和信息化厅
    • 民族事务委员会
    • 公安厅
    • 民政厅
    • 司法厅
    • 财政厅
    • 人力资源和社会保障厅
    • 自然资源厅
    • 住房和城乡建设厅
    • 生态环境厅
    • 交通运输厅
    • 水利厅
    • 农牧厅
    • 商务厅
    • 文化和旅游厅
    • 卫生健康委员会
    • 退役军人事务厅
    • 应急管理厅
    • 审计厅

    自治区直属特设机构

    • 国有资产监督管理委员会

    自治区直属机构

    • 市场监督管理局
    • 林业和草原局
    • 广播电视局
    • 体育局
    • 统计局
    • 能源局
    • 地方金融管理局
    • 国防动员办公室
    • 医保局
    • 信访局
内蒙古自治区科学技术厅
  • 无障碍浏览
  • 退出长辈版
内蒙古
  • 网站首页

    网站首页

  • 组织机构
  • 科技动态
  • 政务公开
  • 政务服务
  • 互动交流
  • 专题专栏
当前位置: 首页 > 科技动态 > 工作动态 > 科技厅工作

自治区重点实验室6篇论文被信号处理领域顶级国际会议ICASSP录用

来源:内蒙古自治区科技厅基础研究处 发布日期:2022-02-08 09:42 
字体:[ 大 | 中 | 小 ]
分享到:
打印本页

近日,内蒙古自治区蒙古文信息处理技术重点实验室(内蒙古大学蒙古文智能信息处理技术国家地方联合工程研究中心)有6篇论文被2022年IEEE音频、语音与信号处理国际会议(2022 IEEE International Conference on Acoustics, Speech, and Signal Processing,  ICASSP 2022)接收录用。此次被录用的论文涉及智能语音交互领域的语音增强、语音鉴伪、语音识别等研究领域。

ICASSP是由IEEE电气电子工程师学会主办的信号处理领域的顶级国际会议,是IEEE下语音方向最具代表性、最高荣誉的会议,在国际上享有盛誉并具有广泛的学术影响力。

内蒙古自治区蒙古文信息处理技术重点实验室(以下简称重点实验室)高光来教授、张学良教授、飞龙教授带领团队多年来针对语音识别、语音合成、语音增强与分离等领域进行了深入的研究,提出了一系列创新性方法,在TASLP、ICASSP等语音信号处理领域国际顶级期刊和会议发表论文二十多篇,并且研发的蒙古语语音识别、蒙古语语音合成和语音增强等智能系统已实际落地应用,对国家和自治区智能语音产业发展起到了积极推动作用。

近几年,该重点实验室不断强化能力建设,在科技创新、产学研结合和人才培养方面取得了一系列可喜的成绩,为我区乃至全国多语言智能信息处理、大数据云计算服务提供了技术支撑。该科研团队引进和培养了张怀文研究员(骏马计划B1岗)、刘瑞研究员(骏马计划B1岗)、张晖副教授等一批优秀的年轻教师,并成为了重点实验室核心骨干力量。目前,重点实验室专业技术人员29人,其中教授10人、研究员2人,副教授7人、副研究员1人、博士生导师7人,27人具有博士学位,具有层次高、国际化和年轻化的特点。

附   论文名称及摘要

01  《基于对齐学习单步解码的非自回归准确快速语音识别方法》

本文提出一种基于对齐学习的非自回归Transformer(AL-NAT)语音识别方法。受端到端模型中编码器CTC的输出和目标序列具有单调相关性这一事实的启发。我们将编码器CTC的输出作为解码器的输入,并定义了一种对齐损失函数用于最小化该输入和目标序列之间的对齐成本矩阵。我们的方法不需要长度预测机制,在识别准确率和解码速度方面相比已有的NAT模型取得了显著提升。此外,为了学习上下文知识以提高识别准确率,我们进一步在编码器和解码器端分别增加了轻量级3-gram语言模型。实验结果表明,分别在编码器和解码器端增加语言模型对识别性能有很大提升。

02  《一种基于原地卷积神经网络的复数频谱映射声学回声消除方法》

近年来,深度学习技术被引入到声学回声消除(AEC)中,并取得了显著的效果。然而对于基于深度学习方法的AEC来说,最重要的问题是在多样性场景下模型的泛化能力。与大多数处理整个频段的方法不同,本文提出了用于端到端AEC的原地卷积递归神经网络(ICRN),它利用原地卷积和通道级的时间建模来确保近端信号信息得到保留。此外,本文采用复数频谱映射与多任务学习策略,获得更好的泛化能力。在多个不匹配的场景下进行的实验表明,所提出的方法优于以前的方法。

03  《DRC-NET:用于语音去混响的密集连接循环卷积神经网络》

基于作者之前在时频域上使用Inplace CRN模型对每个频率点进行单独处理得到的显著性能提升。在本文中,该方法将单频点特征作为基本的处理单元,这使得模型可以统一RNN在时频域中对频率维度和时间维度的处理方式。在此基础上,该方法将卷积神经网络(CNN)和RNN紧密结合起来作为一种基本的时频域处理单元,最终得到了密连循环卷积神经网络(DRC-NET)。DRC-NET有效融合了RNN的无限冲击响应特性和CNN的有限冲击响应特性,使得性能得到了显著提升。实验结果表明,无论是非因果版本的DRC-NET还是因果版本的DRC-NET,语音去混响的性能都优于SOTA基线模型。

04  《使用奇异点检测特征的深度音频(拼接)伪造检测》

本文针对伪造语音中的半真半假音频鉴别提出了一种利用高频奇异性检测特征和序列信息进行音频鉴伪的方法,以弥补对于半真半假音频检测方法的缺失。给定当前待检测的音频,该方法首先对音频进行小波分解,并提取分解后的高频分量进行重构,提取出音频中的高频奇异点以及突变特征。然后利用长短时记忆模块(LSTM)进行序列建模,进行初步的奇异点上下文建模以及定位。为了消除音频本身存在的固有奇异点干扰,该方法组合了线性频率倒谱系数(LFCC)作为补充。该方法不仅实现了对于半真半假音频数据的鉴别,同时也对伪造的音频片段进行定位。所提方法为一种新型的攻击方式——半真半假音频提供了一种有效方法,且实验结果表明,相对于已有鉴伪方法,该方法在精度和鲁棒性方面都有了很大的提高。

05  《一种缓解有监督单通道语音增强系统中损失-度量不匹配问题的算法》

在本文中,作者研究了有监督的单通道语音增强系统的损失-度量不匹配问题。大多数现有的语音增强系统的性能并不令人满意,因为它们根据经验选择的损失函数与不可微的评估指标存在语义上的差距,又称损失-度量不匹配问题。在这项工作中,作者提出了一种简单而有效的方法,为真实的前端语音增强场景生成合适的损失函数,以缓解损失-度量不匹配的问题。具体来说,该方法采用了函数平滑技术,通过一组基函数及其线性组合来逼近不可微的评价指标。实验结果表明,由该方法生成的损失函数能够帮助语音增强系统在大多数评价指标上取得更显著的性能。

06  《基于注意力融合的复数域骨传导和空气传导语音增强方法》

骨传导(BC)麦克风通过将人类头骨的振动转换为电信号来捕获语音信号。BC传感器对噪声不敏感,但带宽有限。另一方面,传统或空气传导 (AC)麦克风能够捕获全频带语音,但容易受到背景噪音。我们通过使用执行复杂频谱映射的卷积循环网络结合AC和BC麦克风的优势。为了更好地利用来自两种麦克风的信号,我们采用了基于注意力的融合以及早期融合和晚期融合策略。实验证明了所提出的方法优于其他最近结合BC和AC信号的语音增强方法。此外,我们的增强性能明显优于传统的语音增强对应物,尤其是在低信噪比场景中。


附件:

上一篇: 我区科研团队在智能水凝胶材料研究领域取得新成果

下一篇: 冯家举赴中国农业科学院对接科技兴蒙合作事宜

中国政府网
科学技术部
内蒙古自治区政府网
各省科技厅网
北京 天津 河北 山西 辽宁 吉林 黑龙江 上海 江苏 浙江 安徽 福建 江西 山东 河南 湖北 湖南 广东 广西 海南 重庆 四川 贵州 云南 西藏 陕西 甘肃 青海 宁夏 新疆 香港
各盟市科技网
呼和浩特市 包头市 赤峰市 兴安盟 通辽市 巴彦淖尔市 乌海市 乌兰察布市 阿拉善盟 锡林郭勒盟 呼伦贝尔市
网站声明 网站地图

主办单位:内蒙古自治区科学技术厅 承办单位:内蒙古自治区科学技术厅 政府网站标识码:1500000057

蒙ICP备2021001220号-1 蒙公网安备15010502002335号

地址:内蒙古呼和浩特市赛罕区丰州南路78号 电话:0471-6328766/6328706 传真:0471-6923617 

微信公众号

内蒙古自治区人民政府网站 无障碍浏览
  • 组织机构
  • 科技动态
  • 政务公开
  • 政务服务
  • 互动交流
  • 专题专栏
当前位置: 首页 > 科技动态 > 工作动态 > 科技厅工作
科技厅工作

自治区重点实验室6篇论文被信号处理领域顶级国际会议ICASSP录用

发布时间:2022-02-08 09:54  来源:内蒙古自治区科技厅基础研究处

近日,内蒙古自治区蒙古文信息处理技术重点实验室(内蒙古大学蒙古文智能信息处理技术国家地方联合工程研究中心)有6篇论文被2022年IEEE音频、语音与信号处理国际会议(2022 IEEE International Conference on Acoustics, Speech, and Signal Processing,  ICASSP 2022)接收录用。此次被录用的论文涉及智能语音交互领域的语音增强、语音鉴伪、语音识别等研究领域。

ICASSP是由IEEE电气电子工程师学会主办的信号处理领域的顶级国际会议,是IEEE下语音方向最具代表性、最高荣誉的会议,在国际上享有盛誉并具有广泛的学术影响力。

内蒙古自治区蒙古文信息处理技术重点实验室(以下简称重点实验室)高光来教授、张学良教授、飞龙教授带领团队多年来针对语音识别、语音合成、语音增强与分离等领域进行了深入的研究,提出了一系列创新性方法,在TASLP、ICASSP等语音信号处理领域国际顶级期刊和会议发表论文二十多篇,并且研发的蒙古语语音识别、蒙古语语音合成和语音增强等智能系统已实际落地应用,对国家和自治区智能语音产业发展起到了积极推动作用。

近几年,该重点实验室不断强化能力建设,在科技创新、产学研结合和人才培养方面取得了一系列可喜的成绩,为我区乃至全国多语言智能信息处理、大数据云计算服务提供了技术支撑。该科研团队引进和培养了张怀文研究员(骏马计划B1岗)、刘瑞研究员(骏马计划B1岗)、张晖副教授等一批优秀的年轻教师,并成为了重点实验室核心骨干力量。目前,重点实验室专业技术人员29人,其中教授10人、研究员2人,副教授7人、副研究员1人、博士生导师7人,27人具有博士学位,具有层次高、国际化和年轻化的特点。

附   论文名称及摘要

01  《基于对齐学习单步解码的非自回归准确快速语音识别方法》

本文提出一种基于对齐学习的非自回归Transformer(AL-NAT)语音识别方法。受端到端模型中编码器CTC的输出和目标序列具有单调相关性这一事实的启发。我们将编码器CTC的输出作为解码器的输入,并定义了一种对齐损失函数用于最小化该输入和目标序列之间的对齐成本矩阵。我们的方法不需要长度预测机制,在识别准确率和解码速度方面相比已有的NAT模型取得了显著提升。此外,为了学习上下文知识以提高识别准确率,我们进一步在编码器和解码器端分别增加了轻量级3-gram语言模型。实验结果表明,分别在编码器和解码器端增加语言模型对识别性能有很大提升。

02  《一种基于原地卷积神经网络的复数频谱映射声学回声消除方法》

近年来,深度学习技术被引入到声学回声消除(AEC)中,并取得了显著的效果。然而对于基于深度学习方法的AEC来说,最重要的问题是在多样性场景下模型的泛化能力。与大多数处理整个频段的方法不同,本文提出了用于端到端AEC的原地卷积递归神经网络(ICRN),它利用原地卷积和通道级的时间建模来确保近端信号信息得到保留。此外,本文采用复数频谱映射与多任务学习策略,获得更好的泛化能力。在多个不匹配的场景下进行的实验表明,所提出的方法优于以前的方法。

03  《DRC-NET:用于语音去混响的密集连接循环卷积神经网络》

基于作者之前在时频域上使用Inplace CRN模型对每个频率点进行单独处理得到的显著性能提升。在本文中,该方法将单频点特征作为基本的处理单元,这使得模型可以统一RNN在时频域中对频率维度和时间维度的处理方式。在此基础上,该方法将卷积神经网络(CNN)和RNN紧密结合起来作为一种基本的时频域处理单元,最终得到了密连循环卷积神经网络(DRC-NET)。DRC-NET有效融合了RNN的无限冲击响应特性和CNN的有限冲击响应特性,使得性能得到了显著提升。实验结果表明,无论是非因果版本的DRC-NET还是因果版本的DRC-NET,语音去混响的性能都优于SOTA基线模型。

04  《使用奇异点检测特征的深度音频(拼接)伪造检测》

本文针对伪造语音中的半真半假音频鉴别提出了一种利用高频奇异性检测特征和序列信息进行音频鉴伪的方法,以弥补对于半真半假音频检测方法的缺失。给定当前待检测的音频,该方法首先对音频进行小波分解,并提取分解后的高频分量进行重构,提取出音频中的高频奇异点以及突变特征。然后利用长短时记忆模块(LSTM)进行序列建模,进行初步的奇异点上下文建模以及定位。为了消除音频本身存在的固有奇异点干扰,该方法组合了线性频率倒谱系数(LFCC)作为补充。该方法不仅实现了对于半真半假音频数据的鉴别,同时也对伪造的音频片段进行定位。所提方法为一种新型的攻击方式——半真半假音频提供了一种有效方法,且实验结果表明,相对于已有鉴伪方法,该方法在精度和鲁棒性方面都有了很大的提高。

05  《一种缓解有监督单通道语音增强系统中损失-度量不匹配问题的算法》

在本文中,作者研究了有监督的单通道语音增强系统的损失-度量不匹配问题。大多数现有的语音增强系统的性能并不令人满意,因为它们根据经验选择的损失函数与不可微的评估指标存在语义上的差距,又称损失-度量不匹配问题。在这项工作中,作者提出了一种简单而有效的方法,为真实的前端语音增强场景生成合适的损失函数,以缓解损失-度量不匹配的问题。具体来说,该方法采用了函数平滑技术,通过一组基函数及其线性组合来逼近不可微的评价指标。实验结果表明,由该方法生成的损失函数能够帮助语音增强系统在大多数评价指标上取得更显著的性能。

06  《基于注意力融合的复数域骨传导和空气传导语音增强方法》

骨传导(BC)麦克风通过将人类头骨的振动转换为电信号来捕获语音信号。BC传感器对噪声不敏感,但带宽有限。另一方面,传统或空气传导 (AC)麦克风能够捕获全频带语音,但容易受到背景噪音。我们通过使用执行复杂频谱映射的卷积循环网络结合AC和BC麦克风的优势。为了更好地利用来自两种麦克风的信号,我们采用了基于注意力的融合以及早期融合和晚期融合策略。实验证明了所提出的方法优于其他最近结合BC和AC信号的语音增强方法。此外,我们的增强性能明显优于传统的语音增强对应物,尤其是在低信噪比场景中。


附件:

主办单位:内蒙古自治区科学技术厅

蒙ICP备19004535号 蒙公网安备:15010502000857号

增值电信业务经营许可证:蒙B2-20090015

地址:内蒙古呼和浩特市赛罕区丰州南路78号

电话:0471-6328766/6328706 传真:0471-6923617