微软歌声合成算法HIFISINGER论文解读

文章目录

• 论文题目：
• 摘要
• 前沿
• 背景
• 方法
• • SF-gan来建模宽频率（频域）
  • ML-gan来建模长波形（时域）
  • 其他设计
• 实验和结果
• • datasets
  • model config
  • 训练和合成
  • 音质对比

论文题目：

• HIFISINGER: TOWARDS HIGH-FIDELITY NEURAL SINGING VOICE SYNTHESIS

摘要

• 高保真的歌声需要高的采样频率。高采样必定导致更宽的频率带和更长的波形序列，给歌声合成模型带来困难。
• hifisinger是采用48kHZ的采样频率。它包括基于自然语音的fastSpeech和并行的声码器WaveGAN，在声学模型和声码器中引入了多尺度对抗训练，以改善歌唱建模。
• sub-frequency GAN 来生成梅尔声谱图，并将80维的mel频率分成多