음성 합성의 혁신: WaveNet을 통한 원시 오디오 생성의 새로운 패러다임

WaveNet: A Generative Model for Raw Audio

WaveNet은 DeepMind이 2016년에 발표한 딥러닝 기반의 음성 합성(TTS) 모델입니다.

기존의 음성 합성 기술과 달리, 원시 오디오 파형(raw waveform)을 한 샘플씩 직접 생성하는 자기회귀(autoregressive) 방식을 사용하여 매우 자연스러운 음성을 만들어낼 수 있습니다.

💡

한 줄 요약

Dilated Causal Convolution 기반의 자기회귀 모델로, 원시 오디오 파형을 샘플 단위로 직접 생성하여 기존 TTS 시스템(Concatenative, Parametric)을 크게 뛰어넘는 자연스러움을 달성한 모델입니다.

📝

논문 정보

제목: WaveNet: A Generative Model for Raw Audio

저자: Aäron van den Oord et al. (DeepMind)

발표: 2016년 9월 (arXiv: 1609.03499)

인용수: 5,200+ (2026년 기준)

배경: 기존 TTS의 한계

기존의 음성 합성(TTS) 기술은 크게 두 가지 방식이 있었습니다:

방식	원리	장점	단점
Concatenative TTS	사전 녹음된 음성 조각(음소, 음절 등)을 데이터베이스에 저장하고 이를 이어 붙여 합성	자연스러운 음색	새로운 화자/스타일 추가 어려움, 대규모 DB 필요
Parametric TTS	통계적 모델(HMM 등)로 음성의 파라미터를 생성한 뒤 보코더로 파형 합성	유연한 제어 가능	기계적이고 부자연스러운 음질 ("로봇 목소리")

두 방식 모두 한계가 명확했습니다. Concatenative는 녹음된 음성 조각에 종속되어 새로운 음성으로 수정하기 어렵고, Parametric은 보코더가 생성하는 파형이 부자연스러웠습니다.

WaveNet은 이런 중간 표현 없이 원시 파형을 직접 모델링하는 접근으로 이 문제를 해결했습니다.

핵심 아이디어: 자기회귀 모델로 오디오 생성

오디오 신호는 초당 16,000개 이상의 샘플로 구성됩니다. WaveNet은 이 샘플들을 하나씩 순차적으로 생성하는 자기회귀 모델입니다.

수식으로 표현하면 다음과 같습니다:

p(\mathbf{x}) = \prod_{t=1}^{T} p(x_t \mid x_1, \ldots, x_{t-1})

각 오디오 샘플

x_t

는 이전의 모든 샘플

x_1, \ldots, x_{t-1}

에 의해 조건부로 결정됩니다.

📝

PixelCNN에서 WaveNet으로

이 아이디어는 이미지 생성 분야의 PixelRNN/PixelCNN에서 가져왔습니다. PixelCNN이 2차원 이미지를 픽셀 단위로 생성하는 것처럼, WaveNet은 1차원 오디오 파형을 샘플 단위로 생성합니다. 2D → 1D로 차원만 바뀐 셈이죠.

µ-law Companding

원시 오디오는 연속적인 값을 가지지만, WaveNet은 이를 효율적으로 모델링하기 위해 µ-law companding 변환을 적용한 뒤 256단계로 양자화합니다.

f(x_t) = \text{sign}(x_t) \frac{\ln(1 + \mu |x_t|)}{\ln(1 + \mu)}

여기서

\mu = 255

로 설정합니다. 이렇게 하면 softmax 출력으로 각 샘플 값의 확률 분포를 계산할 수 있으며, 단순 선형 양자화보다 훨씬 자연스러운 음질을 얻을 수 있습니다.

아키텍처

WaveNet의 아키텍처는 크게 3가지 핵심 구성 요소로 이루어져 있습니다:

1. Dilated Causal Convolution

일반적인 CNN에서는 수용 영역(receptive field)을 넓히려면 레이어를 매우 깊게 쌓아야 합니다. 오디오처럼 수만 개의 타임스텝에 걸친 장기 의존성을 포착하려면 비현실적으로 깊은 네트워크가 필요하죠.

WaveNet은 이 문제를 Dilated Causal Convolution으로 해결합니다.

특성	Causal Convolution	Dilated Causal Convolution
수용 영역	레이어 수에 비례 (선형 증가)	레이어 수에 지수적으로 증가
10개 레이어 수용 영역	11 타임스텝	1,024 타임스텝
계산 비용	넓은 수용 영역 = 높은 비용	적은 레이어로 넓은 수용 영역 확보
출력 해상도	입력과 동일	입력과 동일 (pooling 없음)

Causal: 미래 시점의 정보를 사용하지 않음 (현재 샘플은 과거 샘플에만 의존)

Dilated: 필터가 입력값을 건너뛰며 적용 (dilation factor가 레이어마다 2배씩 증가: 1, 2, 4, 8, ...)

논문에서는 이 구조를 여러 번 반복(stack)하여 사용합니다. 예를 들어 dilation 1, 2, 4, ..., 512를 5번 반복하면 총 수용 영역은 수천 개의 타임스텝을 커버할 수 있습니다.

2. Gated Activation Units

WaveNet은 단순한 ReLU 대신 Gated Activation 함수를 사용합니다. 이는 PixelCNN에서도 효과적이었던 구조입니다:

\mathbf{z} = \tanh(W_{f,k} * \mathbf{x}) \odot \sigma(W_{g,k} * \mathbf{x})

$W_{f,k}$ : filter (학습 가능한 합성곱 필터)

$W_{g,k}$ : gate (정보를 얼마나 통과시킬지 결정)

$\tanh$ : 값의 범위를 제한

$\sigma$ : 시그모이드 함수로 게이트 역할

$\odot$ : 원소별 곱셈

💡

tanh가 "무엇을 표현할지"를 결정하고, sigmoid가 "얼마나 표현할지"를 결정하는 구조입니다. LSTM의 게이트 메커니즘과 유사한 아이디어이며, 오디오 같은 복잡한 신호를 모델링할 때 ReLU보다 효과적입니다.

3. Residual & Skip Connections

WaveNet은 수십 개의 레이어를 쌓기 때문에, 깊은 네트워크에서 발생하는 기울기 소실 문제를 해결하기 위해 Residual Connection과 Skip Connection을 함께 사용합니다.

Input ──→ [Dilated Conv] ──→ [Gated Activation] ──┬──→ [1×1 Conv] ──→ (+) ──→ 다음 레이어
  |                                                 |                    ↑
  |                                                 |              Residual
  └─────────────────────────────────────────────────┘
                                                    |
                                                    └──→ [1×1 Conv] ──→ Skip Connection
                                                                         ↓
                                                                    (모든 레이어의 Skip을 합산)
                                                                         ↓
                                                                    [ReLU → 1×1 Conv → ReLU → 1×1 Conv → Softmax]

Residual Connection: 각 레이어의 입력을 출력에 더해서 정보가 직접 전달되도록 함

Skip Connection: 각 레이어의 출력을 최종 출력단으로 직접 전달하여 모든 레이어가 최종 예측에 기여

조건부 생성 (Conditional WaveNet)

WaveNet은 추가 정보를 조건으로 주입하여 원하는 스타일의 음성을 생성할 수 있습니다.

Global Conditioning

화자 ID, 언어 등 시퀀스 전체에 일정한 조건을 부여합니다:

\mathbf{z} = \tanh(W_{f,k} * \mathbf{x} + V_{f,k}^T \mathbf{h}) \odot \sigma(W_{g,k} * \mathbf{x} + V_{g,k}^T \mathbf{h})

여기서

\mathbf{h}

는 화자 임베딩 같은 글로벌 조건 벡터입니다. 하나의 WaveNet 모델로 수백 명의 서로 다른 화자 음성을 생성할 수 있습니다.

Local Conditioning

언어적/음성적 특징 등 시간에 따라 변하는 조건을 부여합니다. TTS에서는 텍스트에서 추출한 언어 특징(현재 음소, 음절, 단어 정보 등)을 타임스텝별로 주입하여 텍스트에 맞는 음성을 생성합니다.

📝

조건 없이 훈련하면?

텍스트 시퀀스 없이 네트워크를 훈련시키면 음성을 생성할 수는 있지만, 의미 없는 소리들이 산재한 옹알이 같은 음성이 생성됩니다. 다만 운율, 억양, 음색은 놀라울 정도로 자연스럽게 학습됩니다.

실험 결과

TTS 품질 평가 (MOS)

WaveNet은 MOS(Mean Opinion Score) 테스트에서 기존 TTS 시스템을 크게 앞서는 결과를 보여주었습니다:

모델	영어 MOS	중국어 MOS
Concatenative TTS	4.09	3.99
Parametric TTS	3.86	3.79
WaveNet	4.21	4.08
실제 사람 음성	4.55	4.21

사람의 음성과의 격차를 50% 이상 줄인 역사적인 결과입니다. 특히 영어와 중국어 두 언어 모두에서 일관되게 높은 성능을 달성했습니다.

음악 생성

WaveNet은 음성뿐 아니라 음악 생성에도 적용할 수 있습니다. 피아노 음악 데이터로 학습시키면 새로운 멜로디를 자동으로 생성하는데, 하모니와 리듬이 놀라울 정도로 자연스럽습니다.

한계점

WaveNet이 획기적이었지만, 몇 가지 명확한 한계가 있습니다:

느린 생성 속도 🐌: 자기회귀 방식이라 한 번에 하나의 샘플만 생성 가능. 1초 음성(16,000 샘플)을 생성하는 데 실시간보다 훨씬 느림

높은 계산 비용 💰: 학습과 추론 모두 대규모 GPU 리소스 필요

대규모 학습 데이터 필요: 자연스러운 음성을 위해 수십 시간 이상의 고품질 음성 데이터 필요

💡

이후 발전

이 한계를 극복하기 위해 다양한 후속 연구가 등장했습니다:

Parallel WaveNet (2017): Teacher-Student 구조로 실시간 음성 생성 달성

WaveRNN (2018): 단일 RNN 기반으로 모바일 디바이스에서도 실시간 생성

WaveGlow (2018): Flow 기반 모델로 병렬 생성 가능

현재 Google Assistant, Google Cloud TTS 등에서 WaveNet 기반 기술이 프로덕션으로 사용 중

논문의 주요 기여 (Contributions)

이 논문의 핵심 기여를 정리하면:

원시 오디오 파형을 직접 생성하는 자기회귀 모델을 제안하여, TTS 분야에서 사람이 평가한 자연스러움 기준 최고 성능 달성

장거리 시간적 의존성을 위한 Dilated Causal Convolution 아키텍처 개발

하나의 모델로 여러 화자의 음성을 생성할 수 있음을 보임 (화자 ID 조건부)

동일한 아키텍처가 음악 생성, 음성 인식 등 다양한 오디오 태스크에서도 강력한 성능을 보임

정리

WaveNet은 딥러닝을 활용한 음성 합성 분야의 패러다임 전환을 이끈 모델입니다. Dilated Causal Convolution이라는 핵심 구조를 통해 넓은 수용 영역을 효율적으로 확보하고, 원시 파형을 직접 모델링함으로써 기존 TTS 시스템의 한계를 뛰어넘었습니다.

핵심 정리

✅ 자기회귀 모델: 오디오 샘플을 한 번에 하나씩 생성, 이전 샘플에 조건부

✅ Dilated Causal Convolution: 적은 레이어로 수천 타임스텝의 수용 영역 확보 (지수적 증가)

✅ Gated Activation: tanh × sigmoid 게이팅으로 복잡한 오디오 신호 모델링

✅ Residual + Skip Connection: 깊은 네트워크의 안정적 학습 보장

✅ µ-law Companding: 256단계 양자화 + softmax로 오디오 샘플 분포 예측

✅ 조건부 생성: Global/Local Conditioning으로 화자, 언어, 텍스트 제어 가능

✅ MOS 최고 성능: 기존 TTS 대비 자연스러움에서 사람 음성과의 격차를 50% 이상 감소

참고 링크

📚

WaveNet 논문 (arXiv)

DeepMind 공식 블로그 포스트

WaveNet - Wikipedia

Parallel WaveNet 논문 (arXiv)

Google Cloud Text-to-Speech (WaveNet 적용)