생성 모델이란 목표 도메인의 데이터를 생성하는 모델을 말한다. 그리고 몇몇 생성 모델은 주어진 데이터 x의 우도 p(x)를 평가할 수도 있다. 데이터가 어떻게 생성되는지 이해하는 것은 그 데이터를 이해하는 효과적인 방법의 하나이며, 또한 데이터를 자유롭게 생성할 수 있다면 많은 애플리케이션에 도움이 된다. 그래서 오래전부터 생성 모델에 관해 많은 연구가 이루어져왔다. (1쪽)

첫 번째는 점수 기반 모델(SBM)이다. 1장에서 살펴본 것처럼 디노이징 점수 매칭으로 추정한 점수를 사용하는 랑주뱅 몬테카를로 방법을 이용해서 대상 확률분포로부터 표본을 얻을 수 있다. 그러나 실제로는 점수 추정에 문제가 있고 표본추출에 매우 오랜 시간이 필요하며 고차원 다봉분포에서는 표본추출이 잘되지 않는다는 문제가 있다. 이런 문제를 해결하기 위해서 여러 개의 크기가 다른 잡음으로 섭동한 분포상에서 점수를 학습하고 랑주뱅 몬테카를로 방법을 이용해서 데이터를 생성하는 것을 살펴본다. (39쪽)

확률 플로 ODE는 ODE를 사용한 생성 모델인 신경 ODE(neural ODE)의 특수한 형태로 볼 수 있다. 신경 ODE는 미분방정식을 사용해서 사전분포에서 추출된 데이터를 변화시키는 방법으로 각 시간의 변화량을 신경망으로 모델링한다. 확률 플로 ODE는 이 변화량을 앞의 식 (3.6)을 바탕으로 정의한다. (85쪽)

분류기를 사용하지 않는 가이던스는 분류기 가이던스 문제를 해결할 수 있다. 다양한 잡음 수준에서 분류기를 조건 없는 점수와 따로 학습할 필요가 없고 일반적인 학습에서 조건을 일정 확률로 드롭아웃시키기만 하면 된다. 그래서 학습을 크게 단순화할 수 있다. 또, 조건부 점수와 조건 없는 점수의 학습을 공유화해서 실제로 관계없는 y와 x의 관계를 발견할 가능성을 줄일 수 있으므로 생성 품질을 대폭 개선할 수 있다. (101쪽)

가장 학습이 어려웠던 동영상 생성도 확산 모델을 사용해서 구현되고 있다. 동영상 생성은 각 프레임의 이미지를 생성하는 문제로 볼 수 있다. 동영상 생성은 매우 고차원의 데이터 생성 문제를 다루기 때문에 훈련 데이터에 과적합 하는 것조차 어려웠다. 확산 모델을 사용한 동영상 생성은 일부 프레임을 생성하여 그것을 조건으로 사용하는 방식이다. (121쪽)