Обычный автокодировщик переводит вход $x$ в одну точку $z$ и обратно. Реконструирует он хорошо, но генератором не является: возьмите случайную точку латентного пространства — и у декодера нет причин выдать что-то осмысленное.

Вариационный автокодировщик (Kingma and Welling, 2014) упорядочивает латентное пространство. Каждый вход кодируется в гауссиану, а не в точку:

и каждая такая гауссиана подтягивается к одному фиксированному априорному распределению $p(z) = \mathcal N(0, I)$. В коде энкодер заканчивается двумя «головами»: одна для $\mu$, другая для $\log\sigma^2$.