Генеративная модель

Альтернативный вариант формулировки:

• Генеративная модель — это модель условной вероятности наблюдаемых данных X при заданной целевой метке y, то есть ${\displaystyle P(X|Y=y)}$^[3].
• Дискриминативная модель — модель условной вероятности метки Y по наблюдению x: ${\displaystyle P(Y|X=x)}$^[3].

Независимо от точной формулировки, генеративная модель может использоваться для генерации новых исходов (примеров), либо для источника ${\displaystyle (x,y)}$, либо для ${\displaystyle x}$ при фиксированном значении y^[3]. Дискриминативная модель, напротив, применяется для однозначного определения вероятного значения Y по x^[3]. Различие между «дискриминацией» (различением) и «классификацией» весьма тонкое и не всегда чётко проводится; в частности, термин «дискриминативный классификатор» может быть тавтологичным, если дискриминация по смыслу эквивалентна классификации.

Термин «генеративная модель» также может означать модели, генерирующие экземпляры выходных переменных без явной связи с вероятностным распределением по исходным данным (например, генеративно-состязательные сети); подобные модели оцениваются по близости выходных данных к реальным, а не по вероятностной интерпретации, и не всегда являются классификаторами.

Обычно в задачах классификации наблюдаемая переменная X является непрерывной, а целевая Y — дискретной (конечное множество меток). Условная вероятность ${\displaystyle P(Y|X)}$ в этом случае может рассматриваться и как стохастическая целевая функция ${\displaystyle f\colon X\to Y}$, а не только как распределение вероятностей.

Если метки принимают конечное число значений, то оба определения генеративной модели тесно связаны. Модель условного распределения ${\displaystyle P(X|Y=y)}$ сопоставляет распределение каждой метке, а модель совместного распределения эквивалентна одновременному моделированию распределения меток ${\displaystyle P(Y)}$ и распределения наблюдений по меткам ${\displaystyle P(X|Y)}$, то есть ${\displaystyle P(X,Y)=P(X|Y)P(Y)}$. Таким образом, модель совместного распределения информативнее, однако переход между этими определениями не слишком сложен, и граница зачастую размыта.

Имея модель совместного распределения ${\displaystyle P(X,Y)}$, можно получить маргинальное распределение отдельных переменных: ${\displaystyle P(X)=\sum _{y}P(X,Y=y)}$ и ${\displaystyle P(Y)=\int _{x}P(Y,X=x)}$ (принимая X за непрерывную, а Y за дискретную); кроме того, оба условные распределения могут быть найдены из определения условной вероятности: ${\displaystyle P(X|Y)=P(X,Y)/P(Y)}$, ${\displaystyle P(Y|X)=P(X,Y)/P(X)}$.

Зная модель одного условного распределения и априорные вероятности X и Y, можно получить обратное условное распределение по формуле Байеса:

${\displaystyle P(X|Y)P(Y)=P(Y|X)P(X).}$

Например, имея генеративную модель ${\displaystyle P(X|Y)}$, можно оценить:

${\displaystyle P(Y|X)=P(X|Y)P(Y)/P(X).}$

Если же имеется дискриминативная модель ${\displaystyle P(Y|X)}$, то:

${\displaystyle P(X|Y)=P(Y|X)P(X)/P(Y).}$

Важно отметить, что иногда формула Байеса и определение условной вероятности смешиваются.

Генеративный алгоритм моделирует механизм появления данных для классификации сигнала. Он отвечает на вопрос: какая категория с наибольшей вероятностью могла сгенерировать этот сигнал? Дискриминативный алгоритм не моделирует процесс генерации данных, а просто классифицирует по имеющимся признакам. Дискриминативные алгоритмы непосредственно обучаются по данным для оценки ${\displaystyle p(y|x)}$ и затем проводят классификацию; генеративные — строят модель ${\displaystyle p(x,y)}$ и выводят из неё ${\displaystyle p(y|x)}$ для классификации. Преимущество метода генеративного подхода в том, что модель ${\displaystyle p(x,y)}$ позволяет порождать новые примеры, схожие с исходными данными. С другой стороны, доказано, что в классификационных задачах некоторые дискриминативные алгоритмы могут превосходить некоторые генеративные по качеству^[2].

Хотя дискриминативные модели не требуют моделирования распределения наблюдаемых параметров, они обычно не способны отражать сложные зависимости между наблюдением и целевой меткой. Тем не менее, зачастую генеративные и дискриминативные методы дополняют друг друга, а также могут рассматриваться как разные стороны одного процесса.

С ростом популярности глубокого обучения появилась новая семья методов — глубокие генеративные модели (англ. deep generative models, DGMs)^[5][6], которые сочетают генеративное моделирование и глубокие нейронные сети. С ростом масштабов нейросетей обычно возрастает и объём обучающих данных, что необходимо для достижения высокой производительности^[7].

К известным глубоким генеративным моделям относятся вариационные автокодировщики (VAE), генеративно-состязательные сети (GAN), авторегрессивные языковые модели. В последнее время ведётся разработка очень крупных DGMs^[5]: например, GPT-3 и предшествующая GPT-2 — авторегрессионные языковые модели с миллиардами параметров; BigGAN^[8] и VQ-VAE^[9], применяемые для генерации изображений (сотни миллионов параметров), а Jukebox — большая генеративная модель музыкального аудио (миллиарды параметров)^[10].

К базовым типам генеративных моделей относятся:

• Гауссовские смеси (и другие типы смеси вероятностных моделей)
• Скрытая марковская модель
• Вероятностная бесконтекстная грамматика
• Байесовская сеть (например, наивный Байес, авторегрессионная модель)
• Оценка с усреднённой зависимостью от одного признака
• Латентное размещение Дирихле
• Машина Больцмана (например, ограниченная машина Больцмана, глубокая нейронная сеть убеждений)
• Вариационный автокодировщик
• Генеративно-состязательная сеть
• Генеративная модель на потоках
• Энергетическая модель
• Модель диффузии

Если наблюдаемые данные действительно получены из генеративной модели, то оценка максимального правдоподобия параметров — естественный способ обучения модели. Однако так как большинство статистических моделей только приближённо описывают «истинное» распределение, при решении конкретных задач зачастую предпочтительно напрямую моделировать условное распределение с помощью дискриминативной модели, чтобы избежать излишних предположений. Окончательный выбор подхода диктуется спецификой приложения.

• Метод k ближайших соседей
• Логистическая регрессия
• Метод опорных векторов
• Деревья решений
• Случайный лес
• Максимально-энтропийные марковские модели
• Условные случайные поля

Пусть на входе рассматриваются данные ${\displaystyle x\in \{1,2\}}$, а множество меток — ${\displaystyle y\in \{0,1\}}$; всего есть следующие 4 возможных наблюдения: ${\displaystyle (x,y)=\{(1,0),\ (1,1),\ (2,0),\ (2,1)\}}$

Оценка совместного распределения вероятностей ${\displaystyle p(x,y)}$ по эмпирической мере:

	${\displaystyle y=0}$	${\displaystyle y=1}$
${\displaystyle x=1}$	${\displaystyle 1/4}$	${\displaystyle 1/4}$
${\displaystyle x=2}$	${\displaystyle 1/4}$	${\displaystyle 1/4}$

Распределение ${\displaystyle p(y|x)}$ в этом случае:

	${\displaystyle y=0}$	${\displaystyle y=1}$
${\displaystyle x=1}$	${\displaystyle 1/2}$	${\displaystyle 1/2}$
${\displaystyle x=2}$	${\displaystyle 1/2}$	${\displaystyle 1/2}$