Latent Diffusion (латентная диффузия)

Latent Diffusion (латентная диффузия, LDM) — архитектурный приём, который перенёс процесс диффузии из пиксельного пространства в сжатое латентное. Предложен в работе Rombach et al. «High-Resolution Image Synthesis with Latent Diffusion Models» (CVPR 2022) и лёг в основу Stable Diffusion. Именно латентная диффузия сделала мощную AI-генерацию доступной на обычных видеокартах, а не только на кластерах.

Проблема пиксельной диффузии

Классическая диффузионная модель (например, ранний DALL-E или пиксельный DDPM) работает напрямую с массивом пикселей. Для картинки 512×512×3 это ~786 000 значений, и U-Net должен обрабатывать их на каждом из десятков шагов сэмплирования. Это чудовищно дорого по памяти и времени — генерация одной картинки требовала мощного дата-центра.

Решение: диффузия в латентном пространстве

LDM разбивает задачу на два этапа с помощью VAE (вариационного автоэнкодера):

• Encoder сжимает изображение 512×512×3 в компактный латент, например 64×64×4 — примерно в 48 раз меньше по объёму данных, но сохраняющий семантику.
• Диффузия (forward + reverse, U-Net) выполняется целиком в этом маленьком латентном пространстве. Вычислений на порядок меньше.
• Decoder восстанавливает финальный латент обратно в полноразмерное изображение.

Ключевая мысль: воспринимаемые детали изображения содержатся в семантике, а не в каждом отдельном пикселе. Поэтому диффузию можно вести в сжатом пространстве почти без потери качества.

Что это дало на практике

• Снижение вычислений в десятки раз — генерация стала возможна на потребительских GPU (8–12 ГБ VRAM).
• Массовость: Stable Diffusion (2022) вышел в open-source и породил сотни производных моделей и сервисов.
• Дешёвая инференс-стоимость — что напрямую влияет на цену обработки фото в SaaS.

Cross-attention: как встраивается текст

В U-Net латентной диффузии встроены слои cross-attention, через которые в процесс генерации подаётся условие — текстовый промпт (через CLIP), маска для inpainting или другое изображение. Это делает LDM универсальной: одна архитектура для text-to-image, image-to-image и редактирования по маске.

Латентная диффузия в обработке фото

Практически все современные prompt-редакторы и диффузионные апскейлеры — латентные. Когда вы редактируете фото по описанию в /edit-photo-ai или запускаете AI-фотосессию /ai-photoshoot, под капотом работает именно латентная диффузия — сжатие в латент, denoising, декодирование. Это же снижает стоимость каждой генерации для пользователя.

FAQ — Latent Diffusion

Латентная диффузия ухудшает качество из-за сжатия?

Незначительно. VAE обучен сохранять воспринимаемые детали, а мелкие потери восстанавливает decoder. Выигрыш в скорости и стоимости многократно перевешивает.

Что такое «латент» простыми словами?

Компактное числовое представление изображения, где закодирован его смысл, а не каждый пиксель. Работать с ним быстрее, а по нему можно восстановить полную картинку.

Все ли диффузионные модели латентные?

Нет. Ранние (пиксельный DDPM, первый DALL-E) работали в пикселях. Но почти все массовые модели с 2022 года — Stable Diffusion, SDXL, Flux — латентные ради скорости.