Latent inpainting (инпейнтинг по маске)

Latent inpainting — реализация инпейнтинга в диффузионных моделях, где перерисовка происходит не по пикселям, а в латентном пространстве VAE. Пользователь отмечает область (маску), а нейросеть заново денойзит только эту зону, с учётом контекста вокруг — всё остальное изображение остаётся пиксель-в-пиксель нетронутым.

Роль маски

Маска — это чёрно-белое изображение, задающее «где перерисовывать»: белое — область генерации, чёрное — сохранить. По сути это частный случай маски сегментации. Качество маски напрямую влияет на результат:

• Мягкие края (feather) маски дают плавный переход и бесшовность.
• Расширение маски на несколько пикселей помогает «дотянуться» до тени и отражения удаляемого объекта.
• Слишком узкая маска оставляет «ореол» от старого объекта.

Как идёт процесс

1. Изображение кодируется VAE-encoder в латент, маска масштабируется под размер латента.
2. На каждом шаге обратной диффузии внутри маски идёт свободный денойзинг, а вне маски латент принудительно возвращается к исходному (noised original).
3. После N шагов VAE-decoder собирает финальную картинку — с новой заплаткой, вшитой в оригинал.

Параметр denoising strength определяет, насколько радикально меняется область: низкий — аккуратная реставрация, высокий — полностью новый контент по промпту.

Модели и подходы

• LaMa — специализированная не-диффузионная сеть для удаления объектов, отлично закрывает повторяющиеся текстуры (стены, небо, трава) без промпта.
• SD Inpainting и промпт-модели (FLUX.1 Kontext, Nano Banana) — заменяют область по текстовому описанию.
• Auto-mask — маска строится автоматически по клику или тексту через сегментацию (SAM), без ручной обводки.

Где применяется

Latent inpainting — рабочая лошадка AI-редактирования фото: удаление людей и предметов с фона, стирание надписей и водяных знаков, замена одежды или фона, заделка царапин и разрывов на архивных снимках. Родственная операция — аутпейнтинг, где та же механика применяется к маске по краям кадра для расширения изображения за его исходные границы.