Latent inpainting (инпейнтинг по маске)
Latent inpainting — инпейнтинг в диффузионных моделях: пользователь задаёт маску, и денойзинг перегенерирует только область под ней, сохраняя остальное изображение неизменным. Так удаляют объекты, заменяют фрагменты и реставрируют повреждения на фото.
Latent inpainting — реализация инпейнтинга в диффузионных моделях, где перерисовка происходит не по пикселям, а в латентном пространстве VAE. Пользователь отмечает область (маску), а нейросеть заново денойзит только эту зону, с учётом контекста вокруг — всё остальное изображение остаётся пиксель-в-пиксель нетронутым.
Роль маски
Маска — это чёрно-белое изображение, задающее «где перерисовывать»: белое — область генерации, чёрное — сохранить. По сути это частный случай маски сегментации. Качество маски напрямую влияет на результат:
- Мягкие края (feather) маски дают плавный переход и бесшовность.
- Расширение маски на несколько пикселей помогает «дотянуться» до тени и отражения удаляемого объекта.
- Слишком узкая маска оставляет «ореол» от старого объекта.
Как идёт процесс
- Изображение кодируется VAE-encoder в латент, маска масштабируется под размер латента.
- На каждом шаге обратной диффузии внутри маски идёт свободный денойзинг, а вне маски латент принудительно возвращается к исходному (noised original).
- После N шагов VAE-decoder собирает финальную картинку — с новой заплаткой, вшитой в оригинал.
Параметр denoising strength определяет, насколько радикально меняется область: низкий — аккуратная реставрация, высокий — полностью новый контент по промпту.
Модели и подходы
- LaMa — специализированная не-диффузионная сеть для удаления объектов, отлично закрывает повторяющиеся текстуры (стены, небо, трава) без промпта.
- SD Inpainting и промпт-модели (FLUX.1 Kontext, Nano Banana) — заменяют область по текстовому описанию.
- Auto-mask — маска строится автоматически по клику или тексту через сегментацию (SAM), без ручной обводки.
Где применяется
Latent inpainting — рабочая лошадка AI-редактирования фото: удаление людей и предметов с фона, стирание надписей и водяных знаков, замена одежды или фона, заделка царапин и разрывов на архивных снимках. Родственная операция — аутпейнтинг, где та же механика применяется к маске по краям кадра для расширения изображения за его исходные границы.