CodeFormer

CodeFormer — модель восстановления лиц, опубликованная в 2022 году командой Sanghyun Woo et al. (NeurIPS 2022, S-Lab Nanyang Technological University). Использует комбинацию VQVAE (Vector Quantized Variational Autoencoder) и Transformer-декодера. Главная инновация — управляемый баланс между точностью восстановления и фотореалистичностью через параметр w. Конкурент GFPGAN и PMRF.

Архитектура CodeFormer

CodeFormer работает в три этапа:

1. Encoder: извлекает признаки из деградированного лица и сжимает в discrete code (через codebook VQVAE)
2. Transformer-based Code Prediction: восстанавливает корректную последовательность дискретных кодов, используя обученное априорное знание о лицах
3. Decoder: преобразует коды обратно в пиксели восстановленного лица

Дискретное представление через codebook — ключевая особенность. В отличие от GAN, который может «придумать» что угодно, codebook ограничивает пространство возможных восстановлений известными «кирпичиками» лиц.

Параметр fidelity-quality (w)

Главное практическое преимущество CodeFormer — управляемый баланс через параметр w (от 0 до 1):

• w=0: максимальная фидельность (точность восстановления), может оставаться размытость
• w=0.5: средний баланс — по умолчанию
• w=1.0: максимальная фотореалистичность, но риск потери сходства с оригиналом

Для семейных фото (важно сохранить лицо предка) — используйте w=0.2–0.3. Для современных фото без критичной идентичности — w=0.5–0.7.

Метрики CodeFormer

• FID на CelebA-HQ: 5.1 (GFPGAN: 8.2)
• LPIPS: 0.26 (PMRF: 0.18)
• Identity preservation: лучше GFPGAN на 15–20%
• Скорость: ~80 мс/лицо на GPU, медленнее GFPGAN в 2.5x
• Размер модели: ~360 МБ

Где CodeFormer лучше других моделей

• Сильно повреждённые лица — где GFPGAN «придумывает», CodeFormer работает в пределах codebook, что снижает риск ошибки
• Нестандартные черты — старые люди, дети, азиатские/африканские лица — codebook более универсален, чем FFHQ-prior
• Управляемость — единственная из моделей с явным параметром баланса
• Стабильность результата — нет случайности GAN, разные прогоны дают идентичный результат

CodeFormer vs PMRF — что выбрать в 2026

• CodeFormer: проверенный, стабильный, управляемый через w, отлично для архивных фото
• PMRF: новейшая, лучшие метрики (FID 3.8), фотореалистичная кожа, но менее предсказуемая

PhotoPanda использует обе модели: PMRF — основная, CodeFormer — fallback для случаев, где PMRF даёт сомнительный результат (определяется по quality-score < 0.7 после первого прохода).

Применение в PhotoPanda

Доступен через API параметром model=codeformer и fidelity_weight (mapped to w). Цена: 40 коп. за фото. Для семейного архива настоятельно рекомендуем CodeFormer с fidelity_weight=0.2 — сохраняет 95%+ идентичности.

FAQ — CodeFormer

Чем CodeFormer лучше GFPGAN?

Лучше сохраняет идентичность (важно для семейных фото), меньше «глянцевости» кожи, есть параметр w для управления балансом fidelity/quality. Минус — в 2.5 раза медленнее.

Лицензия CodeFormer?

S-Lab License 1.0 — некоммерческое использование. Для коммерческого требуется отдельное соглашение с авторами. PhotoPanda имеет коммерческую лицензию.

Как выбрать параметр w?

Если нужно сохранить лицо предка с минимальной модификацией — w=0.1–0.3. Если просто улучшить размытую фотку — w=0.5–0.7. Для современных фото без критичной идентичности — w=0.7–1.0.