Stable Diffusion + InstantID

Сегодня в стейбл ControlNet вкатили InstantID — модель для переноса лица, которая не требует тренировки (как Lora или дообучение модели), но при этом на голову выше по качеству roop/reactor, и практически не оказывает влияния на скорость генерации.

Кроме очевидного применения (а именно генерации дипфейков Тейлор Свифт) я нашел одно менее очевидное — генерация стабильного лица, то, для чего обычно приходится обучать Lora. Но это лучше показать.

Вот дама, которую я сгенерил ранее в высоком разрешении. А дальше фотокарточки с дамой в едином стиле (но точно так же можно и разнообразить и окружение, и одежду, и прическу, но сохранить общие приметы лица)

Работает это дело через ControlNet, понадобится два слота — первый слот определяет донора лица, второй слот определяет геометрическое положение (то есть это как OpenPose-лайт, заимствуется только положение лица)

Это создает определенное ограничение, но Stable Diffusion достаточно гибок, чтобы построить адекватную картинку вокруг фиксированного лица.

В целом я в восторге. Кажется, я все-таки вернусь к идее нарисовать комикс в Stable Diffusion.