Google Research представила Diffusion Controller для точного управления генерацией изображений

Google Research представила Diffusion Controller, систему для более точного управления генерацией изображений. Исследователи предлагают подключать к готовой диффузионной модели небольшой управляющий модуль, который корректирует процесс создания изображения, не изменяя основной набор её параметров.

Разработка рассчитана на ситуации, когда генератор должен точнее выполнять запрос пользователя, но при этом сохранять качество изображения. В качестве примера Google Research приводит сцену с ящерицей в солнцезащитных очках: обычная модель может нарисовать ящерицу, но пропустить очки, а жёсткая корректировка способна исказить её лицо или пропорции.

Управление генерацией без полной перенастройки модели

Diffusion Controller рассматривает последовательное удаление шума как непрерывный управляемый процесс. Подключаемая сеть наблюдает за промежуточными состояниями изображения и вносит небольшие поправки в направление генерации. Базовая модель при этом остаётся замороженной.

Такой подход может быть полезен разработчикам, которые работают с большими моделями с ограниченным доступом к внутренним параметрам. Управляющий модуль не требует изменения исходной архитектуры и настраивается под целевую оценку результата, например соответствие описанию или предпочтениям пользователей.

Результаты проверки на Stable Diffusion

Google Research протестировала метод на базе Stable Diffusion 1.4. Для обучения использовали три режима: supervised fine-tuning, reward-weighted loss и PPO. Качество оценивали с помощью показателя Human Preference Score v2, который сравнивает соответствие изображений пользовательским предпочтениям.

Режим проверки	С чем сравнивали	Результат, указанный Google Research
SFT	Базовая модель и LoRA	Управляющий модуль превзошёл соответствующие базовые варианты
RWL	Базовая модель и LoRA	Получен более выгодный баланс качества и эффективности
PPO	Базовая модель	Diffusion Controller улучшил результат относительно исходной модели
Полностью доступная модель	Базовая модель	Зафиксирован показатель победы 90% на тестовом наборе HPS-v2

В вариантах с полностью открытым доступом к параметрам модели система достигла 90% побед над базовой версией на тестовых запросах HPS-v2. В режимах SFT и RWL серый вариант Diffusion Controller также превзошёл LoRA по показателю предпочтения людей.

Практическое значение для разработчиков

Для авторов исследовательских прототипов подход показывает способ разделить генератор и слой управления. Это может упростить настройку визуального стиля, соблюдение требований к содержанию запроса и тестирование пользовательских предпочтений.

Результаты пока описывают исследовательскую проверку на конкретной базовой модели и выбранных режимах обучения. Перед использованием в учебном проекте или прикладной системе стоит отдельно проверить доступность реализации, лицензию, требования к вычислительным ресурсам и переносимость метода на другую модель.