vita-group/neon

Neon: Negative Extrapolation from Self-Training Improves Image Generation [код] Мой любимый формат статей - простые, понятные и полезные находки с высоким потенциалом практической применимости. С первого дня ICLR очень запомнилась работа в этом жанре о методе Neon - простом трюке, на который авторы случайно наткнулись изучая баланс precision/recall генераций разных моделей. Известно, что если дообучать диффузионку на собственных генерациях, она довольно быстро начинает коллапсировать: визуальное качество генераций падает, разнообразие деградирует. Фактически, такой процесс разменивает recall на precision. Авторам пришла в голову следующая идея, похожая на autoguidance в пространстве весов. Давайте веса немного сколлапсированной таким образом модели с некоторым весом вычтем из весов хорошо обученной, качественной модели. Такой простой трюк на уровне task arithmetic позволяет бустануть и так неплохой ImageNet FID 1.43 до 1.03. Для обучения достаточно одной эпохи по 1000 синтетических семплов.