langmanbusi/insvie

Ditto: открытый фреймворк для редактирования стиля и объектов на видео с 99% согласованностью кадров Ditto генерирует 5-секундные ролики с 20 FPS и разрешением 1280×720 по текстовым инструкциям с согласованными результатами по всем кадрам и точной модификацией целевых объектов. Главная проблема области — дефицит качественных обучающих данных. Исследователи создали автоматизированный пайплайн и опубликовали датасет Ditto-1M , собранный на основе стоковых видео Pexels . Создание датасета потребовало 12,000 GPU-дней, он содержит более 1 миллиона видео: 700,000 примеров глобального редактирования и 300,000 локального. На этом датасете обучена модель Editto , которая выполняет как глобальное редактирование стиля, так и точечные локальные модификации - замену объектов, изменение их атрибутов, добавление и удаление элементов. Модель построена на базе Wan2.2 и VACE . Исследователи использовали метод modality curriculum learning: постепенный переход от обучения с визуальными референсами к работе только с текстом Editto показывает state-of-the-art результаты по всем метрикам: CLIP-T: 25.54 vs 23.56 (следование инструкциям у InsViE ), CLIP-F: 99.03 vs 98.78 (темпоральная согласованность) User study (1000 оценок): 3.85 vs 2.28 за точность редактирования. Примеры редактирования - на странице проекта . Код, датасет и веса доступны на GitHub и HuggingFace . #Stateoftheart