evalcrafter.github.io

🥳 Сегодня выпустили обновление нашей модели генерации полноценных видео по тексту Kandinsky Video 1.1 🥳 Kandinsky Video 1.1 представляет собой ансамбль моделей, состоящий из трёх ключевых блоков, последовательно реализующих процесс генерации видео. Первый блок фактически является моделью синтеза изображений по текстовым описаниям Kandinsky 3.0 и отвечает за создание первого кадра видео. Второй — отвечает за генерацию ключевых кадров на основе первого кадра и введенного пользователем текста. Из этих кадров и складывается структура сюжета видео. Третий блок реализует генерацию интерполяционных кадров и позволяет достичь плавности движений в финальном видео. В основе второго и третьего блоков также лежит архитектура Kandinsky 3.0. Такой подход значительно повышает общее качество видео, особенно его визуальную составляющую (и на EvalCrafter модель выбивает неплохие скоры 🔥 ). В силу особенности архитектуры новая версия модели позволяет генерировать видео не только по тексту, но и по начальному изображению, то есть «оживлять» статичную картинку. Теперь также можно контролировать динамику генерируемого видео с помощью специального параметра motion score. Поработали в том числе над датасетом для обучения - сейчас это почти 5 млн пар «текст-видео» после фильтров из разных источников (подробнее расписано в статье на Хабр). И, самое главное, теперь каждый может сгенерировать видео на свой вкус на fusionbrain.ai или в  Telegram-боте Kandinsky. Генерация видео длиной 5,5 секунд в разрешении 512x512 и FPS=32 занимает около 1,5 минут. Полезные ссылки: 👉 Хабр 👉 Project Page 👉 GitHub 👉 Hugging Face 👉 Telegram-бот 👉 fusionbrain.ai @dendi_math_ai