bytedance/mammothmoda

За последние пару недель вышло несколько новых мультимодалок. Разберем детали, отличающие их от предшественников: - Вводный пост - Продолжение вводного поста - Про проблемы с мультимодалками - Подборка 1 - Подборка 2 - Подборка 3 Было еще несколько постов про отдельные модели, которые также можно без трудна найти в канале. 1. FLUX.2: Frontier Visual Intelligence [ оф пост с ссылками на код/веса] Во второй версии авторы из BFL заслейлили всё что можно было заскейлить: - 32В DiT денойзер с немного измененным соотношением single/double stream блоков. - Mistral Small 3.1 (24B) в качестве текстового энкодера. - Новый VAE, про который утверждается, что получен оптимум по reconstruction/diffusability ( пост про то что это такое). Из скудной инфы представленной в посте мы также знаем, что для эдитинга теперь поддерживается несколько картинок-условий, а еще сделано несколько технических трюков для удобства инференса. Тем не менее, даже с 4-bit квантизацией для инференса нужно 2х80g GPU, что навевает тень сомнения на широкое использование модели в ресерч сообществе. 2. Z-Image: An Efficient Image Generation Foundation Model with Single-Stream Diffusion Transformer [ код/веса, пока только T2I ] Авторы из Alibaba идут против тренда "scale-at-all-costs”. Вместо наращивания десятков миллиардов параметров (как у Hunyuan-3.0 или FLUX.2) авторы представляют эффективную 6B foundation model, которая конкурирует с ними по качеству, но требует в разы меньше ресурсов (на инференсе лезет в консьюмерскую 16Gb GPU). По данным любопытно, что, помимо и так всеми использующихся фильтраций, авторы заморочились со стратификацией концептов, сделав балансировку на основе дерева знаний Википедии. По архитектуре сделали вариант MM-DiT, утверждается, что более эффективный. В остальном стандарные Qwen3 (4B) в качестве текстового энкодера c SigLip-2 для дискриминативного и FLUX VAE для генеративного кодирования картинок. Следуя общим трендам, отдельным модулем обучают 6B переписывал