google/hackable_diffusion

Наконец доехал техрепорт по DiffusionGemma. Мне нравится подход команды, они регулярно берут какую-то из базовых Gemma и делают из неё то полноценный энкодер-декодер (T5Gemma, https://t.me/gonzo_ML/4421 ), то теперь вот диффузионно-блочную модельку, которая поочерёдно диффузией генерит блоки по 256 токенов. И даёт при этом 1500 токенов в секунду. Для промышленного инференса в облаке может и не такой биг дил, там большими батчами эффективность использования железа повышают, а вот для локальных моделек самое то. Возлагаю большие надежды на такие подходы. Когда же уже нормальное домашнее железо + быстрые модели хорошего качества. DiffusionGemma Technical Report DiffusionGemma Team, Google DeepMind Paper: https://arxiv.org/abs/2608.00146 Code: https://github.com/google/hackable_diffusion Review: https://arxiviq.substack.com/p/diffusiongemma-technical-report Model: https://deepmind.google/models/gemma/diffusiongemma/ # TL;DR ЧТО сделали: Авторы представляют DiffusionGemma (на самом деле представили они её раньше, сейчас наконец доехал техрепорт) — экспериментальную открытую диффузионную текстовую модель с 25.2 млрд параметров (3.85 млрд активных), построенную на базе смеси экспертов (MoE) Gemma 4 26B A4B. Вместо последовательной генерации «слева направо» токен за токеном DiffusionGemma параллельно и итеративно уточняет «холсты» размером в 256 токенов. Обходя классическое диффузионное предобучение с нуля, модель инициализируется весами уже обученной авторегрессионной модели и дообучается через двухэтапный пайплайн: Supervised Fine-Tuning (SFT) и новый совместный этап дистилляции сэмплера и обучения с подкреплением (Sampler Distillation & Reinforcement Learning, SD-RL). ПОЧЕМУ это важно: Стандартные авторегрессионные LLM при обработке одиночных запросов упираются в пропускную способность памяти: они тратят значительно больше времени на пересылку весов и KV-кэша из памяти HBM в вычислительные блоки, чем на сами арифметические операции. DiffusionGemma перевод