brain-lab-research/tt-llm

Разбираем нашу новую работу — на этот раз с неожиданным выводом 😳 Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression [статья] [код] Тензорные разложения (Tucker, Tensor Train (TT)) выглядят идеальным инструментом для сжатия LLM: экспоненциальная компрессия, красивая теория, естественное соответствие структуре Transformer. Но работают ли они на реальном деплое? Мы провели первое систематическое исследование — и ответ: нет. 🔍 Что мы сделали: 🔵 проверили tensor- и matrix-разложения на dense (GPT-J 6B, LLaMA 2 7B) и MoE (Qwen3-30B-A3B, GPT-OSS-20B) архитектурах 🔵 сравнили с квантизацией (RTN 4/8 бит) на одинаковых модулях 🔵 нашли и формализовали фундаментальную причину провала 💡 Главный вывод: тензорные форматы оптимизируют не ту геометрию. Tucker и TT минимизируют ошибку по Фробениусу, а функциональное поведение модели определяется операторной нормой. На спектрах весов LLM (а они с тяжелыми хвостами: α < 1/2 — мы измерили!) разрыв растёт полиномиально с размером слоя. Плюс super-weights: чтобы восстановить один критический скаляр с помощью truncated SVD, нужен ранг 1500+. Практические ранги даже близко не подходят. 📊 Результаты: 🔵 Даже в MoE, где эксперты «должны» быть избыточны, matrix-метод MoBE стабильно бьёт тензорный TD-MoE 🔵 Простая RTN-квантизация без потерь качества даёт ≈18% сжатия — недостижимо для любого разложения 🔵 LoRA-repair смягчает, но не лечит Итог честный: тензорные разложения — не замена квантизации, а в лучшем случае дополнение. И теперь понятно, почему. 👇 Листай карточки — объяснили простым языком. #разборстатьи@brainlaboratory