Qwen/Qwen3.5-35B-A3B-FP8

#300tps Итак Qwen 3.5 вышел целой линейкой, как и ожидалось. И первые отзывы от ребят - очень хорош в агентских сценариях. Но вот загвоздка - у самой лакомой модели 35B-A3B (размер, MoE, бенчмарки) сейчас случается приступ при размышлениях, которые в итоге растягиваются в длинную портянку на любой чих. Мы знатно поглумились над этим в коментах у Валеры, и вот Павел про это писал. Кто-то даже нашел хак что модель перестает страдать фигней если добавить хотя бы 1 tool. Но меня знатно достала эта история с некотролируемым ризонингом у qwen семейства (в vllm уже как пол года делают поддержку), я психанул и сделал отрезание ризонинга при превышении заданного лимита токенов. Если кому надо будет оно тут - gist . Инструкция(актуально только для vLLM): 1. Сохраняем thinking_budget_logitproc.py в локальную папку, например ./vllm_ext/thinking_budget_logitproc.py 2. В docker-compose.yml - подмонтируем файл в контейнер - добавляем PYTHONPATH если его нет - добавляем в параметры запуска logits_processors пример: services: vllm: image: vllm/vllm-openai:nightly ports: - "8000:8000" volumes: - ./vllm_ext:/opt/vllm_ext:ro environment: PYTHONPATH: /opt/vllm_ext command: "--model Qwen/Qwen3.5-35B-A3B-FP8 --reasoning-parser qwen3 --logits_processors thinking_budget_logitproc:ThinkingTokenBudgetLogitsProcessor" 3. Перезапуск контейнера 4. В запросы теперь можно добавлять бюджет на размышления вроде curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model":"Qwen/Qwen3.5-35B-A3B-FP8", "messages":[{"role":"user","content":"Привет!"}], "max_tokens":300, "vllm_xargs":{"thinking_token_budget":1024} }'