ai-sage/gigachat3.1-10b-a1.8b/blob/main/tokenizer_config.json

huggingface.co
Visit site

Tool calling для GigaChat 3.1 в open-source инструментах Вместе с релизом GigaChat 3.1 Ultra и Lightning мы добавили п

💵 Tool calling для GigaChat 3.1 в open-source инструментах Вместе с релизом GigaChat 3.1 Ultra и Lightning мы добавили поддержку tool calling в основные опенсорсные инференс-движки: — vLLM (>=0.18.2rc0) — SGLang (>=0.5.9) — llama.cpp (>= b8457 ) Для vLLM и SGLang достаточно поднять сервер с --tool-call-parser gigachat3 — после этого работает стандартный /v1/chat/completions с описанием tools . В llama.cpp tool calling поддерживается нативно, без дополнительных аргументов. vLLM vllm serve ai-sage/GigaChat3.1-10B-A1.8B \ --port 8000 --dtype auto \ --enable-auto-tool-choice \ --tool-call-parser gigachat3 SGLang python -m sglang.launch_server \ --model-path ai-sage/GigaChat3.1-10B-A1.8B \ --host 0.0.0.0 --port 8000 --dtype auto \ --tool-call-parser gigachat3 llama.cpp Поднимаете сервер с моделью — и всё работает. Пример сборки и запуска — в карточке модели на HuggingFace. После запуска сценарий одинаковый для всех движков: передаёте tools в стандартный /v1/chat/completions . 💡 LM Studio — нативный tool calling не поддерживается. LM Studio ожидает два отдельных спецтокена — начала и конца вызова функции. У GigaChat 3.1 архитектура чат-шаблона устроена иначе: для разметки tool call используется один и тот же токен, поэтому нативно его подключить в LM Studio нельзя. Вместо этого используется вариант использования через system prompt, что влияет на качество. ➡️ Модель: HuggingFace | GGUF

Specs

Type Tool
SectionImages
Site languageen

Found in sources

Similar in «Images»

Submit a site to the catalog

Just send the link — we will work out the rest.

We will review what you send and add it to the catalog if it fits.

Not sure how to implement it? We can help

Tell us about your task — we will pick the tools and suggest where to start.

0 / 5000
Verification code

Fields marked with an asterisk are required. Your data is used only to reply.