vllm-project/vllm

github.com
На карте связей Открыть сайт

A high-throughput and memory-efficient inference and serving engine for LLMs.

Описание

Характеристики

Тип Инструмент
КатегорияGitHub-проекты / Из awesome-списка
Платформа Только веб
Системы web
Язык сайтаen
Вендорvllm-project
GitHubvllm-project/vllm
★ Звёзд90 328

Хэштеги

Исходный код

vllm-project/vllm

Найден в источниках

Похожие в разделе «GitHub-проекты»

Предложить сайт в каталог

Пришлите ссылку — остальное мы выясним сами.

Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.

Не знаете, как внедрить? Мы поможем

Расскажите про задачу — подберём инструменты и подскажем, с чего начать.

0 / 5000
Проверочный код

Поля со звёздочкой обязательны. Данные используются только для ответа.