LiteLLM

Description

Маршрутизация запросов к разным LLM-провайдерам через единый API; управление виртуальными ключами и секрет-менеджерами; учёт и ограничение трат (в том числе tag-based); фолбэки между моделями; логирование запросов и ответов, метрики Prometheus; в Enterprise — SSO и SCIM, OIDC/JWT-аутентификация, аудит-логи, ротация ключей, RBAC, мультирегиональный control plane и поддержка с SLA до 24/7.

LiteLLM — это комплексное решение-шлюз для LLM, упрощающее доступ к более чем 100 языковым моделям от различных провайдеров, включая OpenAI, Anthropic, Azure, Bedrock, VertexAI и другие. Система стандартизирует все взаимодействия через формат, совместимый с OpenAI, устраняя необходимость в специфичном коде для каждого провайдера. Платформа предлагает как open-source Python SDK, так и прокси-сервер (LLM Gateway), который обрабатывает трансляцию входных данных, единый формат вывода и продвинутые функции, такие как отслеживание расходов, бюджетирование и резервирование. LiteLLM доверяют такие компании, как Netflix, Lemonade и RocketMoney, позволяя командам быстро интегрировать новые модели с сохранением контроля и мониторинга использования LLM.