berriai/litellm

LiteLLM — способ упорядочить работу с различными нейросетками Было у нас время (да, что там было, все еще продолжается) , что все продукты и сервисные проекты самостоятельно интегрировались с LLM, будь то cloud модели или локальные... Никакого порядка, постоянный хаос и неразбериха — кто за что платит, кто сколько потребил, кому и как нужно выдать доступ.. Все это продолжалось до тех пор, пока мы не развернули у себя open source инструмент под названием LiteLLM ✨ 🌟 Что в нём крутого? Всё в одном месте: Подключайте OpenAI, Anthropic, локальные модели и ещё 100500 других через один и тот же API Легко поставить: Пара команд в терминале — и готово Не ломается: Если одна модель отвалилась, автоматически переключится на другую Считает деньги: Показывает, кто сколько потратил и на какие модели Гибкие лимиты: Легко настраивается, кому что можно использовать 💡 Почему стоит попробовать? Экономите деньги: Легко переключайтесь между моделями, выбирая самые выгодные Данные под контролем: Всё хранится только у вас (при использовании локальных моделей, иссесина 😎 ) Всё видно: Наглядная статистика кто и сколько использует Никакой зависимости: Не привязаны к одному сервису У нас в компании мы уже почти все сервисы перевезли на LiteLLM, вы не представляете, насколько стало удобнее) 🎃 Да, кстати, вот ссылочка на github. ❓ Пользуетесь этим сервисом или по-старинке?