Открытый локальный AI-движок с OpenAI-совместимым API — GPU не обязателен

Описание

OpenAI-совместимый локальный API поверх сменных бэкендов (llama.cpp, vLLM, SGLang, MLX); совместимость с API Anthropic, Ollama и ElevenLabs; языковые модели с вызовом инструментов и структурированным выводом; распознавание и синтез речи, диаризация, клонирование голоса; зрение, детекция, распознавание, глубина, 3D; генерация изображений, видео, музыки и звука; агенты, MCP-приложения, RAG; галерея из 1255 моделей; распределённый и федеративный запуск с автоскейлингом и отказоустойчивостью

Установка

Ставится в

binary, Docker, CPU и GPU-сборки

Не знаете, с чего начать — попросите ассистента провести по шагам:

Характеристики

Тип	Фреймворк
Категория	MCP-клиенты / Локальный инференс-движок
Цена	открытый код
Системы	x86_64, arm64, cuda, rocm, sycl, metal, vulkan
Хостинг	self-hosted
Установка	self-host
Ставится в	binary, Docker, CPU и GPU-сборки
Для кого	разработчики, self-hosted энтузиасты, команды, которым нужен приватный инференс без дата-центра
Язык сайта	en
Вендор	LocalAI (mudler)
GitHub	mudler/LocalAI