0xsojalsec/llms-local

Список в жанре awesome — всё, что нужно, чтобы держать большие языковые модели у себя: платформы LM Studio, Jan, LocalAI, ChatBox и lemonade, движки ollama, llama.cpp, vLLM, exo и BitNet. Дальше идут интерфейсы, модели по назначению (общие, для кода, мультимодальные, изображения, звук), лидерборды, фреймворки для агентов, MCP, RAG, агенты-программисты, управление компьютером и браузером, память, оценка и наблюдаемость, дообучение и железо. В конце — туториалы по промпт- и контекст-инженерии, инференсу и агентам, а также ссылки на сообщества. Пригодится тем, кто предпочитает своё железо чужому API.