Milvus

milvus.io
На карте связей Открыть сайт

Milvus — облачная векторная база данных для обработки больших объемов неструктурированных данных (текст, изображения). Масштабируемая, безопасная, с поддержкой ANN и гибридного поиска.

Описание

Milvus — это облачная векторная база данных, предназначенная для работы с огромными объёмами неструктурированных данных, таких как текст, изображения и мультимодальный контент. Обладает распределённой архитектурой с разделением вычислений и хранения, что обеспечивает горизонтальное масштабирование и высокую доступность. Milvus поддерживает широкий спектр методов векторной индексации, аппаратное ускорение и расширенные возможности поиска, включая приближённый поиск ближайших соседей (ANN), фильтрацию по метаданным и гибридный поиск по плотным и разреженным векторам. Широко используется для AI-приложений, таких как семантический поиск, рекомендательные системы и Retrieval-Augmented Generation (RAG). Milvus также обеспечивает надёжную защиту данных с аутентификацией, шифрованием и детализированным управлением доступом.

Возможности

Распределённая и масштабируемая архитектура
Разделяет хранение и вычисления с помощью модульных микросервисов, позволяя независимо масштабировать вычислительные и дата-ноды для эффективной обработки больших нагрузок.
Богатая поддержка индексации
Поддерживает более 10 типов векторных индексов, включая HNSW, IVF, FLAT, SCANN и GPU-ускоренные индексы, обеспечивая оптимальную производительность и точность.
Гибкие возможности поиска
Предлагает top-K ANN, диапазонный поиск, фильтрацию по метаданным и гибридный поиск по плотным и разреженным векторам для точного и гибкого извлечения данных.
Аппаратное ускорение
Использует SIMD-инструкции CPU и GPU-индексацию для оптимизации скорости и эффективности векторного поиска.
Мультиарендность и горячее/холодное хранилище
Обеспечивает изоляцию на разных уровнях для мультиарендных сред и оптимизирует издержки за счёт разделения часто используемых (горячих) и редко используемых (холодных) данных.
Безопасность данных и контроль доступа
Реализует обязательную аутентификацию пользователей, шифрование TLS и ролевое управление доступом (RBAC) для защиты конфиденциальных данных.

Сценарии использования

Семантический поиск
Позволяет эффективно выполнять поиск по сходству в больших текстовых, графических и мультимодальных наборах данных для задач поиска документов и распознавания изображений.
Рекомендательные системы
Анализирует поведение пользователей и характеристики продуктов для персонализированных рекомендаций в e-commerce и контент-платформах.
Retrieval-Augmented Generation (RAG)
Улучшает AI-системы вопросов и ответов и чат-боты, предоставляя релевантную информацию из больших неструктурированных коллекций данных.
Обнаружение мошенничества
Обнаруживает аномальные шаблоны в транзакциях, сравнивая векторизованные данные с известными признаками мошенничества.
Визуальное и объектное распознавание
Поддерживает производство и контроль качества за счёт обнаружения дефектов и поиска объектов по изображениям.
Поиск и сопоставление в реальном времени
Обеспечивает сопоставление в реальном времени для подбора персонала, кастомизации аватаров и рекомендаций видеоконтента с помощью масштабируемого векторного поиска.

Частые вопросы

Milvus управляет неструктурированными данными, такими как текст, изображения и мультимодальные векторы, а также скалярными типами данных, например, целыми числами и строками.

Milvus использует распределённую архитектуру на основе микросервисов с разделением вычислений и хранения, что позволяет независимо масштабировать ресурсы и обеспечивает отказоустойчивость с помощью реплик.

Milvus поддерживает более 10 типов индексов, включая HNSW, IVF, FLAT, SCANN, DiskANN и GPU-ускоренные индексы для различных сценариев использования.

Да, Milvus поддерживает гибридный поиск, объединяя семантические плотные и разреженные векторы для расширенного полнотекстового и семантического поиска.

Milvus обеспечивает обязательную аутентификацию пользователей, шифрование TLS для сетевых соединений и ролевое управление доступом для детализированных прав.

Да, Milvus поддерживает мультиарендность с изоляцией на уровне базы данных, коллекции, партиции и ключа партиции для обслуживания сотен и миллионов арендаторов.

Milvus использует SIMD-инструкции CPU и GPU-индексацию для ускорения операций векторного поиска, повышая производительность и эффективность.

Milvus может быть развёрнут в автономном режиме, в кластерах Kubernetes или как полностью управляемый сервис через Zilliz Cloud.

Характеристики

Тип Инструмент
КатегорияGitHub-проекты / Из awesome-списка
Платформа Веб + десктоп
Системы macos, windows, linux, web
Язык сайтаen
Рейтинг5.00 (6 отзывов)
Просмотры460 888
Запуск2024-05-16

Платформы

web macos windows linux

Теги

ai knowledge base ai search engine

Соцсети

GitHub YouTube

Исходный код

репозиторий

Найден в источниках

github-lists moge producthunt vibecoderz

Похожие в разделе «GitHub-проекты»

anthropics/claude-code
Claude Code за двое суток обновился три раза, 2.1.243, 2.1.245 и 2.1.246, и один пункт там важнее остальных. В 2.1.246 п
comfyanonymous/ComfyUI
The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. - Comfy-Org/ComfyUI
ossu/computer-science
🎓 Path to a free self-taught education in Computer Science!
openai/whisper
А вы ведь пользуетесь транскрибаторами? На самом деле это одна из самых простых и бустящих вашу продуктивность штук. Я
huggingface/transformers
Наконец доехал техрепорт по DiffusionGemma. Мне нравится подход команды, они регулярно берут какую-то из базовых Gemma и
hiyouga/LLaMA-Factory
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024) - hiyouga/LlamaFactory

Предложить сайт в каталог

Пришлите ссылку — остальное мы выясним сами.

Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.

Не знаете, как внедрить? Мы поможем

Расскажите про задачу — подберём инструменты и подскажем, с чего начать.

0 / 5000
Проверочный код

Поля со звёздочкой обязательны. Данные используются только для ответа.