FuriosaAI

furiosa.ai
На карте связей Открыть сайт

Высокопроизводительные, энергоэффективные ускорители ИИ, разработанные для масштабируемого вывода в центрах обработки данных, оптимизированные для больших языковых моделей и мультимодальных рабочих нагрузок.

Описание

FuriosaAI специализируется на ускорителях ИИ нового поколения, обеспечивающих исключительную пропускную способность и энергоэффективность для развертывания больших языковых моделей (LLM) и приложений компьютерного зрения в корпоративных и облачных средах. Их флагманский продукт, RNGD, обладает уникальной архитектурой процессора тензорного сокращения, которая максимизирует эффективность вычислений и памяти, обеспечивая вывод с низкой задержкой и высокой пропускной способностью при сниженном энергопотреблении. Оборудование тесно интегрировано с комплексным программным стеком, включающим компилятор, среду выполнения и инструменты профилирования, для оптимизации развертывания моделей и масштабируемости в рамках современных инфраструктур центров обработки данных.

Установка

Не знаете, с чего начать — попросите ассистента провести по шагам:

Возможности

Архитектура процессора тензорного сокращения
Инновационная вычислительная архитектура, ориентированная на операции тензорного сокращения, обеспечивающая превосходную производительность и энергоэффективность по сравнению с традиционными подходами матричного умножени
Высокая пропускная способность при низком энергопотреблении
RNGD достигает более 3 200 токенов в секунду на моделях LLaMA 3.1-8B, поддерживая при этом энергопотребление на уровне 180 Вт, что позволяет развертывать его в центрах обработки данных с воздушным охлаждением.
Комплексный программный стек
Включает компилятор, среду выполнения, компрессор моделей, профилировщик и фреймворк обслуживания, разработанные для бесшовной интеграции и оптимизации крупных моделей ИИ.
Гибкое развертывание и масштабируемость
Поддерживает контейнеризацию, Kubernetes и технологии виртуализации, такие как SR-IOV, для эффективного использования ресурсов и изоляции в многопользовательской среде.
Надежная совместимость с экосистемой
Полностью совместим с популярными фреймворками ИИ, такими как PyTorch 2.x, и поддерживает распространенные форматы моделей, включая TensorFlow Lite и ONNX.

Сценарии использования

Вывод больших языковых моделей
Эффективное развертывание и запуск современных LLM с высокой пропускной способностью и низкой задержкой для разговорного ИИ, чат-ботов и задач обработки естественного языка.
Приложения компьютерного зрения
Ускорение моделей глубокого обучения для классификации изображений, обнаружения объектов, OCR и сверхвысокого разрешения с высокой энергоэффективностью.
Рабочие нагрузки ИИ для облака и центров обработки данных
Оптимизация рабочих нагрузок вывода ИИ в облачных средах с поддержкой оркестрации контейнеров и виртуализации для максимального использования аппаратных ресурсов.
Мультимодальная обработка ИИ
Обработка разнообразных задач ИИ, объединяющих текст, изображения и другие типы данных в рамках единой эффективной аппаратной платформы.

Частые вопросы

RNGD использует уникальную архитектуру процессора тензорного сокращения, оптимизированную для тензорных операций, обеспечивающую высокую пропускную способность и энергоэффективность, адаптированную для крупных моделей ИИ.

Он поддерживает популярные большие языковые модели, такие как LLaMA 2 и 3, BERT, Mixtral, а также распространенные фреймворки, включая PyTorch 2.x, TensorFlow Lite и ONNX.

Благодаря контейнеризации, интеграции с Kubernetes и технологиям виртуализации, таким как SR-IOV, FuriosaAI обеспечивает гибкое разделение ресурсов и высокую утилизацию оборудования.

Хотя преимущественно разработана для центров обработки данных, масштабируемая архитектура FuriosaAI может адаптироваться к различным сценариям развертывания, но ее основной фокус – корпоративные и облачные среды.

FuriosaAI предлагает полный программный стек, включающий компилятор, среду выполнения, компрессор моделей, профилировщик и фреймворк обслуживания для оптимизации и упрощенного развертывания моделей ИИ.

RNGD обеспечивает высокую производительность при низком энергопотреблении в 180 Вт, поддерживая центры обработки данных с воздушным охлаждением и снижая общую стоимость владения.

Характеристики

Тип Модель
КатегорияМодели и платформы / Роботы и устройства ИИ
Цена только платно
Платформа Своё развёртывание
Системы linux
Хостингlocal
Установкаdesktop-app
Язык сайтаru
Просмотры35 491

Платформы

linux

Теги

large language models llms ai robots devices

Соцсети

X YouTube LinkedIn

Найден в источниках

moge

Похожие в разделе «Модели и платформы»

DeepSeek V3
Cost-efficient open-source MoE model rivaling GPT-4o in reasoning and math tasks
DeepSeek
Открытые модели рассуждения и кода, сопоставимые с топовыми закрытыми.
Mistral AI
Европейские открытые и коммерческие модели, Le Chat и Codestral.
sider.ai
Claude Chrome расширение ну очень любопытное, разбираю кейсы С расширением Claude для хрома можно сделать много чего и
Hugging Face
Хаб моделей и датасетов: миллионы весов, Spaces, Transformers.
doubao.com
Передовая мультимодальная AI-платформа от ByteDance с современными языковыми, визуальными и речевыми моделями, а также интегрированными возможностями рассуждения и поиска.

Предложить сайт в каталог

Пришлите ссылку — остальное мы выясним сами.

Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.

Не знаете, как внедрить? Мы поможем

Расскажите про задачу — подберём инструменты и подскажем, с чего начать.

0 / 5000
Проверочный код

Поля со звёздочкой обязательны. Данные используются только для ответа.