Captum

captum.ai

Библиотека с открытым исходным кодом для интерпретации и понимания моделей PyTorch для различных типов данных.

Описание

Model Interpretability for PyTorch · Check it out in the intro video · Key Features · Multi-Modal

Captum — это комплексная библиотека интерпретируемости моделей, построенная на основе PyTorch, предназначенная для помощи исследователям и разработчикам в анализе того, какие признаки, концепции или обучающие примеры влияют на прогнозы моделей. Она поддерживает широкий спектр моделей PyTorch и модальностей, включая зрение, текст и аудио. Captum предлагает современные алгоритмы атрибуции, такие как Integrated Gradients и методы, основанные на концепциях, например TCAV, а также инструменты робастности для обнаружения уязвимостей через состязательные атаки и возмущения. Её расширяемая архитектура способствует исследованиям и практическому устранению неполадок для повышения прозрачности и надежности моделей.

Установка

Не знаете, с чего начать — попросите ассистента провести по шагам:

Возможности

Мультимодальная интерпретируемость

Поддерживает интерпретацию моделей, обрабатывающих изображения, текст, аудио и другие данные, обеспечивая широкую применимость.

Широкий спектр методов атрибуции

Включает алгоритмы, такие как Integrated Gradients, Saliency Maps, TCAV и Layer-wise Relevance Propagation для детального анализа признаков и концепций.

Инструменты робастности и состязательные методы

Предоставляет метрики и атаки, такие как fast-gradient sign method и projected-gradient descent, для оценки и повышения устойчивости моделей.

Бесшовная интеграция с PyTorch

Работает с большинством моделей PyTorch с минимальными изменениями, включая созданные с помощью torchvision и torchtext.

Открытый исходный код и расширяемость

Позволяет исследователям легко реализовывать новые алгоритмы интерпретируемости и проводить их тестирование в рамках библиотеки.

Сценарии использования

Отладка и улучшение моделей

Выявление ключевых признаков и концепций, влияющих на прогнозы, для улучшения и устранения неполадок в моделях.

Исследования в области интерпретируемости

Разработка и тестирование новых алгоритмов интерпретируемости для различных типов моделей и модальностей данных.

Анализ справедливости и предвзятости

Использование методов на основе концепций, таких как TCAV, для обнаружения и оценки предвзятости, связанной с чувствительными атрибутами в моделях.

Мониторинг производственных моделей

Повышение прозрачности развернутых моделей, помощь в устранении неполадок и объяснении результатов конечным пользователям.

Частые вопросы

Captum поддерживает большинство моделей PyTorch, включая модели для зрения, текста и аудио, с минимальными необходимыми изменениями.

Captum предлагает Integrated Gradients, Saliency Maps, TCAV, Layer-wise Relevance Propagation и другие.

Да, методы, основанные на концепциях, такие как TCAV, позволяют оценивать предвзятость, связанную с такими понятиями, как пол или раса.

Да, он включает состязательные атаки и метрики робастности для оценки уязвимостей моделей.

Captum можно использовать для мониторинга и устранения неполадок моделей в производстве, повышая их интерпретируемость.

Да, это проект с открытым исходным кодом, разработанный для легкого добавления и тестирования новых методов интерпретируемости.

Характеристики

Тип	Инструмент
Категория	Поиск и ресёрч / Инструменты разработчика ИИ
Цена	бесплатно
Платформа	Десктоп
Системы	cli, api, macos, windows, linux
Хостинг	local
Установка	desktop-app
Язык сайта	en
Просмотры	11 580