Dagster

Description

Dagster — это комплексная платформа для оркестрации данных, предназначенная для data engineer с целью разработки, планирования и мониторинга data pipeline и asset. Она ориентирована на удобство разработчика, позволяя локальную разработку, тестирование и наблюдаемость на всех этапах жизненного цикла данных. Основная абстракция Dagster — data asset, что обеспечивает точное отслеживание родословной, управление метаданными и модульную сборку pipeline. Поддерживает гибкие среды выполнения, интегрируется с популярными облачными и data-инструментами, а также предлагает расширенные корпоративные функции через Dagster+. Платформа позволяет командам строить масштабируемые, поддерживаемые и надежные data workflow, предоставляя единый контроль качества, свежести и управления данными.