Dagster

dagster.io
Открыть сайт

Современный open-source оркестратор данных для построения, запуска и мониторинга data pipeline с интегрированной родословной и наблюдаемостью.

Описание

Dagster — это комплексная платформа для оркестрации данных, предназначенная для data engineer с целью разработки, планирования и мониторинга data pipeline и asset. Она ориентирована на удобство разработчика, позволяя локальную разработку, тестирование и наблюдаемость на всех этапах жизненного цикла данных. Основная абстракция Dagster — data asset, что обеспечивает точное отслеживание родословной, управление метаданными и модульную сборку pipeline. Поддерживает гибкие среды выполнения, интегрируется с популярными облачными и data-инструментами, а также предлагает расширенные корпоративные функции через Dagster+. Платформа позволяет командам строить масштабируемые, поддерживаемые и надежные data workflow, предоставляя единый контроль качества, свежести и управления данными.

Установка

Не знаете, с чего начать — попросите ассистента провести по шагам:

Возможности

Модель, ориентированная на Data Asset
Сосредоточена на управлении data pipeline через явные data asset, обеспечивая прозрачную родословную, отслеживание зависимостей и управление метаданными.
Интегрированная наблюдаемость и мониторинг
Обеспечивает единый интерфейс для логирования, проверки качества данных, статуса выполнения в реальном времени и детальной диагностики для повышения надежности pipeline.
Гибкое и расширяемое исполнение
Поддерживает любые Python workflow, произвольное выполнение кода на других языках и различные среды развертывания, включая serverless и контейнерную оркестрацию.
Расширенное планирование и триггеры на основе событий
Позволяет контекстно-зависимое планирование pipeline и сенсоры, запускающие процессы на основе внешних событий или свежести данных.
Широкие интеграции
Интегрируется с основными облачными провайдерами (AWS, GCP, Azure), ETL-инструментами и BI-платформами, обеспечивая бесшовную интеграцию в экосистему данных.
Корпоративные функции с Dagster+
Предлагает расширенную безопасность, соответствие требованиям, операционные workflow, анализ затрат и приоритетную поддержку для масштабных data operations.

Сценарии использования

Управление ETL и Data Pipeline
Создавайте, тестируйте и оркестрируйте сложные процессы загрузки, трансформации и передачи данных с прозрачной родословной asset и контролем качества.
Контроль качества данных и управление
Мониторинг свежести данных, валидация наборов данных и соблюдение требований конфиденциальности с помощью интегрированной наблюдаемости и метаданных.
Pipeline для обучения моделей машинного обучения
Координируйте workflow для feature engineering, обучения моделей и развертывания с воспроизводимостью и отслеживаемостью.
Бизнес-аналитика и отчётность
Обеспечьте надежные и актуальные data asset для дашбордов и отчетов, оркестрируя потоки данных и контролируя состояние pipeline.
Разработка и тестирование в нескольких средах
Обеспечивает локальную разработку, staging и production-деплой с разделением окружений и переиспользуемыми компонентами pipeline.

Частые вопросы

Dagster используется для построения, планирования и мониторинга data pipeline и asset, обеспечивая качество данных и отслеживание родословной на всех этапах жизненного цикла данных.

Dagster ориентирован на модель data asset с декларативными pipeline, сильным отслеживанием родословной и удобным локальным тестированием для разработчиков.

Да, хотя pipeline Dagster определяются на Python, архитектура позволяет выполнять произвольный код на других языках.

Dagster+ — это корпоративное предложение, включающее расширенную безопасность, соответствие требованиям, операционные workflow, анализ затрат и приоритетную поддержку.

Нет, Dagster только оркестрирует data workflow, но не хранит данные; данные сохраняются во внешних базах данных или data lake по настройке.

Интегрирует проверки данных, мониторинг свежести и инструменты наблюдаемости для обнаружения и оповещения о проблемах с данными.

Да, Dagster поддерживает сенсоры, которые запускают pipeline на основе внешних событий или изменений данных.

Вы можете начать с создания первого pipeline, используя Quickstart от Dagster, и присоединиться к сообществу в Slack и GitHub.

Характеристики

Тип Инструмент
КатегорияКодинг и разработка / Developer Tools
Цена есть бесплатный тариф
Платформа Только веб
Системы web
Хостингcloud
Установкаsaas
Язык сайтаru
Рейтинг5.00 (1 отзывов)
Просмотры161 950
Запуск2022-08-08

Платформы

web

Теги

ai developer tools ai data analysis monitor log management

Соцсети

X GitHub YouTube LinkedIn

Исходный код

репозиторий

Найден в источниках

moge producthunt showmebest

Похожие в разделе «Кодинг и разработка»

ReDigest
ReDigest Продолжаем субботнюю рубрику, тут я кратко рассказываю про новости из мира технологий и AI, которые привлекли мое внимание.
OpenHands
Code less, make more
Bolt AI
Create apps and websites simply by talking to AI.
GitHub
Главный хостинг кода: репозитории, Actions, Copilot и почти все AI-проекты.
Codex 2.0 by OpenAI
Codex 2.0 — продвинутый ИИ для создания приложений и автоматизации задач. Ускорьте разработку с помощью нейросети от OpenAI.
Wispr Flow — это технологический оргазм
Список полезных сервисов... ... хотела подготовить я для вас. Решила собрать в один пост все сервисы, которые когда-ли

Предложить сайт в каталог

Пришлите ссылку — остальное мы выясним сами.

Мы рассмотрим, что вы прислали, и добавим в каталог, если подойдёт.

Не знаете, как внедрить? Мы поможем

Расскажите про задачу — подберём инструменты и подскажем, с чего начать.

0 / 5000
Проверочный код

Поля со звёздочкой обязательны. Данные используются только для ответа.