Ploomber
ploomber.io
Фреймворк для построения модульных, совместных и готовых к промышленной эксплуатации data pipeline с интеграцией в Jupyter и другие редакторы.
Описание
Ploomber предназначен для упрощения разработки и развёртывания data science и machine learning pipeline, позволяя пользователям преобразовывать скрипты, ноутбуки или функции в поддерживаемые pipeline. Он решает проблему рефакторинга ноутбуков, позволяя командам прототипировать в Jupyter notebook и затем развёртывать без нарушения рабочих процессов. Ploomber поддерживает Python-, SQL- и notebook-задачи, отслеживает изменения кода для оптимизации выполнения и может быть развёрнут на различных платформах, включая Kubernetes и облачные среды.
Установка
Не знаете, с чего начать — попросите ассистента провести по шагам:
Возможности
Модульное построение pipeline
Преобразуйте коллекции скриптов, ноутбуков или функций в pipeline с чёткими зависимостями задач и результатами.
Интеграция с Jupyter без ограничений
Разрабатывайте интерактивно с помощью Jupyter notebook или любого редактора, затем развёртывайте pipeline без переписывания кода.
Инкрементальное выполнение
Автоматически кэширует результаты и повторно выполняет только те задачи, чей исходный код был изменён, ускоряя цикл разработки.
Развёртывание в разных средах
Развёртывайте pipeline локально или на распределённых системах, таких как Kubernetes, Airflow, AWS Batch или SLURM, без изменений кода.
Рефакторинг старых ноутбуков
Автоматически преобразует монолитные ноутбуки в модульные и удобные для поддержки pipeline.
Расширенная поддержка задач
Поддерживает Python-функции, скрипты, ноутбуки и SQL-скрипты в одном pipeline.
Сценарии использования
Автоматизация рабочих процессов Data Science
Оптимизируйте обработку данных и обучение моделей с помощью модульных, переиспользуемых компонентов.
Совместная разработка Machine Learning
Позволяет командам прототипировать, делиться и развёртывать pipeline совместно, не ломая код.
Модернизация старых ноутбуков
Преобразуйте существующие Jupyter notebook в production-ready pipeline для лучшей поддержки.
Масштабируемое развёртывание pipeline
Запускайте pipeline на локальных машинах или масштабируйте в облаке и кластерах без усилий.
Инкрементальное выполнение pipeline
Оптимизируйте скорость разработки, повторно выполняя только изменённые компоненты pipeline.
Частые вопросы
Он устраняет необходимость рефакторинга ноутбуков для развёртывания, позволяя создавать модульные и поддерживаемые pipeline прямо из ноутбуков или скриптов.
Ploomber интегрируется с Jupyter, VSCode, PyCharm и работает с любым редактором, поддерживающим Python.
Да, Ploomber поддерживает Python-функции, скрипты, ноутбуки и SQL-скрипты как задачи pipeline.
Он кэширует предыдущие результаты и повторно выполняет только те задачи, чей код был изменён, уменьшая ненужные вычисления.
Pipeline Ploomber могут быть развёрнуты локально или на распределённых платформах, таких как Kubernetes, Airflow, AWS Batch и SLURM.
Да, он облегчает совместную разработку pipeline, позволяя членам команды настраивать и делиться модульными pipeline.
Да, он предоставляет автоматизированные инструменты для рефакторинга старых ноутбуков в поддерживаемые pipeline.
Да, Ploomber предназначен для создания готовых к промышленному использованию pipeline с первого дня.
Характеристики
| Тип | Инструмент |
| Категория | Кодинг и разработка / Анализ данных ИИ |
| Цена | есть бесплатный тариф |
| Платформа | Только веб |
| Системы | web |
| Хостинг | cloud |
| Установка | saas |
| Язык сайта | ru |
| GitHub | ploomber/ploomber |
| Рейтинг | 5.00 (1 отзывов) |
| Просмотры | 4 491 |
| Запуск | 2022-04-14 |
