Polarity

Description

Polarity — это платформа инфраструктуры оценки, разработанная специально для AI-агентов, работающих в продакшене. Её основной движок, Keystone, запускает каждую задачу агента в изолированной песочнице Docker, предзагруженной реальными вспомогательными сервисами — Postgres, Redis, S3 и внутренними API — а не имитированными зависимостями. Этот подход с реальными сервисами позволяет Polarity точно обнаруживать многошаговые паттерны отказов с состоянием, которые обычно упускают легковесные инструменты оценки на уровне промптов, такие как Braintrust, LangSmith или Langfuse. Каждый обнаруженный сбой поставляется с воспроизводителем seed, который воссоздает точную песочницу локально одной командой, значительно сокращая циклы отладки.