niraharon/bot-sort

⚫️ Как выжать максимум из модели детекции на видео: 7 идей, которые вы еще не пробовали. Взять датасет побольше и дообучить модель? Да, но в этой статье расскажем об альтернативных вариантах улучшения модели. Трекинг объектов — это набор алгоритмов, которые связывают одни и те же объекты на соседних кадрах видео. Трекинг работает в тесной связке с детектором, поэтому качество первого напрямую зависит от точности второго. Ошибки детектора усложняют работу трекинга, но хороший трекер может справиться даже с неидеальными детекциями. Шаг 0. Анализ ошибок модели детекции . Между кадрами моргает детектор? Много кратковременных ложных предсказаний? Вам однозначно нужен алгоритм фильтрации, каким может выступить трекинг. Для быстрого старта подойдет библиотека BoxMOT . В ней реализованы алгоритмы, помогающие стабилизировать слабые детекции. Итак, связали детектор и трекер. Но все равно не работает. Шаг 1. Локализация проблемных мест. Отрисуйте предсказания. Объекта нет среди детекций → проблема, скорее всего, в детекторе. Детекция есть, но трек обрывается → смотрим, как трекер работает со временной потерей объекта. Объект остаётся в кадре, но получает другой ID → проблема в ассоциации. Ошибки появляются при окклюзии → проверяем, насколько хорошо трекер использует информацию о движении и внешнем виде объекта. Этот шаг помогает понять, что именно следует исправить в общем пайплайне. Шаг 2. Проверка confidence детектора . При окклюзии уверенность детектора может упасть, например, с 0.9 до 0.3. Если использовать порог уверенности детекции 0.5, такая детекция исчезнет ещё до трекера. Объект пропадёт, вместе с ним может оборваться и трек. ВoostTrack предлагает простой приём: сначала сопоставлять уверенные детекции, затем использовать менее уверенные боксы для восстановления существующих треков. Поэтому при частых пропусках объектов нужно проверить, что происходит с детекциями с низким confidence, и настроить порог. При низком пороге могут появиться «ложняки». Да,