playbook.md

Уперся в лимит аперолей за пять часов , приходится писать пост В последние пару недель до отпуска много оптимизировал своего любимого скилл-бейст-агента нашего контура, который отвечает на разные вопросы, от продукта до разработки. Сейчас это довольно лаконичный агент, у которого есть около 10 скиллов - умеет видеть наши задачи, коммиты, раскатку по странам, ходить в БД, анализировать эксперименты итд, уже прям хороший помощник. Плюс два файла, связывающих все воедино: AGENTS.md , там личность агента, его назначение, правила. И PLAYBOOK.md , в нём карта маршрутов по всем скиллам и few-shots примеры. Но чем больше становится у него скиллов, тем больше глюков. А иногда он не понимает контекст полностью как человек, хотя мозги там 5.6 Sol. Попадаются тупняки типа "что делал Остриков на этой неделе?" , он отвечает просто по тикетам, забывая проверять влитые в транк ПР. Короче, тюнить его становится всё сложнее. Вот три приёма, которые помогают в этом: 1. Пишите все логи Простите за базу, 100% все и так это знают. Но тем не менее - без логов улучшать агента можно лишь по картам Таро (привет победителям хакатона Туту!) В логах должны быть: сообщения и пользаков и агента, ID-шники сообщений по которым шёл реплай в телеге, все tool calls, параметры которые улетали в них и возвращаемые значения, кол-во токенов, время отправки сообщений и тайминги ответа модели. Можно не париться с LangFuse, просто сложите всё это себе в БД или в файлы под ноги. 2. Собирайте фидбек прям из диалогов Когда бот тупит, следующим сообщением ему пишите, что он сделал не так и как исправиться: - Что делал Остриков на этой неделе? - У этого бездельника два открытых тикета и больше ничего - На таком вопросе всегда также проверяй движ в ПР - Понял, вижу - он ещё замержил 5 ПР про нового агента, а по двум его засыпали комментами И приучите так делать всех пользователей. Хитрость вот в чем, раз в пару дней вы даёте агенту задачу, типа такого: - Прочитай все диалоги агента, про