metr.org

Очень наглядна метрика времени, чтобы отмерять прогресс ИИ. И тренд. Сколько времени занимает у человека задача, которую ИИ уже может решить абсолютно самостоятельно? Этот график от METR – необходимое человеку время задачи, которую ИИ решает с 50% успеха (график для 80% успеха лежит лишь чуть ниже) Крайняя точка – GPT-5.2 – 6 часов (свежую 5.3 видимо еще не успели добавить) Но главное не точка 6 часов, а логарифмическая вертикальная шкала времени. Это означает экспоненциальный тренд. Удвоение каждые 4 месяца с 2024 года. То есть у GPT-5.3/Claude-4.6 скорее всего будет уже 10 часов, а к концу 2026 года это будет целая рабочая неделя. UPDATE: добавили Claude 4.6 и Codex 5.3 Автономно будет выполнять недельный труд человека. И выполнять за минуты, естественно. Просто вдумайтесь. Дальше будет месяц и так далее, предела пока не видно. Важно ли о какого рода задачах тут идет речь? По-моему, с такой динамикой, уже нет. ИИ очень быстро придет во все сколько нибудь значимые задачи по работе с информацией. А после будут и роботы. Поэтому я работаю над подходом Vibe Evolve, как строить организацию, где все делают агенты, а люди-архитекторы их организуют и направляют. Путь ИИ