servicenow/webarena-verified

🖥 ClawBench : лучший ИИ-агент справился лишь с 33% реальных повседневных задач в интернете Исследователи из UBC, Vector Institute и CMU представили ClawBench — бенчмарк для проверки ИИ-агентов на реальных сайтах. Всего 153 задания на 144 популярных платформах: забронировать жильё на Airbnb, оформить доставку еды на UberEats, найти и откликнуться на вакансию на LinkedIn, арендовать автомобиль на Sixt, записаться к врачу на BetterHelp, создать репозиторий на GitHub, оставить отзыв на Glassdoor. Каждое задание состоит из трёх элементов: инструкция на естественном языке (например, «забронируй перелёт из JFK в LAX на 31 декабря эконом-классом»), начальный URL и ожидаемый финальный запрос на сервер. Чтобы агент не совершал реальные покупки и не отправлял настоящие заявки, исследователи разработали расширение для Chrome, которое перехватывает этот запрос до того, как он уходит на сервер. Результаты ИИ-агентов: Claude Sonnet 4.6 — 33.3%, GLM-5 — 24.2%, Gemini 3 Flash — 19.0%, Claude Haiku 4.5 — 18.3%, GPT-5.4 — 6.5%, Gemini 3.1 Flash Lite — 3.3%, Kimi K2.5 — 0.7%. Эти результаты разительно расходятся с традиционными бенчмарками для ИИ-агентов. На OSWorld и WebArena модели набирают 67–75%, потому что там агент работает в контролируемых sandbox-окружениях — без капч, cookie-баннеров и динамического контента. Лучше всего модели справляются с финансовыми и академическими задачами — оформление страховки, запись на курс или отправка решения на LeetCode предполагают стандартные предсказуемые формы. Хуже всего — с разработкой и социальными действиями. Задачи на GitHub, Airtable или Confluence предполагают длинные многошаговые сценарии, где ошибка на любом шаге ведёт к провалу. Написание отзывов на Glassdoor или Tripadvisor требует точного заполнения форм на сайтах, структура которых постоянно меняется. Код бенчмарка, задания и пайплайн опубликованы на GitHub . #Benchmark