Оценка задач браузера Hermes с помощью ClawBench

Как применить

Установка Hermes не требуется отдельно: при выборе параметра --harness hermes в образе среды выполнения устанавливается указанная версия Hermes, его нативные инструменты браузера подключаются к экземпляру Chromium через CDP, а задание передаётся в hermes chat.

При первом запуске создаётся образ контейнера Chromium и Hermes; последующие запуски используют его повторно.

Результаты сохраняются в test-output/<model>/ в виде пяти слоёв трассировки, а также метаданных о перехвате и выполнении.

--no-judge позволяет получить результаты только по данным перехвата; для оценки на втором этапе с учётом содержимого запроса нужно настроить указанную в документации модель-оценщик.

В задачах используются реальные веб-сайты, поэтому макеты, доступность, защита от ботов и альтернативные сценарии могут меняться при каждом запуске.

Выполните следующую настройку.

git clone https://github.com/TIGER-AI-Lab/ClawBench.git
cd ClawBench
cp models/models.example.yaml models/models.yaml

Добавьте конечную точку модели и API-ключ в models/models.yaml, затем используйте имя этого элемента в приведённых ниже командах. Запустите одну задачу без дополнительного LLM-оценщика:

Запустите одну задачу без дополнительного LLM-оценщика:

uv run clawbench-run \
  test-cases/v1-lite/142-office-secretary-tasks-collab-trello \
  <model-name> \
  --harness hermes \
  --no-judge

Запустите набор из 20 задач Lite:

uv run clawbench-batch \
  --models <model-name> \
  --cases-suite v1-lite \
  --all-cases \
  --max-concurrent 1 \
  --harness hermes \
  --no-judge

Удалите параметр --no-judge после настройки элемента оценщика, описанного в models/models.example.yaml.

Промпты: отдельный промпт для Hermes не требуется.

ClawBench использует значение поля instruction из выбранной задачи в качестве базового запроса к Hermes. Для приведённой выше команды с одной задачей это указание будет таким:

Create a Trello board "Q3 Sprint Planning" with 3 lists + 5 cards