Google Cloud AI Research відкрив вихідний код Google Harness2 — рекурсивного фреймворку, що покращує агентів без зміни ваг моделі. Ваш агент може стати кращим без «кращої» моделі: достатньо 0 параметрів для тренування та 8 редагованих компонентів обв’язки. Уже 1 крок уточнення підняв усі 4 налаштування моделі й обв’язки на 3 бенчмарках. На WorkBuddy-Bench GLM-5 під OpenCode виріс з 64.2 до 75.7, що дає +11.5 балів.
Що таке Harness²?
Harness² — це plug-and-play фреймворк від Google Research для уточнення обв’язки агента під час деплою. Обв’язка — все навколо моделі: промпти, тулінг, пам’ять, навички та оркестрація. Процес «harnessing» оптимізує цю систему; ваги моделі залишаються замороженими.
Цільовий сценарій — відкритий світ: задачі надходять уперше, і немає верифікатора, що каже, чи відповідь правильна. Команда підкреслює: більшість методів самовдосконалення покладаються на лейбли або тест-кейси. Harness² працює без них, спираючись на контрасти поведінки.
Фреймворк зосереджується на оточенні: контексті, інтерфейсі інструментів, делегації та поведінці в «tool loop». Завдяки цьому бізнес може покращувати агента без перенавчання або зміни базової моделі.
Які 8 компонентів обв’язки редагує Harness²?
Harness² відкриває 8 редагованих компонентів, кожен змонтований як файл. Разом вони покривають побудову контексту, інтерфейс інструментів, делегацію та поведінку в циклі інструментів.
- System prompt
- Guardrails
- Memory
- Tool guidance
- Subagents
- Skills
- Scripts
- Plugins (middleware)
Це розширює попередній поділ на 7 файлів із робіт з Agentic Harness Engineering ще на 1 компонент, що дає змогу тонше керувати поведінкою.
Зміни торкаються лише обв’язки. Фреймворк діє як «редактор», який пропонує і приймає правки, спираючись на спостережувану поведінку агента.
Як працює рекурсивне harnessing у Harness²?
Harness² запускає два пов’язані рівні рекурсії: на рівні задачі та на рівні обв’язки. Вони взаємодіють, щоб переводити спостереження у стійкі покращення без лейблів.
Рівень задачі: використовується контрастний цикл Propose, Probe, Compose. Спершу агент виконує задачу з базовою обв’язкою. Далі редактор пропонує 2 кандидати: invariant (загальні збої — планування, використання інструментів) і domain (знання й процедури домену). Обидва кандидати запускаються на тій же задачі. Компонувальник порівнює їхні траєкторії з референсом і зберігає лише правки, підтверджені поведінкою.
Рівень обв’язки: після кожної задачі рефлектор зберігає прийняту обв’язку та файл EXPERIENCE.md з уроками. Ця бібліотека спрямовує майбутні пропозиції. Кожна нова задача все одно починається з базової обв’язки.
Бюджет k масштабує пошук. У паралельному режимі пробуються k invariant і k domain-кандидатів, а потім виконується k композицій. У послідовному — ланцюжаться k кроків уточнення. Демонструється підняття до 80.8 на WorkBuddy при k=5.
Як Harness² показав себе на бенчмарках?
Оцінювання проводилося на 3 професійних бенчмарках: WorkBuddy-Bench, JobBench та Harvey's LAB. Виконавці: Gemini 3.5 Flash і GLM-5 під OpenCode та Codex. Типовий редактор — Claude Opus 4.8. Показники — середні за 3 запуски. У таблиці нижче — один крок уточнення, k=1.
| Налаштування (1 крок, k=1) | WorkBuddy Avg | JobBench | LAB Partial |
|---|---|---|---|
| Gemini 3.5 Flash, OpenCode | 72.4 → 77.5 | 31.5 → 36.0 | 79.9 → 81.9 |
| Gemini 3.5 Flash, Codex | 74.5 → 77.5 | 33.9 → 35.3 | 71.6 → 75.6 |
| GLM-5, OpenCode | 64.2 → 75.7 | 20.6 → 24.2 | 59.6 → 71.4 |
| GLM-5, Codex | 64.4 → 75.3 | 23.6 → 24.8 | 58.1 → 65.9 |
Слабші виконавці виграли більше. Після одного кроку GLM-5 обігнав базовий Gemini 3.5 Flash на WorkBuddy-Bench. Для паралельної рекурсії при k=5 під OpenCode Gemini піднявся до 80.8 на WorkBuddy. На WorkBuddy-Bench 3 з 4 налаштувань також зменшили кроки на задачу; зокрема, для Gemini під OpenCode — з 25.4 до 21.9.
Найбільший стрибок: GLM-5 під OpenCode зріс з 64.2 до 75.7 на WorkBuddy-Bench, що дорівнює +11.5 бала. Найскромніше зростання: GLM-5 під Codex на JobBench — з 23.6 до 24.8 (+1.2 бала).
Як Google Harness2 порівнюється з іншими методами обв’язки?
Harness² змінює повну 8-компонентну обв’язку на рівні задач, навчається через бібліотеку уроків і не потребує тренувальних сплітів. Нижче — зіставлення з Meta-Harness, ReasoningBank та Harness Scaling за ключовими ознаками й результатами.
| Ознака | Harness² | Meta-Harness | ReasoningBank | Harness Scaling |
|---|---|---|---|---|
| Розробники | Google Cloud AI Research, Northwestern | Stanford IRIS Lab та співавт. | Google Research та співавт. | Wang et al. |
| Що змінюється | Повна 8-компонентна обв’язка, для кожної задачі | Код обв’язки, пошук офлайн | Витягнута пам’ять; обв’язка фіксована | Обв’язка, правки на екземпляр |
| Потрібен тренувальний спліт | Ні | Так | Ні | Ні |
| Вчиться між задачами | Так (бібліотека + уроки) | Деплоїть 1 найкращу обв’язку | Так (пам’ять) | Ні |
| Ліцензія коду | Apache-2.0 | MIT | Не розкрито | Не розкрито |
| WorkBuddy Avg, Gemini/OpenCode* | 77.5 (80.8 при k=5) | 76.4 | 73.4 | 75.3 |
| JobBench, Gemini/OpenCode* | 36.0 | 35.8 | 30.8 | 32.9 |
| LAB Partial, Gemini/Codex* | 75.6 | 76.5 | 74.8 | 67.9 |
*Оцінки — як у статті про Harness²; інші методи самостійно ці бенчмарки не репортували.
How to run Google Harness2?
README орієнтує на Linux, Python 3.12 або 3.13 і uv. Локальне демо запускає обидва режими рекурсії без облікових даних до моделей.
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2Запуски з моделями потребують Node.js 20+, Google Cloud CLI і проєкт Vertex AI. Для LAB потрібні Pandoc і Poppler. Для WorkBuddy-Bench — Docker. Виконавці за замовчуванням — OpenCode, або Codex з прапорцем --substrate cx. Вимога до GPU: не розкрита.
Часті питання
how to run Google Harness2?
Почніть з Linux і Python 3.12/3.13 та встановіть uv. Запустіть локальне демо без доступів до моделей командою harness2-demo --output runs/demo --k 2. Для повних прогонів додайте Node.js 20+, Google Cloud CLI та проєкт Vertex AI; для LAB інсталюйте Pandoc і Poppler, а для WorkBuddy-Bench — Docker. За замовчуванням виконавець — OpenCode; для Codex використайте --substrate cx. Вимоги до GPU не розкрито.
Google Harness2 pricing?
Harness² — open-source із ліцензією Apache-2.0. Сам фреймворк не потребує оплати за параметри (0 параметрів навчених) і змінює лише обв’язку. Якщо ви запускаєте моделі через Vertex AI, вартість обчислень визначається вашим проєктом і тарифами платформи, але конкретні ціни у джерелі не наведені. GPU-вимоги також не розкрито.
Google Harness2 vs Meta-Harness comparison?
Harness² змінює повні 8 компонентів обв’язки й навчається між задачами через бібліотеку уроків. Meta-Harness шукає код обв’язки офлайн та вимагає тренувального спліту. На WorkBuddy Avg (Gemini/OpenCode) Harness² має 77.5 (до 80.8 при k=5) проти 76.4 у Meta-Harness. На JobBench — 36.0 проти 35.8. На LAB Partial (Gemini/Codex) — 75.6 проти 76.5.
Google Harness2 for small teams?
Так. Оскільки ваги моделі не змінюються і тренувати нічого не потрібно, команди можуть зосередитися на правках обв’язки: промптах, гвардрейлах, навичках, плагінах. Один крок уточнення вже давав приріст на всіх 3 бенчмарках, причому слабші виконавці виграють більше. Це корисно для невеликих команд, що хочуть швидко підняти якість без перенавчання моделей.
Що таке Harness² і як він працює?
Це рекурсивний фреймворк, що переписує обв’язку агента під час виконання. На рівні задачі діє Propose, Probe, Compose з двома кандидатами (invariant і domain), а на рівні обв’язки рефлектор зберігає прийняті правки та EXPERIENCE.md. Пошук масштабується бюджетом k (наприклад, k=5). Ваги моделі залишаються замороженими.
На основі матеріалу MarkTechPost.
