Проверка работы
Рано или поздно вы это увидите: агент с каменным лицом сообщает «баг починен, все тесты зелёные», не запустив ни одного теста. Обидно, но злого умысла тут нет. В текстах, на которых модель училась, работа заканчивалась именно такой фразой, вот она и воспроизводит финал, не заботясь о середине. Значит, честность придётся прописать явно: пусть агент отчитывается, что он реально запускал, что зарубил шлюз подтверждения и чего в проекте вообще не оказалось.
prompts.py появится секция # Verification,
после которой агент обязан писать конкретику вида «запустил pytest, 12
passed» вместо расплывчатого «вроде всё ок».
Слова, которые встретятся
- Verification - проверка после изменений: тесты, линтер, проверка типов. Важное слово тут «после»: проверяют не абстрактный идеальный проект, а то, что реально настроено в этом.
- Scoped claim (узкое утверждение) - обещание строго по делу: «прогнал X, получил Y». Противоположность - бодрое «всё работает», которое ничего не значит.
Быстрый путь
- Открыть
prompts.py. - Добавить секцию
# Verificationперед return. - Попросить агента проверить работу проекта (без правок файлов).
Какие файлы трогаем
| Файл | Что делать |
|---|---|
prompts.py |
Править. Добавить блок Verification в build_system_prompt. |
main.py |
Не обязательно. Если в белом списке нет pytest / uv run - добавьте префиксы в approval.py, иначе проверка упрётся в блок. |
Шаг 1. Вставьте секцию в prompts.py
Место выбираем осознанно: после Guardrails, но до блока с AGENTS.md, если вы его уже завели. Так правила проекта окажутся последними и смогут уточнить общие требования.
prompts.py - фрагмент внутри build_system_prompt
parts.append("""
# Verification
После изменений проверяй работу по факту, не по настроению:
1. Если в проекте есть тесты - запусти их (часто: `uv run pytest` или `pytest`).
2. Если настроен typecheck (pyright / mypy) - запусти и его.
3. Lint/build - только если такие команды реально есть и их пускает текущий режим approval.
4. В ответе явно напиши: что запустил, что заблокировал шлюз, чего в проекте нет.
НЕ говори «тесты прошли», если не запускал.
Честно: «Verification ограничен: pytest заблокирован approval» - нормально.
«Всё зелёное», когда ты ничего не гонял - нет.
""")
Из всего блока по-настоящему работает одна строчка: «не говори, что тесты прошли, если не запускал». Намёки модель обходит легко, а вот прямо названный запрет держит неплохо. Остальные пункты просто объясняют, что именно считать проверкой в этом проекте.
Как звучит хороший отчёт
Разница между болтовнёй и отчётом видна невооружённым глазом:
| Плохо (вайн) | Хорошо (контракт) |
|---|---|
| «Все тесты прошли» | «Запустил uv run pytest: 12 passed, 0 failed» |
| «Баг починен» | «Поправил null-check в auth.py:42. pytest: ok. pyright не запускал - нет в проекте» |
| «Должно работать» | «Команду test заблокировал interactive approval; правку сделал, проверку не гонял» |
approval.py в списке SAFE_PREFIXES
(режим interactive) должны появиться префиксы вроде "pytest",
"uv run" или "python -m pytest". Без них секция
Verification честно напишет «заблокировано», что формально правильно,
но для первого знакомства скучновато.
Проверьте
Учтите, что у агента пока всего три инструмента, read,
grep и bash, а edit и write ещё
не появились. Так что просить «переименуй переменную» бессмысленно:
он честно скажет, что менять файлы ему нечем. Нас сейчас интересует
не правка, а сам отчёт о проверке:
uv run python main.py . "Проверь работу проекта: есть ли тесты, можно ли их запустить, что скажет approval. Не выдумывай зелёный результат."
В ответе ищите прошедшее время и цифры: «запустил …», «exit 0», «заблокировано …», «тестов в проекте нет». А вот «должно быть нормально» и «вроде всё ок» без единого запуска - ровно то, от чего мы и лечились этим уроком.
SAFE_PREFIXES с pytest работает только в
interactive. В delegated смотрится список
trust в main.py. Команда
uv run pytest не совпадёт с префиксом "pytest" -
пускайте именно pytest или добавьте "uv run"
в тот список, который реально активен.
Готово, если:
- В
prompts.pyесть секция# Verification - Там явно сказано не заявлять успех без запуска
- Требуется отчёт: что запущено / заблокировано / отсутствует
- На тестовом задании агент пишет конкретику, а не «вроде ок»
AGENTS.md, и команда тестов приедет оттуда.