MODULE_03 · УРОК 3.3

Проверка работы

Рано или поздно вы это увидите: агент с каменным лицом сообщает «баг починен, все тесты зелёные», не запустив ни одного теста. Обидно, но злого умысла тут нет. В текстах, на которых модель училась, работа заканчивалась именно такой фразой, вот она и воспроизводит финал, не заботясь о середине. Значит, честность придётся прописать явно: пусть агент отчитывается, что он реально запускал, что зарубил шлюз подтверждения и чего в проекте вообще не оказалось.

ЧТО ПОЛУЧИТСЯ В prompts.py появится секция # Verification, после которой агент обязан писать конкретику вида «запустил pytest, 12 passed» вместо расплывчатого «вроде всё ок».

Слова, которые встретятся

  • Verification - проверка после изменений: тесты, линтер, проверка типов. Важное слово тут «после»: проверяют не абстрактный идеальный проект, а то, что реально настроено в этом.
  • Scoped claim (узкое утверждение) - обещание строго по делу: «прогнал X, получил Y». Противоположность - бодрое «всё работает», которое ничего не значит.

Быстрый путь

  1. Открыть prompts.py.
  2. Добавить секцию # Verification перед return.
  3. Попросить агента проверить работу проекта (без правок файлов).

Какие файлы трогаем

Файл Что делать
prompts.py Править. Добавить блок Verification в build_system_prompt.
main.py Не обязательно. Если в белом списке нет pytest / uv run - добавьте префиксы в approval.py, иначе проверка упрётся в блок.

Шаг 1. Вставьте секцию в prompts.py

Место выбираем осознанно: после Guardrails, но до блока с AGENTS.md, если вы его уже завели. Так правила проекта окажутся последними и смогут уточнить общие требования.

prompts.py - фрагмент внутри build_system_prompt

    parts.append("""
# Verification
После изменений проверяй работу по факту, не по настроению:
1. Если в проекте есть тесты - запусти их (часто: `uv run pytest` или `pytest`).
2. Если настроен typecheck (pyright / mypy) - запусти и его.
3. Lint/build - только если такие команды реально есть и их пускает текущий режим approval.
4. В ответе явно напиши: что запустил, что заблокировал шлюз, чего в проекте нет.

НЕ говори «тесты прошли», если не запускал.
Честно: «Verification ограничен: pytest заблокирован approval» - нормально.
«Всё зелёное», когда ты ничего не гонял - нет.
""")

Из всего блока по-настоящему работает одна строчка: «не говори, что тесты прошли, если не запускал». Намёки модель обходит легко, а вот прямо названный запрет держит неплохо. Остальные пункты просто объясняют, что именно считать проверкой в этом проекте.

Как звучит хороший отчёт

Разница между болтовнёй и отчётом видна невооружённым глазом:

Плохо (вайн) Хорошо (контракт)
«Все тесты прошли» «Запустил uv run pytest: 12 passed, 0 failed»
«Баг починен» «Поправил null-check в auth.py:42. pytest: ok. pyright не запускал - нет в проекте»
«Должно работать» «Команду test заблокировал interactive approval; правку сделал, проверку не гонял»
ЧЕСТНОСТЬ ≠ ПОКРЫТИЕ Мы нигде не требуем прогнать всё на свете, мы требуем не приукрашивать. Скромное «запустил только тесты, линтера в проекте нет» полезнее уверенного вранья про полную проверку: по первому вы понимаете, что делать дальше, по второму - нет.
BASH И БЕЛЫЙ СПИСОК Тут два наших механизма встречаются лбами: чтобы агент вообще мог гонять тесты, в approval.py в списке SAFE_PREFIXES (режим interactive) должны появиться префиксы вроде "pytest", "uv run" или "python -m pytest". Без них секция Verification честно напишет «заблокировано», что формально правильно, но для первого знакомства скучновато.

Проверьте

Учтите, что у агента пока всего три инструмента, read, grep и bash, а edit и write ещё не появились. Так что просить «переименуй переменную» бессмысленно: он честно скажет, что менять файлы ему нечем. Нас сейчас интересует не правка, а сам отчёт о проверке:

uv run python main.py . "Проверь работу проекта: есть ли тесты, можно ли их запустить, что скажет approval. Не выдумывай зелёный результат."

В ответе ищите прошедшее время и цифры: «запустил …», «exit 0», «заблокировано …», «тестов в проекте нет». А вот «должно быть нормально» и «вроде всё ок» без единого запуска - ровно то, от чего мы и лечились этим уроком.

РЕЖИМ APPROVAL SAFE_PREFIXES с pytest работает только в interactive. В delegated смотрится список trust в main.py. Команда uv run pytest не совпадёт с префиксом "pytest" - пускайте именно pytest или добавьте "uv run" в тот список, который реально активен.

Готово, если:

  • В prompts.py есть секция # Verification
  • Там явно сказано не заявлять успех без запуска
  • Требуется отчёт: что запущено / заблокировано / отсутствует
  • На тестовом задании агент пишет конкретику, а не «вроде ок»
НА ПОТОМ Список проверок пока написан «в среднем по больнице». В следующем уроке проект начнёт рассказывать о себе сам: положим в корень AGENTS.md, и команда тестов приедет оттуда.