MODULE_05 · УРОК 5.1

Проблема контекста

До сих пор мы гоняли агента по мелочи: прочитай файл, найди TODO, сделай ls. Пять-десять шагов, окно контекста просторное, агент бодрый и сообразительный. А потом приходит настоящая работа: три файла, два поиска, тест, правка, снова тест, и вот вам уже тридцать шагов. Тут и вылезает фокус, который никто не афиширует: ни один старый результат инструмента никуда не пропадает. Прочитанный на первом шаге файл едет на модель и на пятом, и на двадцатом - вы платите за него столько раз, сколько агент сделал вдохов.

Чинить это мы начнём в следующем уроке. Сегодня задача другая и куда более скучная на вид: увидеть кривую своими глазами. Без замера «до» любая оптимизация превращается в веру, а мы всё-таки инженеры.

ЧТО ПОЛУЧИТСЯ После каждого прогона агент будет печатать в stderr токены по шагам. Вход полезет вверх, выход останется примерно плоским - и это не баг, а диагноз. Ничего не оптимизируем, только смотрим на пациента.

Слова, которые встретятся

  • Контекст (context window) - всё, что модель видит за один запрос: системный промпт, ваш вопрос, каждый вызов инструмента и каждый ответ на него. Не «память агента», а пачка текста, которую harness заново кладёт модели на стол.
  • Входные и выходные токены - сколько «слов» уехало в модель и сколько она вернула. Кошелёк худеет в основном на входе: ответы у агента короткие, а история разбухает.
  • Шаг - один запрос к модели внутри прогона: подумала, позвала инструмент, получила ответ, снова подумала. Шаг и «прочитанный файл» - не одно и то же, дальше это важно.

Быстрый путь

  1. В main.py после agent.run пройтись по result.all_messages() и напечатать usage у каждого ответа модели.
  2. Запустить длинный промпт (4+ вызова инструментов).
  3. Убедиться, что число input растёт, а output - примерно нет.

Какие файлы трогаем

Файл Что делать
main.py Править. Лог токенов после прогона (в stderr).
остальное Не трогать.

Шаг 1. Лог после прогона

Считать токены руками не надо: Pydantic AI уже всё посчитал. У каждого ModelResponse в истории лежит usage с полями input_tokens и output_tokens, остаётся пройтись по истории и вывести их по порядку. Печатаем в stderr, чтобы замер не перемешался с ответом агента в stdout: потом захотите отправить вывод в файл и скажете себе спасибо.

main.py - фрагмент внутри main()

from pydantic_ai.messages import ModelResponse

result = await agent.run(prompt, deps=sandbox)
print(result.output)

step = 0
for msg in result.all_messages():
    if isinstance(msg, ModelResponse):
        u = msg.usage
        print(
            f"Шаг {step}: {u.input_tokens} input, {u.output_tokens} output",
            file=sys.stderr,
        )
        step += 1

Шаг 2. Промпт, который болит

СНАЧАЛА ВЫКЛЮЧИТЕ PRUNING Если в Agent(...) уже стоит capabilities=[ProcessHistory(...)] из урока 5.2, на время замера закомментируйте эту строку. Иначе вы будете любоваться кривой, которую сами же заранее и выпрямили.

Теперь тонкость, на которой спотыкаются все. «Шаг» в нашем логе - это один ответ модели, а не один прочитанный файл. Попросите агента посмотреть три файла, и он вполне может дёрнуть три read одним залпом: получится два шага, инструменты и финальный текст, а роста контекста вы толком не увидите. Поэтому на время эксперимента просим работать медленно и последовательно:

uv run python main.py . "Работай СТРОГО по одному инструменту за раз, без параллельных вызовов. 1) Прочитай pyproject.toml целиком. 2) Потом read: main.py offset=1 limit=40. 3) Потом read: prompts.py offset=1 limit=40. 4) Потом read: approval.py offset=1 limit=40. 5) Потом grep pattern 'def ' glob '*.py'. 6) Коротко суммируй проект. Между шагами не вызывай несколько tools сразу."

Цель скромная: увидеть в stderr хотя бы четыре-пять строк «Шаг N». Если снова вышло два шага, значит модель сочла вашу просьбу про «по одному» необязательной. Запустите ещё раз или добавьте в промпт: «После каждого read сразу пиши одну фразу, что увидел, и только потом следующий read». Болтливость здесь работает на нас.

Ожидаемая картина выглядит примерно так. Цифры у вас будут свои, смотреть надо на форму:

Шаг 0: 1200 input, 80 output
Шаг 1: 2800 input, 60 output
Шаг 2: 4100 input, 55 output
Шаг 3: 5200 input, 70 output
Шаг 4: 6100 input, 200 output

Вход растёт, выход стоит на месте. Каждый следующий запрос тащит на модель всю прошлую историю целиком, включая файлы, которые давно отработали своё.

Почему так

Разгадка обидно простая: модель ничего не помнит. Между шагами у неё нет ни памяти, ни блокнота, и иллюзию непрерывного разговора создаёт наша обвязка. Каждый раз harness послушно складывает в запрос системный промпт, ваш вопрос и все вызовы инструментов с ответами - и отправляет эту стопку заново. Файл, прочитанный на первом шаге, лежит в контексте и на четвёртом, даже если агент про него давно забыл.

Что Поведение
Системный промпт Почти фиксированный размер, едет каждый раз
Ответ одного tool Сотни-тысячи токенов, остаётся в истории
После 20-30 tool-вызовов Линейный рост; агент «забывает» инструкции сверху
ЧТО НЕ РАБОТАЕТ Надеяться, что «на коротких задачах и так сойдёт»: настоящие задачи в десять шагов не укладываются. Запрещать агенту думать дольше десяти шагов - то же самое другими словами. Взять модель с окном побольше приятно ровно до первого счёта: боль не исчезает, а просто становится дороже за штуку. Лечится это одним способом - выкидывать старые ответы инструментов, чем мы и займёмся в уроке 5.2.
СНАЧАЛА ЗАМЕР, ПОТОМ ФИКС Урок намеренно ничего не чинит. Пока нет цифр «до», вы не сможете честно сказать, помог ли pruning или вам просто показалось. Лог токенов не убирайте до конца модуля: он ещё пригодится для сравнения.

Проверьте

  1. На длинном промпте input растёт от шага к шагу.
  2. Output относительно маленький и не растёт так же круто.
  3. К последнему шагу вход заметно больше, чем на нулевом (часто в разы).

Готово, если:

  • После прогона в stderr есть строки «Шаг N: … input, … output»
  • На задаче с 4+ шагами (не 2) input растёт
  • ProcessHistory на время замера выключен
  • Output не растёт так же сильно
  • Лог идёт в stderr, а не в stdout вместе с ответом агента