Обрезка старых результатов
Диагноз мы поставили в прошлом уроке: входные токены ползут вверх на каждом шаге, потому что история едет на модель целиком. Лекарство напрашивается само и оно почти неприлично простое. Перед каждым запросом выкинуть середину истории, оставив начало, где лежит ваш вопрос, и свежий хвост, где происходит текущая работа. Всё, что между, агенту сейчас не нужно, а денег стоит.
Изобретать место для такой уборки не придётся: в Pydantic AI есть
ProcessHistory. Вы отдаёте ему обычную функцию, он
прогоняет через неё список сообщений перед каждым походом к
модели и отправляет то, что вы вернули.
context.py с функцией обрезки, подключённой
через capabilities=[ProcessHistory(...)]. На том же
длинном промпте кривая входных токенов перестанет ползти в небо
и выйдет на плато - это и будет ваш пруф.
Слова, которые встретятся
- Pruning (обрезка) - выбросить из истории то, что для текущего шага уже мертво: как правило это старые ответы инструментов, прочитанные полчаса назад файлы и результаты поиска, по которым давно сделаны выводы.
- ProcessHistory - возможность агента в Pydantic AI: перед каждым обращением к модели пропустить историю через вашу функцию. Своего рода фильтр на входе в дорогую комнату.
Быстрый путь
- Создать
context.pyсprune_old_messages. - В
Agent(...)добавитьcapabilities=[ProcessHistory(prune_old_messages)]. - Прогнать тот же промпт, что в 5.1, и сравнить stderr.
Какие файлы трогаем
| Файл | Что делать |
|---|---|
context.py |
Создать. Функция обрезки истории. |
main.py |
Править. Подключить ProcessHistory. |
Шаг 1. Функция обрезки
Начнём с самой грубой стратегии, которая при этом отлично работает: бережём первое сообщение, потому что там ваш исходный вопрос и без него агент забудет, зачем вообще проснулся, плюс последние несколько сообщений, где кипит текущая работа. Середину отправляем на свалку. Сколько именно оставлять в хвосте - параметр для экспериментов, шесть сообщений разумный старт.
context.py
from pydantic_ai.messages import ModelMessage
def prune_old_messages(
messages: list[ModelMessage],
keep_recent: int = 6,
) -> list[ModelMessage]:
"""Оставить первый message и хвост; середину выкинуть."""
if len(messages) <= keep_recent + 1:
return messages
return [messages[0], *messages[-keep_recent:]]
ToolReturnPart, а рассуждения ассистента беречь.
Но идея от этого не меняется, а кода становится втрое больше,
так что для начала «голова плюс хвост» честнее. Если заметите,
что агент забыл факт из середины разговора, просто поднимите
keep_recent.
Шаг 2. Подключить к агенту
main.py - создание Agent
from pydantic_ai.capabilities import ProcessHistory
from context import prune_old_messages
agent = Agent(
"deepseek:deepseek-chat",
deps_type=Sandbox,
tools=[Tool(bash_fn, takes_ctx=False)],
instructions=instructions,
capabilities=[ProcessHistory(prune_old_messages)],
)
И не спешите убирать лог токенов из прошлого урока: без него разницу вы не увидите, а поверить на слово тут не получится.
Что происходит
Дальше всё работает без магии. Перед каждым обращением к модели Pydantic AI берёт текущую историю и отдаёт её вашей функции, а на модель уезжает ровно то, что функция вернула. Исходный вопрос на месте, свежие вызовы инструментов на месте, а вот десять файлов, прочитанных в начале сессии, на модель больше не едут и денег не просят.
Проверьте
uv run python main.py . "Прочитай pyproject.toml, потом main.py (первые 40 строк), потом AGENTS.md, потом коротко суммируй, что это за проект"
Сравните stderr с тем, что было в уроке 5.1. Раньше вход рос почти линейно, теперь после пары шагов рост должен замедлиться или совсем выйти на плато. Точные числа зависят от ваших файлов и настроения модели, поэтому смотрим на форму кривой.
Готово, если:
- Есть
context.pyсprune_old_messages - У агента подключён
ProcessHistory - На длинном промпте input больше не растёт линейно без конца
- Лог токенов из 5.1 всё ещё работает