MODULE_05 · УРОК 5.4

Cache control

Мусор мы вымели, потолки поставили, но одна статья расходов осталась нетронутой. Системный промпт на десятом шаге ровно тот же, что на первом. Описания инструментов тоже не изменились ни на символ. И всё это добро вы исправно оплачиваете заново на каждом обращении к модели, хотя провайдер видел этот текст буквально секунду назад.

Отсюда идея prompt cache: сказать провайдеру, что вот этот кусок стабильный и пересчитывать его каждый раз не надо. Там, где провайдер такое умеет, счёт заметно худеет. Там, где не умеет, польза всё равно есть, просто другая: вы наконец начинаете различать, что у вас в контексте стабильное, а что свежее. Это дисциплина, которая переживёт смену модели.

ЧТО ПОЛУЧИТСЯ Ясное понимание, что имеет смысл кэшировать, а что бессмысленно, плюс поле cache_read_tokens в логе usage. На DeepSeek там вполне может стоять честный ноль - урок не про конкретный биллинг, а про то, как вы раскладываете контекст.

Слова, которые встретятся

  • Prompt cache - провайдер запоминает начало запроса и на следующих вызовах либо не считает его заново, либо считает по льготному тарифу. Работает именно на префиксе: поменяли символ в начале - кэш можно выбрасывать.
  • Стабильный контекст - системный промпт, описания инструментов, начало диалога. То, что от шага к шагу не шевелится.
  • Свежий контекст - последние ответы инструментов и свежие реплики. На следующем шаге они уже другие, кэшировать их примерно так же осмысленно, как подписывать одноразовые стаканчики.

Урок почти теоретический

Честно предупреждаю: полноценный маркер «кэшируй вот это сообщение» у каждого провайдера свой, и в Pydantic AI он настраивается по-разному. Мы сидим на DeepSeek, поэтому разберём принцип и добавим в лог одно поле про кэш, которое частенько будет показывать ноль. Тащить в проект чужой SDK ради красивой цифры в примере мы не станем.

Какие файлы трогаем

Файл Что делать
main.py Править. В лог usage добавить cache_read_tokens (если есть).
prompts.py Не раздувать системный промпт зря: стабильный текст лучше короткого хаоса, который меняется каждый запуск.

Правило разделения

  1. Системный промпт собирайте один раз на запуск через build_system_prompt и не переписывайте его между шагами внутри одного agent.run.
  2. Сначала обрезка из урока 5.2, только потом разговоры про кэш: кэшировать то, что вы всё равно выбросите, занятие бодрое, но бесполезное.
  3. Последние одно-два сообщения считайте свежими и не трогайте - они сменятся буквально на следующем шаге.
ЗАЧЕМ ЭТО, ЕСЛИ DEEPSEEK НЕ ПОКАЗЫВАЕТ КЭШ Затем, что вы отучаетесь плодить в промпте уникальный мусор на каждый шаг. Стабильный блок легче тестировать, легче версионировать и вообще проще держать в голове. А когда завтра вы переедете на провайдера с рабочим кэшем, окажется, что harness уже не пересобирает инструкции по любому поводу и переезд сводится к одной настройке. Привычка тут ценнее конкретного API.

Шаг 1. Расширить лог токенов

main.py - вместо прежнего print usage

print(
    f"Шаг {step}: {u.input_tokens} input, "
    f"{u.output_tokens} output, "
    f"{getattr(u, 'cache_read_tokens', 0)} cached",
    file=sys.stderr,
)

getattr тут не от лени: поля может просто не быть, и падать из-за диагностики было бы обидно. Если провайдер кэш не отдаёт, в колонке будут нули, и это не поломка урока.

Шаг 2. Быстрая самопроверка промпта

Откройте prompts.py и посмотрите на build_system_prompt придирчиво: правда ли всё, что там собирается, стабильно в рамках одного запуска? Соблазн подсунуть в системный промпт текущее время или свежий uuid возникает у всех, выглядит невинно, а на деле ломает и кэш, и воспроизводимость - каждый запрос становится уникальным, и сравнивать два прогона между собой уже нельзя.

Проверьте

uv run python main.py . "Прочитай pyproject.toml, потом main.py (первые 40 строк), потом AGENTS.md, потом суммируй"

В stderr всё так же видна выровнявшаяся кривая после обрезки, а колонка cached идёт бонусом для тех провайдеров, кто умеет. Главный результат урока вообще не в выводе программы: вы теперь можете вслух, не заглядывая в код, сказать, какая часть вашего контекста стабильная, а какая свежая.

Готово, если:

  • Понимаете разницу между стабильным и свежим контекстом
  • Pruning идёт логически раньше разговоров про кэш
  • В логе usage есть поле cached (хотя бы с нулём)
  • Системный промпт не пересобирается со случайным мусором на каждый шаг
ДАЛЬШЕ МОДУЛЬ 6 Контекст мы приручили. Следующая боль другого сорта: один агент, который делает всё подряд, выходит и дорого, и глупо. Разберём explorer и executor и научимся делегировать через инструмент task.