temavorobeyOpenAI обновила кэширование промптов для моделей семейства GPT-6. Общий контекст, который повторяется от запроса к запросу, теперь по умолчанию чаще берётся из кэша, скидка на такие входные токены доходит до 90%, а повторное использование засчитывается в окне 30 минут. Вместе с этим компания выпустила панель мониторинга кэша и инструмент, который объясняет, почему кэш не сработал. Подробности в анонсе OpenAI.
Зачем это нужно
Агенты на GPT-6 работают часами: рефакторят код, собирают документы и презентации. Каждый их шаг это новый запрос к API, и в каждом снова едут одни и те же инструкции, описания инструментов и контекст прошлых ходов. Если этот общий кусок взят из кэша, ответ приходит быстрее, а платите вы за него до 90% меньше. Цены самих моделей мы разбирали в материале про GPT-6 Astra в API.
Что появилось нового
- Панель Prompt Caching Dashboard показывает, какая доля входных токенов пришла из кэша, как менялся процент попаданий и сколько токенов оплачено по полной цене.
- Диагностика промахов. Запрос сравнивается с недавним ответом, и инструмент называет причину: сменилась модель, инструменты, настройки или вход. Заодно оценивает, сколько токенов потеряно.
- Явные точки кэширования. Можно самому указать, какой префикс промпта держать в кэше.
- Смена reasoning effort без сброса кэша. На моделях GPT-6 усилие рассуждения можно поднять или опустить между ответами через configuration_update, и накопленный контекст не пропадает.
- Прогрев. Общие инструкции и справочные материалы можно загрузить в кэш заранее, при старте приложения, чтобы первый ответ пользователю пришёл быстрее.
Как не терять кэш на практике
Главный совет OpenAI: не трогайте начало контекста. Описания инструментов, их схемы и порядок держите неизменными. Если инструмент на этом шаге не нужен, ограничьте список через allowed_tools или поставьте tool_choice в none, а не удаляйте описание. Новые указания модели добавляйте отдельным developer-сообщением в конец, а не переписывайте старые. Любая правка в начале промпта обнуляет всё, что шло после неё.
Что это значит для нас
Новость касается тех, кто платит за API: разработчиков и тех, кто гоняет своих агентов. Если вы пользуетесь ChatGPT в браузере или в приложении, ничего делать не нужно, тариф подписки от этого не меняется.
С оплатой всё по-прежнему: российскую карту OpenAI не принимает ни за подписку, ни за API. Подписка ChatGPT Plus и Pro есть в нашем каталоге, оплата картой РФ или СБП.
Коротко
- Кэш промптов GPT-6 чаще срабатывает по умолчанию, скидка на кэшированный вход до 90%.
- Повтор общего префикса засчитывается в окне 30 минут.
- Новые инструменты: панель мониторинга, диагностика промахов, явные точки кэширования, прогрев.
- Reasoning effort на GPT-6 меняется между ответами без потери кэша.
