temavorobeyСкрипт работал, а потом в ответ полетело 429 rate limit reached. Это самая частая ошибка у тех, кто пользуется API ChatGPT: она означает не поломку, а то, что вы отправили слишком много за короткий срок. Разбираем, в чём считаются лимиты OpenAI, чем один вид 429 отличается от другого и что сделать, чтобы ошибка перестала приходить.
В чём вообще измеряются лимиты
Лимит в API OpenAI это ограничение на число обращений за отрезок времени. Считают сразу по двум шкалам: количество запросов и количество токенов. Токены в расчёте берутся не по факту, а по оценке: справка прямо говорит, что потребность оценивается из вашего запроса плюс значение max_completion_tokens. То есть длинный промпт с большим запасом на ответ съедает лимит даже тогда, когда модель ответит парой строк.
Второй момент, который ломает интуицию: лимиты квантуются. Ограничение в минуту на деле проверяется на более коротких промежутках. Пример из справки OpenAI: 60 000 запросов в минуту могут применяться как 1 000 запросов в секунду. Поэтому короткий всплеск обращений ловит 429, хотя по минуте вы формально не вышли за рамку.
Лимиты привязаны к уровню аккаунта (usage tier) и считаются на организацию, а не на пользователя. Если ключом пользуются несколько человек или несколько сервисов, вы делите одну общую квоту. Свой текущий уровень и цифры лимитов видно в разделе Limits в настройках аккаунта. Конкретных значений для каждого уровня в справке не приводится, они зависят от модели и уровня, так что подсматривать их нужно только у себя в кабинете.
Три разных 429, которые легко перепутать
Под одним кодом ошибки в API ChatGPT живут разные ситуации, и лечатся они по-разному.
- Rate limit reached for requests - слишком часто. Вы превысили число запросов или токенов за короткий срок. Типовые причины по справке: цикл или скрипт, который шлёт запросы часто и параллельно, либо ключ, которым пользуется кто-то ещё. Лечится паузой и темпом.
- You exceeded your current quota, please check your plan and billing details - кончились деньги или упёрлись в месячный бюджет. Тут ждать бесполезно: сколько ни делай пауз, ответа не будет, пока не поднят месячный лимит трат. Обычный одобренный потолок - 120 долларов в месяц, выше него нужно переходить на следующий уровень, а для нестандартных случаев писать в поддержку.
- The engine is currently overloaded - перегружена сторона OpenAI. Ваш лимит ни при чём, помогает повтор чуть позже.
Простое правило: если ошибка ушла после минуты паузы, это темп. Если не ушла и через десять минут, смотрите биллинг.
Как жить с лимитами и не нарушать правила
Никаких обходов через несколько ключей и левые аккаунты тут не нужно, всё решается кодом. Что рекомендует сама OpenAI:
- Экспоненциальная пауза. Ловите ошибку и повторяйте запрос через увеличивающийся интервал: секунда, две, четыре. Лимит сбрасывается в течение минуты, так что почти всё чинится ожиданием.
- Снизьте max_completion_tokens. Ставьте значение близко к реальной длине ответа. Если ответы выходят примерно на 400 токенов, не просите запас на 4000: оценка расхода упадёт, и ошибка перестанет приходить неожиданно.
- Сократите промпт. Короче инструкции, меньше лишних примеров - меньше токенов и заодно ниже счёт. После правки промпт стоит перепроверить на своих задачах.
- Ровный темп вместо всплесков. Из-за квантования пачка из тысячи одновременных запросов хуже, чем та же тысяча, размазанная по минуте. Складывайте задачи в очередь и отправляйте партиями.
- Не шлите одно и то же дважды. Кэшируйте ответы на повторяющиеся запросы у себя: самый дешёвый запрос это тот, который вы не отправили.
- Проверьте организацию по умолчанию. Если вы состоите в нескольких организациях с разными планами, запросы могут уходить не в ту, где у вас нормальный уровень. Default org переключается в настройках.
Как поднять лимит
Отдельной кнопки «дайте больше» нет. Уровень повышается автоматически по мере того, как растёт ваше использование и траты на API: чем больше уплачено, тем выше следующий tier, а вместе с ним лимиты по большинству моделей. Посмотреть, где вы сейчас и что нужно для следующего шага, можно на странице Limits. Отдельно оговорено, что для preview-моделей повышение лимитов не выдаётся, а на бесплатном пробном плане лимиты заведомо низкие и лечатся переходом на оплату по факту.
Отдельный случай: оплата поискового эндпоинта
У Search-запросов расход считается не так, как у обычных: платите за токены всех документов, которые отдали на поиск, плюс токены запроса, плюс служебные токены на инструкцию модели. К числу документов API добавляет ещё один, справочный. Формула из справки: сумма токенов всех документов + (число документов + 1) * 14 + (число документов + 1) * длина запроса в токенах. На примере: 5 документов длиной 12, 34, 22, 33 и 78 токенов (179 всего) и запрос на 8 токенов дают 179 + 6 * 14 + 6 * 8 = 311 токенов.
Практический вывод: если документов больше, чем max_rerank, дешевле и быстрее загрузить файл, а не перечислять документы прямо в запросе. Тогда расход опирается на число переранжированных документов, а не на общий объём всего, что вы передали.
Где купить ChatGPT из России
Оплатить API и подписку картой российского банка на сайте OpenAI не выйдет, платёж отбивается на стороне сервиса. Мы оформляем доступ на вашу почту: ChatGPT Go, Plus, Pro 5x и Pro 20x, плюс пополнение баланса API. Оплата картой РФ или СБП, выдача в день заказа. Если вы упираетесь в лимиты из-за низкого уровня аккаунта, пополнение API это как раз тот путь, которым уровень и повышается.
Обсуждение
0 комментариев