Корзина Войти
Каталог

70 млн запросов в секунду: OpenAI рассказала, как устроено хранилище ChatGPT

OpenAI опубликовала технический разбор своей системы хранения данных Habitat - той самой, через которую проходит каждый вход в аккаунт и каждый новый диалог в ChatGPT. Цифры компания назвала впервые: больше 70 миллионов запросов в секунду, больше 500 петабайт данных, почти 40 географических регионов и больше миллиарда человек, которые пользуются продуктами OpenAI каждую неделю. Текст лежит в блоге OpenAI, это первая часть из двух.

Почему один ваш вопрос это сотни обращений к базе

Habitat начинался в 2023 году на DevDay как маленькая библиотека на Python, подключённая к одной базе данных, и обслуживала она тогда только GPTs. За последние три года нагрузка росла больше чем в 10 раз каждый год.

Главная мысль разбора простая и понятная без инженерного образования: на один ваш запрос в ChatGPT приходятся сотни отдельных обращений к хранилищу. И скорость ответа определяет не средний запрос, а самый медленный из них. Если хоть один подвис на секунду, вы эту секунду и увидите в виде замершего курсора. Отсюда и вся возня инженеров с тем, что они называют хвостовыми задержками.

Две поломки, на которых всё чуть не встало

OpenAI честно описывает свои провалы, и они показательны. Первый: система опрашивала конфигурацию настроек раз в минуту, строго по таймеру и всю целиком. В итоге каждую минуту все рабочие процессы одновременно замирали, разбирая гигантский файл настроек, вместо того чтобы отвечать пользователям. Лечилось уменьшением файла и разбросом времени опроса.

Второй интереснее. Соединения переиспользовались по принципу «бери последнее освободившееся», и из-за этого новые запросы стабильно доставались самым перегруженным серверам: они отдавали соединение позже, значит оказывались наверху стопки. Получалась воронка, из которой сервер сам не выбирался, пока его не перезапустят. Помогла смена порядка на обратный - «бери то, что освободилось раньше всех».

Два инженера, Codex и переписывание на Rust

Самая громкая часть текста в конце. Во втором квартале 2026 года два инженера с помощью Codex и GPT-5.5 переписали весь сервис с Python на Rust. Новая версия уже обслуживает 95 процентов боевых запросов, Python отключат в ближайшие недели. По данным OpenAI, Rust-версия в 6 раз экономнее по процессору и в 15 раз по памяти, со значительно меньшими задержками. На пике Python вытягивал больше 20 миллионов запросов в секунду.

Про сам Codex и рабочие сценарии мы писали отдельно в материале GPT-6 Astra в рабочем контуре.

Что это значит для нас

Практический смысл для подписчика один: скорость и стабильность ChatGPT это не свойство модели, а свойство инфраструктуры вокруг неё. Переход на Rust и работа с хвостовыми задержками должны сказаться на отзывчивости интерфейса, но заметной по секундомеру разницы OpenAI не обещает и никаких изменений в тарифах в этом тексте нет.

Отдельно про оплату. Российская карта в OpenAI не проходит, платёж отклоняет сама площадка, и никакие инфраструктурные новости на это не влияют. Подписка ChatGPT Plus и Pro есть в нашем каталоге ChatGPT, оплата картой РФ или СБП.

Коротко

  • Habitat обрабатывает больше 70 млн запросов в секунду и хранит больше 500 петабайт в почти 40 регионах.
  • Продуктами OpenAI пользуются больше миллиарда человек в неделю, нагрузка росла больше чем в 10 раз в год три года подряд.
  • Один запрос пользователя это сотни обращений к базе, скорость определяет самый медленный из них.
  • Во втором квартале 2026 года сервис переписали с Python на Rust силами двух инженеров, Codex и GPT-5.5.
  • Rust-версия держит 95 процентов боевого трафика и экономнее в 6 раз по процессору и в 15 раз по памяти.
Перейти в каталог

Обсуждение

0 комментариев
Чтобы оставить комментарий, войдите в аккаунт
Так мы понимаем, кто спрашивает, и отвечаем по вашим заказам.
Войти
Пока никто не написал — будьте первым.