OpenAI представила Ultrafast — режим, в котором GPT-5.6 Sol работает в 14 раз быстрее
OpenAI открыла ограниченное превью Ultrafast — нового уровня обслуживания в своем API, на котором флагманская модель GPT-5.6 Sol обрабатывает запросы до 14 раз быстрее стандартного режима. Ускорение обеспечивают чипы производителя Cerebras, анонс вышел 13 августа.
Ultrafast — не новая модель, а отдельный тариф, на котором работает уже существующая GPT-5.6 Sol. Компания сообщает, что режим выдает до 750 выходных токенов в секунду — токенами называют фрагменты текста, которые языковая модель генерирует в процессе работы. Интеллект, качество ответов и контекстное окно модели не меняются, меняется только скорость, с которой приходят токены. В блоге OpenAI отмечает, что до сих пор получение скорости, близкой к реальному времени, обычно означало переход на меньшую или более специализированную модель, а Ultrafast задает другое направление — больше полезной работы в секунду.
Компания называет пять сценариев, где скорость критична: реагирование на инциденты и надежность систем, финансовые исследования и безопасность транзакций, клиентская поддержка и голосовые ассистенты, электронная коммерция, а также живые исследования и эксперименты. Внутри самой OpenAI Ultrafast используют при разборе инцидентов — модель читает логи, анализирует трейсы и помогает подготовить исправление, пока сбой еще продолжается. Превью уже тестируют компании из сфер разработки, коммерции, финансовых исследований и поддержки, среди них Jane Street, Podium, Basis и Rogo.
Ускорение стало следующим шагом в партнерстве OpenAI с Cerebras, направленном на инференс со сверхнизкой задержкой. GPT-5.6 Sol в режиме Ultrafast работает в 11 раз быстрее Fable 5 и в пять раз быстрее Opus 4.8 в режиме Fast. У Anthropic есть собственный ускоренный режим Fast mode, но заявленных OpenAI показателей он не достигает. Ultrafast доступен узкой группе клиентов и работает только через API, в ChatGPT режима нет. Доступ будут расширять по мере роста мощностей. Стоимость тарифа, дата общего запуска и отдельный идентификатор модели пока не объявлены.
Источник: OpenAI