OpenAI выпустила широкодоступную версию своего API решений – Decisions API – впервые позволив пользователям работать с таким инструментарием для быстрого и недорогого интеллекта. По данным дорог, продукт вошёл в рынок после анонса на developer day и стал доступен всем клиентам в четверг, включая поддержку новых голосовых и визуальных модальностей и попытки снизить задержку через региональную оптимизацию ресурсов для инференса.

Особую роль в дискуссии о Decisions API сыграло появление конкурента Jev от TypeSafe, стартапа, основанного бывшим исследователем frontier lab. Jev позиционируется как «супер-классификатор»: при заданном наборе вариантов он быстро принимает решение и выдает уровень уверенности. Разработчики отмечали, что такие модели могут заменять LLM в ряде рабочих процессов, работая быстрее и дешевле.

Официально представители OpenAI отмечали, что главное преимущество Decisions API – скорость. По словам Никунжа Ханды, лидера продуктовой команды API, различия между текущей версией и тем, что было ранее, сводятся к ускоренной инференсу и снижению затрат: «мы видим множество вариантов использования» и создавали версию, которая напоминает «просто Луну» в плане скорости исполнения.

По словам Ханды, скорость снизилась с одного–трёх секунд до примерно 100–180 миллисекунд, а в будущем возможно до обучения, чтобы ещё больше улучшить такие характеристики. При этом OpenAI подчёркивал, что на данный момент применена обычная версия Luna, которая справляется с задачей. В анонсе на день разработчиков 29 сентября и запуске для клиентов среди нововведений упомянулась и оптимизация задержки по регионам мира.

В опытной пилотной работе с клиентами вроде Box, Datadog, Ramp и Speak инженеры стали заменять LLM Decisions API для повышения пропускной способности. Так, CTO Speak Андрю Хсу сообщил, что решения позволили сократить время между действиями с 1,4 секунды до примерно 0,13 секунды. В то же время OpenAI применял продукт для повышения отклика голосового ассистента Dots.