ElevenLabs представила две новые модели речи на прошлой неделе — ElevenLabs v4 и v4 Turbo — заявив, что они предлагают больший контроль над выражениями, меньшую задержку для голосовых агентов и поддержку более чем 90 языков. Новые возможности нацелены на расширение применения в сферах, где нужен более естественный диалог и оперативная генерация аудио.

Для поколения v4 используется новая архитектура, которая обеспечивает лучший контроль и более быструю скорость клонирования голоса. Компания сообщает, что под рукой у пользователей появится возможность клонировать голос всего за 10 секунд аудио.

На творческом плане новая версия лучше сохраняет идентичность голоса при обработке длинных фрагментов текста и учитывает контекст при чтении вслух, чтобы менять выражение. В v4 расширены inline-теги для определения выражений: теперь можно накладывать несколько тегов и заставлять модель следовать за их последовательностью.

Ранее версия поддерживала 70 языков; теперь количество увеличено до 90. Стартап сообщил, что наибольший скачок качества зафиксирован на японском, бразильском португальском, мандаринском и кантонском языках.

В последние годы ElevenLabs активно развивает корпоративный сегмент: более 55% бизнеса приходится на крупные компании. По словам компании, новая модель подходит для голосовых агентов: сниженная задержка позволяет более плавному общению, а v4 может начинать генерацию аудио уже в момент, когда LLM формирует ответы. Кроме того, модель умеет иначе обрабатывать конфликтные ситуации, эскалации и удержания клиентов ради более эффективного решения вопросов.

Конкуренты в области выразительных моделей речи растут: стартапы Cartesia, Deepgram, Fish Audio, Boson и WellSaid Labs, а также крупные игроки вроде Google и OpenAI усиливают свои голосовые модели.

Ранее в этом году ElevenLabs привлекла 500 млн долларов от Sequoia, в раунде, который оценивает компанию в 11 млрд долларов. Появляются слухи о последующем раунде финансирования, который мог бы поднять оценку до 22 млрд. Годовая текущее годовая выручка достигла около 600 млн долларов, на старте года была около 330 млн, а штат расширился до свыше 800 сотрудников по регионам Индия, Европа и Бразилия.

В недавнем интервью TechCrunch сооснователь и CEO Мати Станышевский сказал, что компания стремится к IPO «в ближайшие годы», но не зафиксировал конкретный срок.