Descript и OpenAI: новый подход к дубляжу видео на нескольких языках

Редактор Descript перестроил систему перевода и дубляжа видео на моделях рассуждения OpenAI: теперь перевод подгоняется под длительность исходной речи ещё на этапе генерации, а не исправляется потом. За первые 30 дней после запуска экспорт переведённых видео с дубляжом вырос на 15%, а соответствие длительности улучшилось на 13–43 процентных пункта в зависимости от языка.

В чём была проблема

Descript — видеоредактор, в котором видео правят как текст. Перевод субтитров был одной из самых востребованных функций, и пользователи захотели получать озвучку на целевом языке. Главная жалоба, по словам Алекса Мистратова, главы направления ИИ-продукта Descript, касалась неестественного темпа речи. Разные языки тратят разное время на одну мысль: в примере компании английская фраза в 18 слогов превращается в немецкую на 24 слога. Чтобы уложиться в сегмент видео, озвучку приходилось ускорять или замедлять, и она звучала неестественно. Исправлять это вручную нужно было почти на уровне носителя языка.

Как устроен новый конвейер

Система разбивает расшифровку на фрагменты по границам предложений и паузам, считает слоги и, исходя из типичной скорости речи в языке, определяет, сколько слогов должно быть в переводе. Модель оптимизирует одновременно смысл и длительность, а соседние фрагменты передаются как контекст. Ключевым стало то, что модели серии GPT-5 надёжно считают слоги и держат ограничения; более ранние с этим не справлялись.

Результаты

По тестам прослушивания, речь остаётся естественной, если её замедлили не более чем на 10% или ускорили не более чем на 20%. Раньше в этот диапазон попадали 40–60% сегментов, теперь — от 73 до 83%. Смысловое соответствие оценивала отдельная модель по шкале от 1 до 5: 85,5% сегментов получили 4 или 5. Для дубляжа компания допустила более мягкий порог точности смысла, чем для субтитров.

Дальше Descript планирует пакетный дубляж и липсинк для целых библиотек видео, а также больше мультимодальности, чтобы сохранять интонацию и акценты оригинала. Генеральный директор Лора Беркхаузер отметила, что дубляж становится всё более популярным сценарием использования.