Block представила Dessa — речевую модель, обученную только на человеческой речи

Block представила Dessa — полно­дуплексную речевую модель, которую, по словам разработчиков, обучили с нуля только на человеческой речи: без текста и без предобученных моделей. По словам источника, насколько известно разработчикам, это первый в мире ИИ, с которым можно вести реалистичный живой разговор, обученный исключительно на человеческой речи.

Dessa — модель speech-to-speech: аудио на входе, аудио на выходе. Она слушает и говорит одновременно, умеет перебивать и подавать реплики-поддакивания («yeah!», «got it!», «ooh»). Инференс работает быстрее реального времени, модель запускается локально на MacBook Pro M4 Max или мощнее. Обучение прошло на одном NVIDIA GB200 NVL72; язык Dessa выучила на в сотни раз меньшем количестве слов, чем LLM.

Демонстрационные записи — это живые записи разговоров человека с Dessa, субтитры добавлены после. В одном из демо Dessa говорит с GPT-Live-1, сторонней ИИ-моделью; оба голоса сгенерированы ИИ, а разработчик GPT-Live-1 не связан с Block и не проверял и не одобрял Dessa. Больше записей скоро будет опубликовано в X.

Dessa создана небольшой исследовательской лабораторией ИИ в Block, основанной бывшими участниками Dessa, торонтского стартапа в области глубокого обучения. Лаборатория строит модели глубокого обучения с 2012 года и генеративные речевые модели более восьми лет, подчиняется напрямую Джеку Дорси — соучредителю, председателю совета и Block Head. Лид Dessa — Ragavan Thurairatnam. Причинами разработки названы любопытство, лучшее взаимопонимание между людьми и ИИ и безопасность: по утверждению источника, сегодняшний голосовой ИИ превращает речь в текст и теряет информацию, которую текст не передаёт, а Dessa — шаг к решению проблемы, когда голосовой ИИ не слышит эмоций в голосе. Небольшой группе исследователей безопасности ИИ дадут ранний доступ к Dessa, чтобы найти непредвиденные риски; на сайте также есть форма для вступления в лист ожидания.

Источник: https://block.xyz/dessa