YandexGPT 2 оказалась лучше модели GPT 3.5 по умению общаться на русском языке

Сравнение возможностей нейросети YandexGPT 2 и GPT 3.5 в области генерации ответов на русском языке провели специалисты Яндекса. Результат оказался в пользу YandexGPT 2: в 63% вариантов языковая модель Яндекса отвечала лучше, чем зарубежный аналог.

Тестирование проводилось сравнительным методом на основе выбора запросов пользователей. Темы выбирались самые разнообразные, исходя из реальных интересов общества. Метод сравнения SBS предполагает сопоставление «слепых» ответов двух языковых моделей на один и тот же вопрос. После окончания тестирования раскрывалась корзина накопленных ответов и проводился анализ, какая из нейросети лучше справилась с заданием. Таким образом, результат понимания запросов на русском языке у YandexGPT 2 оказался почти в две трети раз лучше, чем у GPT 3.5.

По словам технического директора Яндекс Поиска Алексея Гусакова сравнение возможностей языковых моделей ставят перед собой цель улучшения спектра возможностей и разработку новых инструментов собственной нейросети. В этом случае не преследуется задача уязвить в некомпетентности другую модель и получить какие-то абстрактные показатели в тестах производительности программных продуктов.

К слову, улучшенная языковая модель YandexGPT 2 вышла в свет в сентябре этого года. Считается, что она намного производительнее по сравнению со своей первоначальной версией и дает ответ на запросы в более точном и конкретном формате.

Источник: Пресс-служба Яндекса