Специалисты Яндекса сравнили качество ответов YandexGPT 2 и GPT 3.5.
По данным компании, их нейросеть в 63% случаев отвечала на вопросы лучше конкурента.
Сравнения нейросетей нужны не для того, чтобы получить абстрактные цифры в бенчмарке, а для решения задач продукта, создания новых функций и развития бизнеса. Именно поэтому значительную часть корзины для сравнения составили настоящие запросы из наших сервисов.
— Алексей Гусаков, технический директор Яндекс Поиска
Исследование проводилось методом сравнения Side by Side (SBS). То есть обоим нейросетям задавались одинаковые вопросы, а AI-тренеры выбирали лучшие ответы, не зная, какая именно модель их генерировала.
Запросы взяли из типичных обращений пользователей сервисов Яндекса к YandexGPT 2. Она учитывает реальные потребности людей и охватывает множество тем.
(17 голосов, общий рейтинг: 4.53 из 5)
Артём Баусов
@DralkerГлавный по новостям, кликбейту и опечаткам. Люблю электротехнику и занимаюсь огненной магией. По всем вопросам пишите в Telegram: @TemaBausov
23 комментариев
Форум →