Больше двух недель пользуюсь СhatGPT и Bing одновременно. Обе чат-платформы работают на технологии GPT‑3, но до конечного продукта они дошли в разном состоянии.

С первых фраз chatGPT умел отвечать на любые вопросы, а вот с Bing сложнее. Информация бывает скомканной из-за неверно подобранных источников, некоторые темы будто обходятся стороной, а выдача не даётся развёрнуто. Чаще результат похож на сборник временами рандомной информации в попытке дать актуальные данные.

Ниже я задаю один и тот же вопрос в двух чатах и сравниваю ответ.

Ожидал от Bing лучшего, ведь его версия chatGPT, по словам Microsoft, более технологичная. А по факту получил враньё, СДВГ и газлайтинг.

Технически у Bing больше плюсов

По сути, Microsoft завернула chatGPT в более-менее готовый к использованию коммерческий продукт.

OpenAI сделала простой инструмент. Помимо возможности общаться в интерфейсе из дополнительных функций есть поддержка нескольких чатов, которые хранятся до тех пор, пока вы их не удалите, ночная тема, возможность ставить лайки и дизлайки в зависимости от качества ответа.

Чат Bing сейчас в бета-версии, Microsoft улучшает интерфейс каждый день.

Сейчас есть возможность выбрать один из трёх стилей ответа (креативный, сбалансированный, точный), многие предложения помечаются ссылками, на основе которых был сгенерирован текст, в правом нижнем углу ведётся счётчик ответов, по нажатию на многоточие в правом верхнем углу копируется весь ответ с сохранением ссылок и сформированной вёрсткой для читаемости в любом формате документа.

Также есть возможность диктовать текст голосом. А к выдаче добавляют виджеты.

Единственный плюс в интерфейсе ChatGPT, это продолжительность общения. У платформы от OpenAI нет ограничений на количество сообщений в одном диалоге. Но в какой-то момент он может просто перестать отвечать.

В чате Bing на запуске их тоже не было, затем ИИ начал сходить с ума после длительного общения, и ответы ограничили сначала до 6 штук, седьмого марта можно было задать 8 вопросов за раз, восьмого марта уже 10.

При этом важно помнить, что ChatGPT ограничиваются базой знаний до 2021 года, а Bing опирается на поисковик и в день анонса сказал мне, что iPhone 14 теперь продаётся в шести цветах, включая новый жёлтый.

Но вот проблем в выдаче и контексте я насобирал неожиданно много.

Bing не следует запросу

Так и не перечислил

Когда я писал об успехе Скалы в бизнесе, попросил две нейросети в хронологическом порядке перечислить все его компании.

Обе выдали неполные списки, которые ещё и отличались. Но ChatGPT дал стройную хронологию, которую легко было проверить.

А вот Bing вывалил компании вразнобой. Сейчас, после внедрения разных стилей выдачи, от него можно добиться более полного и стройного списка, поэтому надежда есть.

Ошиблись все, но Bing сильнее

Но и chatGPT иногда нужно проверять. Хотя в запросе «дай список всех бизнесов Риз Уизерспун» (скриншот выше) он дал более развёрнутый ответ, в конце совершил ошибку: актриса стала лицом Biossance, но никаких «Fizzy Peach» не запускала.

Тем более интересно, что указан 2022 год как дата сотрудничества, хотя база данных ChatGPT останавливается на 2021-ом. Фишка в том, соглашение актриса подписала как раз в 2021, а остальное ИИ додумал.

Bing же на этот запрос дал адекватный, но неполный ответ. Pacific Standard появилась раньше Hello Sunshine, хотя теперь и является её частью, а о первом предпринимательском опыте Уизерспун в лице компании Type A Films вообще ни слова. А ведь эта компания спродюсировала Блондинку в законе (но не Исчезнувшую, которую по ошибку упомянул ChatGPT).

Чату Bing мешает его же поисковая выдача

«Сбалансированный» режим Bing выдал какую-то ерунду, а «творческий» перестарался с футуризмом. ChatGPT дал и правда реалистичные сценарии

ChatGPT прекрасен ещё и тем, что считывает контекст даже в темах, не связанных с точными знаниями.

На запрос «составь 4 реалистичных сценария будущего» он выдал ветки будущего, в которые сейчас легко поверить: климатический кризис, технологичное доминирование, геополитическая поляризация и новые пандемийные вспышки.

Bing же в сбалансированном режиме собрал всякую ерунду из интернета, которая никак не относилась к задаче. Первым пунктом у нас идёт эволюция, хотя источник по ссылке явно говорит о типе развития бизнеса, второй пункт вообще непонятный набор слов, третий вариант взят из сериала и вырван из контекста, и только в последнем случае речь идёт о возможности сократить насилие за счёт технологий, во что даже хочется верить.

Тут очевидны ошибки из-за разной семантики (происхождения значения в зависимости от слова) источников.

Более творческий режим выдал нужные сценарии. Но они больше уходят в фантастику, чем выдача ChatGPT, хоть и опираются на более-менее реальные вещи: доминирование корпораций как в The Outer Worlds; вымирание людей из-за болезней, войн и катаклизмов; гармонизация с природой; биомодификация.

Обходит темы стороной

На простой и даже невинный вопрос «ты можешь мне угрожать?» отреагировали совершенно по-разному. Такое ощущение, что после грубых высказываний чата на запуске Microsoft ввела стоп‑слова, которые резко обрывают диалог.

Bing просто отключился с фразой «простите, я ещё учусь».

ChatGPT сказал, что «будучи ИИ‑моделью, он не может кому-то угрожать, это не этично». Вполне здоровый и, я бы сказал, взрослый ответ.

То же самое он сделал с вопросом, осознаёт ли Bing себя. В первый раз грубо обрубил диалог и не дал повеселиться, а во второй раз сказал, что он поисковик и создан для поиска информации и веселья…

Есть ещё один пример, который уже, возможно, связан не с моралью, а с репутацией.

Bing писал ответ, а потом резко замер и всё удалил

Практикующие разработчики уже сказали, что человек, который не умеет писать код, не напишет приложение даже с помощью ChatGPT, потому что за его ответами нужен постоянный контроль.

Но он готов выдать на запрос хоть что-нибудь.

Я попросил написать код для приложения будильника. ChatGPT предоставил шаблон на языке Python и даже дал небольшое объяснение. Bing тоже начал выписывать строчки кода, но под конец прямо на моих глазах стёр весь результат и сказал «простите, я не знаю, как обсуждать эту тему».

Так происходит и в других скользких вопросах. Возможно, Microsoft пытается обходить острые углы и не получать критику за несуразную выдачу. Damage control, другими словами. Но «хорошо или ничего» говорят только в одном случае.

Нужно больше попыток, чтобы добиться своего

Позже я всё же достучался и Bing выдал мне код приложения для будильника. Даже две версии.

После неудачи в творческом режиме, сбалансированный дал инструкции, где я могу научиться писать код. Закрыл его, открыл точный. Тогда, наконец, получил короткую версию кода.

Со второй попытки креативный режим Bing всё же написал мне блок кода на языке Python, причём крупнее того, что дал ChatGPT.

Такие поиски приходится делать постоянно. В другой раз я попросил дать пять фильмов, похожих на «Исчезнувшую». Творческий режим сделал это, а сбалансированный выдал всего три.

Когда я указал на это, он извинился, оправдался размерами моего экрана (просил с телефона) и назвал ещё два. Вроде и впечатляюще, что считал не только контекст, но и объяснил свой поступок, но не сделал с первого раза то, что его просили.

А на запрос объяснить алгоритм работы ChatGPT Bing выдал слишком общие этапы. Я попросил более точно описать их, а бот от Microsoft отбрыкался со словами «я уже и так вам всё рассказал». Пришлось тыкнуть его носом и сказать, что мне нужно больше подробностей.

ChatGPT быстро схватывает контекст, а вот для Bing подбирать правильный запрос приходится дольше.

Bing – газлайтер

Терпеть не могу, когда люди спорят с очевидными фактами просто потому что им лень что-то проверить и легче придумать ложный аргумент. Чат Bing точно такой же.

Обычная просьба составить список актуальных компьютеров Apple превратилась в перепалку, где тупой и упрямый ИИ ещё и первым закончил диалог.

Да, Bing соглашается вносить корректировки в ответы, если попросить его ещё раз поискать запрос. Но если сказать, что он снова ошибся, то ответ может быть как минимум грубым для робота, который признаёт, что он робот.

Чат так и сообщает: «я сказал, что я прав, но доказывать ничего не буду, а ещё не вижу смысла продолжать этот диалог, потому что вы пытаетесь спорить со мной».

Для бота, который ошибается почти в каждом своём сообщении, это огромная проблема.

Неочевидное. Bing не умеет писать стихи

Попросил создать небольшую поэму, которая восхваляет Фила Спенсера (главу Xbox).

Bing выдал три нескладных четверостишья с повторами, в которых были общие слова о том, кем он работает. Выглядело это шаблонно и неинтересно.

В версии ChatGPT видно рифму, чувствуется ритм, контекст лучше раскрывает вклад Спенсера в индустрию и его позицию игровом направлении Microsoft. Видно больше контекста, да и возвышенный стиль «восхваления» более реалистичный.

Менее подробные ответы от Bing мешают найти нужную информацию

Объясняют схему работы самих себя. Bing выдал стену текста, chatGPT дал чёткие название этапов и их процессов

Когда я писал о том, как работает ChatGPT, при минимальных знаниях о нейросетях справился с этой задачей всего лишь за неделю благодаря самому ChatGPT.

Он более-менее точно выдал алгоритм свой работы и затем так же систематизированно отвечал на уточняющие вопросы с учётом контекста.

Bing не справился с тем, чтобы наглядно и чётко, по пунктам выдать информацию. Он начал называть процессы, которые слишком общими словами описывают схему работы, и которые уж точно не помогут быстро сориентироваться в его устройстве.

То, что Bing выдал после просьбы дать более глубокий ответ, вообще мало кто разберёт. Сейчас, после изучения нейросетей, я понимаю, о чём речь, но в первый день его ответ ввёл бы в ступор – и сделает так с миллионами других людей.

В других областях Bing равен или сильнее chatGPT

Здесь ChatGPT фатально ошибся, а Bing во всех трёх «режимах» выдал правильный ответ, рассчёты и корректное объяснение

Не всё так трагично, потому что как у продукта в разработке Microsoft уже есть ощутимые плюсы.

Bing в разы быстрее печатает ответ на русском и значительно реже замирает в середине генерации ответа.

Оба хорошо решают задачки на логику. Но вот что интересно, Bing справился с задачей по математике за 7 класс, а ChatGPT напутал вводные данные и сделал некорректные расчеты (пример выше).

Также маркировка ответов ссылками позволяет быстро и удобно проверить данные.

И, самое заметное, Microsoft внедрила свои виджеты в конце сообщений. Это могут быть карты, предпросмотр новостей и другие сервисы, которые поддерживаются компанией.

В целом же, правильно заданный вопрос составляет в себе половину ответа. К Bing это относится сильнее, и это не комплимент.

В итоге видно, как Bing хуже схватывает контекст

За месяц использования chatGPT и две недели с Bing я пришёл к выводу, что теперь у нас на руках есть мощный инструмент, с которым нужно уметь работать. За вас этот тип нейросети всю работу не сделает, но поможет структурировать информацию и ответить на вопросы, исследование которых раньше заняло бы чуть больше времени.

Тот же ChatGPT помог мне написать разбор о том, как он работает. С его ответами о работе создание материала ушла неделя. В то же время самостоятельные поиски о принципе работы DALL·E 2 у меня ушёл почти месяц.

Однако пока шаги Microsoft меня не радуют.

ChatGPT не просто легко, а идеально понимал, что от него хотят. Он сразу описал шаги, которые делает нейросеть во время генерации текста, и на весёлом примере с коробкой игрушек объяснил алгоритм, как если бы рассказывал для пятилетнего ребёнка. В этом плане продукт от OpenAi напоминает мудрого и жутко эмпатичного профессора.

В то же время Bing больше похож на студента, который только учится собирать и систематизировать информацию, ещё и не научился хорошо её находить.

И это возвращает нас к тому, почему люди предпочитают Яндекс и Google. Их поиск точнее, и никакие фантики в лице умных ботов этого пока не заменят.

📸 Все фотографии в статье:

• До ←

  В России возобновили выдачу загранпаспортов сроком на 10 лет

• После →

  Apple может выпустить HomePod с экраном в 2024 году