Что умеет ChatGPT и хорошо ли он пишет: проверяем на текстах журнала

ChatGPT — это чат-бот с искусственным интеллектом. Что-то вроде виртуального собеседника, который поддержит диалог, найдет ошибки в коде программиста, напишет стихи или предложит структуру для презентации. А сможет ли он написать текст в наш журнал?

Как тестировали

Протестировать сервис можно бесплатно на официальном сайте. Правда, в России он недоступен — понадобится VPN и телефонный номер зарубежного оператора, на который придет код подтверждения при регистрации.

Другой вариант — пообщаться с ChatGPT в одном из неофициальных ботов в Телеграме. Это бесплатно и не требует отправки личных данных. Платные функции есть в новой версии бота GPT-4 — оплачивайте их только через официальный сайт.

Мы выбрали шесть популярных тем из нашего журнала и задали нейросети тот же вопрос. Каждый ответ бота оценили по пятибалльной шкале по трем параметрам:

• точность — насколько ответ чат-бота соответствует реальности;
• полнота раскрытия материала — как много информации, связанной с ответом на вопрос, осталось за кадром;
• стиль — насколько легко и интересно читать текст чат-бота.

Помогает общаться со школьниками

В материале «От краша до кринжа: о чем говорят школьники» мы пообщались с ребятами 7–17 лет и попросили их объяснить, что означают загадочные слова вроде имбы и рофла. Получился мини-словарь, который поможет наладить диалог между поколениями.

ChatGPT справился с объяснением школьного сленга не хуже, но подошел к объяснению детских слов с обстоятельностью взрослого: если мы рассказывали об их значении языком школьников, то ChatGPT явно вдохновлялся Далем или Ожеговым.

ChatGPT не только объяснил суть, но и раскрыл историю термина и возможные контексты

• Точность: 5/5. Чат-бот ответил верно.
• Полнота: 4/5. ChatGPT раскрыл значение и происхождение слова, дал сразу несколько контекстов. Не хватило только примеров диалогов — в нашем тексте они были.
• Стиль: 4/5. Слишком академично — ребенок объяснит слово проще, а результат будет таким же.

Вердикт. Если услышите незнакомое слово, смело спрашивайте ChatGPT о его значении — объяснять термины нейросеть умеет.

Помогает экономить на продуктах

В журнале есть материал с рекомендациями, как правильно хранить хлеб, чтобы он дольше оставался свежим. В нем мы разобрались с важными вопросами о хлебе: почему он черствеет, откуда берется плесень, при какой температуре его хранить и зачем нужна хлебница.

ChatGPT попросили рассказать о том же. Он дал несколько хороших рекомендаций, но запутался в деталях и даже кое-где обманул: в холодильнике хлеб лучше не хранить, а заморозка продукту не навредит — даже наоборот, поможет сохранить дольше, если заморозить его свежим.

По крайней мере к трем последним рекомендациям у нас точно есть вопросы

• Точность: 2/5. Верные советы в ответе ChatGPT чередуются с откровенно вредными — не бойтесь класть свежий хлеб в морозильную камеру и помните, что без пакета он зачерствеет. А еще нейросеть почему-то решила, что хлебницы герметичны, хотя и через них тоже должен циркулировать воздух.
• Полнота: 4/5. Чат-бот не сказал много важного: через сколько дней портится хлеб в зависимости от вида, какие бывают хлебницы и как морозильник помогает хранить батоны и булки до трех месяцев.
• Стиль: 5/5. ChatGPT выдал список кратких и понятных рекомендаций — ничего лишнего и легко воспринимается.

Вердикт. Чат-бот собирает и перерабатывает информацию из интернета со всеми ее неточностями, поэтому доверяйте, но проверяйте.

Отвечает на давно мучившие вопросы

Например, почему окна домов светятся фиолетовым? В материале мы рассказывали, что это свет от ламп, объясняли, зачем они нужны и как ими пользуются.

ChatGPT с ответом на этот вопрос не справился: предположил, что дело может быть в источниках света, но не сказал ни слова о растениях и фитолампах. А еще он выдал такой скучный текст, что даже с верным ответом интереснее было бы оставаться в загадочном неведении.

Какой ты душный, ChatGPT!

• Точность: 2/5. Чат-бот пошел в верном направлении, но обошелся абстрактными предположениями и даже примеры возможных источников света привел неправильно.
• Полнота: 1/5. Увы, ответа на вопрос мы не получили.
• Стиль: 0/5. Результат получился скучным и полным повторов.

Вердикт. Подобные вопросы явно не конек чат-бота. Скорее всего, ChatGPT не понял, о чем речь, потому что не ходит по улицам и не заглядывает в окна жилых домов.

Проводит инструктаж по безопасности

За ответом на вопрос, можно ли оставлять технику включенной в розетку, когда уходишь из дома, мы обратились к инженеру.

Чтобы узнать, насколько экспертен ChatGPT, задали ему такой же вопрос. Он уловил суть, но велел на всякий случай всё отключать. Мы больше за здравый смысл: если устройство и блок питания качественные, можно не перестраховываться.

ChatGPT даже слишком мнительный — но по сути все верно

• Точность: 4/5. Чат-бот решил перестраховаться, но ошибок не допустил.
• Полнота: 5/5. В тексте были и ответ, и дополнительные советы. Например, чат-бот рассказал об умных розетках и упомянул, что многие устройства в сети даже в выключенном состоянии потребляют электроэнергию.
• Стиль: 4/5. Не зачитаешься, конечно, но ответ изложен доступно и понятно.

Вердикт. Чат-бот не допустил ошибок, но предполагаем, что нам повезло, — если вопрос касается безопасности, лучше всë перепроверить.

Разрушает старые мифы

Возможно, вы слышали, что Эйнштейн был двоечником, бананы растут на пальмах, а повторное кипячение отравляет воду? Все это — мифы. Последний был опровергнут еще в 1969 году.

Задали тот же вопрос ChatGPT — он был многословен, но с нашим выводом согласился. Кипятите спокойно.

Только первый абзац по делу

• Точность: 5/5. ChatGPT не допустил ошибок.
• Полнота: 5/5. Ответ оказался даже слишком полным — главное мы узнали в первых двух строчках, а дальше чат-бот начал объяснять, что всë-таки может испортить качество воды. Возможно, так отвечал бы очень увлеченный изучением воды эксперт.
• Стиль: 5/5. В начале ответа изложена суть, дальше список уточнений, а потом — подведение итогов. По некоторым формулировкам машину легко узнать, но над структурой будто бы поработал профессиональный редактор.

Вердикт. С развенчанием мифов чат-бот справляется отлично.

Подсказывает идеи для подарков

ChatGPT может предложить бесконечное количество идей подарков, но не факт, что они вам пригодятся. Проверили на примере списка подарков для автомобилиста.

Первым делом чат-бот предлагает подарить комплект инструментов. Неплохая идея, но мы с экспертом дали совет конкретнее: предложили подарить баллонный ключ и подкатной домкрат. Навигатор автомобилисту вряд ли пригодится — он есть в смартфоне. Комплект ковриков дарить скучно, а стиральная машина для автомобиля — это вообще что-то из мира нейросетей.

А в пятом пункте ChatGPT предложил купить сертификат на автомобильные услуги — формально подходит, но скучно

• Точность: 2/5. Сколько удачных идей, столько и баллов — засчитываем комплект инструментов и сертификат на автомобильные услуги.
• Полнота: 3/5. Чат-бот предложил идеи для подарков и даже объяснил, почему они понравятся получателю. Правда, информация в этих пояснениях очень уж очевидна — лучше бы ChatGPT подсказал, во сколько это обойдется, и предложил краткие инструкции по выбору того или иного подарка.
• Стиль: 5/5. Придраться не к чему.

Вердикт. Если совсем не знаете, что подарить, то можно просить ChatGPT предложить хоть тысячу вариантов — придется изучить много лишнего, но пара рабочих идей там найдется.

Итоги

Во многих сценариях ChatGPT пока ошибается и подводит. Особенно там, где нужна фантазия. Кроме того, при генерации ответов никто не несет за них ответственности — верить им, особенно если вопрос касался здоровья, может быть опасно. Поэтому пользоваться чат-ботом можно, но результаты лучше проверять.

При этом ChatGPT — классный инструмент, и в некоторых случаях он действительно может дать неплохой совет. Нам он, например, мог бы предложить темы для статей и даже помочь с контент-планом. А еще выдать черновик простого текста, с которым можно дальше работать: проверить факты, уточнить формулировки, привести примеры.

Авторам, редакторам, программистам и дизайнерам будет полезно работать с нейросетями. Как минимум чтобы придумывать новые идеи и экономить время.

На днях появилась новая версия нейросети — GPT-4, еще умнее: по словам разработчиков, чат теперь точнее отвечает на вопросы, более достоверно, тонко и креативно. Он научился распознавать, что изображено на картинках, дольше помнит переписку, лучше находит ошибки в коде и даже может сделать рабочий сайт по наброскам, вручную нарисованным на бумаге. GPT-4 пока доступен пользователям с платной подпиской ChatGPT Plus. Напишите в комментариях, какую задачу вы попробовали бы решить с помощью чата?