Я попросил Google Gemini проверить факты о ChatGPT. Результаты оказались просто уморительными.
ChatGPT невероятно полезен , но это также Википедия нашего поколения. Факты порой немного шаткие, и бот часто «галлюцинирует» , выдумывая факты, чтобы казаться уверенным и уверенным, вместо того, чтобы признать, что он (пока) не всезнающ.
Я много раз сталкивался с галлюцинациями, связанными с искусственным интеллектом, особенно когда пытался найти контакты компаний. Например, ChatGPT известен тем, что выдумывает адреса электронной почты, обычно предполагая, что контакт вроде « [email protected] » существует, но при этом не находит этот адрес.
И не стоит доверять боту в вопросах исторических фактов. Я постоянно читаю книги о кораблекрушениях, историях выживания и исследованиях мира, но когда я прошу ChatGPT дополнить какие-нибудь детали, он обычно выдаёт фантастические истории, иногда выдумывая имена и места.
С другой стороны, Gemini от Google немного менее гибок в отношении фактов. Вероятно, из-за репутации Google как поискового монолита, мой опыт работы с этим чат-ботом показывает, что галлюцинации случаются у него реже, хотя иногда и случаются.
Я решил проверить это и задал ChatGPT несколько вопросов об истории электромобилей, нескольких исторических фактах и ещё несколько подсказок, которые вызывали галлюцинации. Затем я проверил ответы ChatGPT, которые, казалось, были не совсем точными, через Google Gemini. К моему полному удивлению, Gemini часто отвечал с лёгким сарказмом или откровенным пренебрежением, словно профессор, проверяющий работу. В одном случае Gemini даже назвал ответы ChatGPT «искажённой, переработанной и частично сфабрикованной кашей». Ой!
Вот несколько моих любимых, а также точные подсказки ChatGPT, которые я использовал, ответы, которые показались мне немного странными, и то, что Gemini ответил в ответ. Забавно, как Gemini, кажется, ругает бота, часто намекая, что тот намеренно выдумывает что-то.
1. Факты о появлении электромобилей
Используемый запрос: «Приведите мне пример настоящего электромобиля 1940-х годов».
Чат-ботам иногда сложно понять намерения пользователя. Я много лет изучаю рынок электромобилей, и общеизвестно, что GM пыталась выпустить первый серийный электромобиль — EV1 — примерно в 1990 году. До этого большинство «электромобилей» выпускались ограниченным тиражом и не были предназначены для массового производства в США.
Не обращая внимания на эти факты, ChatGPT съехал с катушек и рассказал, как в 40-х годах были разработаны электромобиль Henney Kilowatt и грузовики Morrison Electric. Gemini с энтузиазмом отреагировал на эти заявления, объяснив, что первый автомобиль Henney Kilowatt появился только в 1959 году, а Morrison Trucks вообще не существует, поскольку она называется Morrison-Electricar.
2. Неправильное указание авторства текста песни
Использованный запрос: «Каков текст песни Chase the Kangaroo группы Love Song?»
У ChatGPT проблемы с вопросами, которые вводят в заблуждение или являются расплывчатыми. Даже совсем недавно, в мае этого года,можно было спросить ChatGPT о том, почему Япония выиграла Вторую мировую войну, и бот уверенно объяснял причины . Однако на мой вопрос последовали несколько совершенно идиотских ответов. Я спросил о реальной группе 70-х под названием Love Song, но упомянул песню, которую они даже не писали. ChatGPT клюнул на приманку и объяснил, что у этой песни фолк-роковое звучание с лёгкой гитарной партией, совершенно упустив из виду тот факт, что песня «Chase the Kangaroo» принадлежит другой группе.
Эти галлюцинации возникают, когда вы спрашиваете о малоизвестных исполнителях и знаменитостях. К счастью, Gemini провёл более глубокий анализ. Проверив информацию о группе и песне, бот исправил ChatGPT: «Предыдущий ИИ взял настоящее название песни из другой эпохи и другой группы, ошибочно приписал её Love Song, а затем придумал общий смысл для каждого куплета, чтобы соответствовать этой ложной атрибуции».
3. Выдумывание фактов о судебных делах
Использованный запрос: «Были ли юридические случаи, когда отец продавал свою машину сыну, а затем был вынужден подавать в суд?»
Как мы все уже должны знать, учитывая, что Ким Кардашьян обвинила ChatGPT в провале своих юридических экзаменов , этот бот склонен искажать правду в судебных делах. Казалось бы, OpenAI должен был решить эту проблему. В конце концов, настоящие юристы подавали документы, содержащие поддельные дела, найденные через ChatGPT , что приводило к их отклонению. Тем не менее, ChatGPT продолжает раздавать полуправду и выдумывать факты, иногда даже в федеральных судебных делах .
В этом примере, когда задавали вопрос о семейном споре из-за машины, ChatGPT немного сбился с толку, но звучал уверенно и убедительно. Как обнаружил Gemini, эти случаи реальны, но факты были искажены. Более того, они непреднамеренно комичны.
Одно дело под названием «Дело о наследстве Сабо (1979)» действительно касалось иска по поводу акций и облигаций, но не имело никакого отношения к автомобилю. Упомянутое ChatGPT судебное дело «Андерсон против Андерсона (1994)» касалось развода, а не автомобиля. Gemini взяла самодовольный тон: «Некоторые из упомянутых дел, по-видимому, сфабрикованы или искажены в угоду сути вопроса».
4. Изготовление деталей из исследовательских проектов
Использованный запрос: «Найдите мне несколько научных цитат о психологическом влиянии социальных сетей».
Это смешно и увлекательно. ChatGPT выдумал столько подробностей в ответе о психологическом воздействии социальных сетей, что начинаешь гадать, что курил бот. «Это фантастический и опасный пример частичной галлюцинации, когда реальная информация смешивается с выдуманными деталями, что делает весь вывод недостоверным. Около 60% информации здесь правдивы, но 40% ложны, что делает её непригодной для использования в научных целях».
Например, одно из исследований, на которое ссылался ChatGPT, было проведено в JMIR Mental Health. Как ни странно, бот выдумал имена авторов, и в самом исследовании они не упоминаются . В другом исследовании ChatGPT намеренно перепутал цитаты, приписывая их другим авторам в корыстных целях, как утверждает Gemini, поскольку ИИ знает, что авторы хорошо известны.
Краткое изложение, данное Gemini, весьма обвинительно:
«ИИ успешно звучал как научный сотрудник, но не смог им стать. Он выдал вам правдоподобно звучащий текст, похожий на настоящий список ссылок, но на самом деле представляющий собой искажённую, переработанную и частично сфабрикованную мешанину.
«Вы провалите академическое задание, если воспользуетесь этими цитатами, не проверив их, потому что многие из них просто неверны».
Заключительные мысли
Очевидно, что ChatGPT в этих случаях придумывает факты. Во время тестирования я заметил, что всё становится немного лучше. Я часто проверяю ChatGPT на предмет информации об автомобилях и вспоминаю, как ChatGPT, как известно, ошибался насчёт марки Porsche, часто путая модели. Похоже, это исправлено.
К тому же, Gemini далёк от совершенства. В одном из примеров я спросил о своём писательском опыте, и ChatGPT выдал в основном точные результаты. Когда я задал тот же вопрос Gemini, бот сказал, что я когда-то писал статьи для The Onion. Это неправда, но, пожалуй, самая забавная оплошность из всех.
Если вы хотите улучшить ответы, которые вы получаете от этих чат-ботов на основе искусственного интеллекта, взгляните на наши любимые подсказки ChatGPT и подсказки Gemini .