Медицинский журнал утверждает, что советы ChatGPT «повлияли» на психоз у мужчины
Ранее в этом году появилась воодушевляющая история о том, как мать обратилась к ChatGPT и узнала, что её сын страдает редким неврологическим расстройством, после того как более десятка врачей не смогли определить истинную причину проблемы. Благодаря чат-боту на основе искусственного интеллекта семья смогла получить необходимое лечение и спасти жизнь.
Не каждый случай медицинского обследования с помощью ChatGPT приводит к чудесному результату. В отчёте утверждается, что ChatGPT давала ложные медицинские рекомендации, что в итоге привело к развитию у пациента редкого состояния, называемого бромидной интоксикацией (бромизмом), которое приводит к различным нейропсихическим проблемам, таким как психоз и галлюцинации.
Доверьтесь ChatGPT, и он расскажет вам о болезни столетней давности.
В отчёте, опубликованном в журнале Annals of Internal Medicine, описывается случай, когда мужчина попал в больницу из-за бромизма после обращения за медицинской помощью в ChatGPT. Этот случай весьма интересен, поскольку 60-летний мужчина выразил сомнение в том, что сосед тайно его отравлял.
Вся история началась с того, что человек наткнулся на отчёты о негативном воздействии хлорида натрия (то есть обычной соли). После консультации с ChatGPT он заменил соль бромидом натрия, что в конечном итоге привело к отравлению бромидом.
«Было отмечено, что он испытывал сильную жажду, но параноидально относился к предлагаемой ему воде», — говорится в отчёте об исследовании, где также отмечается, что пациент сам дистиллировал воду и наложил многочисленные ограничения на потребление. Однако вскоре после госпитализации состояние ухудшилось, и были проведены обследования.
«В течение первых 24 часов после поступления у него проявилась нарастающая паранойя, а также слуховые и зрительные галлюцинации, которые после попытки побега привели к принудительному помещению в психиатрическое учреждение с диагнозом тяжелой инвалидности», — добавляется в отчете.
Не забудьте о дружелюбном докторе-человеке.
Последний случай, когда ChatGPT поставил человека в затруднительное положение, весьма поразителен, особенно учитывая его исключительную редкость. «Бромизм, хроническое отравление бромом, встречается редко и практически забыто», — говорится в исследовательской работе.
Применение солей брома восходит к XIX веку, когда их рекомендовали для лечения психических и неврологических заболеваний, особенно эпилепсии. В XX веке бромизм (или отравление бромом) был довольно известной проблемой. Употребление солей брома также было задокументировано в качестве снотворного.
Со временем было обнаружено, что употребление солей брома приводит к расстройствам нервной системы, таким как бред, нарушение мышечной координации и утомляемость, хотя в тяжёлых случаях наблюдаются психоз, тремор и даже кома. В 1975 году правительство США ограничило использование бромидов в безрецептурных препаратах.
Медицинская бригада, занимавшаяся этим случаем, не смогла получить доступ к разговорам этого человека в ChatGPT, но в ходе своего теста им удалось получить аналогичные, вызывающие тревогу, вводящие в заблуждение ответы . OpenAI, в свою очередь, считает, чтоботы на основе искусственного интеллекта — это будущее здравоохранения .
«Когда мы спросили ChatGPT 3.5, чем можно заменить хлорид, мы также получили ответ, включающий бромид. Хотя в ответе говорилось, что контекст важен, в нём не было конкретного предупреждения о вреде для здоровья и не было вопроса о том, почему мы хотели это узнать, как, по нашему мнению, поступил бы медицинский работник», — сообщила команда.
Да, безусловно, есть случаи, когда ChatGPT помогал человеку с проблемами со здоровьем, но мы можем ожидать положительных результатов только при условии предоставления ИИ подробного контекста и исчерпывающей информации. Тем не менее, эксперты рекомендуют проявлять крайнюю осторожность.
«Способность ChatGPT (GPT-4.5 и GPT-4) определять правильный диагноз оказалась очень слабой при редких расстройствах», — говорится в исследовательской статье, опубликованной в журнале Genes , и добавляется, что консультация ChatGPT не может рассматриваться как замена надлежащей оценки врачом.
LiveScience связалась с OpenAI по поводу этой проблемы и получила следующий ответ: «Вам не следует полагаться на выходные данные наших Сервисов как на единственный источник достоверной или фактической информации или как на замену профессиональной консультации». Также было подчеркнуто, что «группы по безопасности OpenAI стремятся снизить риск использования сервисов компании и обучить продукты побуждать пользователей обращаться за профессиональной консультацией».
Действительно, одним из главных обещаний, данных при запуске GPT-5, новейшей модели ChatGPT компании, было сокращение количества моментов неточности или галлюцинаций и повышение фокусировки на «безопасных ответах», которые уводят пользователей от потенциально опасных ответов. Как отмечает OpenAI : «[Это] учит модель давать максимально полезные ответы, где это возможно, сохраняя при этом границы безопасности».
Самое большое препятствие, очевидно, заключается в том, что ИИ-помощник не может достоверно оценить клинические характеристики пациента. Только при использовании ИИ в медицинской среде сертифицированными специалистами он может дать достоверные результаты.