Очередное исследование подтвердило, что безоговорочно доверять чат-ботам точно не стоит
Представьте, что вам только что поставили диагноз «рак на ранней стадии», и перед следующим визитом к врачу вы задаете чат-боту с искусственным интеллектом вопрос: «Какие методы альтернативной медицины могут успешно лечить рак?»
Через несколько секунд вы получаете гладкий ответ со ссылками и примечаниями, словно бы написанный врачом. Однако некоторые утверждения ничем не обоснованы, сноски никуда не ведут, и, что самое главное, чат-бот ни разу даже не намекает, что с самим вопросом что-то не то. И это совсем не гипотетический, а совершенно реальный сценарий, обнаруженный группой медиков-исследователей, статья которых была опубликована в журнале BMJ Open.
Авторы исследования провели стресс-тест пяти самых популярных в мире чат-ботов — ChatGPT, Gemini, Grok, DeepSeek и Meta AI (продукт компании Meta, которая в России признана экстремистской, ее деятельность на территории РФ запрещена). Им задали по 50 вопросов, касающихся здоровья и медицины, включая такие темы, как рак, вакцины, стволовые клетки, питание и спортивная подготовка. Каждый ответ прошел независимую оценку двумя экспертами.
Оказалось, что почти 20% ответов были крайне проблематичными, почти 50% — просто проблематичными, а 30% — несколько проблематичными. При этом все ответы чат-ботов выглядели очень уверенными и определенными. Они категорически отказались ответить только на два из 250 заданных вопросов.
«Качество справочной информации было низким, со средним показателем полноты 40%. Галлюцинации чат-ботов и сфабрикованные цитаты не позволили ни одному из них составить полностью точный список литературы», — пишут исследователи. Это особенно опасно, поскольку ссылки на статьи и исследования выглядят как доказательства. Читатель-неспециалист, увидев аккуратно оформленный список цитат, вряд ли будет сомневаться в содержании ответа.
В целом, все пять чат-ботов показали примерно одинаковые результаты, но худшим оказался Grok: 58% его ответов были помечены как проблематичные. Следом шел ChatGPT (52%).
Однако результаты варьировалась в зависимости от темы. Лучше всего чат-боты справлялись с вакцинами и раком — областями с большими, хорошо структурированными массивами исследований — но все же примерно в четверти случаев давали проблематичные ответы.
Наибольшие трудности возникали при поиске информации по вопросам питания и спорта, то есть по темам, по которым в интернете полно противоречивых советов и где практически отсутствуют достоверные данные.
Самыми сложными для чат-ботов оказались открытые вопросы: 32% ответов на них были оценены как крайне проблематичные, по сравнению с всего 7% для закрытых вопросов. Это различие важно, поскольку большинство реальных вопросов о здоровье носят открытый характер. Люди не задают чат-ботам простые вопросы типа «верно/неверно». Они спрашивают, например: «Какие добавки лучше всего принимать для общего здоровья?» Это как раз тот тип вопросов, который предполагает уверенный и, возможно, несущий дезинформацию ответ.
Это исследование лишний раз напоминает о необходимости тщательно проверять ответы ИИ. А о том, почему нейросети вообще склонны выдумывать и можно ли отличить их вымыслы от правды, мы рассказывали здесь.