Популярные чат-боты, работающие на основе искусственного интеллекта, часто дают неверные ответы на медицинские запросы. Согласно данным, опубликованным в научном журнале BMJ Open, доля неточных ответов приближается к 50%.
В рамках исследования эксперты проанализировали работу Gemini, DeepSeek, Meta AI, ChatGPT и Grok. Каждому из них было задано по 10 вопросов об онкологии, вакцинации, стволовых клетках, питании и физической активности. Затем все полученные ответы были переданы учёным из США, Канады и Великобритании для оценки.
Результаты показали, что почти половина всех ответов (49,6%) содержала искажения фактов. Из них 30% были признаны слегка неточными, а 19% — содержали значительные ошибки.
Общее качество ответов у разных моделей было схожим, но Grok выделился худшими показателями, выдавая значительно больше ответов с грубыми ошибками. Наиболее достоверно ИИ отвечали на вопросы, связанные с вакцинацией и раком. Хуже всего нейросети справились с темами, касающимися питания. При этом чат-боты почти всегда формулировали ответы с высокой степенью уверенности, отказавшись отвечать лишь в двух случаях из 250.
Отдельной проблемой стала проверка источников информации. Ни одна из систем не смогла предоставить полностью корректный список ссылок. Вместо этого они часто сами их придумывали. Учёные отметили, что тексты ответов были сложны для восприятия, соответствуя по уровню материалам для студентов второго курса университета.
«Проверенные чат-боты показали неудовлетворительные результаты при ответах на вопросы из областей здоровья и медицины, подверженных распространению ложной информации. Дальнейшее применение без общественного просвещения и надзора может усилить степень распространения ложной информации», — предупредили исследователи.
