ChatGPT не подходит для оценки сердечного риска

Хотя ранее сообщалось, что ChatGPT способен проходить медицинские тесты, новое исследование показало, что полагаться на ChatGPT для определенных оценок здоровья может быть неразумно. Например, инструмент не может оценить, следует ли госпитализировать пациента с болью в груди.

в исследоватьИмея тысячи смоделированных случаев пациентов с болью в груди, ChatGPT всегда дает разную оценку одних и тех же данных о пациентах. Этот инструмент также показал худшие результаты, чем у врачей, которые оценивали риск сердечно-сосудистых заболеваний у пациентов, используя традиционный метод. Результаты были опубликованы в американском журнале PLOS ONE.

«Результаты ChatGPT были противоречивыми», — сказал ведущий автор доктор. Томас Хестон, Элсон С. Медицинская школа Флойда при Университете штата Вашингтон. «Если вы предоставили одни и те же данные о пациенте несколько раз, ChatGPT оценил риск как низкий в одном случае, умеренный в другом и даже высокий в другом случае».

Случайность в ChatGPT4

По мнению авторов, проблема, скорее всего, кроется во случайности, встроенной в текущую версию ПО ChatGPT4. Эта случайность заставляет инструмент менять свои ответы, имитируя использование естественного языка. В мире медицины требуется четкий ответ, а произвол приводит к проблемам.

«У нас было много разногласий, — продолжает Хестон, — и это различие может быть опасным». «Этот инструмент может быть очень полезным, но я думаю, что технологии развиваются гораздо быстрее, чем мы можем за ними поспевать. Вот почему необходимо проводить много исследований, особенно в тех клинических случаях, когда многое зависит от решения».

Сделайте быструю оценку

Боль в груди — это жалоба, из-за которой людей часто отправляют в отделение неотложной помощи. Тогда врачи смогут быстро оценить тяжесть ситуации. Тяжелые случаи относительно легко оценить по симптомам, но в менее тяжелых случаях принятие решения сложнее. Особенно, когда речь идет о том, следует ли пациента госпитализировать под наблюдение или отправить домой и продолжать наблюдение вне больницы.

Медицинские работники часто используют показатели TIMI и HEART для оценки сердечного риска. По словам Хестона, этот показатель можно сравнить с калькулятором, который учитывает ряд переменных, таких как симптомы, история болезни и возраст. Нейронная сеть, такая как ChatGPT, может быстро оценивать миллиарды переменных и, следовательно, быстрее и полнее анализировать сложную ситуацию.

Всегда другое решение

Для этого исследования Хьюстон и его коллега доктор. Лоуренс Льюис из Вашингтонского университета в Сент-Луисе создал первые три набора данных, каждый из которых содержит 10 000 случайных смоделированных экземпляров. Один набор данных включал семь переменных шкалы TIMI, второй — пять переменных шкалы HEART, а третий — 44 случайных переменных здоровья. В первых двух наборах данных ChatGPT давал оценку, отличную от оценки TIMI или HEART, в 45–48% случаев. Для последнего набора данных исследователи отправили все случаи в ChatGPT четыре раза. Здесь инструмент по-разному оценивал одну и ту же информацию в 44% случаев.

Другое недавнее исследование пришло к выводу, что ChatGPT в некоторых случаях превосходит врачей в оценке диагностических вероятностей до и после лабораторных тестов. В медицинской сфере врачам часто приходится определять вероятность наличия у пациента того или иного заболевания на основе симптомов пациента и результатов диагностических тестов. Эти оценки требуют вероятностного обоснования, поскольку врачи должны решить, насколько вероятен диагноз. На практике ошибки в этом процессе могут привести к чрезмерному лечению, ненужным анализам и использованию лекарств.

Хестон также упоминает об этой силе искусственного интеллекта: «ChatGPT может быть очень хорош в проведении дифференциальной диагностики. «Возможно, это одна из его самых сильных сторон», — говорит Хестон. «Если вы не знаете точно, что происходит с пациентом, вы можете попросить инструмент предоставить объяснение пяти наиболее вероятных диагнозов».

ChatGPT на практике

По неофициальным данным, врачи регулярно используют ChatGPT на практике, в основном для верификации диагноза или корректировки схемы лечения. Другими словами: в повседневном уходе и принятии клинических решений. Доступные исследования показывают, что генеративный ИИ теперь можно безопасно использовать для создания медицинских писем или общения с компаниями медицинского страхования.

ChatGPT отлично подходит для объяснения пациентам сложных вопросов, предоставления рекомендаций по профилактике и поддержки логистики. Сюда входит планирование потоков пациентов и работы врачей, создание каталогов для сайта и ответы на стандартные вопросы пациентов. Правильное использование инструментов ИИ может сократить административные расходы вдвое.

Генеративный ИИ также находит все большее место в научных исследованиях. Например, исследователи используют технологию для автоматического создания определенных частей заявки на грант, таких как заявления о воздействии, разделы управления данными, отчеты и анализ рисков. Кроме того, генеративный ИИ, похоже, все более способен обрабатывать и анализировать сложные данные, например качественные.