Не только Google владеет общедоступным чат-ботом с искусственным интеллектом, но и Med-Palm с конца прошлого года. Этот медицинский центр вопросов искусственного интеллекта недавно сдал официальный вступительный экзамен в США для врачей. Однако исследователи из Nature пришли к выводу, что Med-Palm в настоящее время не заменяет врачей-людей.
Med-Palm — робот с искусственным интеллектом для медицинских материалов. Специально подготовлен для сдачи официального экзамена на получение медицинской лицензии в США (USMLE). В Соединенных Штатах все младшие врачи должны сдать этот письменный экзамен, состоящий из трех частей, прежде чем они смогут стать независимыми. В отличие от Google Bard и самый популярный ChatGPT OpenAI, Med-Palm, недоступны для общественности.
Два экземпляра Med-Palm сдали экзамен USMLE с результатами выше среднего. В среднем молодые врачи правильно отвечают на 60 процентов вопросов с несколькими вариантами ответов. Med-Palm дал более 67 процентов правильных ответов, а расширенная версия Med-Palm 2 — более 85 процентов. Однако второй тест был проведен без экспертной оценки.
недостатки
Хотя ИИ-бот чаще всего правильно отвечал на вопросы с несколькими вариантами ответов, исследователи с этим не согласны В статье на Природе Языковые модели, на которых основаны чат-боты, больше, чем знают врачи. Они пишут, что имеют высокую точность в отношении медицинских наборов данных вопросов и ответов, но показывают недостатки и ограничения в производительности моделей по сравнению с клиницистами. Даже с подсказками ввода, когда пользователь излагает свои инструкции в нескольких последовательных сообщениях чата, боты не дотягивают до человеческого опыта.
Исследователи учитывают, что производительность языковых моделей, лежащих, например, в основе Med-Palm, в будущем улучшится. «Понимание, поиск знаний и рассуждения улучшаются, когда масштаб модели и обучающие сигналы изменяются, что указывает на потенциальную полезность больших языковых моделей в медицине».
В феврале прошлого года OpenAI объявила, что ее чат-бот ChatGPT почти прошел такое же медицинское обследование. Приложение сдавало экзамен несколько раз, и его оценка варьировалась от 52 до 75 процентов. В то время исследователи отмечали, что бот часто давал нестандартные, но клинически правильные ответы.
«Сертифицированный телезритель. Вызывающе скромный зомби-ниндзя. Защитник кофе. Веб-эксперт. Решатель проблем».
More Stories
Означает ли Switch 2 конец своего предшественника?
Samsung решает проблему с динамиком с помощью обновления Tizen
CompTIA измеряет изменения в подходах к кибербезопасности в странах Бенилюкса