Медицинский ИИ-робот Google сдал экзамен (или нет?)

Med-Palm — робот с искусственным интеллектом для медицинских материалов. Специально подготовлен для сдачи официального экзамена на получение медицинской лицензии в США (USMLE). В Соединенных Штатах все младшие врачи должны сдать этот письменный экзамен, состоящий из трех частей, прежде чем они смогут стать независимыми. В отличие от Google Bard и самый популярный ChatGPT OpenAI, Med-Palm, недоступны для общественности.

Хотя ИИ-бот чаще всего правильно отвечал на вопросы с несколькими вариантами ответов, исследователи с этим не согласны В статье на Природе Языковые модели, на которых основаны чат-боты, больше, чем знают врачи. Они пишут, что имеют высокую точность в отношении медицинских наборов данных вопросов и ответов, но показывают недостатки и ограничения в производительности моделей по сравнению с клиницистами. Даже с подсказками ввода, когда пользователь излагает свои инструкции в нескольких последовательных сообщениях чата, боты не дотягивают до человеческого опыта.

Исследователи учитывают, что производительность языковых моделей, лежащих, например, в основе Med-Palm, в будущем улучшится. «Понимание, поиск знаний и рассуждения улучшаются, когда масштаб модели и обучающие сигналы изменяются, что указывает на потенциальную полезность больших языковых моделей в медицине».

В феврале прошлого года OpenAI объявила, что ее чат-бот ChatGPT почти прошел такое же медицинское обследование. Приложение сдавало экзамен несколько раз, и его оценка варьировалась от 52 до 75 процентов. В то время исследователи отмечали, что бот часто давал нестандартные, но клинически правильные ответы.