Новое исследование, проведенное в JAMA Internal Medicine, показало, что модель прогнозирования сепсиса, включенная в электронную медицинскую карту Epic, может плохо прогнозировать сепсис.
Используя ретроспективные данные, исследователи Медицинской школы Мичиганского университета обнаружили, что прогностический фактор не позволяет идентифицировать две трети пациентов с сепсисом.
«В этом внешнем валидационном исследовании мы обнаружили, что у ESM плохая дискриминация и калибровка при прогнозировании начала сепсиса на уровне госпитализации», – пишут исследователи UM.
Epic оспорила результаты исследования, заявив, что авторы использовали гипотетический подход, который не принимал во внимание анализ и требуемую настройку, которая должна произойти до реального развертывания для получения оптимальных результатов.
«В своей гипотетической конфигурации авторы выбрали низкое пороговое значение, которое было бы подходящим для группы быстрого реагирования, которая хочет развернуть широкую сеть для оценки большего числа пациентов», – говорится в заявлении компании.
«Более высокое пороговое значение, уменьшающее количество ложных срабатываний, было бы целесообразно для лечащих врачей и медсестер», – продолжает он.
ПОЧЕМУ ЭТО ВАЖНО
Как отмечают исследователи, раннее выявление и лечение сепсиса связано с меньшей смертностью госпитализированных пациентов.
Одной из наиболее широко применяемых систем раннего предупреждения о сепсисе в больницах США является ESM, модель логистической регрессии со штрафными санкциями, включенная в Epic’s EHR.
Хотя Epic разработала и проверила модель на основе данных 405 000 встреч с пациентами, исследователи выразили обеспокоенность по поводу ее непрозрачности как частной модели.
«Лучшее понимание того, насколько хорошо работает ESM, может помочь в оказании помощи нескольким сотням тысяч пациентов, госпитализированных по поводу сепсиса в США каждый год», – пишут исследователи.
Используя данные всех пациентов старше 18 лет, поступивших в Michigan Medicine с 6 декабря 2018 г. по 20 октября 2019 г., исследователи обнаружили, что сепсис произошел в 7% госпитализаций. Кривая рабочих характеристик ESM, или AUC, составляла 0,63 – «значительно хуже, чем у Epic», – сказали они.
При предупреждении при пороговом значении 6 или выше, что находится в пределах рекомендованного Epic диапазона, модель выявила только 7% пациентов с сепсисом, пропущенных клиницистом.
Он не выявлял две трети пациентов с сепсисом, несмотря на то, что предупреждал 18% всех госпитализированных пациентов, что создавало большое бремя утомляемости.
В своем заявлении Epic утверждала, что цель модели – выявить пациентов, которых труднее распознать, которые в противном случае могли бы быть пропущены. Он указал на предыдущее исследование, которое показало, что модель может точно предсказывать сепсис , и сказал, что клиенты «полностью прозрачны» в модели.
Согласно Epic: «Каждая система здравоохранения должна установить пороговые значения, чтобы сбалансировать ложноотрицательные и ложные срабатывания для каждого типа пользователей. Если задано уменьшение количества ложных срабатываний, она может пропустить некоторых пациентов, у которых может развиться сепсис. позволит поймать больше пациентов с сепсисом, однако для этого потребуется дополнительная работа со стороны системы здравоохранения, поскольку он также поймает некоторых пациентов, состояние которых ухудшается, но не развивается сепсис.
«В примере, приведенном в этой статье, если бы модель Epic использовалась в реальном времени, она, вероятно, выявила бы 183 пациента, которые в противном случае могли бы быть пропущены», – говорится в заявлении.
ПОЧЕМУ ЭТО ВАЖНО
Системы здравоохранения все чаще обращаются к машинному обучению и прогнозной аналитике для выявления сепсиса у пациентов с целью снижения смертности.
В 2019 году исследователи из Geisinger и IBM разработали новый алгоритм прогнозирования для выявления риска сепсиса , призванный помочь клиницистам разработать более индивидуальный план ухода за пациентами из группы риска.
Но исследование JAMA повторяет, что у моделей есть свои проблемы, такие как усталость от предупреждений или, наоборот, отказ от компьютерных оценок как безошибочных .
В ЗАПИСИ
«Медицинские профессиональные организации, разрабатывающие национальные руководства, должны осознавать широкое использование этих алгоритмов и давать официальные рекомендации по их использованию», – пишут исследователи.