Исследователи представили TAMJISTROKE — прозрачную гибридную экспертную систему, предназначенную для локализации инсультов на основе анализа клинических записей. Система сочетает обработку текста с помощью больших языковых моделей (LLM) и логическое обоснование. В ходе наблюдательного исследования были проанализированы деидентифицированные выписные эпикризы из базы данных MIMIC-IV. TAMJISTROKE представляет собой трехслойный модульный конвейер, который интегрирует структурированное извлечение симптомов на основе LLM из жалоб пациентов и данных неврологического осмотра с определением региональных поражений и сосудистых территорий на основе правил и баллов.
Результаты исследования и точность системы
В исследовании было рассмотрено 367 случаев ишемического инсульта. Производительность системы оценивалась по показателям точности, чувствительности, специфичности и F1-меры, а также с помощью структурированного анализа ошибок. Система TAMJISTROKE продемонстрировала высокие функциональные результаты. Локализация поражений в отделах головного мозга оказалась более сложной задачей, показав точность 0,71, чувствительность 0,73, специфичность 0,70 и F1-меру 0,51. Система лучше справлялась с определением поражений в полушариях мозга, чем в задней черепной ямке.
Прогнозирование поражения сосудистых территорий показало высокие результаты: точность составила 0,97, чувствительность — 0,93, специфичность — 0,98. Микроусредненная F1-мера достигла 0,93, а макроусредненная — 0,61. Для сравнения, наивный базовый метод показал микроусредненную F1-меру 0,87 и макроусредненную — 0,19. Однако и в этом случае случаи инсультов в задней черепной ямке показали более низкие результаты. Анализ отдельных случаев подтвердил общие результаты, полученные в ходе испытаний.
Анализ ошибок и потенциал применения
Анализ ошибок выявил, что основной причиной неточностей является неоднозначная или слишком общая документация в клинических записях. Исключение таких случаев в последующем анализе привело к улучшению показателей производительности по всем сосудистым территориям. Комбинируя структурирование симптомов на основе LLM с логическим определением локализации, эта мультимодульная система достигла воспроизводимой локализации инсультов по реальным клиническим записям. Это подчеркивает ее потенциальную полезность для образовательных целей, ретроспективного клинического анализа и научных исследований.
Источник: Neuroscience : nature.com subject feeds
