- GazeGNN: нейронная сеть, управляемая взглядом, для классификации болезней (arXiv)
Автор: Бин Ван, Хонги Пан, Армстронг Абоа, Чжэюань Чжан, Ахмет Четин, Дрю Торигян, Барис Тюркбей, Элизабет Крупински, Джаярам Удупа, Улас Багчи. »
Аннотация: Применение методов отслеживания движения глаз в анализе медицинских изображений становится все более популярным в последние годы. Он собирает шаблоны визуального поиска экспертов предметной области, содержащие много важной информации о здоровье и болезнях. Поэтому вопрос о том, как эффективно интегрировать паттерны взгляда радиологов в диагностический анализ, становится критическим. Существующие работы обычно преобразуют информацию взгляда в карты визуального внимания (VAM) для наблюдения за процессом обучения. Однако эта трудоемкая процедура затрудняет разработку сквозных алгоритмов. В этой работе мы предлагаем новую нейронную сеть, управляемую взглядом (GNN), GazeGNN, для выполнения классификации заболеваний на основе медицинских сканирований. В GazeGNN мы создаем унифицированный граф представления, который моделирует информацию как об изображении, так и о шаблоне взгляда. Следовательно, информация о взгляде используется напрямую, без преобразования в VAM. Благодаря этому преимуществу мы впервые разрабатываем алгоритм сквозной классификации заболеваний в режиме реального времени и избегаем шума и затрат времени, возникающих во время подготовки к VAM. Насколько нам известно, GazeGNN — первая работа, использующая GNN для интеграции данных изображения и взгляда. Наши эксперименты с общедоступным набором данных рентгенографии органов грудной клетки показывают, что предлагаемый нами метод демонстрирует наилучшую эффективность классификации по сравнению с существующим методом.
2. Исследование биомаркеров с использованием множественных измерений мозга от МРТ до XAI в классификации болезни Альцгеймера (arXiv)
Автор: Давид Колуцци, Валентина Бордин, Массимо Вальтер Ривольта, Игорь Фортель, Лян Чжан, Алекс Леоу, Джузеппе Базелли.
Резюме: Болезнь Альцгеймера (БА) является ведущей мировой причиной деменции, состояния с прогрессирующим ухудшением, приводящим к высоким показателям госпитализации и смертности. Чтобы оптимизировать процесс диагностики, многочисленные усилия были направлены на разработку подходов глубокого обучения (DL) для автоматической классификации AD. Однако их типичная схема «черного ящика» привела к низкому доверию и редкому использованию в клинических рамках. В этой работе мы предлагаем две современные модели DL, обученные соответственно на структурной МРТ (ResNet18) и матрицах связности мозга (BC-GCN-SE), полученных из данных диффузии. Первоначально модели оценивались с точки зрения точности классификации. Затем результаты были проанализированы с использованием подхода объяснимого искусственного интеллекта (XAI) (Grad-CAM) для измерения уровня интерпретируемости обеих моделей. Оценка XAI проводилась по 132 участкам мозга, извлеченным из комбинации атласов головного мозга Гарварда-Оксфорда и AAL, и сравнивалась с хорошо известными патологическими областями для измерения приверженности знаниям предметной области. Результаты выявили приемлемую эффективность классификации по сравнению с существующей литературой (ResNet18: TPRmedian = 0,817, TNRmedian = 0,816; BC-GCN-SE: TPRmedian = 0,703, TNRmedian = 0,738). По оценке с помощью статистического теста (p ‹ 0,05) и ранжирования наиболее релевантных участков (первые 15%), Grad-CAM выявил вовлечение целевых областей мозга как для моделей ResNet18, так и для моделей BC-GCN-SE: медиальная височная доля и сеть режима по умолчанию. Полученные возможности интерпретации не были без ограничений. Тем не менее, результаты показали, что комбинирование различных методов визуализации может привести к повышению эффективности классификации и надежности модели. Это потенциально может повысить доверие к моделям глубокого обучения и способствовать их широкому применению в качестве вспомогательных диагностических инструментов.
