В Университете Иннополис разработали нейросеть, которая способна «научить» врачей правильно анализировать рентгеновские снимки. Новая модель способна предсказать траекторию взгляда опытного специалиста — на какие участки он обращает внимание, как долго их изучает и в какой последовательности.

Обычные диагностические нейросети часто цепляются за слишком тёмные или яркие пиксели — например, из‑за засветки кабинета или украшений на теле пациента. Новая модель от учёных Иннополиса опирается не только на «картинку», но и на медицинские данные: анатомию, диагностические признаки, клинические задачи. Она связывает пиксели не с яркими областями, а с медицинским смыслом: «кость», «сердце», «затемнение».

Для обучения использовали три типа данных: визуальные признаки от медицинских алгоритмов, текстовые метки (например, «норма» или «пневмония») и семантические описания. В итоге нейросеть предсказывает не просто тепловую карту внимания, а полноценную последовательность фиксаций взгляда как настоящий врач.

По словам руководителя лаборатории Ильи Першина, система на 5% точнее аналогов выявляет пневмонию и сердечную недостаточность. Но главная ценность модели не в том, чтобы заменить врача, а в том, чтобы научить будущих рентгенологов не просто видеть снимок, а правильно на него смотреть. Разработка может лечь в основу обучающих симуляторов.

Результаты работы представлены на престижной конференции NeurIPS.