Компьютерное зрение в медицине

Крупная международная фармацевтическая компания, разрабатывающая лекарства от онкологических, психиатрических, неврологических и других заболеваний.

Целью пилотного проекта была оценка реализуемости машинного анализа гистологических снимков для диагностики воспалительных заболеваний кишечника, в частности болезни Крона. Данный процесс обычно требует существенных затрат рабочего времени специалиста по лабораторной диагностике; автоматизация позволила бы снизить эти издержки.

На входе у нас было 1500 результатов биопсий с метаданными. Снимки были окрашены гематоксилином и эозином (H&E) и размечены экспертом-гистологом.

Нам нужно было разработать систему, которая автоматически присваивает новым снимкам метки классов. Эти метки соответствуют патологическим состояниям в соответствии с Глобальной шкалой гистологической активности (Global Histology Disease Activity Score, GHAS). Система GHAS определяет множество компонентов оценки, но в рамках нашего проекта мы реализовали лишь три из них:

• повреждение эпителия,
• инфильтрация моноядерных клеток в собственную пластинку (lamina propria, или LP) слизистой оболочки,
• инфильтрация полиморфоядерных клеток в собственную пластинку (LP).

Наше решение включает три компонента:

1. Семантическая сегментация: определение на снимке регионов, представляющих интерес. Прежде чем оценивать LP, нам нужно было сначала найти её на снимке. Для этого мы использовали тренировочную выборку, где LP была отмечена вручную, для обучения свёрточной нейросети (CNN) на основе архитектуры U-Net. В дальнейшем эта нейросеть использовалась для нахождения LP на остальных биопсиях. После этого другая нейросеть использовалась для нахождения отдельных клеточных ядер и обнаружения повреждений эпителия.
2. Выделение характерных признаков: процесс представления обнаруженных регионов в виде цифровых векторов, которые в дальнейшем можно классифицировать. Мы использовали для этого сеть ResNet, предобученную на датасете ImageNet. Данный подход мы применили для всех трёх компонентов оценки, отличались лишь выборки, использовавшиеся для обучения сети. Из LP случайным образом извлекались квадратные фрагменты вокруг эпителиальных ядер; эти фрагменты использовались в качестве входных данных для выделения признаков. Векторы отдельных признаков затем собирались в единый вектор признаков, который передавался в конечный классификатор.
3. Классификация. У нас было три классификатора, по одному на каждый компонент оценки: повреждение эпителия, моноядерные клетки в LP и полиморфоядерные клетки в LP. Каждый классификатор представляет собой простую полносвязную нейронную сеть.

В разработке использовались следующие библиотеки Python: Keras, Tensorflow, openslide, scikit-learn.

Для оценки качества работы нейросети использовалась F1-мера, которая может принимать значения от 0 до 1 (чем больше, тем лучше). В нашем случае для каждого компонента оценки взвешенная F1-мера составляет 0.76-0.81, что говорит о хорошем результате анализа снимков нейросетью.

Мы показали, что автоматизация оценки гистологических слайдов технически осуществима и целесообразна. В дальнейшем можно повысить точность оценки и приблизиться к тому, чтобы система использовалась в качестве «независимого второго мнения» (second opinion).