Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон" (19-21 сентября 2023 г., Москва)"
Авторы:Сунь Чж., Хвостиков А.В., Крылов А.С., Крайнюков Н.
Сверхразрешение для гистологических целых слайдовых изображений
Аннотация:
Гистологические изображения служат важным инструментом в диагностике и лечении различных заболеваний. Однако получение изображений, демонстрирующих целые слайды исключительного разрешения, WSI, улавливая сложные текстуры и важные нюансы, может представлять собой сложную задачу, в первую очередь из-за необходимости использования дорогостоящего и сложного оборудования, опытного персонала и значительных затрат времени. Чтобы справиться с этой затруднительной ситуацией, важно разработать эффективную и точную основу для увеличения разрешения гистологических изображений целых слайдов. Существует несколько алгоритмов, используемых для сверхвысокого разрешения, включая алгоритмы на основе интерполяции, глубокого обучения и алгоритмы Байеса. После тщательного изучения и анализа доступных моделей и алгоритмов сверхвысокого разрешения мы пришли к выводу, что наиболее подходящим подходом для гистологических WSI будет тонкая настройка уже обученной модели Real-ESRGAN для реконструкции гистологических изображений и применения ее на основе патчей. Для гистологических WSI характерно наличие большого количества пустых участков, не содержащих ткани. Чтобы обойти влияние этих пустых областей на эффективность модели, мы фильтруем набор данных, используя информационную энтропию Шеннона. Кроме того, мы изменили структуру функции потерь, чтобы оптимизировать реконструкцию низкоуровневых деталей гистологических изображений. В этом исследовании мы настраиваем предварительно обученную модель Real-ESRGAN, используя набор данных гистологических изображений PATH-DT-MSU. Это позволило нам превзойти все ранее существовавшие модели с точки зрения восстановления деталей низкого уровня на гистологических изображениях WSI. Более того, без переобучения модели мы протестировали ее на дополнительных наборах данных гистологических изображений, тем самым доказав ее высокую генерализующую способность.