Учёные Массачусетского технологического института (MIT) совместно с сотрудниками Массачусетской общей больницы и Гарвардской медицинской школы представили новую модель искусственного интеллекта под названием FleXray. Она автоматически выделяет на рентгеновских снимках 60 анатомических структур — от ребер и позвонков до костей таза и конечностей. В рамках тестирования на 213 снимках рентгеноскопии добавление разметки FleXray к алгоритму совмещения с КТ привело к снижению медианной ошибки с исходных 335 мм до 1,2 мм и снизило долю неудачных попыток с 86% до 13%. Эти цифры отражают существенное улучшение точности сопоставления рентгеновских данных с трёхмерной моделью организма.

Рентгеноскопия даёт изображения в реальном времени, что полезно во время операций, тогда как КТ строит трёхмерную картину внутренних структур. Совмещение двух источников данных позволяет определить положение объектов на снимке в объёме более надёжно, что важно для точного наведения инструментов и планирования вмешательств.

FleXray способен работать с различными областями тела и под разными углами обзора — как для взрослых, так и детей, включая рентгенограммы и кадры рентгеноскопии. Для обучения применялись размеченные КТ с синтетически созданными рентгеновскими изображениями, после чего в процесс добавлялись реалистичные характеристики снимков: шум, вариации экспозиции, метки и аннотации. В основе лежит свёрточная нейросеть U‑Net, а точность может повышаться за счёт объединения предсказаний пятерки моделей.

Исследователи отмечают, что на восьми независимых наборах реальных снимков FleXray достиг среднего коэффициента Dice 0,875, что оценивает совпадение выделенных областей с эталонной разметкой. При этом по итогам сравнения универсальные модели превзошли некоторые специализированные решения — PAXray, TotalSegmentator2D и FluoroSAM, однако отдельные nnU‑Net-системы, обученные на каждом наборе данных отдельно, показали более высокий средний результат — 0,914.

Разметку FleXray можно использовать и для автоматических измерений: так, при оценке сколиоза модель определяла угол Кобба со средней абсолютной ошибкой 5,13° против 6,38° у TotalSegmentator2D, причём результат был получен на всех 218 снимках тестового набора без специального обучения для этой задачи. Авторы также отмечают перенос модели на новые задачи: с ограниченным количеством размеченных данных FleXray улучшает сегментацию детской анатомии таза и обнаружение костных опухолей.

Обработка данных осуществляется непосредственно на устройстве пользователя через WebGPU; при отсутствии поддержки эта задача выполняется с помощью WebAssembly.