Исследователи из Института Вейцмана в Рехове объявили о разработке ИИ-инструмента, который, анализируя фМРТ-сканы, с высокой точностью восстанавливает то, что человек действительно видит. По словам авторов, технология работает и в обратном направлении: по изображению того, что человек видит, можно предсказывать активность участника в мозге. Авторы подчёркивают, что цель проекта — помочь в изучении мозга и находить применение для людей с нарушениями, например при синдроме «запертого человека» или для реконструкции содержания снов.

Ключевые детали эксперимента: восемь добровольцев находились в фМРТ-сканерах высокого разрешения, им показывали примерно около 9 тысяч изображений, чтобы обучить модель распознавать связь между визуальным стимулом и мозговой активностью. Для обучения энкодера, который предсказывает активность мозга по изображению, понадобилось около 40 часов данных; декодер, ответственный за реконструкцию изображения, обучался на одном часе подходящих данных.

Новаторская особенность системы состоит в двойном подходе: энкодер предсказывает структуру и содержание изображения, после чего декодер реконструирует сам визуальный кадр. Такой синергетический цикл позволил получить более чёткие реконструкции по сравнению с ранними попытками. По замыслу учёных, энкодер и декодер обучаются совместно, чтобы параллельно улучшать оба элемента.

На практику учёные выходят с прагматичным предупреждением: в дальнейшем планируется работа над видео и звуком, а целью остаётся реконструкция того, о чём думает человек или что он видит во сне. Но подобная прогрессия неизбежно поднимает вопросы приватности и этики: может ли ИИ без согласия пользователя восстанавливать мысли или воспоминания.

Как отмечают независимые эксперты, результаты выглядят впечатляюще, но у подъёма технологий есть и тревожные стороны. Нейробиолог Томми Спраг из Калифорнийского университета подчёркивает риск того, что вскоре может появиться способ незаметно извлекать информацию о мышлении человека, превращая «150 лет научной фантастики» в реальность в ближайшее время.

Ранее исследователи уже применяли фМРТ для попыток воссоздания облаков образов: в исследованиях использовались данные как общедоступных фМРТ-наборов, так и наборов, полученных на сканерах с более высоким разрешением. В частности, участникам показывали сотни изображений, а затем сопоставляли активность мозга с визуальными стимулами.

По данным авторов, значительная часть обучающих данных — около 70 процентов — изначально не была связана с конкретными фМРТ-сканами тех, кто проходил исследование, что позволило расширить возможную базу навчания моделей. Конечная цель команды — расширить применение decodera и encoder и двигаться к более широкому спектру воспроизводимых образов, включая живые сцены и аудио, а также помочь понять мозг на более глубоком уровне.