Национальный научный фонд США выделил грант в 1,18 млн долларов Университету Индианы на исследовательский проект по защите научных работ от рисков, связанных с использованием ИИ-моделей с открытым исходным кодом. Средства планируется направить на формирование методик оценки угроз и создание патчей для широко применяемых открытых инструментов в науке — от медицины до астрономии.

Растущая зависимость научного сообщества от открытых ИИ-инструментов порождает новые типы угроз: от утечек конфиденциальной информации и краж интеллектуальной собственности до внедрения скрытых механизмов (backdoors) и вредоносных инструкций в запросы к моделям. Руководитель проекта Сагар Самтани отмечает, что открытость кода — и ключевая сила, и источник уязвимостей, потому что обучение моделей часто требует обработки больших массивов изменяемых данных из разных областей.

Стратегия проекта рассчитана на три этапа: сначала исследователи выделят наиболее популярные в академическом сообществе открытые ИИ-модели и нанесут на карту их слабые места; затем создадут инструменты с элементами искусственного интеллекта, помогающие оценивать риски, выбирать более защищённые замены и генерировать исправления. В тестировании будет задействована платформа Jetstream2 — национальный облачный сервис NSF для науки и инженерии, обслуживающий сотни федеральных проектов.

К работе привлечены специалисты по кибербезопасности из нескольких подразделений вуза и OmniSOC — Объединённого центра киберопераций для высшего образования, базирующегося на кампусе. Самтани подчеркнул необходимость гарантий, что ИИ-модели, применяемые в исследованиях, не выполняют нелегитимных действий и не передают интеллектуальную собственность третьим лицам.