Нейросеть, созданная для распознавания потенциально технологических сигналов внеземной цивилизации, оказалась неспособной надёжно разделять земные радиопомехи и реальные кандидаты. В итоге часть искусственно введённых маркеров технологии упускалась из внимания, а число ложных тревог достигал уровня, который ставит под сомнение всю методику без дополнительных фильтров и анализа. Эти результаты базируются на испытаниях на реальных данных радиотелескопа Грин-Бэнк и на специально подготовленной выборке с десятью типами помех и пятью степенями интенсивности. Источник: блок 0.

Автор сообщил, что в одном из тестов доля ложных срабатываний достигла 62,7%, тогда как базовая полнота обнаружения реальных сигналов составляла 55,25%. Такой баланс ложных тревог и пропусков подчеркивает ограничения модели на текущем этапе и ставит под вопрос общую надёжность метода без дополнительных фильтров и анализа. Источник: блок 1.

Проблема проявилась и при распознавании узких спектральных линий, которые должны были быть проще для модели. Например, она находила сигналы S-образной формы с полной обнаруживаемостью до 90%, но почти не отличала импульсные сигналы и рассеянные всплески от фона. При этом увеличение интенсивности не обязательно сопровождалось ростом полноты: иногда показатель падал даже для данного типа сигнала. Причину такого поведения автор пока не нашёл. Источник: блок 2.

Ограничение входных данных сыграло ключевую роль: классификатор видел только ON‑панели — записи при наведении на целевую звезду, и не имел доступа к OFF‑панелям, сделанным в стороне от цели. Именно сравнение ON и OFF позволяет определить, связано ли событие с направлением на звезду или это земная помеха. Поэтому сеть искала сходство с известными образцами, но не могла определить источник сигнала. Источник: блок 4.

Автор дополнительно проверил фильтр, сопоставляющий ON‑ и OFF‑наблюдения после временного усреднения. Для одного проблемного типа помех доля ложных срабатываний снизилась до 0,7%, однако фильтр отсеял почти все настоящие сигналы: осталось лишь 1,4% реальных и 1,2% помех. Таким образом, усреднение снизило тревожность, но привело к существенной потере полезных кандидатов и ослабило признаки дрейфующих сигналов, которые могли бы помочь в анализе. Источник: блок 5.