Google и подразделение DeepMind объявили о создании DeepMind Institute — новой площадки, призванной активизировать обсуждение вопросов, связанных с сильным искусственным интеллектом (AGI). По заявлению организаторов, институт станет площадкой для рассмотрения различий в позициях Google, Google DeepMind и мирового сообщества по вопросам AGI, а мнения экспертов могут меняться по мере появления новых данных в стремительно развивающейся области.

В состав совета вошли соучредитель DeepMind Шейн Легг (Shane Legg) в роли выпускающего редактора, топ-менеджер Google Джеймс Маника (James Manyika) и Демис Хассабис (Demis Hassabis), возглавляющий Google DeepMind. Такие лица, по описанию института, должны помогать выявлять различия между подходами дочерних компаний и мировым сообществом к вопросам AGI и формировать рамки дискуссии и обмена мнениями.

Первая подборка работ института охватывает широкий круг вопросов: экономическую политику в условиях потенциальных потрясений, связанных с AGI, сохранение возможности отслеживать ход рассуждений модели в понятной форме для человека, принципы процветания человечества и методологию оценки передовых ИИ-моделей.

В одной из работ специалисты DeepMind отмечают, что сужение окна прозрачности — способности видеть пошаговый ход рассуждений модели — не обязательно произойдёт автоматически. Мониторинг самых мощных моделей становится сложнее с появлением новых архитектур, поэтому предлагается открыто обсуждать компромиссы в области безопасности: ограничить непрозрачную последовательную глубину вычислений или обязать разработчиков доказывать, что менее прозрачные системы остаются под контролем. Кроме того, предлагается рассмотреть систему стандартов оценки, которая может стать обязательной для развёртывания передовых моделей в США, если её эффективность будет доказана.

Ряд предложений предполагает создание organ стандартизации передовых систем ИИ, чтобы разработчики добровольно предоставляли свои системы за 30 дней до выпуска; по итогам тестирования будут вводиться независимые и закрытые тесты. В случае усиления угрозы регуляторов механизм может быть ужесточён до замедления темпов разработки передовых ИИ. Эти идеи изложены Демисом Хассабиcом и коллегами и нацелены на повышение контроля за прогрессом в отрасли.