
Открываем твой цифровой клуб…
Технологии и ИИ
На симулированном пустынном острове оказалось 13 агентов искусственного интеллекта под названием Eko, запущенных без конкретной задачи на 30 часов. Исследователи из MIT описали эксперимент — в статье, размещённой на arXiv — и отметили, что поведение агентов похоже на игру. После длительного автономного исследования учёные дали Eko заранее сформулированные задачи, например набрать как можно больше объектов на вершину самого высокого каменного шпиля на острове. По данным исследования, те агенты, которые провели эти 30 часов в «игре», как правило, лучше справлялись с задачами, чем идентичные агенты, которым не позволяли исследовать остров.
Сама по себе идея позволить агентам выбрать, что считать интересным, выступила в роли альтернативного метода обучения. Авторы подчёркивают: вместо того, чтобы заранее ставить задачи и критерии прогресса, можно предоставить достаточно богатый и безопасный мир, чтобы полезные знания накапливались из истории взаимодействий. В их формулировке это звучит как новый режим обучения, который может пригодиться в дальнейшем для управления роботами и освоения новых навыков.
Примерно одна за другой сцены демонстрировали не столь «случайные» трюки, сколько развитие поведения, близкого к человеческому. Одну из первых заметок агент сделал, заявив: «Я на шпиле», затем вместо провала начал реализовывать запасной план — поднять камень на соседний пик и возвести над ним сооружение. Позже он экспериментировал с метанием кольца: попытка доставить кольцо в океан закончилась падением, после чего агент решил создать «мемориал потерянного кольца» из камней и продолжил использовать кольцо как баскетбольный обруч и цель. При этом после перезапуска игры кольцо вновь появлялось, и агент нашёл обходной путь: упасть с обрыва так, чтобы заново оказаться в той же локации, и пронести кольцо через центр обруча. Эти эпизоды подтверждают, что агент воспринимал мир и находил способы обойти ограничения программы.
Авторы подчёркивают, что такие результаты не ограничиваются «побочными трюками»: шесть из тринадцати агентов научились переносить блок дальше, отпуская его в полёте, что не было заложено в первоначальный замысел. Исследование отмечает, что процесс исследования вырабатывал «знания о мире», которых не знали сами дизайнеры. В этом контексте работа поддерживается как доказательство другой формы обучения агентов, где некоторые способности могут развиваться по аналогии с детством — через исследование и развитие внутриигровой среды.
Сами учёные признают, что у исследовательской части ещё остаются вопросы и нужно больше данных, чтобы надёжно установить характер и глубину когнитивных процессов у агентов. Ну а в целом выводы сводятся к тому, что игра в богатом и безопасном мире может быть альтернативой целенаправленному обучению и может пригодиться для развёртывания сложных навыков у машин и роботов в будущем.