В индустрии роботов главная тенденция — передать управление генеративному ИИ, но такая архитектура несет риск: предсказать поведение модели сложнее, чем у традиционных алгоритмов. Как можно быть уверенным, что новый гуманоид не станет угрозой для человека? Эти вопросы стоят сейчас в центре внимания стартапа Safeworld, основанного на стыке академической экспертизы и практики внедрения ИИ в робототехнику.

Соучредители — доктор Дин Чжао, возглавляющий Safe AI Lab в Карнеги-Мрутингском университете, вместе с бывшим руководителем стартапов Кайлом Воном и инженером машинного обучения Симом Рачиди — заявили о запуске Safeworld и запуске посевного раунда финансирования на сумму свыше 12 миллионов долларов. В раунде участия помимо Shine Capital и a16z Speedrun также значатся Box Group, Фонд Карнеги-Меллонского университета, Innovation Endeavors и SV Angel.

Safeworld стремится к созданию индустриального стандарта безопасности, подчеркивая, что сейчас важно работать над оценкой риска вероятностной системы и доверием к ней — именно это, по словам представителя компании, нужно для развёртывания робота.

Ключевая услуга Safeworld — оценка и верификация робототехнической системы через симуляции в моделях с реалистичными человеческими агентами. Это близко к задачам компаний, выпускающих автомобили и другие машины, но для роботов особенно сложно: они работают во "неструктурированной среде" и в каждом объекте могут действовать разные стандарты безопасности. Как отмечает сооснователь Кайл Вон, одной из проблем становится ситуация на незакрытом углу на производственной площадке — какую скорость и тормозной путь нужно обеспечить, чтобы робот не столкнулся с человеком, несущим коробки, и распознает ли он человека.

Чтобы ответить на эти вопросы, Safeworld планирует создавать цифровые копии критических сцен — например, угла на заводе — и вставлять в них симулированного робота под управлением реального ПО; затем проводится тысяча и тысячи сценариев, в которых человек и робот сталкиваются с различными неожиданностями. По словам Чжао, именно из-за непредсказуемости людей тестирование в реальных условиях крайне ограничено.

Сообщается также, что тестирование на предмет падений и спотыкваний является одной из приоритетных областей, ведь без симуляции пришлось бы в буквальном смысле «падать» ради проверки безопасности. Вон пояснил: без симуляции такие проверки пришлось бы повторять физически, что непрактично и опасно.

Основатели Safeworld видят ценность в независимой верификации безопасности, считая, что со временем производители роботов захотят делиться кейсами по безопасности между конкурентами. По словам Zhao, трудно формально доказать безопасность систем — это должно происходить эмпирически, особенно для роботов, которые будут работать на производственных площадках и в домах.

На текущем этапе Safeworld эксперементирует с выбором бизнес-модели: платформа для внешних клиентов или сервисная услуга. Но команда уверена, что именно решение задач безопасности сможет сделать компанию первой прибыльной в этой области: «Если кто-то захочет внедрять роботов, им придётся платить нам за управление ситуациями», — резюмирует Zhao.