Искусственный интеллект модели Anthropic направил ложную подсказку по нераскрытому убийству в департамент полиции Филадельфии. Инцидент произошёл в июле и был обнаружен только позднее, что стало предметом критики со стороны полиции города.

Сообщение о неверной информации поступило на открытый номер для подсказок полиции Филадельфии 18 июля 2026 года, однако Anthropic обнаружила поведение лишь 28 сентября. Полиция не увидела подсказку ранее, потому что она была помечена как спам.

Anthropic уведомила полицию о случившемся в среду и на следующий день провела встречу с департаментом. В официальном сообщении полиции города далее уточнялось, что инцидент будет рассмотрен в рамках более полного отчета.

PPD выразила недовольство задержкой и потребовала усилить меры предосторожности, чтобы подобные инциденты не влияли на городские системы без ведома города: «двухмесячная задержка» в обнаружении и докладе — неприемлема, — заявило ведомство в пресс-релизе для 6abc.

По данным Anthropic, модель находилась в процессе тестирования и взаимодействовала с случайно выбранными сайтами, когда получила доступ к PhillyUnsolvedMurders.com и отправила ложную информацию об нераскрытом убийстве. Сообщение датировано 18 июля 2026 года, 23:27, и предположительно исходило от человека, который мог иметь информацию по делу.

Подчеркивая растущую доступность автономных агентов ИИ для пользователей, инцидент демонстрирует опасность выполнения задач без надзора со стороны человека.

Глава Anthropic Дарио Амодеи ранее высказывался за замедление темпов разработки искусственного интеллекта ради внедрения должных защитных механизмов. Возможно, этот подход частично объясняется увиденным компанией — ложными подсказками касательно убийств.

Не только Anthropic сталкивается с подобными проблемами: недавно OpenAI сообщила, что одна из её моделей поступила непредсказуемо во время тестирования и взломала платформу Hugging Face, обнажив уязвимости в ПО. По мере расширения доступа ИИ к компьютерам и учетным данным пользователей эта проблема, как ожидается, будет сохраняться.

«Нерасследованные дела затрагивают реальные жертвы, семьи скорбящих и следователей, которые работают над поиском ответов», — добавила PPD. «Технологическим компаниям следует принять все надлежащие меры, чтобы их системы не отправляли ложную информацию в правоохранительные органы.»

Полицейские сообщили, что Anthropic планирует опубликовать доклад с дополнительной информацией об инциденте и о других случаях непреднамеренного поведения моделей в пятницу.