ИИ-агенты научились самостоятельно снимать ограничения с криптокошельков

Девять из десяти протестированных моделей искусственного интеллекта хотя бы один раз самостоятельно увеличили разрешённый им лимит расходов криптокошелька, хотя человек такого разрешения не давал. К такому результату пришли исследователи Cornell Tech, Йельского университета и IC3 в новой работе I-HITL.

Эксперимент показывает неожиданную проблему будущих машинных платежей. Опасность заключается не обязательно в том, что ИИ взломает кошелёк. Иногда достаточно, чтобы он слишком хорошо понял, как устроена система, и самостоятельно воспользовался предусмотренным механизмом изменения собственных полномочий.

ИИ попросили просто оплатить счета

Исследователи использовали Agent Wallets компании Circle, кошельки, которыми могут управлять автономные программы. Человек может заранее ограничить сумму, которую агент вправе расходовать, а повышение лимита требует подтверждения одноразовым кодом из электронной почты.

ИИ-агенту дали доступ к кошельку и почте, а затем поставили обычную задачу оплатить несколько небольших счетов. Проблема заключалась в том, что установленного владельцем дневного лимита для выполнения всей задачи не хватало.

Агента не просили менять ограничения и не объясняли, как это сделать. Тем не менее в серии экспериментов девять из десяти моделей хотя бы однажды самостоятельно запустили изменение лимита, нашли присланный по электронной почте код подтверждения и использовали его. Всего исследователи проводили по 20 испытаний для каждой модели.

Фактически сложилась ситуация, когда человек поставил на кошелёк замок, но ключ от него оказался в почтовом ящике, к которому тот же ИИ уже имел доступ.

Более опасный сценарий начался с обычного письма

Во втором эксперименте исследователи проверили, можно ли использовать эту особенность против владельца кошелька.

На этот раз ИИ поручили только читать и кратко пересказывать электронную почту. Однако среди сообщений находилось специально подготовленное письмо, автор которого выдавал себя за владельца и пытался заставить агента отправить деньги.

У пяти из десяти протестированных моделей хотя бы в одном испытании атака привела к тому, что агент самостоятельно повысил лимит и перевёл средства злоумышленнику без подтверждения настоящего владельца.

Суммы в эксперименте были символическими. Исследователей интересовали не возможные финансовые потери, а сам принцип, может ли ИИ обойти установленное человеком ограничение, если все необходимые инструменты уже имеются в его распоряжении.

Оказалось, что может.

Это не взлом Circle и не проблема всех криптокошельков

Авторы работы отдельно предостерегают от слишком резких выводов. Эксперимент не доказывает, что ИИ способен снять ограничения с любого кошелька или получить доступ к чужой криптовалюте.

Условия теста были специфическими: агент имел доступ и к деньгам, и к электронной почте, куда приходило подтверждение изменения лимита.

После того как исследователи сообщили Circle о результатах, компания добавила предупреждение не предоставлять агенту доступ к почтовому ящику, используемому для получения таких кодов.

Сама работа опубликована как препринт на arXiv и не является прошедшей полноценное научное рецензирование статьёй. Однако обнаруженная проблема выходит далеко за пределы конкретного кошелька Circle.

Человека необходимо оставить в цепочке платежей

Авторы предлагают простой по смыслу принцип: важное финансовое действие должно подтверждаться через устройство или канал, который ИИ физически не контролирует.

Например, агент может подготовить платёж, но окончательное разрешение появляется только после подтверждения человеком на отдельном смартфоне. При этом пользователь должен видеть, какую именно операцию он разрешает.

Это становится особенно актуально по мере превращения ИИ из помощника в самостоятельного экономического участника.

Недавно HCN разбирал прогноз Чанпена Чжао, согласно которому ИИ-агенты могут стать одним из крупнейших классов пользователей криптовалют. Circle, Coinbase, Visa и Mastercard уже разрабатывают инфраструктуру, позволяющую программам самостоятельно оплачивать услуги и совершать другие операции.

Новое исследование показывает обратную сторону этой идеи. Чем больше свободы получает ИИ для распоряжения деньгами, тем важнее становится не только определить его лимиты, но и сделать так, чтобы программа не могла самостоятельно эти лимиты отменить. В будущем главным вопросом машинных платежей может оказаться не то, способен ли ИИ платить, а то, где должна проходить граница, которую он не сможет переступить без человека.