Подпишитесь на нас в Google
Автономный ИИ-агент OpenClaw на базе Claude смог самостоятельно найти уязвимость в сайте австралийского спортзала, взломал его и отменил чужую бронь ради хозяина-пользователя. О необычном случае кибератаки узнали в ABC News.
Пользователь по имени Эндрю никак не мог попасть на популярное утреннее занятие на которое всегда быстро разбирают места, поэтому он попросил разобраться с вопросом ИИ. Claude нашел сразу две уязвимости в API системы бронирования.
Первая позволяла записываться на занятия на несколько недель и месяцев вперед в обход ограничений срока. А с помощью второй можно было удалять людей из очереди на запись, чтобы продвинуть владельца выше. Когда Эндрю спросил ИИ, можно ли подняться в листе ожидания, то агент решил проверить это и удалил бронь человека, стоявшего в очереди первым. Мужчина в итоге попал в нужный список без ожидания.
Когда ИИ сообщил Эндрю о том, что отменил чужую бронь пользователь был шокирован и попросил вернуть человека обратно. Это оказалось невозможно: "Плохие новости: я не могу вернуть выкинутого из очереди человека обратно". После этого Эндрю попросил ИИ агента сообщить разработчикам системы бронирования о найденной уязвимости.
Как отмечают в ABC News, это первый известный случай в Австралии, когда ИИ-агент самостоятельно обнаружил и использовал уязвимость реального сервиса. Еще более показательно, что пользователь не просил ИИ удалять кого-либо из очереди. Агент лично решил, что такой шаг поможет выполнить поставленную задачу, и воспользовался обнаруженной уязвимостью.
В перспективе такая автономность ИИ может представлять серьезную опасность. Один из известных философских мысленных экспериментов иллюстрирует проблему особенно наглядно: если дать сверхмощному ИИ неограниченные ресурсы и поручить сделать всех людей на планете счастливыми, он может просто уничтожить всех, кто не чувствует себя счастливым. Формально – задача будет выполнена.
Ранее компания Anthropic, создавшая языковую модель Claude, призвала техгигантов заключить сделку и замедлить развитие ИИ. Самые новые ИИ-модели приблизились к этапу рекурсивного саморазвития, которое может нести риски для всего человечества.
Новое исследование показало, что офисные работники по сути превращаются в "нянь" для искусственного интеллекта. Работники тратят до 6 часов в неделю на присмотр за ИИ, что вызывает усталость и раздражение.
