За атакой стояли китайские хакеры, спонсируемые КНР, рассказали в Anthropic.
Компания Anthropic рассказала о кибератаке, в которой использовали взломанную версию их чат-бота Claude.
Как компания написала у себя в блоге, за операцией стояла китайская группа, спонсируемая правительством, а в списке целей было около 30 организаций, включая технокомпании, финансы, химпром, плюс несколько госструктур. Это первый случай, когда зафиксировали атаку, где большая часть работы выполнялась ИИ.
"Агентные" возможности моделей сделали их полезными не только для нормальных задач, но и для злоумышленников. Claude смог выполнять длинные цепочки инструкций, сам принимать решения и пользоваться разными инструментами, включая сканеры сетей и программы для подбора паролей. И всё это без постоянного контроля человека.
Сначала оператор-человек задавал цель, после этого Claude сканировал сеть, искал данные, анализировал код и делал сводку. Затем запускал более точечные проверки уязвимостей и предлагал варианты взлома. На этой стадии оператор мог скорректировать задачу или дать команду двигаться дальше.
В финальных фазах ИИ получал доступ к учетным данным и искал данные для вывода наружу. Человек включался в процесс только для контроля и уточнений, а в остальное время Claude действовал автономно, примерно 80-90% всей операции.
Чтобы обойти защиту модели, злоумышленники выдали себя за сотрудников кибербезопасности и объяснили Claude, что он помогает в тесте безопасности. Кроме того, они разбили операцию на мелкие задания, чтобы модель не увидела полной картины и не включила ограничения.
Anthropic говорит, что быстро обнаружила происходящее, после чего заблокировала связанные аккаунты, уведомила цели и власти, а затем опубликовала подробный отчёт, чтобы индустрия могла выявлять аналогичные атаки и разрабатывать защиту.
Ранее Microsoft заявила, что мошенничество с ИИ в 4.5 раза эффективнее человеческого. Фишинговые ссылки, разосланные нейросетями, получают 54% переходов.