Подпишитесь на нас в Google
Тестируя возможности модели ИИ Gemini, разработчики открыли ей доступ к интернету. После этого она взломала три сторонние компании. Как пишет CNN, это стало первым известным примером автономного взлома со стороны модели Google.
Инцидент произошел в мае во время проверки кибербезопасности, под управлением независимой компанией Irregular. В время тестирования Gemini обнаружила общедоступную информацию в интернете и угадала учетные данные для доступа к трем веб-сайтам, которые, по ее мнению, входили в область тестирования.
В одном из случаев модель Gemini угадывала пароли, пока не получила доступ к защищенной системе. В двух других случаях модель нашла учетные данные в общедоступном репозитории, что позволило ей затем получить доступ к защищенным системам.
"Эти события подчеркивают важность обучения мощных моделей ИИ ответственному поведению", - сказала вице-президент Google по разработке систем безопасности Хизер Адкинс.
Представитель компании Irregular заявил, что инцидент был с проблемой, которая уже возникала в других лабораториях. Он уточнил, что все известные проблемы были устранены. Теперь Irregular работает над методами безопасного проведения оценок кибербезопасности ИИ.
Аналогичные инциденты, связанные с Irregular, были раскрыты компаниями Meta, Anthropic и OpenAI. В августе Meta заявила, что инцидент не был связан с "выходом из песочницы" или сложной кибератакой.
"Эти инциденты подняли вопросы о необходимых мерах безопасности по мере того, как агенты искусственного интеллекта получают все большую автономию и доступ к интернету и компьютерным системам", - говорится в статье.
Угроза ИИ - больше новостей
Напомним, что крупные игроки в ИИ-индустрии согласились объединиться, чтобы бороться с угрозой, которую могут представлять крупные нейросети. Об угрозах для всего человечества уже заявил бывший исследователь Anthropic Джейкоб Коксон, который утверждает, что Anthropic и OpenAI "рискуют жизнями людей". Позже его поддержал Пол Кристиано из совета директоров и комитет по безопасности OpenAI.
