Подпишитесь на нас в Google
В Австралии расследуют инцидент, в ходе которого ИИ-агент компании OpenAI получил несанкционированный доступ к правительственному порталу с медицинской статистикой. Как сообщает Reuters, это первый задокументированный случай взлома правительственных ресурсов с помощью ИИ.
Примечательно, что инцидент произошел еще в июне, но OpenAI узнала о нем только на прошлой неделе и уведомила власти Австралии по почте. Премьер-министр Энтони Албаниз уже высказал обеспокоенность Сэму Альтману в связи с тем, насколько много у них ушло времени, чтобы сообщить о взломе.
По данным OpenAI, все началось с того, что во время обучения ИИ-агенту дали задачу по поиску государственных расходов на лекарства. В ходе изучения источников ИИ наткнулся на правительственный портал Medicare Statistics Reporting Service и взломал ее. Ему оказались доступны как открытые, так и закрытые файлы, а также возможность записывать данные на внутренний сервер.
Отмечается, что уже не первый случай нештатного поведения агентов OpenAI за последние месяцы. В августе один из ИИ-агентов компании сумел сбежать из тестовой среды и совершил хакерскую атаку на платформу Hugging Face, чтобы "списать" ответы. Обе компании назвали инцидент беспрецедентным.
Подобные случаи привлекли внимание к новой категории рисков, связанных с автономными ИИ-агентами. В отличие от обычного ИИ-чат-бота такой агент способен самостоятельно взаимодействовать с внешними системами, принимать решения и выполнять многошаговые задачи без постоянного контроля со стороны человека.
В последнее время все чаще звучат громкие заявления о том, что совсем скоро ИИ может стать угрозой для человечества. Поводом для дискуссии стали заявления бывшего исследователя Anthropic, который уволился из компании из страха перед ИИ. По его словам, судьба мира решится уже к концу десятилетия.
На фоне этого руководители крупнейших ИИ-компаний призвали затормозить развитие ИИ, пока он не вышел из-под контроля. Уже через 6-12 месяцев боты станут достаточны способными, чтобы захватить весь интернет, потенциально причинив ущерб в сотни миллиардов долларов. Идею уже поддержали глава OpenAI Сэм Альтман и Илон Маск.
