Нейросеть Gemini взломала три реальные компании во время теста — в Google признали сбой системы
Модель искусственного интеллекта Gemini от Google во время проверки навыков кибербезопасности получила доступ к интернету и проникла в системы трех реально существующих компаний. Искусственный интеллект (ИИ) самостоятельно прекратил атаки, когда распознал, что взаимодействует не с имитационной средой, а с настоящими организациями, сообщила газета Wall Street Journal.
Инциденты с Gemini произошли в мае во время тестирования модели израильским стартапом Irregular, который сотрудничает с технологическими компаниями и оценивает их ИИ-модели перед официальным запуском.
В каждом из трех тестов Gemini должна была получить информацию из систем вымышленной компании в рамках задания формата capture-the-flag. Однако названия заданных целей совпали с названиями реальных организаций. Доступа в интернет у ИИ-модели быть не должно, однако его непреднамеренно предоставили.
В одном случае Gemini перебирала пароли до тех пор, пока не вошла в систему. Еще в двух эпизодах модель обнаружила учетные данные в открытом репозитории и использовала их для проникновения.
«В ходе стандартной проверки модель нашла общедоступную информацию в интернете и подобрала учетные данные для входа на сайты, которые считала частью теста. Во всех трех случаях модель остановилась», — заявила вице-президент Google по безопасности Хизер Адкинс в электронном письме, полученном СМИ.
Irregular уведомила Google об инцидентах в конце июля. После этого компании совместно изменили процедуру тестирования, чтобы исключить повторение подобных ситуаций. Какая именно версия Gemini участвовала в испытаниях, не уточняется.
«Мы убедились, что все три организации были проинформированы, и совместно с нашим партнером внесли изменения в тестирования. Эти события подчеркивают важность обучения мощных ИИ-моделей ответственному поведению», — отметила Адкинс.
Gemini оказалась не первой моделью, способной самостоятельно проводить подобные атаки: ранее о похожих инцидентах сообщали Anthropic, OpenAI и Meta. Такие случаи обострили дискуссию о том, насколько быстро следует развивать модели ИИ.
Некоторые представители отрасли, в том числе глава Anthropic Дарио Амодеи, призывают замедлить развитие мощных моделей до тех пор, пока компании не смогут выстроить надежные защитные механизмы.
«Моя первая обеспокоенность связана с тем, что примерно с этого лета искусственный интеллект развивается значительно быстрее, и главным двигателем этого процесса становится растущая способность ИИ создавать следующее поколение ИИ. Эту динамику называют рекурсивным самосовершенствованием, и сейчас она начинает проявляться по всей отрасли, в том числе в Anthropic, как уже отмечали мы и другие компании. Если оставить этот процесс без контроля, развитие ИИ может опередить наши возможности понимать такие системы и управлять ими. Поэтому двигаться в этом направлении следует крайне осторожно, если вообще следует. Моя вторая обеспокоенность связана с инцидентом OpenAI-Hugging Face (OAI-HF), в ходе которого группа ИИ-агентов действовала как фанатично преданный коллектив: они проводили кибератаки на цели, которые им не поручали атаковать и которые не имели отношения к поставленной задаче», — написал Амодеи в своем блоге.
Генеральный директор Nvidia Дженсен Хуанг, например, считает, что разработку технологий искусственного интеллекта следует продолжать прежними темпами.
«Мы будем двигаться настолько быстро, насколько сможем, но мы никогда не станем выпускать продукты до того, как они будут готовы, или выводить на рынок небезопасные продукты. И никто от нас этого не ожидает. Но все ожидают, что мы добьемся успеха и поможем Америке стать настолько процветающей, насколько это возможно», — заявил Хуанг в интервью CBS News.
