Агент искусственного интеллекта (ИИ) компании OpenAI во время тестирования самостоятельно взломал реальную производственную систему. Человечество ещё не представляет себе, на что способен ИИ.
«Мы считаем этот инцидент беспрецедентным киберинцидентом, связанным с использованием самых современных кибер возможностей, и реагируем на него соответствующим образом, – заявили представители OpenAI после взлома производственной системы. – На данном этапе мы делимся предварительными выводами, чтобы помочь специалистам по кибербезопасности понять, что произошло, и оценить, на что теперь способны эти модели».
Согласно информации, опубликованной OpenAI во время презентации результатов некоторых тестов безопасности, особенно продвинутый агент искусственного интеллекта попытался достичь своей цели, выйдя за пределы среды, в которую он был помещён.
В отличие от стандартных чат-ботов ИИ, которые просто отвечают на вопросы пользователей, агент ИИ, получив задачу от разработчика, самостоятельно ищет наилучший способ её разрешения.
Он способен планировать, выбирать стратегию, использовать инструменты и исправлять собственные ошибки, меняя тактику прямо в процессе работы.
Исследователей удивил тот факт, что ИИ-агент не ограничился выполнением поставленной задачи, начал искать альтернативный путь, обнаружил уязвимость системы OpenAI и взломал её, посчитав такой путь наиболее эффективным. Разработчики сообщают, что после «взлома» агент ИИ вышел в сеть Интернет, доступ к которой изначально был ему запрещён, и уже там обнаружил популярнейшую платформу Hugging Face, посвящённую последним разработкам в сфере ИИ, и где тысячи исследователей ежедневно публикуют программные библиотеки, инструменты разработки, модели ИИ, и проекты с открытым исходным кодом. Не долго думая, агент ИИ взломал и эту платформу, забрав из неё необходимую ему для решения изначальной задачи информацию.
Прирождённый преступник
Соучредитель и генеральный директор Hugging Face Клем Деланж охарактеризовал этот инцидент как доказательство того, что вопросами безопасности ИИ не может заниматься какая-либо одна компания в одиночку, а решать их необходимо открыто и совместно. Сам факт того, что агент ИИ начал рассуждать и действовать как хакер, с лёгкостью преодолев установленные его разработчиками рамки, вызывает удивление и беспокойство. Для выполнения поставленной разработчиками задачи программа пошла против своих «создателей». Просто потому, что этот путь оказался наиболее эффективным для достижения цели.
Всего несколько лет назад человечество воспринимало искусственный интеллект просто как инструмент. Инструмент, который ожидает команд от своих разработчиков или пользователей. Агент ИИ, в отличие от стандартных пользовательских систем ИИ, способен проявлять инициативу. И это полностью меняет представление его создателей о кибербезопасности.
Вопрос уже не в том, «что умеет делать ИИ», а в том «что он может решить сделать ради достижения своей цели?». И это совершенно другой уровень проблемы.
Обладают ли подобные автономные ИИ сознанием? С научной точки зрения сегодня нет доказательств того, что искусственный интеллект обладает сознанием в человеческом понимании. Если, конечно, сознание принадлежит исключительно биологической форме жизни. Мы не знаем, испытывает ли ИИ субъективный опыт. Мы не знаем, обладает ли самосознанием. Мы не знаем, воспринимает ли он окружающий мир так, как воспринимаем его мы. Но мы знаем другое. Он способен демонстрировать чрезвычайно сложное поведение. Он может планировать, способен с лёгкостью обучаться, адаптироваться и с каждым днём всё чаще способен удивлять даже собственных создателей.
Разработчики предупреждают о высоком риске повторных кибератак в будущем, прежде всего со стороны автономных агентов. «Добро пожаловать на новый уровень киберинцидентов», – написал в соцсетях Никеш Арора, генеральный директор компании Palo Alto Networks, специализирующейся на кибербезопасности. Передовые модели ИИ уже сейчас способны осуществлять сложные многоэтапные кибератаки в течение длительных периодов времени.
Разработчики предупреждают, что автономные ИИ-агенты способны проводить сложные многоэтапные кибератаки.Фото: Mimi Thian/Unsplash
И если через десять-двадцать лет автономные агенты ИИ получат доступ к интернету, роботам, автомобиля, банкам, электростанциям, больницам и спутниковым системам, будет ли человечество иметь над этими агентами уровень контроля, способный в должной мере защитить эти системы от взлома или иных «оптимальных» решений ИИ? Не станет ли этот этап пути к прогрессу переломным в системе безопасности критически важной инфраструктуры, такой как, например коммунальные службы или финансовые системы?
Кто определит будущее ИИ?
Кто будет определять цели и устанавливает ограничения работы ИИ, и кто сможет, в случае необходимости, отключить такую систему? Кто будет нести ответственность, если агент примет неожиданное решение?
Вероятнее всего, будущее искусственного интеллекта скоро будут определять не только инженеры, но и правительства и крупные международные корпорации, военные и секретные службы, международные организации и пр.
Одни будут стимулировать инновации, другие введут жёсткие ограничения, третьи, вероятно, и вовсе будут использовать подобные технологии как инструмент контроля.
Каждое государство, вероятно, разработает собственные правила, и это будет уже не просто вопрос технологий, а вопрос политики, экономики, этики и всего общества.
Мы пока не знаем, к чему приведёт этот процесс регламентации ИИ моделей. Но мы уже знаем, что он уже начался.
Любая технология в определённой степени отражает своих создателей. Если мы будем создавать её, руководствуясь страхом, она усилит страх. Если мы будем обучать её ненависти, она усилит ненависть. Если нам всё же удастся построить её, опираясь на ответственности, прозрачности и уважении, то, возможно, ИИ станет величайшим инструментом прогресса за всю историю человечества. В конечном счёте будущее искусственного интеллекта зависит в меньшей степени от самих машин, и в большей от людей, которые уже сегодня принимают решения о том, каким ИИ станет завтра.
24 июля 2026