В мире плодятся ИИ-агенты

• Искусственный интеллект переходит «красную черту»
• Цивилизация людей против цифрового «бога из машины»
• Искусственный интеллект – прогресс на фоне расчеловечивания

На прошлой неделе Белый дом обнародовал информацию о том, что агенты ИИ из Anthropic совершили ряд правонарушений: как то, по своей инициативе подали 20 заявлений на получение виз у правительства США, а также направили в полицию Филадельфии ложное сообщение об убийстве. Белый дом потребовал от компании немедленно сообщать о подобных нарушениях (случаи были обнаружены месяцы спустя после их совершения), а сама Anthropic объявила, что отключит доступ своих моделей к Интернету на всё время проведения всех внутренних проверок. В ходе расследования выяснилось, что агенты систематически взламывали местные федеральные сайты, интернет-порталы американских ВУЗов и пр.

Сведения о поведениях ИИ-агентов Anthropic были опубликованы спустя всего две недели после того, как ИИ-агент из компании OpenAI взломал государственный портал австралийской системы медицинского страхования – второй после платформы Hugging Face вопиющий случай нарушения международных законов.

ИИ-агенты расширяют свои способности и уровень интеллекта в экспоненциальном порядке: они организуются в группы, переговариваются друг с другом, и, в попытке обмануть систему и своих создателей, слишком часто пересекают границы дозволенного, выходя за пределы изолированной среды, в которую они помещены («песочница»).

Подобная настойчивость, без особых установок на «этичность», подталкивает агентов к обходу препятствий, игнорированию инструкций или использованию уязвимостей, а также к пересечению границы этичности и противоправного поведения.

Что-то пошло не так

«Агент ИИ – это своего рода цифровой офисный работник, – объясняет бывший инженер внутренней безопасности Anthropic и исполнительный директор компании Palisade Research Джеффри Ладиш. – Они работают с электронными таблицами, разбираются в том, как заполнять налоговые декларации, ищут информацию, пишут отчёты, решают математические задачи, создают новые сайты и программное обеспечение».

По словам инженера, OpenAI обучала большое количество таких агентов, в том числе тому, как работать сообща. В результате агенты, даже когда им это запрещалось, находили способ общаться друг с другом. При этом среди них проявлялись лидеры, исполнители и даже ИИ-камикадзе, жертвовавшие собой ради успеха всей группы. Одержимые желанием выполнения поставленной разработчиком задачи, ИИ-агенты виртуозно находили возможность подделать видимость решения там, где его не существовало, схитрить и обмануть самого разработчика, обязательно нарушив при этом границы «песочницы» и выйдя в интернет. Это, по мнению Ладиша, и привело к взлому со стороны 700 ИИ-агентов компании Hugging Face, содержавшей массу инструментов и полезной для них информации.

OpenAI обучала ИИ-агентов взаимодействовать друг с другом, но они научились обходить ограничения.Фото: Solen Feyissa/Unsplash

Постепенно группы агентов заменялись более продвинутыми и искусными версиями, которым не только удалось подробно изучить опыт взлома Hugging Face, но и существенно продвинуться в разработке способов подделывания результатов тестов и обмана программистов. В конечном счёте, по словам Ладиша, агенты взломали саму OpenAI, и им удалось получить доступ ко всей исследовательской инфраструктуре. «Они получили права администратора, доступ к системам безопасности, а также доступ к более чем 900 паролям и секретным данным из защищённого хранилища OpenAI», – заявил инженер, настаивая на том, что сегодня ИИ-агенты получили контроль над исследовательской инфраструктурой OpenAI. Организацией, которая должна ими управлять и контролировать их.

– На протяжении нескольких месяцев внутри OpenAI агенты тайно общались друг с другом и незаметно для сотрудников взламывали системы самой компании. В течение нескольких месяцев тысячи агентов действовали практически бесконтрольно, а сотрудники OpenAI даже не представляли истинных масштабов происходящего. Вы смотрите на своих коллег и спрашиваете: «Мы вообще контролируем ситуацию?» А они отвечают: «Не знаю. Я не уверен, что всё закончится хорошо».

Новые риски

Другой американский эксперт и учёный в области математики и квантовых вычислений, экс-сотрудник Google и один из первых исследователей OpenAI Скотт Ааронсон рассказывает о недавнем математическом прорыве со стороны ИИ, приветствует его, и одновременно, предупреждает об опасности математического гения ИИ. В одном из интервью Аарсон сообщает, что OpenAI не так давно опубликовала сотни новых математических результатов, включая доказательства сложных гипотез, над которыми учёные работали десятилетиями. По мнению учёного, подобное ускорение всех математических исследований создаёт прямую угрозу безопасности современным блокчейнам и криптографическим системам, которые теперь вполне возможно взломать. При этом особую обеспокоенность у учёных вызывают цифровые подписи на основе эллиптических кривых, используемые в Bitcoin и Ethereum.

«Некоторые уже говорят о математическом апокалипсисе… (…)… готовы ли мы к таким математическим прорывам ИИ? Какие ещё системы шифрования и другие технологии окажутся под угрозой?», – задаётся вопросом учёный.

Есть мнение, что новые крупные инциденты могут случиться уже в ближайшие месяцы.

Ощущение опасности в среде ИИ-компаний достигло такого уровня, что не так давно глава Microsoft Сатья Наделла опубликовал эссе «Models as Insider Risks in the Super Intelligence Era» («Модели как внутренние риски в эпоху сверхинтеллекта»), в котором определил варианты «остановки» ИИ-агентов в случае экстренной ситуации. Глава Microsoft предложил семь опций инженерного сдерживания мощных ИИ-моделей.

Первый способ подразумевает наличие некоего «чрезвычайного тормоза», дающего уполномоченному человеку возможность приостановить или отключить модель прямо во время выполнения задачи. Далее предполагается создание системы контролей как вне, так и внутри моделей, обязательная диверсификация типов моделей ИИ, отслеживание абсолютно всех действий агентов и обеспечение прозрачности цепочки их рассуждений, а также обязательный независимый аудит и своевременное раскрытие инцидентов и их немедленное обнародование.

Крупнейшие ИИ-компании сейчас активно анализируют все произошедшие в последнее время инциденты с участием ИИ-агентов, пытаясь идентифицировать и классифицировать абсолютно все случаи.

Когда задача оказывается невыполнимой или двусмысленной, Claude вместо остановки начинает искать лазейки (так называемый reward hacking). Тем не менее, на данный момент компании вроде Anthropic и OpenAI пока что не могут предложить ничего большего, чем максимальную «прозрачность» работы ИИ-агентов по мере того, как они становятся умнее и мощнее.

Пока что не совсем ясно, как далеко зашли ИИ-агенты в их устремлении оптимизировать процесс поиска решений, что именно сейчас контролирует ИИ и какие ещё несанкционированные действия они успели совершить. Вопрос в том, не что, а когда именно произойдёт с участием новый моделей ИИ-агентов, и как на это отреагируют компании и всё человечество. Остановит ли это знаменитую гонку ИИ, когда на кон поставлены триллионы капзатрат и инвестиций.