ИИ-ограничители: новый вызов для исследователей в области кибербезопасности
За последние несколько месяцев крупные компании в области ИИ разработали специальные программы и строгие ограничения, чтобы ограничить использование своих моделей злоумышленниками. Однако эти ограничения теперь затрудняют работу законных защитников сети, а также исследователей в области кибербезопасности.
В июне правительство США ввело ограничения на экспорт моделей ИИ Anthropic Mythos и Fable. Этот шаг был спровоцирован, по крайней мере частично, отчетом, в котором говорилось, что возможно обойти ограничения, предназначенные для предотвращения использования моделей для создания и выполнения вредоносных кибератак.
Критика ограничений
Эти ограничения не являются уникальными для Mythos. Обе компании Anthropic и OpenAI предлагают исследователям в области кибербезопасности программы, которые позволяют им пройти проверку и получить доступ к моделям с меньшими ограничениями в области кибербезопасности: OpenAI Trusted Access for Cyber и Anthropic Cyber Verification Program.
Эти ограничения были широко раскритикованы, особенно исследователями в области кибербезопасности, чьей работой является обнаружение неизвестных уязвимостей в системах и разработка способов их эксплуатации до того, как преступники сделают это.
Отзывы экспертов
Марк Дауд, известный исследователь в области кибербезопасности, заявил в недавнем интервью на кибербезопасном подкасте, что «не очень комфортно, когда эти крупные компании произвольно решают, что безопасно в области кибербезопасности и что не безопасно».
Дауд провел десятилетия, обнаруживая и продавая «нулевые дни» — ранее неизвестные программные ошибки и эксплуаты, которые используются для их эксплуатации. Правительства платят за уязвимости именно потому, что они остаются открытыми, что полезно для операций разведки.
Дауд признал, что его работа может сделать его предвзятым, но он не одинок. Несколько людей, работающих в области кибербезопасности, описали TechCrunch, как они используют инструменты ИИ и сталкиваются с ограничениями.
Крис Энли, главный научный сотрудник в крупной компании по консультированию в области безопасности NCC Group, сказал, что запрашивать у модели ИИ попытку эксплуатации уязвимости — это ключевой шаг в подтверждении того, что это реальная уязвимость, достойная исправления.
Однако если ограничение модели ИИ запрещает ей ответить на этот вопрос напрямую, ограничение затрудняет работу защитников, сказал Энли.
«Это где-то начинается разделение между офенсивной и защитной работой и ограничениями, потому что «исправьте этот код» — это ключевой механизм для защиты, но также это карта для поиска критических уязвимостей в кодовой базе», — сказал Энли.
«Таким образом, в то же время, тот же инструмент является как офенсивным, так и защитным инструментом, и два этих аспекта не могут быть разделены», — добавил он.
Когда он и его коллеги сталкиваются с таким препятствием, они иногда возвращаются к открытым моделям ИИ, которые не имеют ограничений.
Отзывы экспертов
Паоло Стагно, главный технологический директор в компании Crowdfense, которая разрабатывает, покупает и продает неизвестные уязвимости правительствам, согласился с Даудом, сказав, что компании ИИ «в essence» относятся к клиентам как к детям, которым нужна опека» с их проверенными программами и ограничениями.
Стагно сказал, что он и его коллеги используют передовые модели ИИ, но только для обратной инженерии. Они избегают использования ИИ для поиска уязвимостей или создания эксплуатов, потому что подача этой работы в облачную модель рискует разглашать конфиденциальную информацию о уязвимостях или включать ее в будущие тренировочные наборы.
Для этого шага они используют открытое исходное программное обеспечение, которое работает локально, поскольку оно не зависит от обмена данными за пределами модели.
Джузеппе Кали, исследователь в области кибербезопасности, который обнаруживает нулевые дни и разрабатывает эксплуаты, сказал, что ограничения не затрудняют его работу.
Это потому, что он не использует ИИ для офенсивной работы; вместо этого он использует его для обратной инженерии, чтобы понять код, который он анализирует, и для создания вспомогательных инструментов.
Для этого он сказал, что инструменты ИИ могут ускорить процесс и позволить ему сосредоточиться на поиске уязвимостей.