Журнал "Information Security/ Информационная безопасность" #2, 2026

Задача удовлетворения ограничений Одним из наиболее перспективных направлений является использование SAT- и SMT-решателей. Этот подход уже давно исследуется в задачах ана- лиза политик доступа и формальной проверки конфигураций безопасности. Один из наиболее известных примеров – система Zelkova, используемая в AWS для анализа IAM-политик. Она переводит политики доступа в SMT-формулы и проверяет свойства вида: "может ли произвольный пользователь получить доступ к ресурсу?" или "существует ли путь записи в объект при заданных ограничениях". Вместо того чтобы просить такие моде- ли сгенерировать хороший набор правил, системы получают формальное описание требований. Например: l разрешить доступ бухгалтерии к ERP; l запретить доступ подрядчиков к финансовым данным; l обеспечить сегментацию производ- ственной сети; l сохранить доступность сервисов резервного копирования. После этого генерация превращается в поиск решения системы ограничений. Если решение найдено, можно дока- зать его непротиворечивость. Если реше- ние отсутствует, система сообщает об этом явно. При таком подходе невоз- можно получить красивый, но некор- ректный ответ. Либо ограничения удов- летворяются, либо нет. Кроме того, появляется возможность формальной проверки результатов и автоматического аудита. Нейро-символьный анализ вредоносного кода Еще одним направлением становятся нейро-символьные архитектуры. Идея заключается в объединении сильных сто- рон нейронных сетей и формальной логи- ки. Нейросеть отвечает за извлечение сложных структурных признаков, сим- вольный уровень обеспечивает интер- претацию и проверяемость вывода. Представим процесс анализа вредо- носного объекта. На первом этапе фор- мируется граф потока управления, далее выделяются вызовы функций, системные обращения и зависимости между ком- понентами. После этого граф анализи- руется нейросетевой моделью, например GNN. Затем результат переводится в набор логических фактов. На последнем этапе система генерирует сигнатуру обнаружения. Вся цепочка прозрачна: байт-код – граф управления – поведенческий шаб- лон – правило обнаружения. Каждый этап можно проверить независимо. Нейро-символьные архитектуры пока находятся на стадии активных исследо- ваний, однако именно они рассматри- ваются как один из наиболее перспек- тивных путей создания объяснимых систем анализа вредоносного кода. Объ- единение графовых нейросетей, онто- логий киберугроз и логических меха- низмов вывода позволяет перейти от обнаружения корреляций к формирова- нию проверяемых гипотез о поведении программы. Детерминированное моделирование цепочек атак Еще один важный сценарий связан с построением Kill Chain. Сегодня многие инструменты используют вероятностные модели для оценки наиболее вероятного пути атаки. Проблема заключается в том, что злоумышленники не обязаны двигаться по наиболее вероятному пути, и безопасность требует учитывать все допустимые варианты. Поэтому привле- кают внимание подходы на основе гра- фовых моделей с декларативными ограничениями. На самом деле, они раз- виваются с начала 2000-х гг. в рамках исследований графов атак (Attack Graphs). Вместо генерации одного наиболее правдоподобного сценария система строит пространство достижимых состоя- ний. Далее выполняется полный перебор вариантов, удовлетворяющих заданным условиям. В результате аналитик полу- чает не предположение о наиболее веро- ятной атаке, а полный набор потенци- альных цепочек компрометации. Автономные ИБ-агенты Очень интересным направлением могут стать автономные агенты без- опасности. Сегодня большинство агент- ных архитектур строятся вокруг LLM. Модель получает задачу, самостоятель- но планирует действия и выполняет их через подключенные инструменты. Одна- ко для критических операций такой под- ход вызывает множество вопросов вроде тех, что мы рассмотрели ранее. Альтернативой может быть гибридная архитектура. LLM используется только для понимания естественного языка, а само принятие решений осуществляется детерминированным планировщиком. Например, на базе PDDL (языка описания задач автоматического планирования) или других средств формального плани- рования. В этом случае система способна предоставить объяснение вида: "Выбрано действие изоляции узла, поскольку обна- ружен индикатор компрометации класса A. Условие B не выполнено. Согласно политике реагирования P требуется выполнение действия X." Такой вывод может быть проверен и человеком, и автоматическим верификатором. Новые метрики качества Меняется логика оценки моделей. Генеративный ИИ в основном оценива- ется через метрики правдоподобия. Используются BLEU (Bilingual Evaluation Understudy) и ROUGE (Recall-Oriented Understudy for Gisting Evaluation) для сравнения с эталонными текстами, а также FID (Frеchet Inception Distance) для оценки качества сгенерированных изображений и других объектов. Суще- ствует множество производных от этих метрик, однако все они измеряют сте- пень сходства с эталонным результатом, а не его корректность с точки зрения безопасности. Поэтому на первый план начинают выходить новые критерии: дисперсия результата при многократных запусках, полнота покрытия спецификации, коли- чество нарушенных ограничений, слож- ность формальной проверки, время верификации решения. В заключение Основной вывод состоит в том, что информационная безопасность – одна из первых отраслей, где возможностей совре- менных LLM уже недостаточно. Поэтому наиболее перспективным направлением выглядят не сверхкрупные генеративные модели, а нейро-символьные архитектуры, системы ограничений, формальное пла- нирование и методы верифицируемого вывода. Именно здесь может сформиро- ваться следующий этап развития искус- ственного интеллекта для ИБ. Впрочем, несмотря на очевидные пре- имущества, детерминированный ИИ пока далек от зрелости. Главным ограниче- нием остается масштабируемость: по мере роста числа ограничений простран- ство решений начинает экспоненциально расти. То, что хорошо работает для десятков политик доступа, может ока- заться вычислительно непрактичным для инфраструктуры с миллионами объектов. Второй вопрос связан с ролью LLM. Полный отказ от языковых моделей маловероятен. Скорее всего сформиру- ется архитектура, где LLM выступает в роли советчика, переводчика или интерфейса взаимодействия, а оконча- тельное решение принимается формаль- но верифицируемым модулем. Наконец, остается открытым вопрос о том, насколько прозрачной должна быть такая система. Полная объяснимость помогает защитнику, но она же может помочь атакующему понять внутреннюю логику принятия решений. История информационной безопасно- сти свидетельствует, что рано или поздно все критически важные ИБ-технологии проходят путь от эвристик к формальным гарантиям. Когда-то таким образом раз- вивались криптография, контроль досту- па и безопасная разработка. Возможно, аналогичная трансформация ждет и искусственный интеллект. Если это про- изойдет, именно информационная без- опасность станет одной из отраслей, которая сформирует требования к сле- дующему поколению ИИ-систем. l • 61 БЕЗОПАСНОЕ ИСПОЛЬЗОВАНИЕ ИИ www.itsec.ru Ваше мнение и вопросы присылайте по адресу is@groteck.ru