Журнал "Information Security/ Информационная безопасность" #2, 2026

Современные LLM представляют собой вероятностные машины. Они не вычис- ляют ответ в классическом смысле слова, а выбирают наиболее вероятное про- должение последовательности токенов. Степенью случайности управляет пара- метр "температура": низкое значение делает модель более консервативной и предсказуемой, высокое – увеличивает разнообразие выхода. Впрочем, даже когда используется режим с нулевой температурой, итоговое поведение оста- ется не полностью детерминированным из-за особенностей вычислений на GPU, параллельных операций и различий в реализации программных стеков. Для большинства прикладных задач это допу- стимо, а вот для задач ИБ – нет. Представим, что генеративная модель формирует правила межсетевого экрана, строит политику доступа для критической информационной системы или автомати- чески генерирует сигнатуру для обнару- жения вредоносного ПО. Можно ли дока- зать корректность получаемого результа- та? Для классических генеративных моде- лей ответ чаще всего отрицательный. Мы можем оценить качество ответа статисти- чески, можем проверить его экспертно, можем протестировать на отдельных сце- нариях. Но у нас нет возможности фор- мально доказать, что результат не содер- жит скрытой ошибки, которая проявится при определенном сочетании условий. Поэтому развитие ИИ для информа- ционной безопасности должно двигаться в сторону, противоположную массовому тренду. Вместо увеличения размера моде- лей и объема обучающих данных иссле- дователи должны искать способы сделать вывод ИИ детерминированным, объясни- мым и верифицируемым. Фактически речь идет о переходе от генерации как семплирования вероятностей к генерации как решению формальной задачи. Особые требования к ИИ в ИБ Минимальный набор свойств, которыми должна обладать интеллектуальная систе- ма для применения в критически важных сценариях ИБ, довольно небольшой. Во-первых, необходим детерминизм. При одинаковом наборе входных данных система должна всегда выдавать одина- ковый результат. Не примерно такой же, не достаточно близкий, а именно иден- тичный. Это требование выглядит оче- видным для инженеров, привыкших к традиционному программному обеспече- нию, однако оказывается крайне нетри- виальным для современных нейросетей. Во-вторых, требуется объяснимость. Недостаточно знать, какое решение при- няла система, – нужно понимать, почему она приняла именно его. В случае рассле- дования инцидента аналитик обязан иметь возможность восстановить всю цепочку рассуждений. При возникновении ошибки должна существовать возможность прове- сти полноценный анализ действий модели. В-третьих, необходима объясненность. Это понятие часто смешивают с объ- яснимым ИИ, хотя между ними суще- ствует принципиальная разница. Объ- яснимость отвечает на вопрос "почему модель так решила?". Объясненность отвечает на вопрос "может ли человек или автоматизированная система про- верить каждый шаг этого решения?". Для ИБ именно второй аспект становится критически важным. Наконец, необходима устойчивость к состязательным воздействиям. Чем более формализованы правила принятия решений и чем лучше опреде- лены границы допустимого поведения системы, тем сложнее злоумышленнику заставить ее действовать неожиданным образом. Проблема черного ящика Популярность LLM породила иллюзию, что вопрос объяснимости уже решен. Действительно, современные модели способны генерировать цепочки рас- суждений, объяснять свои ответы и даже описывать собственную логику. Но дей- ствительно ли это объяснение отражает внутренний процесс принятия решения? Далеко не всегда. Текстовое объяснение, сгенерирован- ное моделью, может выглядеть логичным и последовательным, но фактически являться отдельным актом генерации, а не реконструкцией реального меха- низма вывода. Еще более показательна ситуация с картами внимания – визуализацией того, на какие фрагменты входных данных модель опирается при формировании ответа. На протяжении нескольких лет карты внимания рассматривались как потенциальный инструмент интерпрета- ции поведения трансформеров. Пробле- ма в том, что внимание демонстрирует корреляции между элементами входных данных, но не раскрывает причинно- следственные связи. Фраза "модель обратила внимание на этот токен" не отвечает на вопрос, почему она приняла то или иное конкретное решение. А для ИБ это существенная проблема. Если система предлагает изменить правило доступа в Active Directory, ана- литик должен понимать не только набор факторов, повлиявших на решение, но и логическую цепочку, которая привела к этому выводу. Сегодняшние LLM такой возможности не предоставляют. Еще более серьезной проблемой ста- новится невозможность формальной верификации. Рассмотрим простую задачу. Модель должна сгенерировать набор правил доступа для сегмента сети. После полу- чения результата возникает вопрос: можно ли математически доказать отсут- ствие скрытых путей обхода политики? Для обычной программы такой анализ возможен. Для набора правил, получен- ных от LLM, такой гарантии чаще всего не существует. Приходится доверять модели на основании статистической вероятности ее корректности. Одной из самых известных угроз последних лет являются промпт-инъек- ции. Интересно, что многие восприни- мают их как отдельную категорию атак, хотя в действительности они являются симптомом более глубокой проблемы. Дело в том, что классическая LLM не обладает жестко заданной моделью мира. Ее поведение определяется веро- ятностным распределением, которое динамически изменяется под влиянием контекста. Поэтому злоумышленник спо- собен модифицировать поведение моде- ли, изменяя входные данные. Представим себе межсетевой экран, который меняет правила фильтрации в зависимости от текста последнего сете- вого пакета. Очевидно, что такую систему никто не признал бы безопасной. Тем не менее именно подобным образом рабо- тают многие современные ИИ-агенты. Что же подходит для ИБ? Давайте посмотрим, какие подходы действительно подходят для задач ИИ в информационной безопасности с учетом выявленных ограничений обычных LLM. 60 • СПЕЦПРОЕКТ Детерминированные и объяснимые модели ИИ для задач ИБ а последние три года генеративный искусственный интеллект прошел путь от лаборатор- ного эксперимента до одного из ключевых элементов корпоративной автоматизации. Для многих отраслей оказалось достаточным, чтобы результат был “достаточно хорошим". Если при повторном запуске модели, к примеру, маркетинговый текст получится немного иным, это не создаст серьезных проблем. Однако в ИБ такой подход уже не работает. З