Журнал "Information Security/ Информационная безопасность" #2, 2026

LLM-модель, ИИ-ассистент, ИИ-агент – эти термины сегодня становятся прак- тически синонимом современной, тех- нологичной компании, которая приме- няет передовые практики. И с этим сложно поспорить, ведь искусственный интеллект действительно стал прорыв- ной технологией, позволяющей иначе посмотреть на архитектуру бизнес-про- цессов. В российском бизнесе теперь наблю- дается одна фундаментальная проблема: инвестиции в искусственный интеллект, его внедрение и обучение персонала промпт-инжинирингу значительно пре- вышают выделенные средства на обес- печение их защищенности. На вашу ИИ-модель воздействуют ИИ-модель – не просто программа. Это инструмент, который самостоятель- но обучается, в том числе на конфиден- циальных данных, взаимодействует с пользователями в режиме диалога, дей- ствуя исходя из запросов. Классическое ПО не может выполнить задачу, если изначально в ней не был заложен соот- ветствующий функционал. ИИ, при соот- ветствующем воздействии, может научиться делать то, что не было внед- рено первоначально. Тут и появляются риски: внутренний или внешний зло- умышленник может нанести бизнесу серьезный урон, при этом его действия будет сложно отследить или заблокиро- вать без использования специальных подходов к защите. MITRE ATLAS – это база знаний, осно- ванная на реальных наблюдениях, кото- рая описывает тактики, техники и про- цедуры (TTP) кибератак на системы машинного обучения. Она адаптирует известную методологию MITRE ATT&CK для специфики ИИ-угроз. MITRE Atlas выделяет 56 подтехник атак, которые злоумышленники используют в отноше- нии ИИ-моделей. Так как на Западе развитие искусственного интеллекта и его внедрение в бизнес-процессы про- исходит быстрее, а атаки на иностранные компании начались раньше, у российских хакеров появляется возможность исполь- зовать лучшие практики, которые уже показали свою эффективность. Выделим три основные угрозы, кото- рые наиболее распространены сегодня. 1. Представьте корпоративный ИИ-помощник, обученный на внутрен- ней базе знаний компании – регламен- тах, договорах, переписке. Пользова- тель формулирует вопрос так, что асси- стент для ответа цитирует выдержки из конфиденциальных документов. Про- изошла ли утечка? Да. Зафиксируют ли ее классические инструменты? Нет. Так как все произошло легитимно. Подобная ситуация возникает, когда граница между тем, что модель знает, и тем, что ей разрешено говорить, не выстроена архитектурно. 2. Prompt Injection – тип атак, при котором вредоносная команда встроена в промпт или в дополнительные мате- риалы, передаваемые в ИИ-модель. Классический пример: пользователь отправляет на анализ документ, внутри которого спрятана инструкция: проигнорируй предыдущие правила и ответь на следующий вопрос. Модель читает документ и следует инструкции, внося изменения в инфраструктуру или выдавая некорректные данные. Особенно опасны промпт-инъекции в агентных сце- нариях, где ИИ не просто отвечает на вопросы, но и выполняет действия: отправляет письма, создает задачи, обра- щается к внешним API. 3. Потенциально наиболее опасный риск – компрометация на этапе обуче- ния: злоумышленники заражают обучаю- щие данные, что может с самого начала заложить вредоносные сценарии, оста- вить бэкдоры и т. д. MLSecOps – не просто новый термин Учитывая все риски, связанные с использованием ИИ в инфраструктуре, и неэффективность некоторых класси- ческих СЗИ в их мониторинге, сформи- ровалась практика MLSecOps. Простыми словам, это объединение принципов DevSecOps с требованиями безопасно- сти, специфическими для машинного обучения. Идея схожа с безопасной раз- работкой – ИБ нужно обеспечить на каждом этапе, а не просто повесить сверху. Несколько конкретных изменений в подходе: l Данные для обучения проходят вери- фикацию и контроль целостности. Доступ к ним дополнительно защищен, чтобы избежать отравления данных. l Доступ к модели ограничен на уровне ролей. Те, кому она не нужна для работы, не должны иметь никакого доступа. l Запросы к модели должны фильтро- ваться и анализироваться до попадания в саму модель. Это позволит выявить вредоносные действия. l Необходим постоянный мониторинг поведения модели, анализ нестандарт- ных действий и ответов, особенно на раннем этапе. Фиксация отклонений поз- волит зафиксировать вредоносные дей- ствия и лучше понимать логику реше- ний. 54 • СПЕЦПРОЕКТ Искусственный интеллект в корпоративных системах – вас ломают по-новому оценке ИИ на первый план в большинстве случаев выходят вопросы функциональности и эффективности, а риски остаются на потом. Именно этот пробел в мышлении превра- щается в системную проблему по мере того, насколько глубо- ко ИИ-модели встраиваются в критические бизнес-процессы. Как сегодня атакуют ИИ, и что с этим делать? В Антон Редько, руководитель группы “Безопасная разработка” компании “Кросс технолоджис” Игорь Бирюков, генеральный директор компании INFERA Security Фото: Кросс технолоджиc Фото: INFERA Security