Журнал "Information Security/ Информационная безопасность" #1, 2025

В российском законода- тельном и нормативно-пра- вовом поле ведется актив- ная работа по регулирова- нию безопасности искус- ственного интеллекта. Основополагающим зако- нодательным актом для без- опасности ИИ в России является Указ Президента РФ от 10 октября 2019 г. № 490 "О развитии искус- ственного интеллекта в Рос- сийской Федерации". На прошедшем в февра- ле 2025 г. ТБ Форуме пред- ставители ФСТЭК России показали проект нового при- каза с требованиями по защите информации в ГИС, в котором, в числе прочего, теперь есть и требования по безопасности искусственно- го интеллекта. Cуществует также риск изме- нения метрик качества модели, что может привести к внедре- нию неэффективной или вре- доносной модели. На этапе эксплуатации глав- ные риски связаны с пользова- тельскими интерфейсами и инфраструктурой. Злоумышлен- ники могут использовать промпт-атаки для получения вредоносных генераций от модели. Опасны также закладки и скрытые вредоносные модули в ПО и аппаратуре, которые могут долго влиять на работу ИИ. Уязвима также система мониторинга, которую можно модифицировать для скрытия компрометации. Митигация рисков Обеспечение защиты систем с ИИ требует подходов, выходя- щих далеко за рамки традицион- ных методов информационной безопасности. Специфические угрозы нуждаются в специали- зированных мерах противодей- ствия, ориентированных именно на логику и структуру ИИ. Для защиты от отравления данных важно обеспечить стро- гий контроль доступа и целост- ности наборов данных еще на этапе их подготовки и сбора. Недостаточно просто разгра- ничивать права доступа: необходимо постоянно отсле- живать и выявлять аномалии в данных, которые могут указы- вать на внедрение злонаме- ренных примеров. Важную роль здесь играет сценарное тестирование модели: провер- ка поведения ИИ на компро- метацию при подаче специ- ально подготовленных опасных инструкций. По сути - Red Teaming для ИИ. Такое тести- рование позволяет не только выявить аномальные паттерны поведения модели, но и пред- отвратить последующие экс- плуатационные риски. Помимо этого, использова- ние открытых (Open Source) моделей или библиотек несет риск внедрения скрытых вре- доносных зависимостей, кото- рые могут быть интегрированы непосредственно в архитекту- ру или веса нейросети. Для митигации подобных рисков применяется как классический арсенал инструментов кибер- безопасности – статический и динамический анализ кода (SAST, DAST), контроль версий библиотек, анализ программ- ных зависимостей (SCA), так и специализированные подхо- ды. Например, детектирование функциональных слоев или весов, в которых потенциально скрыто вредоносное программ- ное обеспечение (ВПО). Такие проверки позволяют выявить подозрительные архитектур- ные решения и нетипичные веса, которые могут указывать на наличие скрытых бэкдоров или троянов, встроенных в модель еще на этапе ее пер- воначального обучения, или на этапе создания файла модели. Отдельное внимание требует противодействие опасным вход- ным данным, таким как джейлб- рейки и промпт-инъекции (под- вид промпт-атак). Джейлбрей- ками называются запросы к GenAI-модели, направленные на обход ее механизмов безопас- ности, а промпт-инъекциями – запросы, направленные на нане- сение ущерба безопасности системы, использующей GenAI- модель. Основной механизм безопасности против джейлб- рейков, это выравнивание моде- ли (alignment) – настройка и дополнительное обучение, направленное на то, чтобы отве- ты ИИ соответствовали уста- новленным этическим и инфор- мационным нормам, снижая вероятность нежелательных генераций. Дополнительно при- меняется фильтрация входных и выходных данных с помощью специализированных моделей- фильтров, которые могут выявить и блокировать нежела- тельные запросы и ответы, а также поиск аномалий и пре- образование входных данных – от простого зашумления до иерархических преобразований и переопределения контекста. Все перечисленные подходы и меры требуют скоординиро- ванного и комплексного приме- нения на различных этапах жиз- ненного цикла ИИ-системы, поз- воляя обеспечить надежную защиту от специфических угроз, характерных для искусственно- го интеллекта. В табл. 1 рас- крыты конкретные примеры мер митигации для рассмотренных угроз. Регуляторный ландшафт в России В российском законодатель- ном и нормативно-правовом поле ведется активная работа по регулированию безопасности искусственного интеллекта. В целях ее ведения создан Кон- сорциум исследований безопас- ности технологий искусственно- го интеллекта. Работой в этом направлении занимается также Альянс ИИ. В составе этих объ- единений и в собственном порядке исследования и разра- ботку документов по безопас- ности ИИ ведут НТЦ ЦК, Акаде- мия криптографии Российской Федерации, ФСТЭК России, ИСП РАН, и другие организации. Основополагающим законода- тельным актом для безопасности ИИ в России является Указ Пре- зидента РФ от 10 октября 2019 г. № 490 "О развитии искус- ственного интеллекта в Россий- ской Федерации" (с изменениями и дополнениями). Он устанавли- вает терминологический базис как для безопасности ИИ, так и для всего искусственного интел- лекта в целом. Например, п.5, пп. "ц" говорит: "доверенные тех- нологии искусственного интел- лекта – технологии, отвечающие стандартам безопасности, раз- работанные с учетом принципов объективности, недискримина- ции, этичности, исключающие при их использовании возмож- ность причинения вреда челове- ку и нарушения его основопола- гающих прав и свобод, нанесе- ния ущерба интересам общества и государства". Помимо этого, в п. 51 в числе основных направ- лений развития, одним из них указывается обеспечение информационной безопасности при разработке, внедрении и использовании технологий искус- ственного интеллекта. А в п.53 содержится указание о создании межведомственного совета, который будет заниматься вопросами безопасности исполь- зования технологий искусствен- ного интеллекта. На прошедшем в феврале 2025 г. ТБ Форуме представи- тели ФСТЭК России показали проект нового приказа с требо- ваниями по защите информа- ции в ГИС, в котором, в числе прочего, теперь есть и требо- вания по безопасности искус- ственного интеллекта. Помимо этого, в России ведут работу различные технические комитеты, выпускающие госу- дарственные стандарты в области безопасности ИИ. К ним можно отнести следующие ГОСТы (а также перспективные документы, кандидаты в стандарты): l ГОСТ Р 71476-2024 "Искус- ственный интеллект. Концепции и терминология искусственного интеллекта"; 56 • ТЕХНОЛОГИИ