Журнал "Information Security/ Информационная безопасность" #2, 2026

l Модели должны регулярно тестиро- ваться – целенаправленные попытки манипуляции позволят выявить уязви- мости и применить меры для их устра- нения. Ключевое отличие MLSecOps от тра- диционной ИБ не в инструментах, а в объекте защиты. Мы защищаем не про- сто данные и инфраструктуру, а контро- лируем поведение системы, принимаю- щей решения, а также процессы, в кото- рых используется ИИ. Это требует дру- гого уровня понимания и другого набора компетенций, но при этом повышает уровень безопасности и сокращает время вывода ИИ-продуктов в продак- шен. Для безопасного использования ИИ необходимо внедрять AI Firewall, регу- лярно использовать сканеры ML Red Teaming для симуляции атак с целью выявления слабых мест до их эксплуа- тации злоумышленниками. Серьезное внимание следует уделить вопросу управления правами доступа и ограниче- нию прав ИИ-агентов, установку запрета на выполнение критических операций без участия человека. Как обстоят дела на практике? Чтобы понять, как атаки на ИИ-модели влияют на бизнес, рассмотрим их внед- рение и риски на конкретных примерах, а также практики, которые были приме- нены для защиты. Кража клиентских данных в банке Банки и страховщики – лидеры по зрелости внедрения ИИ. В одном из кейсов, с которыми столкнулись наши специалисты, банк использовал искус- ственный интеллект для детектирования мошенничества на основе поведенческих паттернов, персонализации предложе- ний, автоматизации скоринга, клиент- ской поддержки. ИИ дал ощутимые опе- рационные результаты: на 30% снизи- лось количество ложных срабатываний антифрода, на 15% снизилось число невозвратов кредитов за счет более точного скоринга, а 60% обращений клиентов обрабатывает ИИ, что позво- лило сократить штат поддержки и пере- распределить нагрузку специалистов на сложные кейсы. Однако банк столкнулся со следую- щим инцидентом: через фишинговую атаку злоумышленник получил доступ к учетной записи одного из ИТ-специа- листов, который имел широкий доступ к элементам инфраструктуры. Получив доступ к модели, хакер реализовал промпт-инъекцию. Модель имела доступ к данным клиентов и выдала злоумыш- леннику актуальную базу данных. Инци- дент удалось предотвратить на этапе вывода данных за пределы инфраструк- туры – DLP-система зафиксировала подозрительное поведение пользовате- ля, подала сигнал и аккаунт был забло- кирован. Для противодействия будущим промпт-инъекциям был внедрен AI Fire- wall для анализа и фильтрации запросов и ответов. Проведен аудит модели, доступ к ней предоставили только для специалистов, которым для реализации служебных задач она необходима, была усилена аутентификация. Нарушение маршрутов поставок В логистической компании ИИ- модель использовалась для оптимиза- ции маршрутов. За счет оперативного анализа модели в среднем время доставки удалось сократить на 20%, что высвободило для компании допол- нительные мощности и позволило брать дополнительные заказы. Хакеры проникли в информационную инфраструктуру из-за незакрытого досту- па к внешнему хранилищу. Находясь в инфраструктуре, злоумышленники добра- лись до базы данных, на которой ИИ- модель обучается, и подменили часть данных. В результате инцидента несколь- ко грузовиков направились по неопти- мальным маршрутам, что привело к задержкам в доставке. Потери компании оказались не настолько значительными (несколько сотен тысяч рублей), так как удалось вовремя зафиксировать сбой в работе и оптимизировать маршруты. Во избежание повторения подобной ситуации были внедрены дополнитель- ные меры защиты обучающих данных, расширены настройки MFA и PAM, кото- рые контролируют доступ к обучающим данным. Дополнительно был внедрен процесс регулярной верификации обучающих данных. CRM-система в поставщике оборудования У одного из заказчиков ИИ-модель использовалась для оптимизации работы коммерческого департамента с CRM-систе- мой. ИИ заполняла карточки клиентов, расшифровывала звонки и добавляла ком- ментарии. Модель была внешней, не встроенной в CRM-систему, взаимодей- ствие между ними происходило через API. Модель использовала для обучения все данные, которые собирала, хотя изначально это не подразумевалось. Ошибку удалось вскрыть до атаки, в результате применения сканера ML Red Teaming. Настройки ИИ-системы были изменены, из обучающих данных убрана конфиденциальная информация. При следующем анализе ошибка уже не повторилась. Что мешает выстроить защиту ИИ? Мы выделили три основных сложности для бизнеса сегодня в построении защи- ты ИИ-систем. Организационные сложности В большинстве компаний ИИ-про- екты живут в периметре ИТ или биз- нес-подразделений, а информационная безопасность подключается постфактум или не подключается вовсе. Это не злой умысел – просто ИИ-внедрения воспри- нимаются как продуктовая задача, а не как изменение профиля рисков. Пока эта установка не изменится, системной защиты не будет. Нехватка компетенций Специалистов, которые одинаково хорошо понимают машинное обучение и информационную безопасность, край- не мало. ИБ-команды зачастую не знают, как атакуют модели, а ML-команды не думают в категориях угроз. Это струк- турный дефицит, который нельзя закрыть покупкой инструмента – нужны инвестиции в обучение команды и новые роли. Инструментальные проблемы Классические средства защиты, такие как SIEM, DLP, WAF, не видят специфи- ческих угроз для ИИ-систем. Prompt Injection не выглядит как сетевая атака. Утечка через LLM не фиксируется как передача файла. Для полноценной защи- ты нужны специализированные инстру- менты, которые понимают контекст рабо- ты с моделями. Должна проводиться полная инвентаризация моделей, дата- сетов и версий GPU-драйверов, патчинг инференс-серверов.В заключение ИИ в корпоративной среде уже реаль- ность, от которой нельзя отказываться. При правильном внедрении бизнес полу- чает множество выгод. Но такое изме- нение архитектуры создает специфиче- ские риски, которые необходимо учиты- вать. Компании, которые осознают это сегодня, получат преимущество – не только операционное, но и репута- ционное. Инвентаризация ИИ-систем, их досту- пов и набора данных для обучения, включение ИИ-систем в модели угроз, определение ответственных за безопас- ность ИИ – практические шаги, которые помогут начать выстраивать безопасный искусственный интеллект в корпоратив- ной инфраструктуре. ИИ меняет бизнес-процессы и опера- ционную деятельность. Безопасность ИИ – вопрос доверия новой структуре. l • 55 БЕЗОПАСНОЕ ИСПОЛЬЗОВАНИЕ ИИ www.itsec.ru Ваше мнение и вопросы присылайте по адресу is@groteck.ru