Журнал "Information Security/ Информационная безопасность" #1, 2025

Принципиальное отличие систем с искусственным интеллектом от традицион- ных систем состоит в том, что в системах с ИИ алго- ритм решения задач форми- руется неявно, через обра- ботку больших массивов данных. Ключевые риски без- опасности ИИ включают атаки на обучающие данные (отравление дан- ных), компрометацию моделей (встраивание закладок или вредоносного кода) и промпт-атаки, когда злоумыш- ленники заставляют модель генерировать опасный или нежелательный контент. Разрабатываются различные меры защиты для ИИ-систем, и специалисты активно работают над новыми стандартами и под- ходами в области безопасности. Однако на данный момент нет единого набора решений, пол- ностью закрывающего все угро- зы. Статистика внедрения ИИ показывает, что массовые инци- денты безопасности – лишь вопрос времени, и именно поэтому отрасль, в том числе в России, активно разрабатывает и внедряет защитные механиз- мы. Мировой технологический фокус Во всем мире усиливается внимание к вопросам безопас- ности ИИ. Уже существуют и активно используются стандар- ты и руководства ведущих тех- нологических организаций и исследовательских институтов. Так, компания Google разра- ботала собственный Security AI Framework, а американский Национальный институт стан- дартов и технологий (NIST) опубликовал AI Risk Manage- ment Framework, призванный систематизировать подходы к управлению рисками ИИ- систем. MITRE развивает ATLAS – матрицу тактик и тех- ник атак, специфичных для систем с ИИ. Китайская Huawei представила собственную кон- цепцию Security for AI Systems, уделяя особое внимание защи- те ИИ-инфраструктуры. В Япо- нии ведет работу целый инсти- тут (AI Safety Institute), пред- ставивший в конце 2024 г. руко- водство по редтимингу прило- жений с ИИ. Активно ведется работа и со стороны профессиональных сообществ по разработке спе- циализированных рекоменда- ций. Например, в OWASP раз- вивается отдельное крыло, занимающееся исключительно вопросами безопасности ИИ. Уже два года выпускается спи- сок OWASP Top 10 for LLM Apps для приложений на основе боль- ших языковых моделей (LLM), содержащий наиболее критич- ные риски, и есть OWASP LLM Security Verification Standard, содержащий рекомендации по их устранению. Отличие систем с ИИ от обычных В чем же все-таки причина ажиотажа вокруг безопасности систем именно с ИИ? Принци- пиальное отличие систем с искусственным интеллектом от традиционных систем состоит в том, что в системах с ИИ алгоритм решения задач фор- мируется неявно, через обра- ботку больших массивов дан- ных. Если в обычной системе алгоритм строго задан заранее написанным программистами кодом, то системы с ИИ пола- гаются на модель, обученную на данных, которые выступают своеобразным образом желае- мого результата. Это позволяет адаптироваться к широкому спектру задач, улучшая пока- затели качества и эффектив- ности системы. Однако такая гибкость имеет обратную сторону: системы на основе ИИ значительно более сложны в плане безопасности. Использование данных и обученных моделей существен- но увеличивает поверхность атаки. Злоумышленнику не обя- зательно взламывать программ- ный код напрямую: у него появляется множество допол- нительных точек для потенци- ального воздействия – начиная с отравления данных и закан- чивая скрытыми манипуляция- ми параметрами моделей. Рассматривая жизненный цикл систем, можно выделить три основных этапа, на которых отличие систем с ИИ проявляет- ся особенно ярко. 1. На этапе создания ПО тра- диционная разработка подра- зумевает написание программ- ного кода и его последующий релиз. Системы с ИИ, в свою очередь, требуют не только написания кода, но и подготовки данных, настройки параметров и построения обучаемой модели (то есть получения весов в результате обучения). Именно модель, обученная на данных, становится центральным ком- 54 • ТЕХНОЛОГИИ Риски кибербезопасности информационных систем с ИИ и подходы к их митигации истемы, построенные с применением искусственного интеллекта, принципиально отличаются от традиционных информационных систем. В них появляется недетерминированная логика, вероятностное качество результатов, зависимость от данных и многие другие уникальные факторы. Все они добавляют новые возможности нарушителю, увеличивая поверхность атаки на защищаемую систему. Почему и как именно, попробуем разобраться. С Борис Захир, эксперт по безопасности ИИ, автор канала “Борис_ь с ml” Фото: Борис Захир