Журнал "Information Security/ Информационная безопасность" #1, 2025

Ближайшие несколько лет станут этапом становле- ния как самого рынка искус- ственного интеллекта, так и связанных с ним решений по кибербезопасности. С 2027 г. по 2030 г. неизбежны первые мас- штабные и громкие инци- денты безопасности, связан- ные именно с реализацией рисков ИИ. l ГОСТ Р 71539-2024 "Искус- ственный интеллект. Процессы жизненного цикла системы искусственного интеллекта"; l ГОСТ Р 70462.1-2022 "Инфор- мационные технологии. Интел- лект искусственный. Оценка робастности нейронных сетей. Часть 1. Обзор"; l ГОСТ Р 59898-2021 "Оценка качества систем искусственного интеллекта. Общие положения"; l ГОСТ Р 59277-2020 "Системы искусственного интеллекта. Классификация систем искус- ственного интеллекта"; l ГОСТ Р 59276-2020 "Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения"; l ПНСТ 836-2023 "Искусствен- ный интеллект. Функциональная безопасность и системы искус- ственного интеллект"; l ПНСТ 776-2022 "Информа- ционные технологии. Интеллект искусственный. Управление рисками". Что ждет сферу AI Security в скором будущем? Ближайшие несколько лет ста- нут этапом становления как самого рынка искусственного интеллекта, так и связанных с ним решений по кибербезо- пасности. Уже в 2025 г. мы, вероятнее всего, увидим мас- штабный всплеск появления про- стых, или "игрушечных", интел- лектуальных агентов. Подобные системы смогут выполнять отно- сительно примитивные задачи вроде поиска информации в Интернете, планирования встреч и ведения календаря. Это при- ведет к первому массовому рас- пространению агентов ИИ среди широкой аудитории, одновре- менно резко увеличив площадь потенциальной атаки. В этот же период появятся и первые масштабные угрозы, ориентированные на мультимо- дальные модели, где уязвимо- сти будут эксплуатироваться через комбинации нескольких модальностей: текст, изобра- жение, аудио. Мультимодаль- ность, являясь сильной сторо- ной современных ИИ-решений, в то же время создаст новые, уникальные риски. В ответ на это появится необходимость разработки новых моделей угроз и специализированных защитных решений, которые будут активно формироваться уже с конца 2025 г. В 2026–2027 гг. ситуация ста- нет еще интереснее и одновре- менно напряженнее: ожидается появление первых серьезных автономных агентов, способных управлять ресурсами, имеющи- ми реальную ценность – финан- сами, персональными данными или конфиденциальной инфор- мацией. С этого момента рынок ИБ начнет воспринимать без- опасность ИИ не как отдельную задачу, а как критический сег- мент своей деятельности. Имен- но в эти годы мы увидим первые релизы специализированных продуктов от крупнейших ИБ- вендоров, нацеленных исклю- чительно на защиту ИИ-моде- лей и инфраструктур, их обслу- живающих. Вслед за этим рынок защиты ИИ превратится в самостоятельный и быстро растущий сегмент глобальной кибербезопасности. С 2027 г. по 2030 г. неизбеж- ны первые масштабные и гром- кие инциденты безопасности, связанные именно с реализа- цией рисков ИИ. Учитывая темпы проникновения искус- ственного интеллекта во все отрасли экономики и повсе- дневной жизни, последствия таких инцидентов могут ока- заться критическими как с финансовой, так и с репута- ционной точки зрения. В это же время будет формироваться законодательная база, направ- ленная на регулирование раз- работки и использования систем ИИ с учетом требований безопасности и защиты данных. Подобные события окажут решающее влияние на даль- нейшее развитие не только ИИ- технологий, но и целых секторов экономики, основанных на их применении. l • 57 Безопасная разраБотка www.itsec.ru Меры митигации / Риски Отравленные данные Скомпро- метированные библиотеки Скомпро- метированные модели Open Source Модифици- рованные нарушителем метрики Опасные входные данные Закладки в инфра- структуре Модифици- рованные нарушителем показатели мониторинга Подготовка Контроль доступа и целостности Классическая кибербезопас- ность: Анализ кода – SAST, DAST, SCA Доверенные версии фреймворков Сканеры уязвимостей Классическая кибербезопасность Классическая кибербезопас- ность Выравни-вание модели Классическая кибер- безопасность Классическая кибер- безопасность Обнаружение Поиск выбросов в данных Сценарное тестирование модели Классическая кибер- безопасность Детекти-рование слоев моделей со зловредным кодом моделей с ВПО в весах (модели- транспорты) Поиск аномалий Модель-фильтр Противо- действие Синтетические данные Выравнивание модели Легкое дообучение Округление весов Ручная модификация небольшого количества весов Преобразова- ние входа Зашумление ввода Перформули- ровка Иерархические инструкции Табл. 1. Примеры мер митигации для угроз ИИ Ваше мнение и вопросы присылайте по адресу is@groteck.ru