Журнал "Information Security/ Информационная безопасность" #1, 2024

моделей с течением времени. Стоит учитывать, что у каждого заказчика спам носит индивидуальный характер и создание универсальной модели невоз- можно даже теоретически. Для решения этой проблемы мы внедряем в наши продукты технологию федеративного дообучения моделей в контуре заказ- чика. Такой подход дает возможность адаптировать наши модели под специ- фику инсталляции и трафик заказчика. Еще одной особенностью является использование технологий компью- терного зрения . В AVSOFT ATHENA и AVSOFT KAIROS мы извлекаем ссылки из QR-кодов, а также обнаруживаем различные визуальные атрибуты на сай- тах, указывающие на наличие фишинга: логотипы формы авторизации, платеж- ные формы и т.д. Мы стараемся придерживаться муль- тимодального подхода , который предполагает использование разных типов данных (изображения, текст, таб- личные данные) в едином прогнозе. Это позволяет нам создавать более интег- рированные и адаптивные системы без- опасности, способные эффективно защищать наших клиентов. Мы продол- жаем развивать и совершенствовать этот подход, чтобы оставаться на пере- довой в борьбе с современными угроза- ми информационной безопасности. Стоит отметить, что мы очень много внимания уделяем оптимизации моде- лей. Наши модели работают не только с использованием GPU, но и на обычном серверном оборудовании, причем на очень больших потоках. Это важно, учи- тывая разнообразие аппаратных средств и их инфраструктурных особенностей у наших клиентов. – А ведь злоумышленники тоже могут использовать искусствен- ный интеллект? – Действительно, злоумышленники тоже активно используют искусственный интеллект для улучшения своих атакую- щих методов. Например, они могут использовать алгоритмы машинного обучения для создания персонализированных фишин- говых сообщений, которые труднее обнаружить традиционными методами. Они могут также применять алгоритмы генерации вредоносного кода или алго- ритмы обхода систем обнаружения вторжений. Но благодаря средствам динамического анализа, используемым в AVSOFT ATHENA, мы и их успешно обнаруживаем. – Известно, что алгоритмы и модели ИИ могут быть подверг- нуты атакам. Как ваша команда реагирует на эти вызовы? – Алгоритмы и модели искусственного интеллекта также могут быть подверг- нуты атакам, и это представляет серь- езную угрозу для безопасности. Злоумышленники могут пытаться иска- жать данные, используемые для обуче- ния модели машинного обучения, с целью внедрения вредоносного поведения в модель. Иногда злоумыш- ленники используют доступ к выходным данным модели машинного обучения, чтобы восстановить входные дан- ные , используемые для обучения. Атаки на модели машинного обучения могут иметь серьезные последствия, включая утечку конфиденциальных дан- ных, ошибочные решения в критических ситуациях или даже полную компроме- тацию системы безопасности. Для борь- бы с такими угрозами необходимо посто- янное обновление и улучшение методов защиты моделей машинного обучения. Наша команда принимает этот вызов очень серьезно и применяет ряд страте- гий для защиты. 1. Разбиение моделей на ансамбли , а также регулярный мони- торинг ответов модели в процессе обуче- ния, чтобы предотвратить внедрение вредоносных данных. 2. Регулярное обновление обучаю- щего набора данных и переобучение модели с использованием актуальных данных. 3. Использование техник аугмента- ции и зашумления данных, чтобы увеличить разнообразие обучающего набора данных и сделать модель более устойчивой. Мы принимаем все необходимые меры для обеспечения безопасности наших моделей машинного обучения и защиты их от атак. Однако этот процесс носит динамический характер, и мы постоянно совершенствуем наши мето- ды и стратегии. – Возникает ли у заказчиков вопрос доверия к моделям? А как вы справляетесь с этическими проблемами? – Вопросы доверия к моделям машин- ного обучения действительно волнуют наших заказчиков, особенно когда речь идет об установке наших систем "в раз- рыв". Мы придерживаемся принципа про- зрачности и объяснимости. Наша коман- да работает над тем, чтобы модели машинного обучения были объяснимыми и понятными для наших заказчиков. Мы стремимся использовать методы, кото- рые позволяют объяснить принципы работы моделей и логику принимаемых ими решений. В качестве таких средств мы используем надстройку для моделей в AVSOFT ATHENA и AVSOFT KAIROS – эксплайнеры и систему эвристик, позволяющих объяснить вердикты. Мы разбираем индиви- дуально все потенциаль- ные случаи ложных сра- батываний и всегда стре- мимся адаптировать наши методы и подходы к кон- кретным потребностям и ожиданиям наших заказчиков. – Заменит ли ИИ традиционные средства защиты или человека? – Мы видим ряд перспективных направлений в развитии технологий машинного обучения для кибербезопас- ности. Одним из таких направлений является автоматическое создание адап- тивных систем безопасности, способных быстро адаптироваться к новым угрозам и изменяющимся условиям среды. Мы ожидаем развития методов обнаружения атак на основе анализа поведения поль- зователей и сетевых устройств. Несмотря на то что ИИ демонстрирует значительный потенциал в области кибербезопасности, вопрос о том, заме- нит ли он традиционные средства защи- ты или человеческий фактор, остается предметом обсуждения. Я больше придерживаюсь позиции о необходимости коллаборативности, сотрудничества человека и ИИ. Челове- ческий анализ и экспертиза остаются важными в контексте кибербезопасно- сти, но с использованием ИИ человек может быстрее и эффективнее анали- зировать большие объемы данных и при- нимать обоснованные решения. Благодаря развитию технологии обра- ботки естественного языка для анализа текстовых данных появляется возмож- ность анализировать отчеты об инци- дентах или сообщения в социальных сетях, с целью выявления потенциальных угроз. Такой перспективный подход поз- воляет предсказать инциденты еще до того, как они произойдут. – Какие рекомендации вы бы дали компаниям, стремящимся улучшить свою кибербезопас- ность с помощью ИИ? – В первую очередь я бы рекомендовал инвестировать в обучение и подготовку специалистов по анализу данных и машин- ному обучению. Важно также создать инфраструктуру для сбора и анализа дан- ных, необходимых для обучения моделей машинного обучения. И конечно, не стоит забывать о постоянном мониторинге и обновлении систем безопасности с учетом последних достижений в области машин- ного обучения и кибербезопасности. Внедрение искусственного интеллекта в кибербезопасность требует комплекс- ного подхода и внимательного планиро- вания, но при правильном использовании может значительно улучшить защиту компании от киберугроз. Большое спасибо за интересное интервью и ценные рекоменда- ции! l • 47 ТЕХНОЛОГИИ www.itsec.ru АДРЕСА И ТЕЛЕФОНЫ "АВ Софт" см. стр. 70 NM Реклама