Журнал "Системы Безопасности" № 2‘2024

Ц И Ф Р О В А Я Т Р А Н С Ф О Р М А Ц И Я , И И , И Н Т Е Р Н Е Т В Е Щ Е Й 118 Алексей Доможиров Независимый эксперт И скусственный интеллект (ИИ) и большие языковые модели (LLMs) играют важную роль в современной кибербезопасности. Использование ИИ включает анализ больших объемов данных, обнаружение угроз, опреде- ление рисков и автоматическую реакцию на инциденты [1]. Большие языковые модели, например GPT-3, GPT-4 и иные ИИ, способны анализировать и понимать естественный язык, что помогает им распознавать фишинговые письма и другие виды социальной инженерии [2]. Применение ИИ в кибербезопасности предполагает прогнозирование возможных атак на основе данных о предыдущих угрозах и инцидентах [3]. Кроме того, использование ИИ может способствовать выявлению и устра- нению нулевого дня без известных исправле- ний или обновлений разработчиками [4]. Однако следует отметить, что при использова- нии ИИ и LLMs в кибербезопасности могут воз- никнуть определенные трудности. Как пример одной из ключевых проблем – наличие пред- убеждений при обучении моделей, что спо- собно вызывать ошибки в результатах работы системы [5]. Существует риск, что злоумыш- ленники могут задействовать LLMs для созда- ния более убедительных фишинговых писем или для поиска и эксплуатации уязвимостей. Важно понимать, что ИИ не является лучшим средством и требует дополнительного челове- ческого участия и внимания для эффективной работы. Сотрудничество между профессиона- лами в области кибербезопасности и система- ми ИИ в связке с LLMs имеет важное значение для успешного выявления и противодействия угрозам. Технологии и методы прогнозирования уязвимостей Технологии прогнозирования уязвимостей с помощью ИИ и LLMs представляют собой под- ходы в области кибербезопасности, направлен- ные на улучшение защиты информационных систем от вредоносных атак и уязвимостей. Эти технологии позволяют анализировать большие объемы данных, обнаруживать аномалии, предугадать угрозы и автоматизировать обра- ботку инцидентов, тем самым повышая эффек- тивность систем информационной безопасно- сти. ИИ в кибербезопасности используется для ана- лиза и прогнозирования угроз на основе дан- ных о прошлых инцидентах. Это включает в себя обнаружение аномалий, которое позво- ляет выявлять необычное поведение в сети, что может указывать на попытку вторжения или иную угрозу. Алгоритмы машинного обучения анализируют данные о поведении системы и трафике, выявляя отклонения от нормы и пред- сказывая потенциальные атаки до того, как они произойдут. Применение ИИ включает автоматизацию обра- ботки инцидентов, что позволяет системам информационной безопасности или системам мониторинга событий информационной без- опасности быстро реагировать на угрозы, мини- мизируя вред от возможных атак. Это достига- ется за счет использования алгоритмов, кото- рые могут автоматически классифицировать типы атак и предлагать оптимальные решения для их нейтрализации. LLMs, в свою очередь, представляют собой мощные инструменты для анализа и понимания естественного языка, что позволяет им обнару- живать фишинговые письма, мошеннические сообщения и другие виды социальной инжене- рии. Эти модели обучаются на больших объе- мах текстовых данных, что позволяет им гене- рировать и анализировать тексты, выявляя потенциально вредоносный контент. LLMs могут использоваться для ревью кода и написания фрагментов программного обеспечения, что помогает обнаруживать уязвимости в коде до того, как они будут эксплуатироваться зло- умышленниками. Это особенно важно для предотвращения атак нулевого дня, когда уязвимости еще не известны разработчикам и не существует патчей для их устранения. Отдельной областью исследования является применение LLMs в архитектуре безопасной разработки (CI/CD). LLMs используются в качестве сервисного бэкэнда для интегрированных LLMs в приложе- ния на основе ИИ, которые служат промежуточ- ным программным обеспечением для уточне- ния запросов пользователей с помощью знаний о конкретной области, чтобы лучше информи- ровать LLMs и улучшать ответы. Несмотря на многочисленные возможности и преимущества, интегрированные в LLMs приложения могут создавать новые векторы атак и являются потен- циальными уязвимостями, которые, вероятно, будут исходить от разработчика вредоносного приложения или от злоумышленника (внешнего инициатора угрозы), способного контролиро- вать доступ к базе данных, манипулировать и отправлять данные, представляющие повышен- ный риск для пользователя. Успешная эксплуа- тация выявленных уязвимостей может привести к тому, что пользователи получат ответы, соот- ветствующие намерениям внешнего злоумыш- ленника (инициатора угрозы), в таких LLMs- приложениях на базе OpenAI GPT-3.5 и GPT-4. Эмпирические результаты показывают, что угрозы вполне эффективно обходят ограниче- ния и политику модерации OpenAI, в результате чего пользователи получают необъективные ответы, опасный контент, угрозу конфиденци- альности и дезинформацию. Для противодей- ствия этим опасностям определены четыре ключевых свойства: целостность, определение источника, возможность обнаружения атак и обеспечение безопасности, которым должно удовлетворять безопасное LLMs-интегрирован- ное приложение [6]. Для прогнозирования уязвимостей в кибербе- зопасности используются различные методы ИИ: 1. Метод машинного обучения – классифика- ция, кластеризация, обнаружение аномалий для анализа больших объемов данных и выявления уязвимостей в информационных системах [7]. 2. Метод глубоких нейронных сетей – для ана- лиза структуры и поведения сетей, выявления аномалий и обнаружения потенциальных угроз безопасности [7]. 3. Метод обработки естественного языка (NLP) – для анализа текстовых данных, включая угрозы безопасности, фишинговые письма и другие виды социальной инженерии [8]. 4. Метод машинного обучения с подкреплени- ем – для создания систем, способных автома- тизированно искать уязвимости в информа- ционных системах [8]. 5. Метод опорных векторов (SVM) – алгоритм машинного обучения для классификации и ана- лиза данных. Он широко применяется для выявления уязвимостей на основе характери- стик сетевого трафика или кода приложений. SVM может помочь обнаружить аномалии и предсказать потенциальные угрозы безопас- ности. 6. Метод байесовских сетей [9] – для повыше- ния надежности обнаружения уязвимостей, когда существует неопределенность в оценке, является ли выявленная уязвимость достовер- ной. Этот метод позволяет включать в оценку другие наблюдения в качестве доказательств, например, как часто используемый механизм обнаружения генерирует ложноположительные результаты и т.д. Использование байесовских сетей позволяет проводить более интеллекту- альный анализ, который сочетает несовершен- ные методы сканирования с экспертными чело- веческими знаниями. 7. Метод машинного обучения "регрессия дере- ва с градиентным усилением" – для определе- ния поведения и предпочтения пользователей с возможностью объединить историю исправ- лений, обновлений и т.д., чтобы предсказать важное. апрель – май 2024 www.secuteck.ru Анализ и прогнозирование уязвимостей с помощью искусственного интеллекта и больших языковых моделей Рассмотрим ключевые проблемы в сфере кибербезопасности, методы для обнару- жения и предотвращения уязвимостей в информационных системах и технических средствах на основе искусственного интеллекта и больших языковых моделей