Журнал "Information Security/ Информационная безопасность" #6, 2020

жего воздуха для ботоводов-накрутчи- ков, спамеров и фишеров. Использование ИИ позволит не только имитировать поведение живого человека в текущий момент, чтобы подписаться на аккаунт или поставить лайк. Обучен- ные нейроботы будут поддерживать активности на фальшивых аккаунтах в соцсетях, создавая реалистичные про- фили с многолетней историей. Социальная инженерия нового поколения Эффективность "веерных" мошенни- ческих рассылок относительно невелика. И хотя небольшие затраты на проведе- ние таких кампаний позволяют очень быстро выйти в плюс, преступники будут рады любой технологии, которая повысит прибыльность. ИИ может автоматически проанализи- ровать базу адресов потенциальных жертв, отбраковать заведомо нерабочие адреса, а для остальных провести экс- пресс-OSINT, изучив доступную в откры- тых источниках информацию. Это поз- волит составить психопрофили и выбрать тех, кто легче поддастся обману. Если кампания предполагает пере- писку с жертвой, анализ ответов на базе машинного обучения позволит предвосхитить наиболее распространен- ные реплики цели и выбирать наиболее результативную стратегию для дальней- шего общения. Обман банковских систем онлайн-идентификации KYC (Know Your Customer, "знай своего клиента") – методика проверки личности клиента, которая проводится банками и другими финансовыми институтами. Обыч- но процедура KYC состоит из трех этапов: 1. Идентификация – клиент предо- ставляет различные документы, сотруд- ник банка сравнивает внешний вид кли- ента с фотографией, а также может сфотографировать его, записать образ- цы голоса или снять отпечатки пальцев. 2. Верификация – проверка предо- ставленных клиентом данных. 3. Аутентификация – вход клиента в банковскую систему с использованием логина и пароля, ответа на контрольный вопрос или биометрических данных. Из-за пандемии многие проводят иден- тификацию клиентов в дистанционном режиме с использованием видеосвязи. Применение ИИ уже в ближайшем будущем позволит манипулировать видеопотоками в режиме реального времени, чтобы обмануть систему вери- фикации. Используя возможность син- теза голоса и лица, преступники смогут злоупотреблять этими системами в широких масштабах, например, для соз- дания новых банковских счетов или авторизации платежей. Это вызывает большие опасения, поскольку в настоя- щее время видео является одним из рекомендованных механизмов иденти- фикации для банковской отрасли в нескольких странах. Поиск значимых данных в массивах похищенной информации Информация стала новым золотом, поэтому практически все операторы шифровальщиков-вымогателей не толь- ко шифруют данные своих жертв, но и похищают эти данные. В результате они получают дополнительный аргумент для выплаты им выкупа не только за расшифровку, но и за удаление укра- денных сведений. Проблемой таких инцидентов для зло- умышленников обычно становится объем данных. Найти в терабайтах информации что-то по-настоящему ценное – нетри- виальная задача. И это как раз та область, в которой силен ИИ: обученная нейросеть может выявить и извлечь структурированную информацию из неструктурированных документов. Для этого можно воспользоваться, например, одной из реализаций технологии NER (Named Entity Recognition, "распознава- ние именованных сущностей"). NER – это направление технологии обработки языка для поиска в речи и тексте определенных категорий слов и словосочетаний. Сначала это были географические наименования, имена людей, организаций, адреса, однако в настоящее время это понятие значитель- но расширилось и с помощью NER стало возможно найти в тексте относительные и абсолютные даты, числа, номера. Разу- меется, можно использовать NER для поиска данных банковских карт, теле- фонных номеров и банковских счетов. Скорее всего, в ближайшем будущем в информационном поле появятся упо- минания об ИИ, который использует NER для поиска ценных данных в похи- щенных документах. Отравление данных глубокого обучения Поскольку работа алгоритма нейро- сети базируется на данных машинного/глубокого обучения, можно ожидать появления принципиально ново- го вектора атак – отравления данных глубокого обучения. Эти данные представляют собой огром- ные массивы чисел, причем в процессе работы алгоритма они могут дополняться и изменяться. Работа нейросети зависит от этих данных, но даже ее разработчик не сможет объяснить, почему нейросеть выдала тот или иной результат. Преступники могут рассматривать эту конкретную проблему как источник воз- можностей. Изменение легитимной про- граммы или библиотеки может быть замечено как по коду, так и по поведен- ческим аномалиям при его выполнении. А вот аномалии в модели глубокого обучения будет сложнее выявить из-за отсутствия объяснимости модели. Таким образом, будущие вредоносные программы могут воздействовать на машины-хостеры, нацеливаясь, фильт- руя или изменяя напрямую данные моде- ли, а не библиотеки или API. В конце концов, изменение модели, вызванное вредоносным ПО, практически невоз- можно отличить от изменений, вызван- ных обновлением модели. На киберпреступных форумах уже встречаются обсуждения возможности внедрить в данные обучения некую "при- вивку", которая заставит нейросеть в определенных случаях вести себя нуж- ным образом. И хотя пока такие обсуж- дения носят скорее теоретический харак- тер, запрос на разработку уже сформу- лирован, значит его реализация вполне может появиться на свет. Поможет ли отказ от ИИ? Рост количества угроз, связанных с неза- конным применением нейросетей, застав- ляет многих активных граждан высказы- ваться за введение ограничений на доступ к этой технологии, за введение государст- венного надзора за применением ИИ и ужесточение наказаний за преступное использование глубокого обучения и смеж- ных направлений. Однако принесут ли такие ограничения реальную пользу? Преступники и сейчас действуют вне правового поля, зачастую используя нелегальный доступ к засекреченным технологиям для реализации кампаний. Поэтому ограничения скорее окажут негативное влияние на развитие обще- ственно полезной технологии, чем поме- шают тем, кто планирует ее злонаме- ренное использование. Гораздо эффективнее будет проана- лизировать настоящие и будущие угро- зы, связанные с преступным примене- нием нейросетей, и разработать меры адекватного противодействия, также построенные на базе глубокого обуче- ния. При этом одной из важнейших задач станет обеспечение механизмов защиты данных модели с помощью системы проверки целостности на базе контрольной суммы или эталонных обучающих последовательностей с известными для модели результатами по набору ключевых точек. l • 43 ТЕХНОЛОГИИ www.itsec.ru Рис. 2. Один из сервисов по накрутке для различных социальных платформ Ваше мнение и вопросы присылайте по адресу is@groteck.ru