Журнал "Information Security/ Информационная безопасность" #4, 2018

Безопасность системы ИИ и как ее обеспечить Отмеченный выше принцип предварительного обучения при обработке данных методами искусственного интеллекта при- водит к тому, что конечное реше- ние зависит не только от алго- ритма принятия решения, но и от обработанных ранее и обра- батываемых в данный момент данных. В результате возникают два совершенно новых типа атак на системы рассматриваемого типа в дополнение к классиче- ским, характерным для любой информационной системы: l манипуляция входными дан- ными при обучении с целью изменения последующего про- цесса принятия решения, или так называемое отравление данных (data poisoning) – рис. 1; l подбор входных данных на этапе принятия решения, при- водящий к их неверной класси- фикации, или так называемое уклонение от данных (data eva- sion) – рис. 2. Данные атаки применимы не только к нейронным сетям, но и к методам машинного обучения, использующим, например, аппа- рат математической статистики. Это является следствием того, что все подобные методы факти- чески аппроксимируют парамет- ры обрабатываемых данных неко- торыми функциональными соот- ношениями. Собственно, точность подобной аппроксимации и опре- деляет возможность реализации указанных типов атак. Следует отметить, что какой- либо единой методологии защи- ты систем рассматриваемого типа в настоящее время нет. Вместе с тем исследователи выделяют ряд подходов 5 , кото- рые в настоящее время активно изучаются. Обучение с защитой от атак на процесс принятия решений. В этом случае обучающие дан- ные формируются таким обра- зом, чтобы исключить возмож- ность применения конкретных атак (фактически происходит обучение распознаванию ата- кующих данных) или попытаться ослабить влияние определен- ных классов атак. Идея защиты в процессе обучения основана на ограниче- нии множества входных данных. Поскольку, как уже было сказано, параметры данных могут иметь сложный функциональный вид, а решающее правило фактиче- ски аппроксимирует их функцио- налом более простого вида, то, например, запрет на использо- вание данных, которые в каком- то смысле далеки от среднего значения обучающей выборки, позволяет уменьшить влияние атак на этапе обучения. В заключение отметим аспект обеспечения конфиденциально- сти данных, и прежде всего пер- сональных данных пользовате- лей. Обработка больших объе- мов данных в системах машин- ного обучения безусловно ставит под угрозу в первую очередь данные пользователей. К настоя- щему моменту уже делаются попытки совместить системы данного класса с такими активно развивающимися перспективны- ми направлениями в криптогра- фии, как гомоморфное шифро- вание и протоколы конфиден- циального вычисления. Однако до реального внедрения подоб- ных систем пока еще далеко. l В ФОКУСЕ www.itsec.ru Рис. 2. "Уклонение" от данных (data evasion) Ваше мнение и вопросы присылайте по адресу is@groteck.ru 5 Security and Privacy Issues in Deep Learning, https:// arxiv.org/abs/1807.11655 Сегодня достаточно много гово- рят о том, что Россия находится в очень удобном положении между Востоком и Западом и может вби- рать все лучшее, что есть у двух сторон. И что удобное геополити- ческое положение позволяет нам нивелировать все риски, возник- шие в результате напряженности с США и, как следствие, с Европой. Однако давайте посмотрим на эту ситуацию чуть внимательнее. Можем ли мы сейчас самостоя- тельно закрыть все потребности в области кибербезопасности? Увы. Несмотря на наличие определен- ного количества отечественных игроков рынка ИБ и растущее число стартапов, они не в состоя- нии закрыть все потребности потре- бителей даже государственного сектора, не говоря уже о коммерческом. Где, например, отечественные системы класса EDR, системы управления инцидентами, решения класса CASB, решения по оркестра- ции и автоматизации ИБ, песочницы, защита Wi-Fi, виртуа- лизации и Интернета вещей и др. (даже наличие всего одного продукта в названном сегменте рынка не делает ситуацию лучше)? А где сертифицированные средства борьбы с DDoS, защиты MacOS или iOS, обеспечения дове- ренной нагрузки для ноутбуков, гарантированного уничто- жения информации на машинных носителях, контроля целостности ПО, резервного копирования? Но если нет своих решений, то, может быть, мы можем воспользоваться помощью других стран, где такие решения есть? Америка? Вряд ли, учитывая текущую геополитическую ситуацию, санкции и курс на импортозамещение. Тогда что, смотрим на Восток? Китай сегодня является второй после США страной, которая обладает достаточно мощной индустрией кибербезопасности. Но и в этом случае есть ряд нюансов, делающих движение в противоположную от Запада сторону непростым. Во-первых, китайский рынок ИБ является сугубо локаль- ным и за его пределами известно от силы 3–4 компании, которые не могут закрыть даже сотую часть потребностей российских потребителей. Остальные компании Поднебесной не имеют планов по географической экспансии, и исполь- зовать их нелокализованные даже на английский язык решения невозможно. Во-вторых, китайские компании постоянно обвиняются разными странами в шпионаже и им запрещают работать в Австралии, США, Индии, странах Европы и т.д. Понятно, что в условиях отсутствия альтернативы у нас нет иных вариантов, но лучше ли нам от того, что мы используем продукты, которые вместо защиты могут шпионить за рос- сийскими государственными организациями? В-третьих, между Китаем и Россией (в том числе и с Европой) есть существенные различия в культуре и фило- софии, которые осложняют работу с восточным партнером. Шутка ли, строить Великую Китайскую стену на протяжении 17 столетий. Стремление Китая к мировому господству известно (кто не хочет быть лидером мира?), но в отличие от большинства властителей Старого и Нового Света, хотя- щих все и сразу, китайцы готовы ждать целые десятилетия и столетия. Что в итоге? Отсутствие достаточного количества своих решений, краткосрочные риски от использования амери- канских и долгосрочные риски от применения китайских продуктов? Непростая ситуация, из которой выбираться каждому придется самому… l Алексей Лукацкий, бизнес- консультант по информационной безопасности Колонка эксперта • 7