Журнал "Системы Безопасности" № 5‘2023

Ц И Ф Р О В А Я Т Р А Н С Ф О Р М А Ц И Я , И И , И Н Т Е Р Н Е Т В Е Щ Е Й 15 l для Сии повышенной опасности (беспилот- ный транспорт, промышленная робототехни- ка, интеллектуальные аСу ТП и др.), отличаю- щихся тем, что их функционирование, даже при успешном выполнении задач по назначе- нию, может привести к гибели людей или наступлению других тяжких последствий; l для Сии, непосредственно предназначенных для решения задач обеспечения безопасности жизни и здоровья людей: медицинские систе- мы ии, технические средства обеспечения без- опасности, системы жизнеобеспечения, систе- мы активной безопасности автомобилей и др. Предотвращение рисков и угроз Для лиц, непосредственно участвующих и заинтересованных в создании и применении Сии (далее – акторов ии, п. 1.1 в табл. 1), предотвращение такого рода угроз заключается в обеспечении собственной безопасности и выполнении минимального объема требований, установленных государственными регуляторами (расширение объема удовлетворяемых требо- ваний сверх минимально требуемого может привести к ухудшению основной функциональ- ности, удорожанию и снижению конкурентоспо- собности Сии). Принимая во внимание, что общество в целом и государственные регулято- ры, призванные защищать интересы общества, заинтересованы в максимальном ужесточении требований безопасности (п. 1.2 в табл. 1), ком- промисс интересов акторов ии и третьих лиц обеспечивает разумный уровень физической и экологической безопасности систем. Так или иначе, для систем повышенной опас- ности (п. 1 в табл. 1) необходимо иметь гаран- тии того, что уровень формируемых ими угроз не превышает уровень, демонстрируемый ква- лифицированными людьми-операторами, выполняющими соответствующие задачи управления и обработки данных в ручном режиме. Кроме того, при длительной эксплуа- тации и дообучении таких Сии в однотипных, слабо изменяющихся условиях возникает риск статистического смещения дополненного обучающего нД и, как следствие, ошибок алгоритмов МО при предъявлении исходных данных, хотя и соответствующих ПуЭ, но отли- чающихся от вышеупомянутых однотипных условий эксплуатации. Это требует особого внимания к контролю характеристик (в данном случае – репрезентативности) дообучающих нД и качества Сии при дообучении. Особый вид требований связан с предотвраще- нием угроз информационной безопасности (иБ) в отношении заинтересованных лиц, вызванных нарушением функциональной кор- ректности Сии (п. 2 в табл. 1). Если в таких системах предполагается обработка персональ- ных данных или некорректная работа систем может привести к реализации деструктивных информационно-психологических воздействий на общество (дезинформация, злонамеренное нарушение социальной стабильности), то в формировании требований иБ к таким Сии заинтересованы общество в целом и соответ- ствующие государственные регуляторы (п. 2.2 в табл. 1). Отметим, что особенностью Сии является воз- можность возрастания уровня конфиденциаль- ности данных при их обработке и агрегирова- нии на стадии эксплуатации. Данное обстоя- тельство должно учитываться при формирова- нии требований в области иБ на стадиях про- ектирования и разработки систем. в обеспечении конфиденциальности информа- ции во всех Сии, в том числе не связанных с обработкой персональных и других социально чувствительных данных, в любом случае заинте- ресованы такие акторы ии, как поставщики данных и разработчики систем (уникальность наборов данных определяет их коммерческую ценность, а конфиденциальность данных – функциональность и устойчивость алгоритмов МО к воздействию возможных информацион- ных атак) и органы по оценке соответствия Сии (уровень конфиденциальности тестовых набо- ров данных определяет представительность результатов оценки функциональных характе- ристик, п. 2.1 в табл. 1). Для многих прикладных Сии специфичны угрозы этического характера и другие угро- зы, предотвращение которых достигается реализацией мер так называемого мягкого права (п. 3 в табл. 1). К таким Сии относят- ся, например, системы в кредитно-финансо- вой сфере и в области образования, поиско- во-справочные, маркетинговые и иные информационные системы, использующие методы персонализации на основе ии. Общество, безусловно, заинтересовано в поддержании достаточного уровня соци- альной приемлемости при создании и при- менении таких систем (п. 3.2 в табл. 1). При этом интересы акторов ии могут вступать в противоречие с требованиями этичности, что в известной степени ограничивает уча- стие акторов в формировании требований к Сии в этой области. Для Сии, не предназначенных непосредствен- но для решения задач в области безопасности и не представляющих угрозы для жизни, здо- ровья людей и окружающей природной среды (п. 4 в табл. 1), отклонение функциональных характеристик от установленных требований ограничивается ухудшением потребительских свойств систем и может интерпретироваться как реализация угроз экономической безопас- ности акторов ии. в формировании требова- ний и предотвращении соответствующих угроз в таком случае заинтересованы прежде всего разработчики, поставщики и потребители Сии (п. 4.1 в табл. 1). Приоритеты и требования заинтересованных сторон относительно рисков и угроз анализ приоритетов заинтересованных сторон в табл. 1 показывает, что часть из них связана с формированием требований к характеристи- кам, непосредственно присущим Сии, а часть – к характеристикам процессов жиз- ненного цикла (ЖЦ) систем. При этом практи- чески все требования имеют соответствующую интерпретацию как непосредственно для Сии, так и на уровне процессов ЖЦ систем, за исключением требований социальной при- емлемости. Системы ии, как и любые другие технические системы, не имеют внутренне при- сущих им свойств в области этики, морали и др. – эти свойства характерны для процессов ЖЦ систем. Так, например, можно судить об этичности сбора данных при создании Сии, этичности применения Сии для решения той или иной прикладной задачи, этичности интерпретации и использования результатов обработки данных в Сии и т.п. При этом может оказаться, что неприемлемые социальные последствия применения Сии обуславливаются точным и/или неполным www.secuteck.ru октябрь – ноябрь 2023 СПЕЦПРОЕКТ РЕшЕния на ОСнОвЕ иСКуССТвЕннОгО инТЕллЕКТа Таблица 1. Приоритеты заинтересованных сторон в области предотвращения угроз, обусловленных несоответствием функциональных характеристик СИИ установленным требованиям Вид угроз, обусловленных нарушением функциональной корректности СИИ Категория заинтересованной стороны Лица, непосредственно участвующие в создании и применении СИИ (акторы ИИ) Третьи лица 1. Угрозы жизни и здоровью людей, экологические угрозы 1.1 Потребители, разработчики и поставщики (собственная безопасность, дополнительные требования госрегуляторов) 1.2 Общество в целом и регуляторы (безопасность общества и окружающей среды) 2. Угрозы информационной безопасности в отношении заинтересованных сторон 2.1 Поставщики данных для обучения и тестирования СИИ, органы по оценке соответствия (конфиденциальность используемых данных) 2.2 Общество в целом и государственные регуляторы (защита персональных данных, предотвращение деструктивных информационно- психологических воздействий) 3. Нарушение этических и других норм "мягкого" права Нет 3.2 Общество в целом (социальная приемлемость создания и применения СИИ) 4. Неопределенные потребительские свойства, не влияющие непосредственно на безопасность жизни и здоровья людей, экологическую безопасность 4.1 Потребители (функциональные характеристики, определяющие возможность применения СИИ по назначению), разработчики и поставщики (характеристики конкурентоспособности СИИ) Нет