Журнал "Системы Безопасности" № 5‘2023

Ц И Ф Р О В А Я Т Р А Н С Ф О Р М А Ц И Я , И И , И Н Т Е Р Н Е Т В Е Щ Е Й 14 К лючевой проблемой, препятствующей эффективному внедрению систем искус- ственного интеллекта (ии) на практике, являет- ся недопустимо высокий уровень рисков, сопровождающих создание и применение этих систем. Основной причиной возникновения этих рисков, специфичной для систем ии, является отсутствие гарантий функциональной корректности интеллектуальных систем в реаль- ных условиях эксплуатации. устранению рисков способствует обоснование и закрепление в национальных стандартах представительного набора требований в области функциональной корректности, максимально полно учитываю- щего интересы и приоритеты различных заинте- ресованных сторон. Полученный таким образом набор требований может использоваться при проведении сертификационных испытаний систем искусственного интеллекта. Риски внедрения искусственного интеллекта и их анализ Одной из основных причин, препятствующих эффективному развитию технологий искус- ственного интеллекта (ии), является непри- емлемо высокий уровень рисков, связанных с созданием и внедрением прикладных систем ии (Сии) в различных отраслях экономики и социальной сферы. Эта проблема значитель- но обостряется, когда речь идет о применении Сии для решения особо ответственных задач, в которых ошибки в работе систем приводят к тяжелым последствиям, связанным с риском для здоровья и жизни людей, серьезным эколо- гическим и экономическим ущербом [1]. Целостный анализ рисков в области ии должен осуществляться с учетом того, что при создании и применении Сии могут быть затронуты инте- ресы различных заинтересованных сторон (англ. stakeholders), к которым относят разра- ботчиков систем ии, потребителей систем ии, а также организации, ответственные за регули- рование вопросов создания и применения систем ии (опционально) [2]. При этом основными источниками рисков являются: 1) нарушения в работе Сии, связанные с их недостаточной технической надежностью; 2) реализация угроз информационной безопас- ности; 3) проблемы, связанные с зависимостью от импортных компонент Сии; 4) недостаточная функциональная корректность Сии. Нормативные документы, регулирующие предупреждение рисков Предупреждение рисков, вызванных реализа- цией угроз первых трех видов, осуществляется в рамках действующих организационных механизмов и не содержит существенных осо- бенностей, специфичных именно для интел- лектуальных систем. Так, обеспечение техниче- ской надежности осуществляется в соответ- ствии с требованиями, изложенными в нацио- нальных стандартах серии гОСТ Р 27.ХХХ "надежность в технике", комплексе государст- венных военных стандартов (КгвС) "Мороз-7", "Климат-8" и других документах, и подтвер- ждается в аккредитованных испытательных лабораториях. Требования в области информационной без- опасности автоматизированных систем, к кото- рым относятся и Сии, изложены в соответ- ствующих национальных стандартах, а также руководящих документах государственных регуляторов в данной области – ФСБ и ФСТЭК России. Оценка Сии на импортонезависимость осуществляется в рамках ведения реестра оте- чественного ПО [3] и реестра российской радиоэлектронной продукции [4]. наименее проработанными являются вопросы оценки соответствия Сии требованиям в обла- сти функциональной корректности, учитываю- щим такие особенности Сии, как принципиаль- но неполная интерпретируемость алгоритмов машинного обучения (МО), используемых в настоящее время в большинстве прикладных Сии, их сложность и изменчивость в процессе эксплуатации, необходимость сопоставления функциональных возможностей систем с при- кладными способностями человека-оператора и другие особенности [5]. Структура и классификация рисков и угроз Структура рисков, обусловленных нарушением функциональной корректности, с учетом осо- бенностей Сии и в разрезе интересов и прио- ритетов различных заинтересованных сторон, представлена в табл. 1. наиболее опасные угрозы и, соответственно, наиболее важные характеристики и требования связаны с обеспечением безопасности жизни и здоровья людей, а также с предотвращением крупных инцидентов экологической безопасно- сти. Такие угрозы специфичны (п. 1 в табл. 1): октябрь – ноябрь 2023 www.secuteck.ru СПЕЦПРОЕКТ РЕшЕния на ОСнОвЕ иСКуССТвЕннОгО инТЕллЕКТа Сергей Гарбук Директор по научным проектам НИУ "Высшая школа экономики", председатель ТК 164 "Искусственный интеллект", к.т.н. www.pxhere.com Особенности нормативно- технического регулирования в области искусственного интеллекта Сегодня и в научных кругах, и в массмедиа много говорится о перспективах внедре- ния искусственного интеллекта в самые разные сферы жизни и деятельности чело- века, однако уровень его использования на данный момент не столь высок, как могло бы ожидаться. В данной статье рассматриваются проблемы и факторы, оказываю- щие негативное влияние на широкое внедрение искусственного интеллекта