Журнал "Системы Безопасности" № 5‘2023

Ц И Ф Р О В А Я Т Р А Н С Ф О Р М А Ц И Я , И И , И Н Т Е Р Н Е Т В Е Щ Е Й 16 пониманием эксплуатирующей стороной харак- теристик системы. Это, однако, не означает "неэтичность" системы как таковой, а связано именно с непониманием или игнорированием потребителем ее свойств. Такие же соображе- ния относительно необходимости понимания потребителем характеристик Сии справедливы и для всех остальных видов угроз и категорий заинтересованных сторон. важно отметить также, что для любых видов угроз и любых заинтересованных сторон сте- пень соответствия требованиям непосредствен- но систем ии корректно рассматривать в кон- тексте определенной прикладной задачи и в определенных (предусмотренных) условиях эксплуатации (ПуЭ). в то же время вопрос соот- ветствия требованиям, предъявляемым к про- цессам ЖЦ Сии, остается актуальным вне како- го-либо контекста, описывающего назначение и условия применения Сии, и обуславливается действующими нормами и правилами. Таким образом, применительно к требованиям к Сии целесообразно выделять две причины несоответствий: l низкое качество Сии: несоответствие требо- ваниям в области функциональной коррект- ности при решении определенной приклад- ной задачи в ПуЭ, обусловленное низким качеством использованных обучающих нД, недостатками реализованных методов МО, нарушениями в работе органов по оценке соответствия и другими причинами, приводя- щими к утрате доверия к Сии; l нарушение условий эксплуатации: примене- ние Сии за пределами ПуЭ и/или не по назначению, свидетельствующее о неосве- домленности или некомпетентности эксплуа- тирующих лиц и не являющееся, строго гово- ря, объективным основанием для утраты доверия к Сии. Тем не менее, учитывая широ- кий круг задач автоматизации, в том числе ранее являвшихся исключительной прерога- тивой человека, несоответствие Сии требова- ниям, обусловленное нарушением условий эксплуатации, может привести к утрате дове- рия на потребительском уровне, что, без сомнения, негативно сказывается на развитии технологий ии в целом. Требования к интеллектуальным системам, которые необходимо отобразить в нормативно- правовых актах устранение рисков создания и эксплуатации Сии предполагает разработку и закрепление в комплексе национальных стандартов требо- ваний к интеллектуальным системам, обеспечи- вающих решение следующих задач, специфич- ных для области ии: 1. Обеспечение гарантий функциональной кор- ректности и предсказуемости поведения Сии в реальных условиях эксплуатации, в том числе при дообучении систем в процессе эксплуата- ции и при автоматизации процессов обработки информации, ранее выполнявшихся вручную, с использованием естественного интеллекта человека; 2. Разработка методов и средств оценки и под- тверждения безопасности Сии, в том числе в отношении третьих лиц (не участвующих непосредственно в эксплуатации систем), при их создании и применении, включая: l обеспечение физической безопасности Сии для окружающих людей, природной среды и материальных активов (например, в случае беспилотного транспорта); l защиту данных, накапливаемых в Сии в про- цессе их эксплуатации; l оценку уровня социальной приемлемости Сии, в том числе этических последствий раз- работки и применения этих систем. 3. Обеспечение доступа широкого сообщества разработчиков к обучающим наборам данных (нД), в том числе содержащим конфиденци- альную и иную информацию ограниченного распространения. Разработка методов и средств гарантированной "деклассификации" нД (необратимого удаления конфиденциальных сведений, включая персональные данные) с сохранением возможности их использования для создания Сии. Кроме того, документы по стандартизации в области ии направлены на решение общих задач нормативно-технического регулирова- ния, таких как: 1) обеспечение терминологического единства; 2) унификация форматов представления дан- ных, необходимых для создания и применения Сии, обеспечение интероперабельности информационных систем; 3) фиксация вариантов использования и луч- ших практик создания и применения Сии при решении различных прикладных задач в отрас- лях экономики и социальной сферы. При разработке комплекса национальных стандартов в области ии целесообразно учи- тывать документы по стандартизации инфор- мационных технологий в целом, а также суще- октябрь – ноябрь 2023 www.secuteck.ru СПЕЦПРОЕКТ РЕшЕния на ОСнОвЕ иСКуССТвЕннОгО инТЕллЕКТа Уровень стандарта Назначение стандарта I. Комплекс стандартов II. Отрасль III. Типовой объект авто- матизации (ТОА) IV. Функцио- нальная подсистема V. Алгоритм ИИ 1. Функциональная корректность Общие принципы оценки качества и подтверждения соответствия требо- ваниям (ГОСТ Р 59276, 59898...). Показатели репрезентативности обучающих и тестовых НД Функциональные характеристики и существенные факторы эксплуатации алгоритмов ИИ, применяемых в отрасле- вых ТОА (сборник). Демонстрационные НД для тестирования алгоритмов отрас- левых ТОА - - 2. Физическая и информа- ционная безопасность, социальная приемлемость Принципы управления риска- ми, обусловленными некор- ректной работой систем ИИ 3. Деклассификация данных Общие принципы деклассификации НД, необходимых для обучения и тестирования систем ИИ - - 4. Терминологические Классификация систем и термины ИИ (ГОСТ Р 59277, 20546…), ПНСТ (553) Специальные термины ИИ в отрасли (опционально, при небольшом числе терминов не выделяются в отдельный стандарт, а приводятся по месту) - - - 5. Интероперабельность систем Эталонные архитектуры систем ИИ, стандарты больших данных Специальные вопросы сбора, хранения и предоставления доступа к данным в отрасли или на крупном типовом объ- екте автоматизации - - 6. Лучшие практики - Лучшие практики и варианты использо- вания ИИ в отрасли Состав функ- циональных подсистем и прикладных алгоритмов ИИ в типовом объекте авто- матизации - - Таблица 2. Распределение стандартов различного назначения по иерархическим уровням комплекса национальных стандартов ИИ