Журнал "Information Security/ Информационная безопасность" #1, 2024

• 1 www.itsec.ru ИИ И КИИ Еще пару лет назад про Chat GPT и большие языковые модели (LLM) знали только энтузиасты систем на базе искусственного интеллекта. Сейчас же происходит настолько бурный рост этого сегмента, что мы уже не представляем себе мир без ИИ. Разумеется, это коснулось и информационной безопасности. Редкая конференция проходит без обсуждения применения искусственного интеллекта в ИБ. ИИ не только помогает в вопросах информационной безопасности, но и как новый объект защиты формирует огромный сегмент рынка ИБ – модели надо защищать, иначе вреда от них будет гораздо больше, чем пользы. l Защита выдаваемых данных, поскольку модели обучаются на большом немодерируемом объеме, и что именно выдаст система в ответ на промпт, заранее предсказать сложно. l Защита самой модели и выдаваемых ей результатов от специально сформированных промптов со стороны злоумышленников. l Использование моделей в качестве ассистентов для совершения киберпреступлений. Вопросами исследования безопасности больших языковых моделей уже занимаются несколько компаний на российском рынке. И их число будет расти. Несколько лет действует исследовательский центр доверенного искусственного интеллекта ИСП РАН, который ставит своей целью создание методик и программных и аппаратно- программных платформ для разработки и верификации технологий искусственного интеллекта с требуемым уровнем доверия. Вполне возможно, что в ближайшем будущем вопросы создания и использования систем на базе ИИ будут регулироваться примерно так же, как это происходит с персональными данными, объектами КИИ или криптографией. Тем временем многие LLM-модели лежат в свободном доступе, любой желающий может уста- новить и использовать. А это значит, что вопрос защиты ИИ уже скоро станет массовым. Амир Хафизов, выпускающий редактор журнала “Информационная безопасность”