Журнал "Системы Безопасности" № 1‘2024

Ц И Ф Р О В А Я Т Р А Н С Ф О Р М А Ц И Я , И И , И Н Т Е Р Н Е Т В Е Щ Е Й 137 Эра искусственного интеллекта: мультимодальная диалоговая среда Революция искусственного интеллекта (ИИ) началась год назад с появлением ChatGPT (LLM – большой языковой модели) в виде коммерческого продукта. Сначала это был текстовый диалог, а уже сейчас – мультимо- дальная диалоговая среда, где и вопросы, и ответы системы могут быть не только в виде текста, но и в виде картинки или звука. Осо- бенно удивляет анонс возможностей нейро- сети Sora от OpenAI, которая может создавать короткие ролики кинематографического качества по текстовому описанию и которая, скорее всего, будет работать на основе ChatGPT. Ключевая возможность продвинутых LLM – это умение писать программный код. Более того, модель умеет самостоятельно запускать его для выполнения тех вычислений, которые потребуются в запросе пользователя, то есть создавать и выполнять приложения под запрос. А это серьезное изменение нашего опыта работы с компьютером (или уже пра- вильнее сказать – с пространственной вычис- лительной средой?) и возможность создания персонализированных приложений под кон- кретного пользователя. Новые возможности, естественно, не отменяют старые, а включают их в себя, как и командная строка, сохранившаяся в Windows. Когда наступит будущее Можно предположить, что в будущем мы, ско- рее всего, будем работать в смешанной реаль- ности, где есть цифровые и реальные объекты, и основой нашего взаимодействия с вычисли- тельной средой будет диалог между пользова- телем и ИИ. Причем взаимодействие будет про- исходить не только в виде прямых запросов, но и на более тонком уровне, за счет отслеживания эмоции пользователя (не зря в Apple Vision Pro 12 камер и пять датчиков отслеживания рук), мгновенной адаптации к его реакции и работы с персонализированными приложениями и контентом, созданным на основе эмоциональ- ной реакции. Я думаю, что все это будет возможно в доста- точно близком будущем, потому что боль- шинство элементов такой среды уже суще- ствуют или находятся в разработке. Подоб- ный интерфейс позволит компьютеру стать вашим личным универсальным помощником на все случае жизни, неважно, на каком устройстве он будет запускаться, это будет влиять лишь на качество визуализации и интерактивность. Настолько глубокое понимание вас и ваших эмоций вызывает серьезные опасения по пово- ду приватности, поэтому можно предположить, что в основном ИИ будет запускаться и хранить ваши данные локально, например на смартфо- не. Появление смартфона Samsung S25 со встроенным ИИ выглядит первой ласточкой этого тренда, но вскоре вполне возможно появление и новых классов устройств с локаль- ным искусственным интеллектом. n П оскольку макроэкономические условия соз- дают неопределенность для покупателей, а растущие затраты смещают внимание инве- сторов к росту прибыли, аналитики Gartner видят тенденцию к тому, что поставщики техно- логий сосредоточатся на повышении эффектив- ности и сфокусируются на будущих возможно- стях получения дохода. Безопасность искусственный интеллект "Ответственный искусственный интеллект (ИИ)" не является новой концепцией, но беспреце- дентно быстрое развитие технологий ИИ второ- го поколения подогрело дискуссию об управле- нии рисками и о том, как решать возникающие проблемные вопросы, например о происхож- дении контента. Руководители продуктов долж- ны создавать решения, включающие принципы безопасности, уделяя особое внимание аспек- там прозрачности модели, отслеживаемости, интерпретируемости и объяснимости. Рост пессимизма у покупателей За последние три года поставщики технологий все чаще наблюдали негативные эффекты воронки продаж из-за нового поведения поку- пателей, которое противоречит устаревшим моделям выхода на рынок. Без адаптации под- ходов к продажам и маркетингу для выявления и реагирования на пессимизм покупателей поставщики технологий увидят спад успешно- сти своих усилий как во внутренней, так и во внешней перспективе. Узконаправленные генеративные модели ИИ Генеративные модели общего назначения хоро- шо работают в широком спектре применений, но они могут оказаться непрактичными для многих корпоративных случаев использования, требующих специфичных для конкретной пред- метной области подходов к данным. Поставщики технологий должны изучить отрас- левые модели, которые можно адаптировать к конкретным требованиям пользователей, более эффективно используя доступные ресурсы. Отраслевые облака По прогнозам Gartner, к 2027 г. более 50% поставщиков технологий будут использовать отраслевые облачные платформы для достиже- ния бизнес-результатов по сравнению менее чем с 5% в 2023 г. Пересмотрите стандарты безопасности ИИ! Недавние выводы Anthropic, стартапа по без- опасности ИИ, выявили риски, связанные с большими языковыми моделями (LLM). Команда Anthropic обнаружила, что LLM могут стать "спящими агентами" внутри систем без- опасности – бездействовать в моменты, когда они призваны предотвратить нежелательное поведение. Системы искусственного интеллекта, которые действуют как люди и обманывают людей, представляют собой проблему для современ- ных методов обучения технике безопасности. Результаты исследований показывают, что, если модель демонстрирует обманчивое поведение, стандартные методы могут не выявить такой обман и создать ложное впечатление об отсут- ствии инцидента. Существует острая необходи- мость выработать более динамичный и разум- ный подход к безопасности. Задача безопасности ИИ для человечества имеет общемировое значение, но при этом отсутствует единый регулирующий орган. Такие организации, как Национальный институт стан- дартов и технологий в США, Национальный центр кибербезопасности Великобритании и Агентство кибербезопасности и безопасности инфраструктуры, играют важную роль в появле- нии основных принципов безопасности ИИ, возлагая основную ответственность на создате- лей и разработчиков систем искусственного интеллекта. В ответ на растущие проблемы без- опасности предпринимаются совместные уси- лия по всем направлениям, от работы Фонда OWASP по выявлению уязвимостей ИИ до соз- дания Консорциума Института безопасности ИИ более чем с 200 участниками, включая техно- логические гиганты и исследовательские орга- низации. Наблюдается согласованный толчок к созданию более безопасной экосистемы ИИ. Обеспечение устойчивости и надежности систем искусственного интеллекта, особенно нейронных сетей, остается первостепенной задачей. Обеспокоенность, вызванная недавним иссле- дованием LLM, показывает острую необходи- мость во всеобъемлющей стратегии обеспече- ния безопасности использования ИИ, призыва- ет лидеров отрасли и политиков активизиро- вать свои усилия по защите будущего развития искусственного интеллекта. n По материалам www.securityworldmarket.com www.secuteck.ru февраль – март 2024 Ваше мнение и вопросы по статье направляйте на ss @groteck.ru Н еобходимо изменить ситуацию так, чтобы ИИ служил человечеству Искусственный интеллект – 2024 Мировая ситуация требует от производителей балансировать между краткосрочны- ми возможностями и долгосрочными преимуществами, а также стратегиями, осно- ванными на быстром восстановлении экономических показателей в случае рецес- сии. Это лишь некоторые из выявленных тенденций, но с акцентом на те, которые могут представлять особый интерес для индустрии безопасности