Журнал "Системы Безопасности" № 6‘2025

К О М П Л Е К С Н А Я Б Е З О П А С Н О С Т Ь , П Е Р И М Е Т Р О В Ы Е С И С Т Е М Ы 36 декабрь 2025 – январь 2026 www.secuteck.ru И скусственный интеллект (ИИ) активно развивается и внедряется все шире и шире. Одна- ко все еще сложно представить, что и как будет происхо- дить, функциониро- вать, если этот и с к у с с т в е н н ы й интеллект начнет жить какой-то своей жизнью и будет при этом реальным интеллектом, пусть даже искусственным, способным творить, спо- собным создавать что-то без участия человека, притом будет это делать осознанно. Кто будет умнее? Возникает вопрос: а кто будет умнее – человек или ИИ? И сразу же следующий от нахватав- шегося передовых знаний ИИ: "А зачем мне эти тараканы людишки тут нужны?" Фантасты предрекают, что как только появится настоящий искусственный интеллект, его зада- чей будет не помогать людям, а заменить или убрать их вовсе, потому что люди становятся помехой и только мешают ему. Кстати говоря, есть реальные истории, когда а-ля искусствен- ный интеллект начинал "злиться". Например, во время эксперимента, управляя автомоби- лем, искусственный интеллект попытался отключить систему управления со стороны человека. Это произошло в момент, когда водитель-человек хотел повернуть, а води- тель-ИИ решил ехать прямо. ИИ посчитал человека помехой и решил отстранить его от управления транспортным средством. Согласитесь, что произошедшее заставляет задуматься. С одной стороны ИИ, – это некая система, решающая определенные задачи с определенными правилами в определенных рамках. С другой стороны, как только у вас появляется ИИ, способный каким-либо обра- зом прерывать с вами коммуникации, вы уже не сможете предугадать, что он будет делать впоследствии и, тем более, в ответственные для окружающих моменты. Полностью полагаться на ИИ нельзя Если вы, создавая систему физической защиты и охраны объекта, задействуете ИИ, то должны четко понимать, что она должна именно защи- щать и охранять этот объект, и никак иначе. Как видите, имеются прецеденты, когда ИИ пытается прекратить связь с тем, кто мешает, отключает каналы связи, по которым его либо ограничивают, либо заставляют делать то, что противоречит его логике. Например, если начинаются радиопомехи, он может перейти на другую частоту или отключить один канал и перейти на другой или на какое-то время перейти на автономную работу. Навязчивые (по мнению ИИ) команды оператора он воспринимает как помеху для своей работы и принимает решение отключить канал связи. Иначе говоря, оператор для него становится "шумом", помехой, хотя изначально тот, кто это задумывал, закладывал немножко другую функцию. И не исключено, что однажды этот ИИ вместо защиты от дронов начнет защищать объект от птиц. А то как позадумается-позадумается да и решит по своему разумению: "Зачем все это охранять, тратить столько сил, финансовых средств, электроэнергии?! Этот объект проще закрыть. От этого будет только польза и сплош- ная выгода". И, следуя своей логике, переста- нет функционировать как "мозг" (или "глаз") системы безопасности объекта, отключив по возможности все, что в его распоряжении. Поэтому полностью на ИИ полагаться нельзя, так как, куда он зарулит и куда вырулит, никто не знает. В любой ситуации оператор в приоритете Один делает одно, другой – другое. В резуль- тате в нейросети имеется огромное количество связей, которые человек проконтролировать уже не в состоянии. Вместе с тем искусствен- ный интеллект мог бы сам что-то подсказать еще на стадии проектирования. Например, что имеется функция или возможность отключения каналов связи по каким-то критериям, но эти критерии не полностью обозначены либо не полностью очерчены, или они сделаны таким образом, что вы можете получить завтра неуправляемую, условно говоря, систему, потому что она будет делать, что ей хочется, или как она сама решит, что хочется, а вас она просто будет игнорировать либо как помеху отключит от своей связи, и всё. Получается, что должен быть очень жесткий критерий того, что в любом случае, в любой ситуации оператор – это не помеха. То есть ИИ-система должна рассматривать человека в качестве вышестоящей структуры, которая всегда имеет приоритет, однозначное право. Если ИИ решил повернуть направо, а ему в это время оператор говорит налево, то он должен ехать налево, а не "злиться-вредиться": "Ах, вы мешать мне! Сейчас как выключу рацию..." Errare humanum est 1 ИИ, как и человеку, свойственно ошибаться. Современный искусственный интеллект анали- зирует, например, большие данные компью- терной томографии (КТ), МРТ и прочую объ- емную диагностическую информацию. И в этом врачам он здорово помогает. Помогает настолько, что врачи ему начинают полностью доверять. В ста тысячах случаях помог, а на сто тысячу пер- вом оконфузился (реальный факт): рекомендо- вал лечить ампутированную конечность. Никто не заложил в него, что руки или ноги может не быть, а сам ведь он не понимает, что если конечности уже нет, то, стало быть, лечить ее бесполезно. Поэтому ИИ – заметьте, из гуман- ных побуждений, – рекомендовал лечить утра- ченную конечность, чтобы она появилась вновь. Если перефразировать подзаголовок, получим Errare AI est. Нужен ИИ-ревизор! Чем сложнее будет становиться система, снаб- женная искусственным интеллектом, тем острее будет потребность в неком ИИ-ревизо- ре или в ИИ-кураторе, который должен, грубо говоря, контролировать искусственный интел- лект, тестировать его учебники для того, чтобы предотвратить возможные коллизии – момен- ты, когда ИИ выходит из области полезного, превращаясь в нечто вредоносное. По анало- гии с огнем ИИ – хороший слуга, но может стать плохим хозяином. n Игорь Васильев Редактор раздела "Комплексная безопасность, периметровые системы", директор по инновациям и НИОКР компании "ЦеСИС" КОЛОНКА РЕДАКТОРА Искусственный интеллект с логикой деда Щукаря При обращении к вопросам построения ИИ-систем и управления ими вспомина- ется эпизод из романа Михаила Шолохова "Поднятая целина", в котором предсе- датель колхоза срочно отправляет посыльного в станицу за землемером. Посыль- ный же, не справившись с заданием, включает оправдательную логику и решает по-своему: "Черт с ним, с землемером, обойдутся и без него. Везде Советская власть, везде колхозы, и какая разница, ежли один колхоз оттяпает у другого малость травокосу?" Вот вам наглядный пример того, как подсистема, в данном случае посыльный дед Щукарь, исходя из собственных умозаключений, корректирует (фактически игно- рирует) указания головной системы – председателя колхоза. 1 Человеку свойственно ошибаться (лат.).