Журнал "Системы Безопасности" № 1‘2024

архивы видеоданных. Соответственно, сбор таких архивов невозможен без предварительной уста- новки камер, настройки и поднятия инфраструк- туры. Без этого просто так взять и быстро прове- рить гипотезу, особенно если продукт очень боль- шой и сложный, затруднительно. Воспроизводимость математических моделей Отдельный вопрос к моделям в производствен- ной среде – воспроизводимость и прозрач- ность. Если вы обучаете модель, и она у вас на конкретном примере выдает ответ – "единичку", то вполне возможно, что позже при эксплуата- ции в схожих условиях она выдаст ответ – "нолик". Тогда вам, как специалисту по машин- ному обучению, придется дать бизнесу четкий ответ, почему же модель так решила. Мы знаем, что нейросети и градиентные бустин- ги – это модели неинтерпретируемые. То есть нельзя однозначно сказать, почему модель решила так, а не иначе. Тогда в ход идут различ- ные ухищрения по поводу воспроизводимости обучения моделей, например логирование всех выходных артефактов – весов модели, вплоть до того, кто и в какое время эту модель построил. Дата-инженеры говорят, что нельзя просто так перегнать данные из одной базы данных в дру- гую и сказать, что это те же самые данные. Счи- тается, что данные при переносе становятся совсем другими, поэтому приходится логиро- вать абсолютно всё – все артефакты разработки моделей, даже если это какие-то промежуточ- ные результаты, чтобы мы могли позже к этой версии модели вернуться. Промышленно-опытная эксплуатация Создав модель и развернув инфраструктуру, мы приступаем к промышленно-опытной эксплуа- тации системы машинного зрения. На про- изводственном этапе от нашей модели ожидают точности, приближенной к 100%. У пользователей систем машинного зрения определенный образ мышления, и если система в пяти случаях из ста ошибается, то к вам будут предъявлены большие претензии – "мне систе- ма не помогает, только отвлекает". Какие здесь могут быть решения? Опыт подсказывает, что машинное зрение – это технология, достаточно зависимая от внешних условий. Нам постоянно нужно: l поддерживать хорошую связь с камерой; l поддерживать хорошие условия съемки; l иметь очень качественную модель. Сразу добиться идеального сочетания этих обстоятельств сложно, поэтому для подстрахов- ки мы подкрепляем видеоаналитику данными IoT. Это могут быть различные RFID-метки, сиг- налы GPS и прочих датчиков, например откры- тия/закрытия задвижки, концевых датчиков, датчиков весов и т.д. Например, если вы отслеживаете автомобиль внутри складского помещения или цеха и вам нужно подтвердить, что в данный момент авто- мобиль находится в опасной зоне или там, где он должен находиться, будет здорово подкре- пить данные умного видеонаблюдения инфор- мацией с датчиков лидаров. Если крупный объ- ект попал в эту зону, мы придаем уверенности данным нашей нейросети и утверждаем, что с вероятностью 99,9% наша нейросеть права. Другой способ подтверждения – подход с голо- сованием. То есть нейросеть показывает, что к нам приехал автомобиль, мы назначаем этому ответу вес 70%, дополнительно берем датчик с весовой платформы, которая регистрирует, что что-то тяжелое действительно встало в это место. Мы назначаем этой информации вес 30%. Это позволяет подстраховаться, и в случае, если камера будет выдавать плохую картинку, наша система продолжит надежно работать. Особенности обслуживания видеокамер Условия работы видеокамер на производстве очень сложные. На них воздействуют вибрация, высокие или низкие температуры, происходит запыление объективов. Влияние негативных факторов следует минимизировать. Основное решение – применение взрыво- и тем- пературозащищенных кожухов, различных меха- низмов, протирающих линзы и т.д. Но бывает так, что не всегда камеру можно установить там, где можно подвести определенные коммуникации, например сжатый воздух, чтобы обдуть объ- ектив. Поэтому мы прибегаем к силам машинно- го обучения, условно просчитывая градиент по резкости и изменению кадров. Если резкость значительно падает, значит, пора проводить тех- ническое обслуживание видеокамеры. Данные мероприятия необходимы именно в момент промышленно-опытной эксплуатации, когда пользователи еще не очень привыкли к нашей системе и наиболее лояльны к ней. Производственная эксплуатация Данный этап предполагает эксплуатацию гото- вого, протестированного и отложенного реше- ния. Требования к точности становятся еще жест- че, и просто так, например, обновить модель нам нельзя, до этого ее следует протестировать. Построение тестового стенда Сложность тестирования систем с использованием машинного зрения заключается в том, что мы можем обучить новую модель, прогнав ее на запи- сях из видеоархива прошлогодней давности. Одна- ко при этоммы не будем уверены в результате: даже если на предыдущих данных наша модель работала хорошо, то не обязательно она также хорошо будет работать сегодня, потому что данные и условия могли измениться: мы могли заменить настройки или установить новые видеокамеры, могло изме- ниться освещение, погодные условия и т.д. Для точных результатов имеет смысл проводить тестирование в так называемом клоне про- дакшн-системы. Это значительно дороже, так как нам придется создать точно такой же кон- тур, как и для действующей системы, – факти- чески мы будем иметь рядом две системы, работающие одновременно. Это так называе- мая парадигма тестирования или разворачива- ния blue-green, когда один стенд является дей- ствующим и работающим, а на второй стенд пользователи не смотрят, но по сути он также является полноценной системой. Журналирование При промышленной эксплуатации обязательно требуется журналирование всех наших реше- ний, чтобы впоследствии мы могли дать четкую обратную связь производству. Взаимодействие с конечным пользователем Производственный персонал, со своей стороны, также должен иметь возможность оставлять обратную связь. Например, если оператор поль- зуется системой и видит ее неисправность, он должен иметь возможность составить замечание, выделить карандашом на фотографии тот объект, который не распознался, или зачеркнуть его. С одной стороны, обратная связь повышает интерес пользователя к системе, пользователь понимает, что действительно может влиять на свою работу и на те инструменты, которыми он пользуется. С другой стороны, таким образом собираются датасеты, которые размечены непо- средственно конечными пользователями. Непрерывное улучшение моделей Модели должны постоянно обновляться, улучшать- ся и переобучаться. Переобучение моделей видео- аналитики всегда связано с накоплением видео- архивов. Вопросы, которые стандартно возникают в этой связи: как построить видеоархив, сколько его хранить и какие мощности для этого понадобятся? Есть готовые вендорские решения, возможно даже open source, где мы можем хранить очень большое количество файлов распределенно. Второй вариант – можно писать свои собствен- ные решения, что также является рабочим вариантом, но менее продуктивным. С подробным описанием кейсов применения машинного зрения на производстве можно ознакомиться в блоге группы НЛМК: https://habr.com/ru/companies/nlmk/profile/ n www.secuteck.ru февраль – март 2024 МАШИННОЕ ЗРЕНИЕ В И Д Е О Н А Б Л Ю Д Е Н И Е И В И Д Е О А Н А Л И Т И К А 121 Ваше мнение и вопросы по статье направляйте на ss @groteck.ru Промышленно-опытная эксплуатация