Журнал "Системы Безопасности" № 3‘2025

Ц И Ф Р О В А Я Т Р А Н С Ф О Р М А Ц И Я , И И , И Н Т Е Р Н Е Т В Е Щ Е Й 121 www.secuteck.ru июнь – июль 2025 Обход проблемы высокой вычислительной сложности оценок энтропии по Шеннону Проблема вычислений по формуле Шеннона растет по мере увеличения размерности зада- чи. В нашем случае с входной размерностью энтропии 4096 параметров энтропия по Шен- нону будет вычисляться намного сложнее, чем энтропия выходных данных меньшей размер- ности: (3) где N≈2 256 из-за того, что вероятность появле- ния каждого i-го кодового состояния P i мала. Чем выше число переменных в (3), тем больше нужна выборка для корректной оценки довери- тельной вероятности. Из-за того что формула (3) канонизирована, она представлена во всех учебниках. Однако для больших размерностей ею не пользуются. На практике, как правило, вместо одного вычисления (3) применяют иные приближен- ные оценки с меньшей вычислительной слож- ностью. Например, NIST рекомендует 16 тестов поверки криптографического ключа на близость к белому шуму [10]. При этом каждый из 16 тестов должен иметь свою шкалу связи со шкалой энтропии Шеннона. Описания энтро- пийных шкал ни для одного из 16 тестов NIST пока не создано. Следует отметить, что одной из заслуг исследо- вателей "нечетких экстракторов" является то, что они начали использовать для упрощения вычислений переход в пространство расстояний Хэмминга: (4) где "с i " – значение разрядов кода "свой"; "х i " – значение разрядов кода "чужой"; ⊕ – операция сложения по модулю два. В частности, этот тех- нический прием использовал Даугман [8] при анализе рисунков радужной оболочки глаза на стойкость к атакам подбора. Причина кардинального упрощения задачи кроется в том, что при переходе в пространство расстояний Хэмминга происходит экспоненци- альное снижение числа анализируемых стати- стиками состояний. Так, исходная формула Шеннона (3) ориентирована на анализ огром- ного числа состояний N = 2 256 , а преобразова- ние Хэмминга (4) приводит к появлению всего n = (256+1) = 257 состояний. Вторым важным моментом является то, что пре- образование Хэмминга является хорошим нор- мализатором. То есть несколько случайно выбранных биометрических образов "чужой" всегда будут давать нормальный закон распре- деления расстояний Хэмминга с математиче- ским ожиданием E(h)≈128 бит, как это отобра- жено на рис. 3. В первом приближении достаточно использо- вать 21 образ "чужой" для того, чтобы оценить математическое ожидание и стандартное отклонение нормального распределения дан- ных [5]. Далее в рамках гипотезы нормального распределения мы можем оценить веро- ятность удачи атаки случайного подбора био- метрических образов, когда расстояние Хэм- минга станет нулевым h = 0. Для каждого из 21 тестовых образов "чужой" возникает своя вероятность ошибки второго рода – P 2 . Оцен- ка значения 256-мерной энтропии Хэмминга выполняется усреднением 21 частных энтро- пий: (5) Принципиально важным является то, что энтро- пия Шеннона и энтропия Хэмминга связаны линейно, как это отображено на рис. 4. В свою очередь, линейная связь этих двух шкал энтропии дает простую формулу их взаимного пересчета: (6) В итоге удается обойти "проклятие размерности" вычислений энтропии по Шеннону. Кардиналь- ное сокращение требований к сложности вычислений обусловлено тем, что формула Шеннона (3) построена на ожидании появле- ния редких событий, а формула Хэмминга (5) построена на предсказании вероятностей появления редких событий. Заключение На сегодняшний день создано примерно два десятка архитектур сверточных нейронных сетей, ориентированных на распознавание лиц людей. Для каждой из них известны параметры окна анализа лица человека (длина входного вектора условно-непрерывных черно-белых пикселей), а также длина вектора выходных условно непрерывных биометрических пара- метров. То есть для всех известных архитектур сверточных нейротрансформаторов размерно- сти мы можем посчитать их коэффициент подавления энтропии входных данных. Допу- стим, коэффициент подавления энтропии свер- точными сетями составит значения в диапазоне от 20 до 100 раз. Эти данные могут быть поло- жены в основу создания совершенно новых приложений нейросетевого искусственного интеллекта. Например, брокеры любой биржи [11] полу- чают прибыль, опираясь на свою способность предсказывать текущее состояние тренда изме- нения цен рынка ("быки" или "медведи"). Чем надежнее прогноз, тем больше должна быть прибыль, получаемая брокером. Очевидно, что любой инвестор может стать "квалифицирован- ным", если получит в свои руки нейросетевое приложение, предсказывающее текущее состояние рынка ("быки" или "медведи") и ожидаемое время переключения рынка в сле- дующее состояние [12, 13]. Видимо, подобные приложения должны появиться в ближайшее время. Однако их пока нет, их нужно создавать. Для того чтобы их создать, нужно писать тех- ническое задание (ТЗ), где должен быть указан коэффициент понижения энтропии сверточной найронной сетью. В ТЗ нежелательно требовать худшего из уже достигнутых значений коэффи- циента понижения энтропии в 20 раз. Если в ТЗ оговорить требуемое наилучшее значение в 100-кратное понижение энтропии, то исполни- теля можно и не найти. Указанное в ТЗ значе- ние коэффициента понижения энтропии долж- но лежать в пределах от 20 до 100 раз. Кон- кретное значение этого показателя должно являться предметом договоренности заказчика и исполнителя. n Список литературы доступен на сайте: https://www.secuteck.ru/articles/tek hnologii- testirovaniya-iskusstvennogo-intellekta Иллюстрации предоставлены автором. Рис. 4. Линейная связь шкалы энтропии Шеннона и шкалы энтропии Хэмминга Ваше мнение и вопросы по статье направляйте на ss @groteck.ru