Журнал "Системы Безопасности" № 4‘2025

Ц И Ф Р О В А Я Т Р А Н С Ф О Р М А Ц И Я , И И , И Н Т Е Р Н Е Т В Е Щ Е Й 132 (3). Для биометрических данных рукописного паро- ля "Пенза" {E(r) = 0,00; σ (r) ≈ 0,27} как резуль- тат прогнозируемая вероятность ошибок составляет Р 2 ≈ 0,00021. Пересчет этой веро- ятности в энтропию дает значение в 12 бит. Как показали исследования, энтропия Шеннона связана с корреляционной энтропией линейно. Из-за того, что классическая энтропия Шеннона [5, 6] и корреляционная энтропия вычисляются разными алгоритмами, каждая из оценок имеет свою собственную шкалу. Соотношение этих двух шкал энтропии отображены на рис. 5. Из рис. 5 следует, что модуль-корреляционная метрика энтропии, вычисленная в рамках гипо- тезы нормального распределения данных, все- гда дает заниженные оценки. Наблюдаем мето- дическую ошибку занижения оценок энтропии, возникающую из-за вычислений в пространстве коэффициентов корреляции. Важным фактом является то, что и шкала энтропии Шеннона, и шкала энтропии Хэмминга [6, 7], и шкала кор- реляционной энтропии [8] линейны. В этом кон- тексте шкала корреляционной энтропии легко приводится к классической шкале энтропии Шеннона: (4). Устранение методической ошибки (4) увеличи- вает прогнозируемая стойкость защиты руко- писного пароля "Пенза" с 12 до 17 бит. Из рис. 5 видно, что оценка корреляционной энтропии всегда меньше классической энтропии Шенно- на, однако вычислить энтропию по формуле Шеннона на обычном компьютере технически невозможно. Принципиально важным является то, что вычис- лительная сложность оценок корреляции по формуле (1) является квадратичной. То есть вместо вычисления энтропии Шеннона с экспо- ненциальной вычислительной сложностью [5, 6] появляется возможность обойти проблему через вычисления с полиномиальной вычисли- тельной сложностью, используя последователь- ность преобразований (1), (3), (4). Корреля- ционная энтропия [8] может быть применена к задачам высокой размерности. Видимо, самой сложной в вычислительном отношении является классическая энтропия Шеннона, которой трудно воспользоваться для сложных объектов. Параллельно с классической энтропией Шеннона должно существовать мно- жество упрощенных алгоритмов ее оценки со своими собственными шкалами: 1. Энтропия Хэмминга [6, 7]. 2. Корреляционная энтропия [8, данная статья]. 3. Энтропия направленных перестановок дан- ных [9, ?]. 4. ε – энтропия Колмогорова [10, ?]. 5. Энтропия сетей условных вероятностей Байе- са [1, ?]. 6. Энтропия сетей Марковских процессов [1, ?]. 7. ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: Приведенный выше список возможных шкал энтропии, дополняющих классическую шкалу энтропии Шеннона, открытый. Для первых двух позиций списка (энтропия Хэмминга и корре- ляционная энтропия) связь частных шкал со шкалой энтропии Шеннона построена. Для пункта 3 и пунктов ниже известны только упро- щенные процедуры оценок соответствующих статистик. Однако как связаны упрощенные ста- тистики с порождаемыми ими шкалами энтро- пии и шкалой энтропии Шеннона, неизвестно. Так, вполне возможна оценка минимального числа элементов ε -сетей, предложенная А.Н. Колмогоровым в 1954 г. [10]. Соответственно, для оценок Колмогорова может быть построена шкала энтропии. На данный момент работ, свя- зывающих шкалу ε -энтропии Колмогорова со шкалой энтропии Шеннона, нет. Это обстоя- тельство отображено отсутствием соответствую- щих ссылок в списке литературы – [10, ?]. Приведенный выше список открытый (нет его завершения), нумерация в нем может быть существенно увеличена. Так, нумерация вырас- тет с 6 до 22, если его расширить 16 тестами NISN [11], предназначенными для упрощенной оценки близости криптографических ключей к белому шуму. Каждому тесту NISN должна соответствовать своя шкала связи с энтропией Шеннона. Упрощенных процедур оценки энтро- пии множество, каждую их них можно рассмат- ривать как некоторую оценку расстояния от ана- лизируемых данных до идеального белого шума или энтропии Шеннона. Полезные для практики рекомендации В прошлом веке статистика не имела инстру- мента для учета реальных корреляционных свя- зей между параметрами. Именно по этой при- чине исследователи и инженеры часто приме- няли гипотезу независимости данных. Ее популярность обусловлена простотой вычисле- ния вероятности появления того или иного век- тора случайных независимых событий: (5). В более компактной форме соотношение (5) удобно записывать, опираясь на среднее гео- метрическое частных вероятностей: (5a). Формально преобразования (5) и (5а) эквива- лентны, однако разница между ними все-таки есть. Вторая форма записи позволяет легко перейти к учету влияния корреляционных свя- зей: (6), где корреляционный параметр – r N является параметром симметризованной корреляцион- ной матрицы, находящийся вне ее диагонали. Как правило, корреляционная матрица реаль- ных данных симметрична относительно своей диагонали, но модули ее элементов, располо- женных вне диагонали, не совпадают. У пол- ностью симметризованной корреляционной матрицы вне диагонали должны располагаться одинаковые положительные коэффициенты корреляции – r N : (7). Процедура полной симметризации корреля- ционных связей (7) существенно упрощает программирование многомерных численных экспериментов [12, 13], сохраняя тождество многомерных вероятностей реальных данных и их моделей. Переход к параметрам пол- ностью симметризованной корреляционной матрицы выполняется усреднением модулей коэффициентов корреляции исходной матри- цы [14]: август – сентябрь 2025 www.secuteck.ru Рис. 5. Методическая ошибка заниженных оценок корреляционной энтропии, учета взаим- ных корреляционных связей между разрядами выходных кодов-откликов нейросети