PublicatioЖурнал "Системы Безопасности" № 2‘2018

Р аспознавание лиц находится в тренде как одна из наиболее востребованных техноло- гий биометрической идентификации. Прово- дится больше количество всевозможных тестов и конкурсов на предмет выявления лучшего алгоритма, и в головах тех, кто читает их результаты, складывается неоднозначная карти- на – оказывается, что чемпионов мира большое количество. И возникает вопрос: какой алго- ритм на самом деле лучший? В этой статье мы поговорим о том, по каким параметрам оцениваются алгоритмы распозна- вания лиц, какие вопросы задавать разработчи- кам и как правильно провести тестирование системы распознавания для конкретного про- екта. Сравнение различных  проектов тестирования Среди многочисленных конкурсов, связанных с распознаванием лиц, основными являются сле- дующие: 1. LFW (Университет Массачусетса). Наиболее старый конкурс, он проводится на протяжении более пяти лет, сменилось несколько поколе- ний победителей. Но с точки зрения уровня современных технологий он уже лишился смыс- ла. В нем используется относительно небольшая база, на которой значительная часть современ- ных алгоритмов показывает достойные резуль- таты – у 32 участников уровень распознавания выше 99%, и, глядя на такую плотность, выбрать лучших практически невозможно. 2. MegaFace (Университет Джорджа Вашинг- тона). Хорош тем, что использует большую базу деструкторов – порядка 1 млн лиц. Это позволяет измерить работу алгоритмов в очень широком диапазоне, в том числе при маленьких ошибках ложного принятия (на уровне 10-7). Благодаря этому разница между различными алгоритмами выглядит значимо: отрыв 1-го места от 2-го до недавнего време- ни составлял 8%. Однако, сейчас дифферен- циальная значимость этого теста также снижа- ется. 3. FRVT (Американский институт стандартов NIST). Наиболее репрезентативный тест на дан- ный момент. Это настоящее академическое научное исследование, а не конкурс, где раз- даются места. Отчет составляет около 80 стра- ниц, продолжают публиковаться новые резуль- таты, и он отражает актуальный срез индустрии распознавания лиц. Здесь используются различ- ные базы, и в итоге получается объемная кар- тина того, как алгоритмы работают в разных условиях. Два типа ошибок Когда речь идет об алгоритмах распознавания, всегда нужно обращать внимание на два типа ошибок, которые тесно связаны между собой: 1. Ложный пропуск. Его имеют в виду, спраши- вая: "Какова вероятность распознавания?" Эта ошибка описывает ситуацию, когда человек есть в базе, но система его не нашла. 2. Ложное срабатывание. Про него очень часто забывают на стадии выбора системы, но сразу вспоминают, когда начинается эксплуатация. Эта ошибка очень значима с точки зрения практического использования системы в реальной жизни и заключается в ситуации, когда человека в базе нет, но система говорит, что нашла его. Как строится "кривая ошибок"? В результате сравнения лица человека с этало- ном выдается параметр, который называется "степень похожести". Очень часто ее путают с вероятностью распознавания. Обычно степень похожести нормирована от 0 до 100, что ассо- циируется с процентом распознавания. На рис. 1 вероятности ложного срабатывания или ложного пропуска показаны красным и зеленым цветом соответственно в зависимо- сти от степени похожести (по горизонтали). Когда происходит настройка системы, задает- ся порог срабатывания. Если он очень низкий, то ошибка ложного пропуска крайне малове- роятна, а ошибка ложного срабатывания, наоборот, очень вероятна. Система становится предельно чувствительной: она не пропустит врага, но зато даст кучу ложных срабатыва- ний, с которыми придется разбираться. Как только порог повышается, увеличивается ошибка пропуска, но падает ошибка ложного срабатывания. Следовательно, нужно найти золотую середину, которая в каждом случае будет индивидуальна в зависимости от поставленной задачи. На графике можно увидеть точку равных оши- бок, когда ложное принятие так же вероятно, как ложное срабатывание. К ней привязываются в академических исследованиях, но на практике такая точка абсолютно бессмысленна, и далее рассмотрим, почему. апрель – май 2018 www.secuteck.ru БИОМЕТРИЧЕСКИЕ СИСТЕМЫ  С И С Т Е М Ы К О Н Т Р О Л Я И У П Р А В Л Е Н И Я Д О С Т У П О М n w w w . a l l - o v e r - i p . r u 96 Алексей Кадейшвили Технический директор компании "Вокорд" Рис. 1. Диаграмма FAR – FRR Рис. 2. Графики сравнения результатов работы алгоритмов Как правильно сравнивать алгоритмы распознавания лиц: что стоит за рекламой? Распознавание лиц, как и любая модная и востребованная технология, привлекает большое число игроков. Однако создать действительно точный и надежный алгоритм очень непросто – это требует кропотливой работы, многочисленных экспериментов и тонкой оптимизации. Чтобы максимально выгодно представить свое решение, неко- торые разработчики начинают "играть" цифрами и результатами испытаний. При этом потенциальные пользователи оказываются в сложной ситуации: как понять, какое из предлагаемых решений действительно справится с их задачами?